RecherchearXiv cs.RO 15 octobre 2026

KinoGen : références de locomanipulation humanoïde personnalisables par génération vidéo ancrée dans la cinématique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

KinoGen est un cadre de génération de références de loco-manipulation pour robots humanoïdes, décrit dans un article publié sur arXiv en octobre 2026. Le principe : un générateur vidéo préentraîné est conditionné par des rendus calibrés du robot cible et de l'objet dans une instance de tâche simulée. Les auteurs ajustent ensuite les modèles du robot et de l'objet sur la vidéo générée, en deux vues, pour en extraire la trajectoire de référence. Celle-ci se trouve donc dans l'espace des configurations du robot par construction, sans modèle de corps humain intermédiaire ni retargeting. Des a priori sur le corps, la main et l'objet initialisent la reconstruction, puis une optimisation directe contre les indices croisés des deux vues l'affine. Sur huit tâches de loco-manipulation, KinoGen produit moins de pénétration et de glissement des pieds que les méthodes vidéo de référence, et conserve plus de 90 % des contacts annotés. Des politiques de suivi entraînées sur ces références ont été déployées sur un Unitree G1 équipé de mains dextres. L'article ne donne ni durées de cycle ni volumes de déploiement.

L'intérêt tient à deux verrous que l'approche cherche à lever. Les pipelines actuels qui exploitent la vidéo ou la capture de mouvement humaine passent par un proxy corporel puis un retargeting, ce qui introduit des erreurs de contact, des interpénétrations et du glissement que les politiques de suivi doivent ensuite compenser. Ici, la cohérence cinématique est garantie dès la génération. La seconde avancée est la personnalisation : une keyframe éditée n'étant qu'un autre état rendu, l'utilisateur peut imposer une pose cible à l'objet, régénérer la vidéo autour de cette image et obtenir une référence qui respecte exactement cette pose. Les auteurs affirment que cela réduit sensiblement la pénétration par rapport à une simple interpolation. Pour les intégrateurs, cela pourrait faire baisser le coût de création de données de démonstration spécifiques à une tâche. Il faut toutefois nuancer : l'évaluation est académique, menée sur huit tâches, et la validation matérielle sur G1 reste une démonstration de faisabilité, sans mesure de robustesse ni de taux de réussite en conditions réelles.

Ce travail s'inscrit dans la course aux données pour humanoïdes, où la rareté des démonstrations robotiques pousse à exploiter des vidéos humaines et des modèles génératifs. Les approches concurrentes reposent généralement sur la capture de mouvement ou l'estimation de pose humaine suivie d'un retargeting, ce que KinoGen cherche précisément à contourner. Le G1 de Unitree, bon marché et largement répandu dans les laboratoires, sert de plateforme de choix pour ce type de recherche. Aucun calendrier de pilote industriel ni code de production n'est annoncé. Les prochaines étapes à surveiller sont le passage à des tâches plus longues et plus contraintes, la mesure de la fiabilité sur matériel, et la comparaison avec les modèles VLA entraînés directement sur de grands volumes de téléopération.

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

La génération vidéo contrefactuelle permet le passage à l'échelle de la loco-manipulation humanoïde

Des chercheurs publient sur arXiv (2609.38172) PRISM, un cadre « real-to-sim-to-real » qui vise à apprendre à un humanoïde des tâches de loco-manipulation, comme porter des objets variés, à partir de quelques vidéos réelles seulement. Le procédé démarre d'une poignée de vidéos d'exemple, à partir desquelles un modèle de génération vidéo-à-vidéo (V2V) produit des centaines de vidéos « contrefactuelles » d'interactions humain-objet. Un pipeline de reconstruction ancré sur les contacts en extrait ensuite les mouvements de la personne et de l'objet, puis les retarget en trajectoires physiquement plausibles pour le robot, malgré l'imperfection des vidéos synthétiques. Une seule politique est entraînée sur l'ensemble. Elle est déployée sur un robot réel sans aucun réglage fin en conditions réelles, avec pour seule entrée des observations de profondeur embarquées. Les auteurs affirment qu'elle saisit, transporte et dépose boîtes, barils, bacs et balles, y compris des instances jamais vues, de tailles et de configurations initiales différentes. Le résumé ne donne ni modèle d'humanoïde, ni taux de réussite, ni nombre d'objets testés, ni temps de cycle. L'intérêt tient au goulot que ce travail cible. L'imitation visuelle est séduisante pour former des robots généralistes, mais il est difficile de réunir des vidéos qui montrent le corps entier sans occlusion et les contacts avec l'objet. Si l'approche tient à plus grande échelle, la diversité des données cesserait de dépendre de la captation humaine et passerait par la génération, ce qui réduirait le coût d'un jeu d'entraînement pour des tâches de manutention comme le déplacement de bacs ou de cartons. Le résultat sans réglage fin réel va dans le sens d'un transfert sim-to-real de plus en plus fiable pour la locomanipulation. Il faut toutefois rester prudent : il s'agit d'un preprint sans validation externe, la démonstration porte sur quatre catégories d'objets, et l'absence de chiffres publiés dans le résumé empêche d'évaluer la robustesse, la cadence ou l'écart avec une démonstration soigneusement choisie. On ne parle ni de produit ni de déploiement industriel. Ces travaux s'inscrivent dans une course où les acteurs cherchent à contourner la rareté des données de téléopération. Des approches concurrentes s'appuient sur la capture de mouvement humain, sur de grandes politiques vision-langage-action (VLA) telles que Pi-0, GR00T ou Helix, ou sur la simulation massive avec randomisation de domaine. PRISM ajoute la génération vidéo comme multiplicateur de données. Les prochaines étapes à surveiller sont la publication du code et des métriques détaillées, des tests sur des tâches à contacts plus complexes et des objets déformables, et une comparaison directe avec des données de téléopération. Aucun pilote ni calendrier commercial n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

RobotAPO : optimisation adversariale des préférences physiques pour la génération de vidéos de manipulation robotique

Des chercheurs proposent RobotAPO, un cadre d'optimisation par préférences physiques adversariales destiné aux modèles de génération vidéo de manipulation robotique, accompagné d'un jeu de données baptisé AgiBot-PhysPref (preprint arXiv 2610.09454, première version). Ce jeu compte 10 000 échantillons de préférences soigneusement sélectionnés. Il isole des violations physiques à conditions égales, comme l'interpénétration d'objets ou le mouvement prématuré d'un objet à la frontière d'interaction. RobotAPO opère directement dans l'espace de débruitage continu du flow-matching. Un « proposeur contrefactuel » adversarial léger apprend, pour chaque condition, une direction de l'espace de débruitage biaisée vers l'échec physique. Le modèle est ainsi poussé à explorer cette frontière et à la respecter, au lieu de mémoriser des échecs statiques. À l'inférence, l'interface reste un simple couple prompt et image de référence, sans conditionnement structurel externe. Sur des conditions AgiBot mises de côté pour le test, RobotAPO dépasse la meilleure base de comparaison interne contrôlée de 6,8 % en score de cohérence physique « dur » et de 10,0 % en score « souple ». En rejeu sur robot réel, le taux de réussite des tâches progresse de 37,4 % en relatif face à cette même référence. Ces résultats visent un point faible des vidéos utilisées comme plans visuels pour des agents incarnés. Une vidéo qui paraît plausible peut contenir une erreur de contact de quelques images, et cette erreur fausse le timing et la pose que l'on déduit ensuite pour l'exécution. Le fine-tuning supervisé classique n'exerce aucune pression directe sur ces défauts localisés. Les auteurs montrent qu'une correction ciblée de la physique d'interaction se traduit en gain mesurable sur matériel, ce qui est l'argument le plus utile pour les équipes qui misent sur des modèles du monde génératifs comme couche de planification. Il faut toutefois lire les chiffres avec prudence. La référence est interne, et le gain de 37,4 % est relatif : sans le taux de réussite absolu, le nombre d'essais et la diversité des tâches, on ne peut pas juger de sa portée pratique. Le « rejeu » sur robot réel d'une vidéo générée ne dit rien non plus de la robustesse hors distribution. Ce n'est pas un produit, mais un résultat de recherche. Le travail s'inscrit dans la montée des approches « vidéo comme politique » ou « vidéo comme plan », où un générateur produit la trajectoire visuelle et un module d'inversion la convertit en actions. L'alignement par préférences, déjà courant pour les LLM et la génération d'images, est ici transposé à la physique du contact. Le choix d'AgiBot comme base de données montre que les grands corpus de manipulation issus des acteurs chinois servent désormais de terrain d'évaluation central. Ces travaux concurrencent des pistes voisines, comme les modèles de monde conditionnés par la structure, ou les politiques VLA directes de type Pi-0 et GR00T, qui évitent l'étape vidéo. Les auteurs ne mentionnent ni code ni modèle publiés dans ce résumé. La suite logique serait une validation sur d'autres plateformes et sur des tâches plus longues, avec des taux de réussite absolus publiés.

RecherchePaper

1 source

3arXiv cs.RO

GenVid2Robot : de la génération vidéo à la manipulation robotique par cohérence rigide-géométrique

Des chercheurs ont publié le 13 juillet 2026 sur arXiv (2607.09191v1) GenVid2Robot, un système qui transforme des vidéos générées par IA en trajectoires exécutables sur un robot manipulateur réel. Le problème de départ: une vidéo générée peut sembler visuellement plausible sans être physiquement exécutable, faute de géométrie métrique, d'ancrage de préhension, de faisabilité cinématique ou de retour d'exécution. GenVid2Robot part d'une observation RGB-D initiale et d'une instruction de tâche, échantillonne des ancres sémantiques pertinentes sur la première image réelle, puis suit ces ancres à travers les candidats vidéo générés. Un modèle SE(3) relatif et épars vérifie si le mouvement 2D observé est cohérent avec la géométrie 3D des ancres; seul le mouvement validé géométriquement est transféré au robot. Ce mouvement est ensuite appliqué à la pose réelle de l'organe terminal (TCP) au moment de la saisie, déterminée par une préhension contrainte par masque, et un module de compensation de profondeur borné corrige les erreurs locales dues au bruit RGB-D ou aux déplacements de contact. L'enjeu dépasse la démonstration technique isolée: les modèles de génération vidéo (type Sora, Veo ou Genie) sont de plus en plus présentés comme des sources de "priors" de mouvement pour la robotique, mais l'écart entre vidéo plausible et action exécutable reste l'un des obstacles majeurs à leur usage réel, aux côtés du problème classique du sim-to-real. En filtrant les hypothèses de mouvement par cohérence géométrique plutôt qu'en rejouant directement une trajectoire, GenVid2Robot répond directement au risque d'échec en conditions réelles que redoutent intégrateurs et équipes R&D travaillant sur les architectures vision-langage-action (VLA). Le travail s'inscrit dans la lignée des approches combinant modèles génératifs et politiques robotiques, aux côtés d'efforts comme Pi-0, GR00T N2 ou Helix qui cherchent à exploiter des priors visuels ou vidéo à grande échelle. À ce stade, il s'agit d'une publication de recherche avec expériences sur robot réel, non d'un produit commercialisé; les auteurs ne précisent pas de calendrier de déploiement industriel.

RecherchePaper

1 source

4arXiv cs.RO

OmniContact : enchaînement de méta-compétences par flux de contact pour la loco-manipulation humanoïde généralisable

Des chercheurs ont publié le 26 juin 2026 sur arXiv (réf. 2606.26201) un framework hiérarchique baptisé OmniContact, conçu pour enchaîner des séquences complexes de locomotion et manipulation sur des humanoïdes. Le coeur du système est une représentation intermédiaire appelée "contact flow" (CF): trajectoires corporelles clés et signaux binaires de contact en série temporelle. Deux modules s'appuient dessus, CF-Track (politique bas-niveau, bibliothèque de compétences unifiée) et CF-Gen (planificateur haut-niveau heuristique qui synthétise les séquences futures). En simulation, les résultats annoncés atteignent 98,7% de succès sur la tâche "Carry Box" et 76,5% sur "Push-Stack Boxes", soit respectivement +40,9% et +66,5% face aux baselines sur l'exécution de méta-compétences et leur enchaînement. Le dataset OmniContact, constitué via capture de mouvement (MoCap) d'interactions humain-objet, supporte l'entraînement. Le vrai défi des humanoïdes industriels n'est pas l'exécution d'un geste unitaire mais l'enchaînement robuste de séquences longues avec récupération autonome en cas de défaillance, ce verrou précis que OmniContact cible. Le système propose une interface structurée lisible par le planificateur haut-niveau, une voie médiane entre représentations explicites trop rigides pour la planification et embeddings implicites trop opaques pour la composition fiable. L'intégration avec des VLMs (Vision-Language Models) permettrait des instructions en langage naturel converties en séquences de contact flows, comme l'illustre la démonstration d'arrangement de boîtes en forme de coeur. Nuance importante: toutes les métriques publiées sont issues de conditions contrôlées en laboratoire, sans validation sur hardware physique ni déploiement industriel réel, ce qui laisse entier le problème du sim-to-real. La loco-manipulation longue horizon est devenu le benchmark officieux du secteur humanoïde en 2025-2026. Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (pi0) et Boston Dynamics s'affrontent sur des tâches de plus en plus généralisables, tandis que NVIDIA pousse GR00T N2 comme couche de policy universelle. OmniContact vient du monde académique, sans entreprise identifiée derrière ce preprint, mais son approche par contact flow s'inscrit dans la tendance des représentations intermédiaires structurées, en parallèle des architectures VLA à diffusion. La collecte MoCap dédiée aux interactions humain-objet sur humanoïdes confirme que les données de référence restent un goulot d'étranglement même quand la simulation abonde. La prochaine étape déterminante sera le transfert sur un humanoïde physique, condition sine qua non pour que ce framework passe du laboratoire au hangar.

RecherchePaper

1 source