RecherchearXiv cs.RO 18 août 2026

RoboMirror : comprendre avant d'imiter pour la locomotion humanoïde à partir de vidéo

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent RoboMirror, un système qui permet a un robot humanoïde d'apprendre a marcher directement a partir de vidéos, sans capture de mouvement ni retargeting du squelette. Contrairement aux méthodes existantes, qui s'appuient soit sur des trajectoires de motion capture organisées, soit sur des commandes textuelles éparses, RoboMirror utilise des modèles vision-langage (VLM) pour extraire l'intention de mouvement visuelle brute de vidéos filmées a la première personne (égocentriques) ou a la troisième personne, et alimente directement avec cette intention une politique de contrôle basée sur la diffusion générant des mouvements physiquement plausibles sans reconstruction explicite de pose. Selon les expériences rapportées par les auteurs, le système permet la téléprésence via vidéo égocentrique, réduit de 80% la latence de contrôle en mode troisième personne, et obtient un taux de réussite des taches supérieur de 3,7% par rapport aux méthodes de référence. Le papier, publie sur arXiv sous l'identifiant 2512.23649, en est a sa quatrième version révisée.

Ce travail s'attaque a un problème concret pour l'industrie de la robotique humanoïde: la difficulté de transférer un mouvement observe en vidéo vers un contrôleur robotique sans étape intermédiaire couteuse et sujette aux erreurs, comme la capture de mouvement ou le retargeting manuel. Si les résultats se confirment a plus grande échelle, cela ouvrirait la voie a l'apprentissage de locomotion a partir de vidéo "en conditions réelles" plutôt que de jeux de données de motion capture couteux a produire. Pour les équipes de R&D en téléopération, la réduction de latence en contrôle troisième personne cible un goulot d'étranglement connu, ou le délai entre observation vidéo et exécution du mouvement dégradé la réactivité et la stabilité. Ces chiffres restent toutefois issus d'évaluations internes des auteurs sur des baselines qu'ils ont eux-mêmes sélectionnées, sans validation indépendante ni déploiement documente sur robot physique en conditions réelles.

Cette approche s'inscrit dans un mouvement de recherche plus large visant a combler l'écart entre compréhension visuelle et action chez les humanoïdes, un axe pousse notamment par les modèles vision-langage-action. Les méthodes précédentes se divisaient en deux camps limites: les approches texte-vers-mouvement, pénalisées par la pauvreté sémantique du texte et l'accumulation d'erreurs dans des pipelines a étapes multiples, et les approches vidéo-vers-mouvement, qui se contentaient d'une imitation mécanique de la pose sans véritable compréhension du contenu. RoboMirror revendique être la première méthode vidéo-vers-locomotion sans retargeting en conditionnant directement une politique de diffusion sur l'intention extraite par un VLM. Le résume ne précise ni affiliation institutionnelle des auteurs ni calendrier de déploiement sur matériel réel: il s'agit a ce stade d'une contribution de recherche académique, sans pilote industriel ni partenariat annonce.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage d'une locomotion adaptative à la pente pour robots humanoïdes sur chantiers de couverture

Un article publié sur arXiv (référence 2609.20558v1) présente un cadre logiciel permettant à un robot humanoïde Unitree G1 d'exécuter des tâches de couvreur sur toitures en pente : marche en montée, utilisation d'une cloueuse pneumatique, martelage et mouvements de flexion. La méthode capture des démonstrations humaines par un système de suivi de mouvement, les retranscrit sur le robot, puis s'appuie sur un modèle métrique 3D du toit pour ancrer précisément les points de contact des pieds et des mains ainsi que les relations de travail (distance à l'outil, zones de dégagement) à la surface réelle. Une optimisation au niveau de la trajectoire fixe ces contraintes, tandis qu'un apprentissage par renforcement sensible à l'exécution maintient ces relations malgré les erreurs de suivi en conditions dynamiques. Les auteurs évaluent l'approche via une étude de suivi multi-mouvements, une matrice couvrant différentes pentes de toit, une ablation à cinq configurations sur la tâche de cloueuse, des tests croisés sur le martelage et la poussée latérale, ainsi que des comparaisons avec un apprentissage par renforcement pur et une téléopération sans apprentissage préalable. Résultats obtenus : des erreurs de dégagement de travail comprises entre 0,256 et 0,531 cm, un taux de réussite de 3 sur 3 pour chaque tâche testée, et des erreurs moyennes de position du tronc inférieures à 80 mm lors des expériences physiques. L'intérêt de ces travaux tient au problème qu'ils ciblent : les surfaces inclinées et irrégulières du bâtiment restent l'un des terrains les plus difficiles pour les humanoïdes, bien plus exigeants que les sols plats des entrepôts où la plupart des démonstrations commerciales sont tournées. L'étude illustre aussi un écueil classique de l'apprentissage par imitation : retranscrire fidèlement un geste humain capturé ne garantit pas un placement correct des appuis par rapport à l'environnement réel, d'où l'ajout d'un ancrage explicite à un modèle de scène. Pour les intégrateurs et décideurs du BTP, ce résultat reste un signal de recherche amont plutôt qu'une preuve de déploiement : il indique une piste méthodologique crédible pour doter les humanoïdes de compétences de chantier extérieur, sans annoncer de produit ni de pilote commercial. Le travail s'appuie sur le Unitree G1, plateforme humanoïde chinoise largement utilisée par les laboratoires de recherche en robotique incarnée pour son coût réduit face à des concurrents comme Boston Dynamics ou Tesla Optimus. Il s'inscrit dans une vague plus large de recherches combinant apprentissage par imitation et renforcement pour le contrôle corps entier des humanoïdes, dans la lignée conceptuelle de projets industriels comme Helix de Figure AI ou GR00T N2 de NVIDIA, sans toutefois émaner d'un acteur commercial identifié : il s'agit d'une prépublication arXiv non encore validée par relecture par les pairs. Les auteurs présentent leur approche comme une base pour de futures primitives de mouvement humanoïde dédiées au bâtiment, sans calendrier de pilote ni partenariat annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéos

Une nouvelle méthode d'apprentissage par imitation pour robots humanoïdes vient d'être publiée sur arXiv (2605.23762, mai 2026), proposant un cadre à étape unique baptisé Direct Dynamic Retargeting (DDR). L'objectif est d'apprendre des comportements moteurs complexes à partir de simples vidéos monoculaires de démonstration humaine, sans capteurs de mouvement ni combinaisons de capture. Le défi central est morphologique : un humain et un robot humanoïde ne partagent ni les mêmes proportions, ni les mêmes centres de masse, ni les mêmes contraintes articulaires, ce qui rend la transposition directe des trajectoires impossible. Les approches standards, dites Geometric Retargeting ou Indirect Dynamic Retargeting, projettent d'abord le mouvement humain dans un espace cinématique intermédiaire avant de générer les commandes robot, introduisant ce que les auteurs appellent un biais géométrique qui restreint l'espace de solutions et produit des comportements sous-optimaux. DDR supprime cette étape intermédiaire en formulant le problème directement dans l'espace des tâches (task space), couplé à un solveur de contrôle prédictif par modèle (Model Predictive Control, MPC) à base d'échantillonnage, exécuté au sein d'un simulateur physique. Ce couplage permet au système d'optimiser nativement les séquences de contact sol-pied tout en limitant la dérive des entrées, garantissant la faisabilité dynamique des trajectoires générées. Les expériences montrent que DDR surpasse les méthodes de référence en précision de suivi des démonstrations. Plus significatif pour les praticiens : fournir ces références physiquement viables à un agent d'apprentissage par renforcement accélère la convergence de l'entraînement et améliore l'exécution finale de comportements agiles et d'équilibrage dynamique. L'apprentissage par imitation à partir de vidéo est devenu un axe majeur de la robotique humanoïde, porté par des travaux comme Pi-0 de Physical Intelligence ou les pipelines de données de téléopération développés chez Figure AI et Agility Robotics. Ces approches cherchent à exploiter l'immense corpus de vidéos de mouvements humains disponibles en ligne pour réduire le coût prohibitif de la collecte de données sur robot. DDR s'inscrit dans cette tendance mais attaque le problème par la dynamique plutôt que par la géométrie, un pari prometteur qui reste à valider en conditions réelles : aucun résultat physique sur robot n'est présenté dans cet article, uniquement des évaluations en simulation. Le code source sera rendu public, ce qui permettra à la communauté de reproduire et d'étendre ces résultats.

RecherchePaper

1 source

3arXiv cs.RO

Track-and-Complete : apprendre des compétences humanoïdes à partir d'une seule vidéo humaine ratée

Des chercheurs proposent TRACC (Track-and-Complete), un pipeline qui permet à un humanoïde d'apprendre une compétence à partir d'une seule vidéo d'humain en situation d'échec, sans aucune démonstration réussie. La méthode se déroule en deux temps. Elle imite d'abord la partie exploitable de la trajectoire, c'est-à-dire le préfixe de mouvement observé avant que la tentative ne tourne mal. Elle infère ensuite le résultat visé par la tâche, puis utilise une récompense d'accomplissement pour que la politique apprenne à finir le travail après le point de rupture. Le préfixe sert d'a priori jusqu'à l'échec, la récompense prend le relais ensuite. L'évaluation porte sur six tâches humaines « in the wild » en échec, tirées du jeu de données Oops!, une collection de vidéos amateurs de ratés. L'étude est publiée sur arXiv (2609.36924v1) et présente des résultats jugés positifs par les auteurs. Le résumé ne donne ni taux de réussite, ni comparaison chiffrée, ni précision sur le robot utilisé ou sur un éventuel transfert vers du matériel réel. L'intérêt tient au coût de la donnée. L'apprentissage de compétences humanoïdes par imitation vidéo suppose en général une démonstration réussie, souvent collectée sur mesure : téléopération, capture de mouvement ou scènes scriptées. Or le web regorge de tentatives ratées, que la robotique traite d'ordinaire comme de simples exemples négatifs. Si l'approche tient à plus grande échelle, un corpus jusque-là écarté devient une source de supervision, ce qui réduit le goulot d'étranglement des données que rencontrent les acteurs des politiques généralistes de type VLA. Une réserve s'impose toutefois. Six tâches sont un échantillon très mince, et la robustesse de l'inférence du but à partir d'une vidéo ambiguë reste à démontrer. Le résumé ne dit pas non plus si l'apprentissage se fait uniquement en simulation. La question du passage au réel, le fameux sim-to-real, n'est pas tranchée par ce texte. Ce travail s'inscrit dans un mouvement plus large de retargeting de mouvements humains vers des humanoïdes et d'apprentissage par renforcement guidé par vidéo, où la plupart des méthodes supposent des démonstrations propres. Les grands acteurs de la course humanoïde, de Figure à Tesla avec Optimus, en passant par les modèles fondation comme Pi-0 ou GR00T, misent surtout sur la téléopération et la simulation à grande échelle pour alimenter leurs politiques. TRACC propose une voie complémentaire, moins coûteuse en collecte, qui reste académique et sans produit ni déploiement annoncé. Les prochaines étapes à surveiller sont l'extension à davantage de tâches et de morphologies, la validation sur robot physique et la confrontation avec des méthodes exploitant des démonstrations réussies.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

GRAIL : génération de loco-manipulation pour humanoïdes à partir d'actifs 3D et de vidéos

Une équipe de chercheurs publie GRAIL (Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors, arXiv:2606.05160), un pipeline entièrement virtuel qui génère des données d'entraînement en loco-manipulation humanoïde sans télé-opération ni capture de mouvement physique. La méthode compose des actifs 3D paramétrés, des scènes simulées et des modèles fondamentaux vidéo (VFM) pour reconstruire des trajectoires d'interaction humain-objet (HOI) en 4D à l'échelle métrique, en conditionnant la génération vidéo sur des configurations entièrement spécifiées : géométrie, paramètres caméra, profondeur de scène et personnage aux proportions humanoïdes, ce qui réduit l'ambiguïté de profondeur et le mismatch morphologique habituels. Le pipeline produit plus de 20 000 séquences couvrant ramassage d'objets, manipulation, assise et traversée de terrains variés. Entraîné uniquement sur ces données synthétiques via un pipeline sim-to-real, le système atteint 84 % de succès en préhension d'objets divers et 90 % en montée d'escaliers sur un Unitree G1 en conditions réelles ; l'article, soumis sur arXiv en juin 2026, est une prépublication non encore évaluée par les pairs. Ce travail s'attaque au principal goulot d'étranglement de la robotique humanoïde : générer des données de démonstration diversifiées à grande échelle sans mobiliser de temps-robot ni d'opérateurs spécialisés. La télé-opération et la mocap exigent des configurations physiques dédiées et un robot disponible à chaque session, ce qui plafonne le débit de production de données ; GRAIL déplace intégralement ce coût vers la simulation, rendant possible la composition de données pour des objets, scènes et mouvements corporels inédits. Les résultats de 84 % et 90 % en conditions réelles constituent un signal positif sur la réduction du gap sim-to-real, du moins pour ces classes de tâches. Une réserve s'impose cependant : le résumé ne détaille ni les objets testés ni le protocole de sélection des séquences d'évaluation, ce qui rend toute comparaison indépendante prématurée avant la publication complète. GRAIL s'inscrit dans une course à la donnée synthétique que se livrent les principaux laboratoires de robotique humanoïde, aux côtés des pipelines World Model de Figure AI et 1X Technologies, de RoboVerse (Microsoft Research) et des environnements Genesis pour la simulation physique générative. La distinction de GRAIL réside dans le conditionnement fort sur des actifs 3D préalables, un choix qui améliore la précision de la reconstruction 4D mais suppose la disponibilité d'assets de qualité pour chaque objet cible. Le robot retenu, l'Unitree G1, est commercialisé autour de 16 000 dollars, rendant la reproduction des résultats accessible à de nombreuses équipes académiques, contrairement aux plateformes propriétaires des acteurs industriels. Les affiliations des auteurs ne figurant pas dans le résumé arXiv disponible, les suites naturelles annoncées comprennent les tâches bimanuelles, les environnements dynamiques et l'intégration dans des pipelines VLA (Vision-Language-Action) pour la généralisation à des objets et contextes non vus lors de l'entraînement.

UELes laboratoires académiques européens spécialisés en robotique humanoïde (INRIA, CEA-List) pourraient adopter ce pipeline de génération de données synthétiques pour réduire leur dépendance à la télé-opération et à la mocap, mais aucun acteur FR/UE n'est directement impliqué dans ces travaux.

RecherchePaper

1 source