RecherchearXiv cs.RO 24 septembre 2026

Apprentissage d'une démarche humanoïde expressive à partir de vidéos monoculaires de podium pour les défilés de mode robotiques

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article de recherche publié sur arXiv fin septembre 2026 décrit un système permettant à des robots humanoïdes d'imiter la démarche de mannequins sur un podium de mode. L'équipe a conçu un pipeline complet transformant une simple vidéo monoculaire de défilé en une politique de locomotion déployable : récupération du mouvement à partir de la vidéo, retargeting vers la morphologie du robot, correction du mouvement, entraînement de la politique, évaluation en simulation, puis déploiement physique. Le framework a été testé sur le robot humanoïde Booster K1, conçu par la société chinoise Booster Robotics. Lors des essais physiques réels, le robot a exécuté l'intégralité des passages sans chuter, en reproduisant les traits caractéristiques du catwalk : pose des pieds resserrée et coordination fine entre jambes, torse et bras. Le papier ne précise ni le nombre exact d'essais ni de temps de cycle chiffré, ce qui limite l'évaluation quantitative de la robustesse annoncée.

Ce travail illustre un déplacement d'objectif dans la locomotion humanoïde : la plupart des politiques de marche actuelles sont optimisées pour la stabilité et la vitesse, pas pour l'expressivité gestuelle. Or les défilés de mode sont devenus un terrain de démonstration prisé par les fabricants de robots humanoïdes pour prouver leur dextérité au grand public. En montrant qu'une vidéo 2D ordinaire, sans capture de mouvement dédiée, suffit à transférer un style de démarche stylisé vers un robot réel, l'étude appuie l'idée que l'apprentissage par imitation à partir de vidéos grand public peut réduire le coût d'acquisition de comportements expressifs, un enjeu direct pour les intégrateurs qui cherchent à diversifier les usages des humanoïdes au-delà de la logistique et de l'industrie, vers le divertissement et la communication de marque.

Cette recherche s'inscrit dans la multiplication des vitrines chorégraphiques de robots humanoïdes, un registre où Unitree, Figure, Tesla avec Optimus ou Boston Dynamics ont déjà mis en scène danse, boxe ou marche stylisée pour illustrer leurs progrès en contrôle moteur. Booster Robotics, éditeur du K1 utilisé ici, est surtout connu pour la compétition de football robotique RoboCup et propose une plateforme humanoïde de taille moyenne relativement accessible à la recherche académique. Le travail présenté reste un prototype de laboratoire, évalué sur un nombre limité d'essais physiques, sans annonce de déploiement commercial ni de calendrier de pilotes ; les auteurs évoquent seulement une extension possible à d'autres scénarios de performance robotique.

Impact France/UE

Impact indirect seulement: la méthode d'imitation vidéo pourrait intéresser des intégrateurs européens cherchant a diversifier les usages des humanoïdes, mais aucun acteur ni déploiement européen n'est implique dans ces travaux.

Dans nos dossiers

Boston Dynamics Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage de la manipulation dextérique à partir de vidéos monoculaires de mains humaines

Une équipe de chercheurs a publié sur arXiv (identifiant arXiv:2606.16436v1) un framework baptisé V2P-Manip, conçu pour extraire des politiques de manipulation dextre directement à partir de vidéos monoculaires de démonstrations humaines. L'architecture propose un pipeline intégré en trois étapes : acquisition d'assets 3D, estimation de trajectoires, puis apprentissage de politique de manipulation. Pour réconcilier perception visuelle et contraintes physiques, les auteurs introduisent un processus de raffinement en deux étapes imposant à la fois un alignement spatial et une cohérence physique. Le système a été évalué sur les benchmarks TACO et OakInk, deux jeux de données de référence en manipulation dextre, et affiche un taux de réussite moyen supérieur à 75 % sur des tâches de manipulation synthétiques, avec une généralisation démontrée sur plusieurs morphologies de mains robotiques différentes. L'enjeu central que V2P-Manip cherche à résoudre est celui du coût de collecte des données d'entraînement : la télé-opération reste lente, coûteuse et difficile à standardiser à grande échelle. Utiliser des vidéos monoculaires standard, sans capteurs de profondeur ni mocap, représente un levier de scalabilité potentiellement majeur pour les fabricants d'effecteurs dextres et les laboratoires à budget limité. Le pipeline démontre aussi une transférabilité des "manipulation priors" entre embodiments différents, ce qui est un résultat non trivial. Il faut néanmoins noter que le taux de 75 % est mesuré sur des tâches synthétiques et que les vidéos utilisées en entrée sont des démonstrations humaines sélectionnées -- le real-world gap reste à quantifier sur du matériel réel déployé en conditions industrielles non contrôlées. La manipulation dextre constitue l'une des frontières les plus dures de la robotique, un domaine où des acteurs comme Dexterous Robotics, Shadow Robot (UK) ou Psyonic tentent d'atteindre la maturité produit. Côté recherche, les approches concurrentes s'appuient généralement sur la télé-opération (Pi-0 de Physical Intelligence, ACT, DROID dataset) ou sur des capteurs de profondeur calibrés. L'originalité de V2P-Manip est de contourner ces contraintes matérielles en exploitant uniquement la vision monoculaire. La validation reste pour l'instant confinée à des benchmarks académiques, et aucun déploiement ou partenariat industriel n'est annoncé dans cette version préliminaire.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage robotique à partir de vidéos humaines : une synthèse

Une équipe de chercheurs a publié sur arXiv (arXiv:2604.27621) un état de l'art complet sur l'apprentissage des compétences robotiques à partir de vidéos humaines. Le papier recense les techniques permettant de transférer des habiletés gestuelles filmées vers des robots manipulateurs, en s'appuyant sur la masse de vidéos d'activités humaines disponibles en ligne. Les auteurs proposent une taxonomie hiérarchique structurée en trois axes : l'apprentissage orienté tâche (le robot déduit l'objectif), l'apprentissage orienté observation (alignement visuel entre humain et robot), et l'apprentissage orienté action (estimation directe des mouvements moteurs). Le survey couvre également les fondements de données, en analysant les principaux jeux de données de vidéos humaines existants ainsi que les schémas de génération vidéo synthétique. Une liste exhaustive des travaux référencés est disponible sur GitHub (IRMVLab/awesome-robot-learning-from-human-videos). Ce travail de synthèse arrive à un moment clé : le manque de données robotiques à grande échelle constitue aujourd'hui le principal goulot d'étranglement pour les systèmes d'IA incarnée généralistes. Les vidéos humaines représentent une ressource passive quasi illimitée, et leur exploitation pourrait contourner le coût exorbitant de la collecte de démonstrations téléopérées. Le papier analyse explicitement comment les différentes approches se comportent selon les paradigmes d'apprentissage (imitation, renforcement, diffusion) et les configurations de données, ce qui est directement utile pour des intégrateurs qui cherchent à choisir une architecture VLA (Vision-Language-Action) selon leur contrainte de données terrain. Le survey souligne aussi honnêtement les limitations du champ : le gap démo-réalité reste non résolu dans la plupart des pipelines, et les métriques de transfert restent hétérogènes d'un papier à l'autre. Ce type de survey émerge dans un contexte où plusieurs labos et startups misent sur le video-based learning comme levier de scalabilité : Physical Intelligence (pi-0), NVIDIA (GR00T N2), et Google DeepMind ont tous intégré des données humaines ou des vidéos internet dans leurs pipelines d'entraînement récents. Côté recherche académique, les travaux comme R3M, UniPi ou RoboAgent ont posé les jalons de cette approche ces deux dernières années. Ce survey offre donc une base de référence structurée pour les équipes qui entrent maintenant dans ce champ, avec des pistes de recherche ouvertes notamment sur la synchronisation temporelle corps-robot et la génération de données vidéo simulées pour la diversification des trajectoires.

UELes équipes de recherche françaises (CEA-List, INRIA) et les startups européennes travaillant sur des architectures VLA peuvent exploiter cette taxonomie structurée pour orienter leurs choix méthodologiques selon leurs contraintes de données terrain.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage d'une navigation sûre pour humanoïdes à partir de modèles d'ordre réduit

Des chercheurs ont publié le 18 septembre 2026 sur arXiv (référence 2609.19272) une méthode de navigation autonome pour robots humanoïdes baptisée RoM-Nav, testée sur un Unitree G1. Le problème de départ est concret: un pipeline d'apprentissage par renforcement (RL) classique à un seul étage échoue à monter en échelle sur des terrains multi-niveaux et multi-étages, freiné par la difficulté des interactions pied-terrain complexes comme les escaliers. La solution proposée décompose la navigation en deux étapes. D'abord, une politique entraînée sur une dynamique d'ordre réduit (reduced order model) mais alimentée par des observations LiDAR 3D complètes apprend à se repérer dans un terrain complexe à plusieurs étages. Cette connaissance sert ensuite à amorcer une seconde politique opérant sur la dynamique complète du robot, avec une politique de locomotion déjà entraînée et figée intégrée dans la boucle. Un filtre de sécurité dit de Poisson est ajouté en sortie de la politique de navigation pour garantir la sécurité face à des obstacles inédits, sans dégrader le taux de réussite. Sur le G1, les essais ont couvert une navigation sans carte préalable (mapless) avec plus de 10 mètres de dénivelé vertical cumulé et plus de 100 mètres de trajet parcouru. L'intérêt pour le secteur tient à ce que ce travail s'attaque directement à un angle mort connu de la robotique humanoïde: la locomotion pure a beaucoup progressé, mais l'autonomie de navigation en environnement bâti réel, avec escaliers et changements d'étage, reste un goulot d'étranglement pour tout déploiement industriel ou logistique. En montrant qu'une décomposition hiérarchique (modèle réduit puis politique complète) permet de dépasser les limites du RL monolithique, et qu'un filtre de sécurité formel peut être ajouté sans sacrifier la performance, l'étude apporte un argument concret dans le débat sur la fiabilité des humanoïdes hors des démonstrations scénarisées. Ce résultat s'inscrit dans une recherche académique en cours plutôt que dans un produit commercial: il s'agit d'un preprint arXiv, non encore validé par relecture par les pairs, mais démontré sur du matériel réel plutôt qu'en simulation seule. Le choix du Unitree G1, plateforme largement utilisée par les laboratoires universitaires pour son accessibilité, souligne aussi que ce type d'expérimentation reste pour l'instant du ressort de la recherche plutôt que du déploiement en flotte. Les auteurs mettent à disposition une page projet avec vidéos (wdc3iii.github.io/rom-nav) mais n'annoncent pas de calendrier de transfert vers l'industrie.

RecherchePaper

1 source

4arXiv cs.RO

Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéos

Une nouvelle méthode d'apprentissage par imitation pour robots humanoïdes vient d'être publiée sur arXiv (2605.23762, mai 2026), proposant un cadre à étape unique baptisé Direct Dynamic Retargeting (DDR). L'objectif est d'apprendre des comportements moteurs complexes à partir de simples vidéos monoculaires de démonstration humaine, sans capteurs de mouvement ni combinaisons de capture. Le défi central est morphologique : un humain et un robot humanoïde ne partagent ni les mêmes proportions, ni les mêmes centres de masse, ni les mêmes contraintes articulaires, ce qui rend la transposition directe des trajectoires impossible. Les approches standards, dites Geometric Retargeting ou Indirect Dynamic Retargeting, projettent d'abord le mouvement humain dans un espace cinématique intermédiaire avant de générer les commandes robot, introduisant ce que les auteurs appellent un biais géométrique qui restreint l'espace de solutions et produit des comportements sous-optimaux. DDR supprime cette étape intermédiaire en formulant le problème directement dans l'espace des tâches (task space), couplé à un solveur de contrôle prédictif par modèle (Model Predictive Control, MPC) à base d'échantillonnage, exécuté au sein d'un simulateur physique. Ce couplage permet au système d'optimiser nativement les séquences de contact sol-pied tout en limitant la dérive des entrées, garantissant la faisabilité dynamique des trajectoires générées. Les expériences montrent que DDR surpasse les méthodes de référence en précision de suivi des démonstrations. Plus significatif pour les praticiens : fournir ces références physiquement viables à un agent d'apprentissage par renforcement accélère la convergence de l'entraînement et améliore l'exécution finale de comportements agiles et d'équilibrage dynamique. L'apprentissage par imitation à partir de vidéo est devenu un axe majeur de la robotique humanoïde, porté par des travaux comme Pi-0 de Physical Intelligence ou les pipelines de données de téléopération développés chez Figure AI et Agility Robotics. Ces approches cherchent à exploiter l'immense corpus de vidéos de mouvements humains disponibles en ligne pour réduire le coût prohibitif de la collecte de données sur robot. DDR s'inscrit dans cette tendance mais attaque le problème par la dynamique plutôt que par la géométrie, un pari prometteur qui reste à valider en conditions réelles : aucun résultat physique sur robot n'est présenté dans cet article, uniquement des évaluations en simulation. Le code source sera rendu public, ce qui permettra à la communauté de reproduire et d'étendre ces résultats.

RecherchePaper

1 source