RecherchearXiv cs.RO 16 septembre 2026

Avez-vous du freestyle ? La locomotion humanoïde expressive pilotée par l'audio

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (2512.23650, troisième révision) RoboPerform, présenté comme le premier framework unifiant génération audio-vers-locomotion pour robots humanoïdes, capable de produire à la fois de la danse pilotée par la musique et des gestes de co-parole déclenchés par la voix, directement depuis le signal audio. L'approche suit le principe "mouvement = contenu + style" : l'audio est traité comme un signal de style implicite, sans reconstruction explicite préalable du mouvement. L'architecture combine une politique enseignante ResMoE, un mélange d'experts adapté à des répertoires de mouvements variés, et une politique étudiante par diffusion qui injecte le style audio directement dans la trajectoire, un design "sans retargeting" censé réduire latence et erreurs en cascade. Les auteurs revendiquent des résultats "prometteurs" en plausibilité physique et en alignement audio-mouvement, mais le résumé ne donne aucun chiffre précis : ni degrés de liberté, ni temps de cycle, ni score de benchmark, ni nom de robot testé.

Le travail cible un manque réel du secteur : la plupart des humanoïdes actuels restent cantonnés à des bibliothèques de mouvements prédéfinis ou à des commandes distantes ponctuelles, sans capacité d'improvisation réactive en temps réel. Un pipeline générant chorégraphie ou gestes de communication directement depuis l'audio, sans reconstruction puis retargeting séparés, intéresserait les concepteurs de robots destinés à l'interaction humaine, à l'événementiel ou au service client, où la réactivité perçue pèse autant que la précision du geste. La portée reste toutefois à relativiser : il s'agit d'un article de recherche sans produit commercialisé ni déploiement annoncé, et la formule "résultats prometteurs" sans métriques chiffrées relève d'une validation académique préliminaire, pas d'une preuve à l'échelle industrielle.

RoboPerform s'inscrit dans la lignée des travaux sur la génération de mouvement à partir de l'audio, un champ jusqu'ici dominé par des pipelines en cascade : un modèle de diffusion génère un mouvement depuis l'audio, ensuite retargeté vers la morphologie du robot par cinématique inverse, une chaîne connue pour accumuler erreurs et latence à chaque étape. La contribution revendiquée est de fusionner ces étapes en une seule paire de politiques entraînées conjointement, plutôt qu'un pipeline séquentiel classique. L'article ne mentionne ni partenariat industriel, ni pilote, ni calendrier de déploiement : à ce stade, RoboPerform reste un résultat de laboratoire dont la validation sur une plateforme humanoïde réelle et à grande échelle reste à démontrer.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

EMoG : génération de démarche modulée par l'émotion pour une locomotion humanoïde expressive

Un article de recherche publié sur arXiv sous la référence 2609.14432 (septembre 2026) présente EMoG, un framework de génération de démarche modulée par l'émotion pour la locomotion expressive de robots humanoïdes, construit autour d'un « code de style émotionnel » dont l'intensité est ajustable en continu. Combiné à des commandes physiques classiques (vitesse, direction), ce code alimente un réseau MLP léger qui génère en temps réel des trajectoires de démarche périodiques, expressives et cohérentes avec la commande demandée, ensuite exécutées par une politique unique d'apprentissage par renforcement. Pour l'entraînement, les auteurs ont constitué un jeu de données de démarches annotées par émotion auprès de performeurs professionnels, avec un pipeline automatisé extrayant des cycles de marche périodiques physiquement cohérents. EMoG intègre également un parseur basé sur un LLM convertissant des instructions en langage naturel libre en paramètres de style émotionnel et de mouvement, pour un contrôle interactif. Les expériences rapportées montrent une modulation continue du style de marche avec des signaux expressifs perceptibles, sans dégradation du suivi des commandes physiques. La plupart des systèmes de locomotion humanoïde se concentrent sur la stabilité et l'exécution de tâches, laissant l'expressivité émotionnelle de côté ou reléguée aux gestes du haut du corps plutôt qu'intégrée au contrôle de la marche lui même. En traitant l'émotion comme un paramètre continu du contrôleur de bas niveau plutôt que comme une couche cosmétique ajoutée après coup, EMoG ouvre la voie à des robots capables de signaler un état (prudent, enjoué, fatigué) par leur simple façon de marcher, sans sacrifier la précision de navigation attendue par les intégrateurs. C'est aussi un signal de plus que les interfaces en langage naturel pilotées par LLM s'imposent comme couche de contrôle au dessus des politiques d'apprentissage par renforcement de bas niveau, une tendance déjà visible dans les architectures vision langage action du secteur. Ce travail s'inscrit dans un champ encore jeune : la quasi totalité des efforts commerciaux sur les humanoïdes, stabilité de marche, manipulation, téléopération, ignore largement la dimension expressive, jugée secondaire face aux enjeux de fiabilité et de rentabilité industrielle. EMoG reste à ce stade un travail académique publié en preprint, sans plateforme robotique ni partenaire industriel nommés dans le résumé, et sans annonce de déploiement réel : les résultats proviennent d'expériences contrôlées, pas d'un déploiement en usine ou en environnement public. Il rejoint néanmoins un intérêt croissant pour l'expressivité robotique comme levier d'acceptabilité sociale, un axe que laboratoires et startups d'interaction humain robot devraient suivre de près pour des usages d'accueil, de service ou de robotique sociale, où la perception émotionnelle du geste compte autant que la performance motrice.

RecherchePaper

1 source

2arXiv cs.RO

RoboMirror : comprendre avant d'imiter pour la locomotion humanoïde à partir de vidéo

Des chercheurs présentent RoboMirror, un système qui permet a un robot humanoïde d'apprendre a marcher directement a partir de vidéos, sans capture de mouvement ni retargeting du squelette. Contrairement aux méthodes existantes, qui s'appuient soit sur des trajectoires de motion capture organisées, soit sur des commandes textuelles éparses, RoboMirror utilise des modèles vision-langage (VLM) pour extraire l'intention de mouvement visuelle brute de vidéos filmées a la première personne (égocentriques) ou a la troisième personne, et alimente directement avec cette intention une politique de contrôle basée sur la diffusion générant des mouvements physiquement plausibles sans reconstruction explicite de pose. Selon les expériences rapportées par les auteurs, le système permet la téléprésence via vidéo égocentrique, réduit de 80% la latence de contrôle en mode troisième personne, et obtient un taux de réussite des taches supérieur de 3,7% par rapport aux méthodes de référence. Le papier, publie sur arXiv sous l'identifiant 2512.23649, en est a sa quatrième version révisée. Ce travail s'attaque a un problème concret pour l'industrie de la robotique humanoïde: la difficulté de transférer un mouvement observe en vidéo vers un contrôleur robotique sans étape intermédiaire couteuse et sujette aux erreurs, comme la capture de mouvement ou le retargeting manuel. Si les résultats se confirment a plus grande échelle, cela ouvrirait la voie a l'apprentissage de locomotion a partir de vidéo "en conditions réelles" plutôt que de jeux de données de motion capture couteux a produire. Pour les équipes de R&D en téléopération, la réduction de latence en contrôle troisième personne cible un goulot d'étranglement connu, ou le délai entre observation vidéo et exécution du mouvement dégradé la réactivité et la stabilité. Ces chiffres restent toutefois issus d'évaluations internes des auteurs sur des baselines qu'ils ont eux-mêmes sélectionnées, sans validation indépendante ni déploiement documente sur robot physique en conditions réelles. Cette approche s'inscrit dans un mouvement de recherche plus large visant a combler l'écart entre compréhension visuelle et action chez les humanoïdes, un axe pousse notamment par les modèles vision-langage-action. Les méthodes précédentes se divisaient en deux camps limites: les approches texte-vers-mouvement, pénalisées par la pauvreté sémantique du texte et l'accumulation d'erreurs dans des pipelines a étapes multiples, et les approches vidéo-vers-mouvement, qui se contentaient d'une imitation mécanique de la pose sans véritable compréhension du contenu. RoboMirror revendique être la première méthode vidéo-vers-locomotion sans retargeting en conditionnant directement une politique de diffusion sur l'intention extraite par un VLM. Le résume ne précise ni affiliation institutionnelle des auteurs ni calendrier de déploiement sur matériel réel: il s'agit a ce stade d'une contribution de recherche académique, sans pilote industriel ni partenariat annonce.

RecherchePaper

1 source

3arXiv cs.RO

GaitSpan : de la marche à la course, l'évolution progressive de la locomotion humanoïde

GaitSpan est un nouveau framework d'apprentissage présente dans un preprint arXiv (2607.12114v1, publie en juillet 2026) qui permet a une politique de contrôle humanoïde pretrainee sur la marche de s'étendre vers des allures plus rapides, jogging et course, sans réapprentissage complet. Le système traite la marche comme une "compétence germe" (seed skill), c'est a dire une structure motrice réutilisable pour l'équilibre, le support, la coordination du corps et les transitions de contact, qui est ensuite régénérée a de nouveaux rythmes, étendue en foulées plus longues et plus hautes, puis corrigée par une adaptation résiduelle. La méthode combine trois mécanismes: une génération de rythme qui module la politique de marche figée via plusieurs horloges internes et apprend des combinaisons conditionnées par des commandes de vitesse; un façonnage de foulée qui récompense des schémas de locomotion dynamique adaptes aux vitesses élevées, inspire de la dynamique du pendule inverse a ressort (spring-loaded inverted pendulum); et une adaptation résiduelle qui capture les détails de mouvement non couverts par les deux premiers mécanismes. Selon les auteurs, GaitSpan est la première politique humanoïde unique, conditionnée par commande, a couvrir un spectre continu allant de la marche au jogging jusqu'a des régimes proches de la course, tout en se transférant a différentes morphologies de robots et en se déployant en zero-shot sur des terrains simules inédits comme sur des terrains réels. Pour l'industrie de la robotique humanoïde, cela répond a une limite récurrente des approches actuelles: les stratégies existantes de diversification des allures, qu'elles reposent sur des calendriers de démarche prédéfinis, l'imitation de clips de mouvement humain, l'entrainement d'experts spécialisés ou la distillation de plusieurs compétences en une seule politique, restent rigides face a des commandes de vitesse continues, des terrains varies et des changements de morphologie. Une politique capable de généraliser la course a partir d'une base de marche déjà maîtrisée réduirait le cout d'ingénierie et accélèrerait le déploiement sur des plateformes variées. Comparee aux approches de référence utilisant plusieurs experts ou l'imitation de démonstrations humaines, GaitSpan apprend plus vite et obtient de meilleures performances de démarche, selon les tests rapportes par les auteurs. Le papier s'inscrit dans la lignée des travaux récents sur les politiques VLA et d'apprentissage par renforcement pour la locomotion humanoïde, ou la question du transfert sim-to-real et de la généralisation entre vitesses et terrains reste un enjeu central de robustesse avant déploiement industriel a grande échelle.

RecherchePaper

1 source

4arXiv cs.RO

RoboDreamer : la locomotion humanoïde anticipative par modèles d'état prédictifs

Des chercheurs ont mis en ligne une version révisée d'un article arXiv (identifiant 2609.07096v2) intitulé "RoboDreamer: Anticipatory Humanoid Locomotion with Predictive State-Space Models", qui décrit une méthode de contrôle de la marche bipède robuste face à des capteurs imparfaits. Le système s'appuie sur un entraînement en deux temps: un modèle "enseignant" apprend d'abord sur des observations propres et complètes, puis un modèle "élève" est distillé à partir de ce premier en ne recevant que des observations récentes partiellement masquées de façon continue et aléatoire, ce qui force la politique de contrôle à reconstituer l'état manquant à partir de l'historique de mouvement. À l'inférence, cette même interface de masquage sert aussi à affiner les actions en boucle fermée de manière implicite et, en option, à regrouper plusieurs pas d'action consécutifs (action chunking). L'architecture repose sur Mamba, un modèle à espace d'états, comme colonne vertébrale temporelle. Des ablations comparatives menées dans les simulateurs IsaacLab et MuJoCo, puis directement sur un robot humanoïde Unitree G1, montrent un suivi de mouvement robuste malgré le masquage d'observations, avec un déploiement réel réussi en latence temps réel. Pour l'industrie robotique, ce travail cible un verrou concret du déploiement des humanoïdes: la dégradation, le bruit ou les retards de capteurs en conditions réelles, qui font souvent échouer des politiques entraînées sur des observations propres en simulation. En montrant qu'un entraînement par masquage temporel et distillation comble une grande partie de l'écart de robustesse, et que Mamba n'apporte qu'un gain complémentaire de suivi tout en tenant le temps réel, l'étude nuance l'idée que seule l'architecture du réseau (transformer, VLA) explique la performance: la stratégie d'entraînement compte au moins autant. Ce travail s'inscrit dans la lignée des méthodes de distillation enseignant-élève déjà utilisées pour la locomotion des robots à pattes, en y ajoutant un mécanisme inspiré des "world models" prédictifs. Le choix du Unitree G1, plateforme largement adoptée par les laboratoires de recherche pour sa disponibilité et son coût, en fait un banc d'essai courant plutôt qu'un partenariat commercial annoncé. Le statut de "replace" sur arXiv indique une révision d'un article déjà soumis, sans calendrier de commercialisation ni d'industrialisation communiqué à ce stade.

RecherchePaper

1 source