RecherchearXiv cs.RO 2 novembre 2026

Movens-Zero : passage à l'échelle des modèles fondation de mouvement humanoïde grâce à des vidéos humaines à grande échelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv Movens-5M, un jeu de données de mouvement humanoïde construit à partir de vidéos brutes d'Internet, et Movens-Zero, un modèle de fondation de mouvement entraîné dessus. Le pipeline enchaîne génération de clips, filtrage qualité, annotation sémantique, reconstruction du mouvement, puis raffinement physique avec retargeting vers un humanoïde et vérification d'exécution. Le corpus contient 15 millions de séquences de mouvement humain, dont 5 millions de séquences humanoïdes physiquement exécutables, soit plus de 10 000 heures, alignées avec du texte, de la vidéo RGB, de la parole et de la musique. Movens-Zero repose sur une architecture compréhension-génération-exécution. Un unique « action expert » est entraîné par flow matching sur sept tâches de génération, ce qui permet de produire du mouvement directement à partir de texte, de parole, de musique ou de vidéo. Un mécanisme de Multimodal Real-Time Chunking raccorde des segments de mouvement qui se chevauchent, tout en intégrant en continu les instructions et l'état du robot. Les auteurs ajoutent Movens-Intent, un benchmark à quatre pistes de 8 192 paires condition-mouvement validées par des experts.

Pour les intégrateurs et les équipes de R&D, le point central est l'approche des données. Le goulot d'étranglement de la robotique humanoïde est la rareté de données variées et exécutables par un robot, et la téléopération reste lente et coûteuse. Ici, la vérification d'exécution sert de filtre : sur 15 millions de séquences humaines, un tiers seulement survit comme mouvement humanoïde réalisable. Les résultats annoncés montrent des gains réguliers sur les quatre modalités quand les données vérifiées passent de 1 % à 100 % et que l'action expert passe de 64 à 911 millions de paramètres. Cela suggère une loi d'échelle exploitable pour le mouvement, à condition que la qualité des données et la supervision croisée entre modalités soient maintenues. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs. L'extrait disponible ne donne ni taux de succès chiffrés, ni plateforme matérielle, ni résultats de transfert sim-to-real sur robot réel, et le benchmark est proposé par les auteurs eux-mêmes. Rien n'indique un produit ou un déploiement.

Ce travail s'inscrit dans la course aux modèles de fondation pour humanoïdes, où les approches VLA (vision-langage-action) comme Pi-0, GR00T N2 ou Helix visent surtout la manipulation, tandis que Movens-Zero cible le mouvement du corps entier, avec la danse et la réponse à la parole ou à la musique comme cas d'usage naturels. Il prolonge les travaux qui extraient du mouvement de vidéos humaines pour contourner la collecte de données par téléopération ou capture de mouvement. La suite dépendra de la publication éventuelle des données, du code et des poids, et de validations sur des robots physiques. Ces éléments permettraient de mesurer l'écart entre vidéos sélectionnées et fiabilité en conditions réelles.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

HuGe : passage à l'échelle de modèles vision-langage-action (VLA) généralistes pour humanoïdes grâce à l'expérience égocentrique

Des chercheurs présentent HuGe, une famille de VLA (modèles vision-langage-action) généralistes pour humanoïdes, pré-entraînés sur plus de 2 000 heures de données égocentriques, humaines et robotiques. HuGe ne propose pas de nouvelle architecture. Il réutilise trois architectures VLA existantes, qui prédisent des « tokens de mouvement » latents transmis à un contrôleur du corps entier pré-entraîné, ainsi que des signaux de commande des mains. L'entraînement se fait en trois étapes: pré-entraînement sur données égocentriques, adaptation à l'humanoïde, puis fine-tuning sur la tâche cible. Deux techniques comblent l'écart entre humain et robot. Pendant le pré-entraînement, des états pseudo-proprioceptifs sont reconstruits par rejeu en simulation, car les vidéos humaines n'ont pas de proprioception robot. Pendant le fine-tuning, l'apparence des bras est modifiée par re-rendu pour ressembler à celle du robot. Les auteurs revendiquent l'état de l'art sur le benchmark de simulation HumanoidArena. En réel, sur un Unitree G1, ajouter des démonstrations égocentriques adaptées visuellement aux démonstrations robot augmente nettement le taux de réussite d'une tâche de saisie et dépose (pick-and-drop). L'enjeu est le coût de la donnée. La téléopération d'humanoïdes en corps entier est lente et chère, alors que les vidéos égocentriques humaines se collectent vite et à grande échelle. Si le transfert tient, cela déplace le goulot d'étranglement de la téléopération vers la curation de vidéos. Le découplage entre VLA et contrôleur corps entier, qui assure l'équilibre et la locomotion, réduit aussi la difficulté pour le modèle. Les résultats appellent toutefois à la prudence. L'évaluation réelle porte sur une seule tâche et un seul robot, et le résumé ne donne pas de taux de réussite chiffrés. Le record sur HumanoidArena reste un résultat de simulation, et rien ne prouve encore la généralisation à des tâches de manipulation plus longues ou plus fines. HuGe s'inscrit dans la course aux modèles fondation pour humanoïdes, aux côtés de GR00T de NVIDIA, de Pi-0 de Physical Intelligence ou de Helix de Figure, qui misent surtout sur de la donnée robot et de la simulation. Plusieurs équipes explorent aussi la vidéo humaine comme source d'expérience. Le choix du Unitree G1, plateforme de recherche abordable et très répandue, facilite la reproduction par d'autres laboratoires. Les prochaines étapes à surveiller sont la publication des poids et du code, des évaluations multi-tâches sur plusieurs robots, et la mesure du gain réel en heures de téléopération économisées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Modèle fondation à l'échelle pour robots humanoïdes

Une nouvelle publication arXiv (2607.15163v1, soumission de type "new") propose un modèle de fondation comportemental (Behavior Foundation Model, BFM) pour le contrôle de robots humanoïdes, baptisé Humanoid Transformer. Les auteurs affirment avoir identifié la recette manquante pour faire monter en puissance ces modèles, en coordonnant trois leviers : un nouveau paradigme d'apprentissage qui reformule le contrôle humanoïde comme la reproduction de comportements corporels intégrés dans le référentiel global plutôt que local ; un équilibrage stratégique entre le volume de déploiements en ligne (on-policy rollouts) et la diversité des mouvements de référence utilisés à l'entraînement ; et l'architecture Humanoid Transformer elle-même, conçue pour faire émerger naturellement des représentations structurées du comportement. Testée à la fois en simulation et en conditions réelles, l'approche réduit l'erreur moyenne par point clé (Mean Per-Keypoint Position Error, MPKPE) de plus de 10% en mode local et de 82% en mode global par rapport aux contrôleurs humanoïdes existants. Ce travail répond à un flou méthodologique réel du secteur : malgré l'engouement croissant pour les BFM comme brique de base des agents incarnés généralistes, personne n'avait jusqu'ici établi de façon rigoureuse comment coordonner données, architecture et paradigme d'entraînement pour obtenir un gain de performance qui tienne la route au passage à l'échelle. Le saut de 82% en mode global est le chiffre qui compte vraiment pour les intégrateurs : c'est la capacité à maintenir une cohérence corporelle dans le référentiel monde, condition nécessaire pour des tâches où le robot doit coordonner déplacement et manipulation sans dérive, un point faible classique des contrôleurs entraînés uniquement en référentiel local. Si les résultats se confirment à plus grande échelle, ils renforcent l'hypothèse que le contrôle humanoïde généraliste peut suivre une trajectoire de scaling comparable à celle des grands modèles de langage, plutôt que de rester cantonné à des politiques spécialisées par tâche. L'article s'inscrit dans la vague de recherche académique qui a suivi l'essor des politiques vision-langage-action (VLA) et des BFM ces deux dernières années, sans rattacher la méthode à un robot ou un laboratoire commercial précis : il s'agit d'une contribution méthodologique comparée à des "contrôleurs humanoïdes existants" pris comme référence, sans nommer de plateforme physique spécifique. La suite logique serait une validation sur du matériel humanoïde tiers et à plus grande échelle de données, pour confirmer que le gain en mode global se maintient hors du cadre expérimental des auteurs.

RechercheActu

1 source

3arXiv cs.RO

Pipeline rapide de retargeting de mouvement pour l'apprentissage à grande échelle des robots humanoïdes

Des chercheurs du laboratoire DAROS présentent FRDV (Fast Retargeting with Dynamics Validation), un cadre logiciel qui convertit de grandes bases de données de capture de mouvement humain en trajectoires exploitables par des robots humanoïdes. Il se compose de deux étages. Le premier est un retargeting cinématique sous contraintes, fondé sur un solveur de programmation quadratique séquentielle (SQP) développé sur mesure, une itération en temps réel (Real-Time Iteration) et un traitement parallèle par segments (chunks). Il atteint jusqu'à 9 156 images par seconde, soit environ 136 fois plus vite que GMR et ProtoMotions, les deux références comparées. Des contraintes propres à chaque robot sont intégrées à l'optimisation pour limiter les artefacts courants, comme la pénétration du sol ou l'auto-collision. Le second étage, optionnel, sert aux mouvements qui exigent une vérification supplémentaire. Un contrôleur iLQR à contacts implicites teste la référence sous dynamique complète du corps rigide, repère les mouvements dynamiquement infaisables et corrige les défauts de contact tels que le pied flottant ou le patinage. L'évaluation a consisté à entraîner des politiques d'apprentissage par renforcement de suivi de mouvement avec plusieurs pipelines de pointe, puis à comparer fidélité de suivi et taux de succès. Un transfert sim-to-real a été démontré sur un Unitree G1. Les vidéos et le code sont publiés. L'enjeu est très pratique : le retargeting est devenu un goulot d'étranglement dans l'apprentissage humanoïde. Les approches d'optimisation de trajectoire cinédynamique sont coûteuses en calcul et demandent souvent des retouches manuelles par mouvement, ce qui limite l'exploitation de jeux de données comptant des milliers d'heures. Un facteur 136 change l'ordre de grandeur : retargeter un corpus entier devient une opération de routine, ce qui facilite l'adaptation à plusieurs morphologies de robots. La validation dynamique, utilisée seulement quand c'est nécessaire, filtre les mouvements irréalisables avant de gaspiller du temps d'entraînement RL. Deux réserves s'imposent. Le chiffre de 9 156 images par seconde est un maximum, dont le matériel et la configuration de référence ne sont pas précisés ici. La démonstration réelle se limite à un seul robot, le G1, plateforme académique très répandue mais peu représentative des humanoïdes industriels plus lourds. Ces travaux s'inscrivent dans la vague des pipelines de suivi de mouvement par RL, où les politiques imitent des références humaines avant d'être transférées au robot. Les outils open source comme GMR et ProtoMotions ont rendu ces méthodes accessibles, mais leur coût de calcul et leur dépendance à des réglages manuels freinent le passage à l'échelle. FRDV vise cette limite en se positionnant comme brique d'infrastructure, et non comme modèle de fondation. Les prochaines étapes naturelles seraient des tests sur d'autres plateformes humanoïdes, des mouvements plus dynamiques et une intégration dans les chaînes d'entraînement des modèles généralistes. Le code étant public, l'adoption par la communauté dira si le gain de vitesse se confirme hors du banc d'essai des auteurs.

RecherchePaper

1 source

4arXiv cs.RO

N₀-VTLA : passage à l'échelle du modèle vision-tactile-langage-action grâce à des tokens tactiles latents

Une équipe de recherche présente N0-VTLA, un modèle fondation vision-tactile-langage-action (VTLA) conçu pour la manipulation fine en contact avec des objets, combinant perception tactile et contrôle par retour tactile. Décrit dans un article publié sur arXiv (2607.23782), le système repose sur trois étapes d'entraînement : un pré-entraînement visuo-tactile sur NeoData, un vaste jeu de données robotiques propriétaire combinant vision et toucher, une intégration progressive d'un canal tactile dédié, puis une amélioration de politique hors ligne baptisée ALTER. Les auteurs revendiquent le premier modèle VTLA pré-entraîné sur des données tactiles à cette échelle. Sur les neuf tâches du benchmark réel NeoReal, N0-VTLA l'emporte face à toutes les méthodes concurrentes testées. Sur une suite de vingt tâches en simulation, il atteint 63,8% de réussite moyenne, contre 44,0% pour la meilleure référence. Les politiques entraînées avec ALTER atteignent 75 à 95% de réussite sur trois tâches réelles à horizon long. Ces résultats ciblent un point de friction connu de la robotique manipulatrice : les modèles vision-langage-action actuels gèrent mal les tâches nécessitant un contact fin et continu, comme la manipulation d'objets déformables, faute d'un signal tactile correctement intégré. En démontrant qu'un canal tactile prédictif, distillé à partir de priors appris à grande échelle, améliore significativement la réussite sur des tâches de préhension délicate, l'étude apporte un argument concret pour l'intégration systématique du toucher dans les futures architectures VLA, un sujet jusqu'ici moins mature que la seule perception visuelle. La méthode ALTER, qui transforme des comparaisons de progression et d'événements de trajectoire en étiquettes d'avantage binaires, offre aussi une piste pour exploiter des corpus de déploiement déjà collectés sans reconstruire un pipeline de reward complexe. Le travail s'inscrit dans la vague récente de modèles VLA génériques (Pi-0, GR00T N2, Helix) qui cherchent à généraliser la manipulation robotique au-delà de tâches scriptées, mais reste à ce stade une contribution académique évaluée sur des benchmarks internes aux auteurs plutôt qu'un produit ou un déploiement industriel documenté. Aucune date de disponibilité, aucun partenariat commercial ni acteur français ou européen n'est mentionné dans l'article ; les prochaines étapes annoncées concernent l'extension du jeu de données NeoData et l'application d'ALTER à d'autres familles de tâches de manipulation contact-riches.

RechercheActu

1 source