RecherchearXiv cs.RO 27 octobre 2026

MOTIO : ingénierie de compétences à base d'agents pour la loco-manipulation humanoïde ancrée dans le réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

MOTIO est un système d'ingénierie de compétences par agent, présenté dans un preprint arXiv (2610.33446) qui transforme de simples vidéos d'actions humaines, des actifs 3D calibrés sur le réel, des références de mouvement et des compétences robotiques réutilisables en programmes exécutables de locomanipulation pour humanoïdes. Un agent raisonne en contexte sur la tâche et les contacts, construit des interactions par étapes adaptées au robot, puis les améliore grâce à l'exécution physique en simulation, à des retours multi-images et à une validation humaine, sans téléopération ni collecte de démonstrations spécifiques. Les actifs 3D métriques (produits, environnement) sont générés par l'agent, tandis que les interfaces existantes de contrôle du corps entier, de cinématique inverse et de main dextre exécutent les programmes. Sur 33 premières approbations horodatées, le temps médian d'un tour d'agent est de 97,0 minutes et la durée entre demande et approbation de 2,80 heures. Une compétence de mise à la poubelle de bouteille, longue et préparée en simulation par variation de l'agencement et des objets, a été exécutée en continu pendant 101,75 secondes sur un robot G1 dans un bureau scanné. Le raffinement physique réduit de 76,0 % le résidu de filetage lors d'un vissage. Les compétences générées supervisent aussi une distillation BC/DAgger vers une politique de référence unique, qui accomplit 18 tâches simulées avec le même checkpoint, sans intervention d'expert à l'inférence.

L'intérêt tient au déplacement du goulot d'étranglement. La plupart des approches actuelles de locomanipulation humanoïde reposent sur la téléopération ou la collecte de démonstrations robot, coûteuses et difficiles à étendre. MOTIO suggère qu'on peut remplacer une partie de ce travail par du raisonnement d'agent sur des vidéos humaines ordinaires, avec un humain qui valide plutôt qu'il ne démontre. Un délai moyen de quelques heures par compétence approuvée est un ordre de grandeur pertinent pour un intégrateur qui doit programmer de nombreuses tâches. Il faut cependant relativiser : la validation humaine reste dans la boucle, les 33 approbations ne disent rien du taux d'échec ni du nombre d'itérations, et une seule exécution longue de 101,75 secondes sur G1 ne démontre ni fiabilité ni généralisation. Les 18 tâches de la politique distillée sont uniquement simulées, ce qui laisse entière la question du transfert au réel.

Ce travail s'inscrit dans le courant qui tente de lever la dépendance aux données robot, entre politiques vision-langage-action (VLA) entraînées sur de grands volumes de téléopération, apprentissage à partir de vidéos humaines et pipelines de simulation vers réel. La plateforme G1 d'Unitree, bon marché et très répandue en recherche, sert de support de validation, ce qui facilite la reproduction mais ne dit rien de la tenue sur des humanoïdes industriels. Il s'agit d'un résultat académique, sans produit ni pilote annoncé. La suite logique serait de publier des taux de réussite sur répétitions, de mesurer l'effort de validation humaine et de confronter la méthode à des tâches réelles variées. Une page projet accompagne le preprint.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

FRAMES : récupération après échec et surveillance des compétences incarnées pour la loco-manipulation humanoïde

Des chercheurs présentent FRAMES (Failure Recovery And Monitoring of Embodied Skills), un framework de supervision pour le robot humanoïde Unitree G1, publie sur arXiv le 22 septembre 2026 sous la référence 2609.22538. Le système se greffe au-dessus du contrôleur corps entier CEER et articule trois agents: un Planner Agent qui décompose une instruction en langage naturel en sous-taches via des compétences paramétrées, un Monitor Agent base sur un modèle vision-langage qui évalué chaque compétence a partir d'observations multi-vues temporelles et de preuves de contact du robot, et un Recovery Agent qui reçoit un retour d'échec circonstancie pour corriger l'exécution. Un module mémoire réutilisé l'expérience de compétences passées, complète par un ancrage géométrique via cartes de profondeur et segmentation. Les auteurs ont teste isolement le module de surveillance dans le simulateur MuJoCo, sur 100 essais repartis en 50 exécutions ratées et 50 réussies, couvrant cinq taches de loco-manipulation. Le moniteur détecte 48 des 50 échecs et valide correctement 46 des 50 réussites, pour une précision globale de 94,0%. Ce résultat cible un angle mort connu des pipelines robotiques bases sur des planificateurs LLM: choisir la bonne compétence ne garantit pas son exécution physique, et une seule erreur d'approche, de prise, de transport ou de dépôt peut invalider un plan long-horizon entier. En isolant et en validant un module de détection d'échec avant de boucler la récupération complète, les auteurs apportent une preuve partielle mais concrète que la supervision par modèle vision-langage peut distinguer succès et échec avec une fiabilité mesurable, plutôt que d'empiler des compétences sans contrôle qualité. Pour les intégrateurs et décideurs qui évaluent des humanoïdes pour la loco-manipulation industrielle, ce travail rappelle que la robustesse opérationnelle reste distincte de la réussite d'une démonstration isolée, et que la détection d'échec en temps réel devient une brique nécessaire avant tout déploiement a l'échelle. Le papier reste explicite sur les limites de sa propre validation. FRAMES s'inscrit dans la lignée des architectures combinant planification par grands modèles de langage et bibliothèques de compétences réutilisables pour piloter des humanoïdes, approche désormais courante face a la multiplication des contrôleurs corps entier comme CEER sur la plateforme Unitree G1. L'apport du papier est de traiter la surveillance et la récupération d'échec comme un module a part entière plutôt que comme un correctif ad hoc, avec une architecture a mémoire capitalisant sur les exécutions passées. Les auteurs précisent que seule la brique de surveillance a été validée indépendamment, en simulation, et que l'évaluation de bout en bout de la boucle complète de récupération, avec Planner et Recovery Agent opérant ensemble sur le robot réel, reste en cours. Le passage de ces résultats simules a une validation sur le G1 physique constituera le prochain jalon déterminant pour juger de la maturité réelle de l'approche.

RecherchePaper

1 source

2arXiv cs.RO

InterEvolve : évolution à l'inférence des programmes de récompense pour la loco-manipulation humanoïde

Des chercheurs publient sur arXiv (2610.02196) InterEvolve, une méthode qui permet à un humanoïde de résoudre des tâches de locomanipulation pour lesquelles son contrôleur n'a jamais été entraîné, sans réentraînement. Le système repose sur un modèle fondation comportemental « forward-backward » (FB) sensible aux objets. Des résidus d'objet, ajoutés à un modèle de corps gelé, convertissent au moment du test une nouvelle récompense, portant sur le corps ou sur les objets, en comportement de locomanipulation. Les tâches sont décrites par des « programmes de récompense » : des récompenses par étapes, avec conditions d'achèvement et constantes ajustables. Un agent LLM révise la structure du programme en contexte, à partir des retours d'exécution et d'une bibliothèque de programmes vérifiés. Un optimiseur numérique règle les constantes. Chaque candidat est validé dans plusieurs scénarios de simulation parallèles. Les compétences évoluées ont été exécutées de façon autonome sur un Unitree G1 physique, à partir de la perception égocentrique embarquée. Le résumé ne donne ni taux de réussite, ni temps de cycle, ni nombre d'itérations. L'intérêt est de déplacer l'effort d'ingénierie. Au lieu de collecter des démonstrations ou de relancer un entraînement par renforcement pour chaque nouvelle tâche, on suppose qu'un contrôleur généraliste contient déjà l'essentiel de la compétence motrice, et on la rend accessible par une interface de planification expressive, exécutable et mesurable. Les auteurs affirment que les récompenses conçues à la main laissent inexploitée une grande part des capacités du modèle FB, et que les programmes évolués les libèrent, parfois par des stratégies inédites. Pour un intégrateur, la promesse est une adaptation à de nouvelles tâches sans nouveau cycle d'entraînement. Les limites sont nettes : la validation est surtout en simulation, la démonstration physique se limite à une plateforme, le G1, et aucune comparaison chiffrée n'est donnée dans le résumé. L'écart entre simulation et réalité reste donc à mesurer sur des tâches industrielles. Ce travail s'inscrit dans deux courants. Le premier est celui des modèles fondation comportementaux et des contrôleurs généralistes pour humanoïdes, qui visent un contrôle du corps entier réutilisable. Le second est la conception de récompenses par LLM, déjà explorée avec des approches comme Eureka. InterEvolve y ajoute une mémoire sous forme de bibliothèque de compétences vérifiées, ainsi qu'une vérification parallèle en simulation. Il se distingue des approches VLA (vision-langage-action) comme Pi-0, Helix ou GR00T, qui apprennent directement une politique à partir de données. Ici, le LLM fait de la planification et de l'optimisation, et le contrôle bas niveau reste figé. Le G1, très répandu en recherche, est la plateforme de démonstration habituelle. Les prochaines étapes à surveiller sont la publication du code, des évaluations sur d'autres robots et des tâches plus longues en conditions réelles.

RecherchePaper

1 source

3arXiv cs.RO

KinoGen : références de locomanipulation humanoïde personnalisables par génération vidéo ancrée dans la cinématique

KinoGen est un cadre de génération de références de loco-manipulation pour robots humanoïdes, décrit dans un article publié sur arXiv en octobre 2026. Le principe : un générateur vidéo préentraîné est conditionné par des rendus calibrés du robot cible et de l'objet dans une instance de tâche simulée. Les auteurs ajustent ensuite les modèles du robot et de l'objet sur la vidéo générée, en deux vues, pour en extraire la trajectoire de référence. Celle-ci se trouve donc dans l'espace des configurations du robot par construction, sans modèle de corps humain intermédiaire ni retargeting. Des a priori sur le corps, la main et l'objet initialisent la reconstruction, puis une optimisation directe contre les indices croisés des deux vues l'affine. Sur huit tâches de loco-manipulation, KinoGen produit moins de pénétration et de glissement des pieds que les méthodes vidéo de référence, et conserve plus de 90 % des contacts annotés. Des politiques de suivi entraînées sur ces références ont été déployées sur un Unitree G1 équipé de mains dextres. L'article ne donne ni durées de cycle ni volumes de déploiement. L'intérêt tient à deux verrous que l'approche cherche à lever. Les pipelines actuels qui exploitent la vidéo ou la capture de mouvement humaine passent par un proxy corporel puis un retargeting, ce qui introduit des erreurs de contact, des interpénétrations et du glissement que les politiques de suivi doivent ensuite compenser. Ici, la cohérence cinématique est garantie dès la génération. La seconde avancée est la personnalisation : une keyframe éditée n'étant qu'un autre état rendu, l'utilisateur peut imposer une pose cible à l'objet, régénérer la vidéo autour de cette image et obtenir une référence qui respecte exactement cette pose. Les auteurs affirment que cela réduit sensiblement la pénétration par rapport à une simple interpolation. Pour les intégrateurs, cela pourrait faire baisser le coût de création de données de démonstration spécifiques à une tâche. Il faut toutefois nuancer : l'évaluation est académique, menée sur huit tâches, et la validation matérielle sur G1 reste une démonstration de faisabilité, sans mesure de robustesse ni de taux de réussite en conditions réelles. Ce travail s'inscrit dans la course aux données pour humanoïdes, où la rareté des démonstrations robotiques pousse à exploiter des vidéos humaines et des modèles génératifs. Les approches concurrentes reposent généralement sur la capture de mouvement ou l'estimation de pose humaine suivie d'un retargeting, ce que KinoGen cherche précisément à contourner. Le G1 de Unitree, bon marché et largement répandu dans les laboratoires, sert de plateforme de choix pour ce type de recherche. Aucun calendrier de pilote industriel ni code de production n'est annoncé. Les prochaines étapes à surveiller sont le passage à des tâches plus longues et plus contraintes, la mesure de la fiabilité sur matériel, et la comparaison avec les modèles VLA entraînés directement sur de grands volumes de téléopération.

RecherchePaper

1 source

4arXiv cs.RO

LUCID : contrôle unifié des compétences latentes via une dynamique imaginée pour la loco-manipulation humanoïde à long terme

Le laboratoire de recherche à l'origine du papier arXiv:2608.07746v1 (soumis en catégorie cross-listing, daté d'août 2026) présente LUCID, acronyme de "Latent-Skill Unified Control via Imagined Dynamics", un framework d'apprentissage par renforcement hiérarchique et basé sur un modèle du monde, destiné aux tâches de loco-manipulation humanoïde longue durée. La méthode se déroule en deux temps : une politique bas niveau, conditionnée par des codes latents structurés, est d'abord entraînée par imitation adversariale puis gelée ; un modèle de dynamique de haut niveau ("macro-dynamics world model") est ensuite appris conjointement avec une politique de décision, ce modèle prédisant les transitions d'état à horizon étendu induites par chaque décision latente, ce qui permet d'optimiser la politique haut niveau via des simulations imaginées plutôt que par essais réels. Les auteurs évaluent LUCID sur des scénarios simulés de réarrangement multi-objets et rapportent une amélioration du taux de réussite complète des tâches ainsi que des taux de complétion partielle, comparés à des méthodes de référence combinant planificateurs scriptés, automates à états finis ou politiques model-free spécifiques à une tâche. Le problème visé est celui de la coordination longue durée chez les robots humanoïdes : enchaîner marche, atteinte et préhension sur des séquences complexes sans dépendre d'automates codés à la main, un goulot d'étranglement que les démonstrations courtes de nombreux acteurs du secteur (modèles VLA type Pi-0, GR00T N2 ou Helix) laissent souvent dans l'ombre. En remplaçant la planification scriptée par un modèle du monde appris, capable de projeter les conséquences de décisions latentes avant de les exécuter, LUCID propose une alternative architecturale aux pipelines VLA end-to-end dominants, ce qui intéresse directement les intégrateurs cherchant à fiabiliser des tâches multi-étapes en logistique ou en usine plutôt qu'à empiler des démonstrations isolées. Il s'agit toutefois d'une contribution strictement académique et simulée : aucun robot physique, aucune entreprise ni aucun site de déploiement n'est mentionné dans l'abstract, et les gains rapportés portent uniquement sur des environnements de simulation de réarrangement d'objets, sans chiffres de charge utile, de degrés de liberté ou de temps de cycle réels. LUCID s'inscrit dans la lignée des travaux sur les modèles du monde appliqués à la robotique (dans l'esprit de Dreamer ou TD-MPC), en offrant une voie hiérarchique et modulaire face à l'approche monolithique des modèles VLA. Aucun essai matériel, partenariat industriel ou calendrier de transfert vers un robot réel n'est annoncé à ce stade.

RecherchePaper

1 source