RecherchearXiv cs.RO 25 août 2026

DreamMimic : apprentissage de la loco-manipulation visuomotrice du corps entier via un modèle du monde

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié le 25 août 2026 sur arXiv (référence 2608.22278v1) présente DreamMimic, un framework de recherche pour le contrôle de robots humanoïdes en loco-manipulation à corps entier à partir d'entrées visuelles. La méthode distille une politique "enseignante" disposant d'informations privilégiées (état complet de la simulation) vers une politique "étudiante" qui ne dispose que d'entrées visuelles au moment du déploiement. Plutôt que d'utiliser le modèle du monde de type Dreamer (RSSM, Recurrent State-Space Model) pour de la planification comme c'est l'usage classique, les auteurs le détournent pour apprendre une dynamique latente prédictive servant à la fois d'espace de représentation et de signal de supervision multi-étapes conditionné par l'action. Le système ajoute des têtes de prédiction auxiliaires pour l'état privilégié, le contact, l'état des objets et la récompense, et introduit un mécanisme appelé Performance-Conditioned Guidance (PCG), qui ajuste dynamiquement l'équilibre entre guidage par l'enseignant et exploration autonome. Les expériences ont été menées sur les benchmarks de simulation OMOMO et BEHAVE, deux jeux de données de référence pour le suivi d'interactions humain-objet, sans déploiement sur robot physique ni précision de gabarit, de degrés de liberté ou de charge utile.

Pour le secteur de la robotique humanoïde, ce travail s'attaque à un problème central plutôt qu'à une démonstration produit : comment transférer des compétences de manipulation en contact riche, apprises avec des informations privilégiées en simulation, vers des contrôleurs qui ne s'appuient que sur la vision au moment de l'exécution, un enjeu directement lié au fossé entre performances en simulation et robustesse réelle. Les résultats indiqués montrent une amélioration du suivi par rapport à des bases vision-only existantes, suggérant que les modèles du monde peuvent stabiliser la distillation de politiques visuelles dans des tâches de manipulation dynamique. Il s'agit toutefois d'un résultat de simulation, pas d'une validation sur matériel réel.

Le travail s'inscrit dans la lignée des modèles du monde façon Dreamer, initialement conçus pour la planification en apprentissage par renforcement, et dans la vague plus large des architectures vision-langage-action (VLA) qui cherchent à faire tenir des comportements complexes à l'échelle, à l'image de Pi-0, GR00T N2 ou Helix. Le code de DreamMimic est publié sur GitHub, et les auteurs mentionnent des tests qualitatifs supplémentaires sur des changements de morphologie et de simulateur, sans annoncer pour l'instant de passage à des essais sur robot physique.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

PAKE : apprentissage de la loco-manipulation du corps entier via des embeddings cinématiques partiels

Une équipe de recherche publie sur arXiv (arXiv:2607.11041, juillet 2026) un nouveau framework de contrôle corps entier baptisé PAKE, pour "Partial Kinematic Embeddings", destiné à la loco-manipulation des robots à haute redondance cinématique. Le système repose sur un modèle de flux de normalisation cinématique (Kinematic Normalizing Flow, KNF), entraîné sur un grand jeu de données de mouvements, qui génère des trajectoires de référence partielles à la fois variées et physiquement réalisables. Un contrôleur de haut niveau navigue dans l'espace latent du KNF pour exploiter la redondance du système, tandis qu'un contrôleur bas niveau garantit une exécution motrice précise. Les auteurs valident l'approche sur un robot quadrupède équipé d'un bras à six degrés de liberté (DoF). En déploiement matériel réel, sur 24 épisodes répartis en 8 tâches de manipulation mobile différentes, le système atteint une erreur de suivi de pose de l'organe terminal de 4,5 cm et 0,14 rad, avec des erreurs de vitesse linéaire et angulaire de locomotion de 0,1 m/s et 0,01 rad/s respectivement, des chiffres présentés comme supérieurs aux méthodes concurrentes testées en parallèle. Le résultat s'inscrit dans un problème central de la robotique humanoïde et quadrupède actuelle : contrôler des systèmes à très haut nombre de degrés de liberté sans sacrifier la précision, un point sur lequel de nombreuses démonstrations commerciales restent floues ou s'appuient sur des vidéos sélectionnées. Ici, les métriques proviennent d'essais matériels documentés et non de simulation seule, ce qui renforce leur crédibilité, même si le volume d'épisodes (24) reste modeste pour parler de robustesse à grande échelle. Pour les intégrateurs travaillant sur des tâches de manipulation mobile (entrepôts, inspection, logistique), cela illustre une voie alternative aux approches VLA de bout en bout comme Pi-0 ou GR00T N2, en découplant génération de mouvement de référence et exécution bas niveau. Le travail se positionne dans la lignée des recherches en apprentissage par imitation et en génération de mouvement pour la robotique redondante, un domaine où rivalisent notamment les laboratoires travaillant sur les modèles de flux et les politiques de contrôle hiérarchique. Les auteurs évoquent un potentiel d'extension à d'autres tâches robotiques en aval, sans toutefois annoncer de calendrier de déploiement industriel ni de partenaire commercial à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines

Une équipe de chercheurs a publié sur arXiv (arXiv:2603.03243v2) HoMMI, pour Whole-Body Mobile Manipulation Interface, un framework d'apprentissage par imitation permettant à un robot mobile de maîtriser la manipulation bimanuelle et la navigation à partir de démonstrations humaines réalisées sans robot. Le principe : un opérateur humain porte une interface portative héritée du projet UMI (Universal Manipulation Interface), enrichie d'une caméra égocentrique capturant le contexte global de la scène (position dans l'espace, état de l'environnement). Ces données brutes alimentent une politique apprise, transférée ensuite sur un robot à corps entier (bras, torse, base mobile) sans que celui-ci n'ait été présent lors de la collecte. La difficulté centrale que HoMMI cherche à résoudre est l'"embodiment gap" : la différence morphologique et sensorielle entre humain et robot rend le transfert de politique difficile, particulièrement en perception égocentrique où les champs de vue et hauteurs d'oeil divergent fortement. Les auteurs proposent trois briques techniques pour combler cet écart : une représentation visuelle agnostique à l'embodiment, une représentation d'action "head relaxed" qui neutralise les variations de mouvement de tête, et un contrôleur corps entier réalisant les trajectoires main-oeil sous contraintes physiques du robot. Ces choix permettent des tâches longue-séquence mobilisant navigation, perception active et coordination bimanuelle, le type de scénario que les architectures Vision-Language-Action (VLA) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA visent également à résoudre. Les résultats, présentés sous forme de vidéos sur hommi-robot.github.io, restent à valider en conditions non contrôlées et sur des benchmarks standardisés. HoMMI s'inscrit dans la continuité directe du projet UMI (Columbia/Stanford, 2024), qui avait popularisé la collecte portable de démonstrations pour la manipulation fixe sur table. L'extension au robot mobile ajoute la dimension navigation, saut de complexité majeur pour le sim-to-real et la généralisation hors laboratoire. Les approches concurrentes incluent Mobile ALOHA (Stanford), les pipelines de distillation de données de Physical Intelligence, et les travaux de manipulation bimanuelle ALOHA/ACT de Berkeley. HoMMI reste à ce stade un preprint arXiv sans déploiement industriel annoncé ni métriques de taux de succès publiées, une limite habituelle des publications en robotique d'apprentissage avant revue par les pairs.

RecherchePaper

1 source

3arXiv cs.RO

HeLoM : apprentissage hiérarchique pour la locomotion et la manipulation corps entier par un robot hexapode

Des chercheurs ont publié sur arXiv (arXiv:2509.23651v3) HeLoM, un framework hiérarchique d'apprentissage pour la manipulation whole-body par un robot hexapode. L'objectif central est la manipulation non-préhensile, c'est-à-dire pousser des objets sans les saisir, une stratégie qui contourne la complexité de la conception de prises tout en exploitant le contact direct pour contrôler la pose d'un objet. Le système repose sur une architecture à deux niveaux : un planificateur haut niveau qui définit les comportements de poussée, et un contrôleur bas niveau qui maintient la stabilité locomotrice et génère des commandes articulaires dynamiquement cohérentes. En pratique, les pattes avant assurent l'interaction avec l'objet tandis que les pattes arrière fournissent la propulsion. Les expériences en monde réel montrent que le robot peut pousser des objets de tailles et propriétés physiques variées, et a priori inconnues, vers des poses cibles définies. L'intérêt de HeLoM pour le secteur robotique tient à deux points. Premièrement, il démontre qu'un système hexapode peut réaliser une manipulation efficace sans bras ni préhension, en mobilisant la totalité de la cinématique du corps, une approche qui s'applique par extension à d'autres plateformes multi-pattes. Deuxièmement, la robustesse face aux propriétés inconnues de l'objet (masse, forme irrégulière) illustre un progrès sur le gap sim-to-real : le framework, validé en simulation, transfère dans le monde physique sans connaissance a priori des paramètres de l'objet. Pour un intégrateur industriel, cela signifie potentiellement une manipulation de charges lourdes ou encombrantes sans recourir à un bras robotique dédié. L'approche s'inscrit dans un courant plus large de recherche sur la loco-manipulation whole-body, où des laboratoires comme ETH Zurich (ANYmal), Carnegie Mellon (loco-manipulation quadrupède) et Boston Dynamics travaillent à unifier locomotion et manipulation dans un cadre unique. HeLoM se distingue en ciblant spécifiquement l'hexapode, morphologie plus stable mais moins explorée que le quadrupède pour la manipulation. La publication est un preprint arXiv (version 3), sans mention de déploiement industriel ni de partenariat. Les prochaines étapes naturelles seraient l'extension à des comportements de tirage ou de levage, et des tests sur des charges plus importantes avec mesure explicite du payload maximal, absent des résultats actuellement publiés.

RecherchePaper

1 source

$$\omega$-0 : un modèle prédictif latent du monde pour la manipulation locomotrice humanoïde concurrente$

4arXiv cs.RO

$\omega$-0 : un modèle prédictif latent du monde pour la manipulation locomotrice humanoïde concurrente

Des chercheurs présentent ω-0, un modèle prédictif world-action conçu pour la loco-manipulation concurrente chez les robots humanoïdes, c'est-à-dire la capacité à se déplacer, ajuster sa posture, garder l'équilibre et manipuler un objet simultanément, comme un geste unique plutôt que deux tâches séparées. À partir d'une instruction en langage naturel, d'une observation visuelle et de l'état proprioceptif du robot, le modèle prédit directement des latents d'action pour tout le corps, compatibles avec le contrôleur. Plutôt que de reconstruire des vidéos futures comme d'autres approches, ω-0 apprend des embeddings compacts d'observations futures, objectif prédictif léger couplé à une génération d'action par diffusion sur le corps entier. Le système accepte des entrées RGB égocentriques, RGB exocentriques et profondeur exocentrique, et s'appuie sur un rejeu de simulation piloté par contrôleur pour convertir des priors de mouvement humains ou publics en latents exécutables par le robot. Les auteurs ont aussi constitué ω-HOME, un jeu de données domestique réel de plus de 40 heures, avec vues multiples synchronisées, mouvements SMPL du corps entier, états robot et latents d'action. Sur 11 tâches ménagères réelles, un seul modèle ω-0 produit des comportements fluides de manipulation en mouvement et surpasse des références en apprentissage par imitation, en VLA, en politiques humanoïdes dédiées et en autres modèles world-action. Ce travail cible un angle mort du secteur: la plupart des politiques humanoïdes actuelles traitent marche et manipulation comme deux problèmes distincts, ce qui produit des comportements saccadés peu adaptés aux tâches domestiques, où un robot doit par exemple continuer d'avancer tout en attrapant un objet sur une étagère. Les modèles world-action existants restent soit centrés sur le bras, en ignorant la locomotion, soit centrés sur la vidéo, coûteux à entraîner car ils prédisent des images futures complètes. En apprenant des représentations latentes compactes plutôt que des vidéos, ω-0 cherche un compromis: garder la capacité d'anticipation d'un world model sans son coût de calcul. Si le résultat se confirme au-delà des 11 tâches testées, il renforcerait l'hypothèse qu'une architecture VLA à latents diffusés peut unifier locomotion et manipulation à l'échelle, un problème encore largement non résolu pour les humanoïdes commerciaux. Ce travail s'inscrit dans la vague récente des modèles world-action pour la robotique, où l'enjeu est de donner aux robots une forme d'anticipation visuelle avant d'agir, en exploitant des données humaines pour compenser la rareté des données robot réelles. Le résumé, publié comme preprint arXiv (2608.06375v1), ne précise ni affiliation industrielle ni acteur commercial: il s'agit à ce stade d'une contribution académique, pas d'un produit déployé. Le jeu de données ω-HOME et le code, s'ils sont rendus publics, devront être repris par d'autres équipes pour vérifier la généralisation au-delà des 11 tâches ménagères testées. La suite logique pour ce type de travaux est le passage à l'échelle, sur davantage de tâches, de plateformes et d'environnements, ainsi que la confrontation directe avec les VLA propriétaires déployés par les grands acteurs humanoïdes du secteur.

RechercheActu

1 source