RecherchearXiv cs.RO 17 septembre 2026

Apprentissage de la loco-manipulation globale du corps entier avec un manipulateur mobile bipède

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (référence 2609.18930v1, septembre 2026) un contrôleur unifié de corps entier pour un robot bipède manipulateur mobile, entraîné par apprentissage par renforcement. Le système prend en entrée une seule cible d'effecteur terminal en 6 degrés de liberté (position et orientation) et produit directement les actions coordonnées de la base bipède et du bras, sans qu'aucune commande explicite de vitesse de base ou de placement de pas ne soit fournie séparément. L'entraînement repose sur une stratégie de "reward-gating" qui arbitre dynamiquement entre suivi de trajectoire de l'effecteur, locomotion et maintien de l'équilibre. Un module d'estimation de contexte temporel, combinant un encodeur Transformer à fenêtre glissante, une mémoire récurrente GRU et une prédiction auxiliaire de dynamique, extrait des informations pertinentes de l'historique d'observation pour affiner le contrôle. Sur robot réel, les auteurs montrent que ce même contrôleur exécute des tâches d'atteinte, d'adaptation posturale et de pas sous trois types de commandes différentes : téléopération en réalité virtuelle, une politique de diffusion apprise, et des trajectoires scriptées.

L'intérêt pour l'industrie robotique tient à la simplification de l'architecture de contrôle: au lieu de piloter séparément la locomotion et la manipulation, ou de dépendre de commandes de pas explicites, une seule interface d'effecteur terminal suffit à coordonner l'ensemble du corps. Cela facilite en théorie le branchement de politiques de haut niveau (VLA, diffusion, téléopération) sur un même contrôleur bas niveau, sans réentraînement spécifique à chaque source de commande. C'est un signal pertinent pour les équipes qui travaillent sur l'intégration de piles de manipulation sur plateformes humanoïdes ou bipèdes mobiles, dans la lignée des efforts sectoriels pour découpler la couche de décision de la couche de contrôle moteur.

Le travail s'inscrit dans la recherche académique sur la loco-manipulation bipède, un problème identifié de longue date car il étend la portée effective des bras au-delà de leur espace de travail nominal en mobilisant les jambes. L'abstract ne précise ni l'identité des auteurs, ni la plateforme robotique utilisée, ni un calendrier de déploiement commercial: il s'agit d'un preprint de recherche avec validation expérimentale en laboratoire, pas d'un produit ou d'un pilote industriel annoncé.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

DreamMimic : apprentissage de la loco-manipulation visuomotrice du corps entier via un modèle du monde

Un article publié le 25 août 2026 sur arXiv (référence 2608.22278v1) présente DreamMimic, un framework de recherche pour le contrôle de robots humanoïdes en loco-manipulation à corps entier à partir d'entrées visuelles. La méthode distille une politique "enseignante" disposant d'informations privilégiées (état complet de la simulation) vers une politique "étudiante" qui ne dispose que d'entrées visuelles au moment du déploiement. Plutôt que d'utiliser le modèle du monde de type Dreamer (RSSM, Recurrent State-Space Model) pour de la planification comme c'est l'usage classique, les auteurs le détournent pour apprendre une dynamique latente prédictive servant à la fois d'espace de représentation et de signal de supervision multi-étapes conditionné par l'action. Le système ajoute des têtes de prédiction auxiliaires pour l'état privilégié, le contact, l'état des objets et la récompense, et introduit un mécanisme appelé Performance-Conditioned Guidance (PCG), qui ajuste dynamiquement l'équilibre entre guidage par l'enseignant et exploration autonome. Les expériences ont été menées sur les benchmarks de simulation OMOMO et BEHAVE, deux jeux de données de référence pour le suivi d'interactions humain-objet, sans déploiement sur robot physique ni précision de gabarit, de degrés de liberté ou de charge utile. Pour le secteur de la robotique humanoïde, ce travail s'attaque à un problème central plutôt qu'à une démonstration produit : comment transférer des compétences de manipulation en contact riche, apprises avec des informations privilégiées en simulation, vers des contrôleurs qui ne s'appuient que sur la vision au moment de l'exécution, un enjeu directement lié au fossé entre performances en simulation et robustesse réelle. Les résultats indiqués montrent une amélioration du suivi par rapport à des bases vision-only existantes, suggérant que les modèles du monde peuvent stabiliser la distillation de politiques visuelles dans des tâches de manipulation dynamique. Il s'agit toutefois d'un résultat de simulation, pas d'une validation sur matériel réel. Le travail s'inscrit dans la lignée des modèles du monde façon Dreamer, initialement conçus pour la planification en apprentissage par renforcement, et dans la vague plus large des architectures vision-langage-action (VLA) qui cherchent à faire tenir des comportements complexes à l'échelle, à l'image de Pi-0, GR00T N2 ou Helix. Le code de DreamMimic est publié sur GitHub, et les auteurs mentionnent des tests qualitatifs supplémentaires sur des changements de morphologie et de simulateur, sans annoncer pour l'instant de passage à des essais sur robot physique.

RecherchePaper

1 source

2arXiv cs.RO

PAKE : apprentissage de la loco-manipulation du corps entier via des embeddings cinématiques partiels

Une équipe de recherche publie sur arXiv (arXiv:2607.11041, juillet 2026) un nouveau framework de contrôle corps entier baptisé PAKE, pour "Partial Kinematic Embeddings", destiné à la loco-manipulation des robots à haute redondance cinématique. Le système repose sur un modèle de flux de normalisation cinématique (Kinematic Normalizing Flow, KNF), entraîné sur un grand jeu de données de mouvements, qui génère des trajectoires de référence partielles à la fois variées et physiquement réalisables. Un contrôleur de haut niveau navigue dans l'espace latent du KNF pour exploiter la redondance du système, tandis qu'un contrôleur bas niveau garantit une exécution motrice précise. Les auteurs valident l'approche sur un robot quadrupède équipé d'un bras à six degrés de liberté (DoF). En déploiement matériel réel, sur 24 épisodes répartis en 8 tâches de manipulation mobile différentes, le système atteint une erreur de suivi de pose de l'organe terminal de 4,5 cm et 0,14 rad, avec des erreurs de vitesse linéaire et angulaire de locomotion de 0,1 m/s et 0,01 rad/s respectivement, des chiffres présentés comme supérieurs aux méthodes concurrentes testées en parallèle. Le résultat s'inscrit dans un problème central de la robotique humanoïde et quadrupède actuelle : contrôler des systèmes à très haut nombre de degrés de liberté sans sacrifier la précision, un point sur lequel de nombreuses démonstrations commerciales restent floues ou s'appuient sur des vidéos sélectionnées. Ici, les métriques proviennent d'essais matériels documentés et non de simulation seule, ce qui renforce leur crédibilité, même si le volume d'épisodes (24) reste modeste pour parler de robustesse à grande échelle. Pour les intégrateurs travaillant sur des tâches de manipulation mobile (entrepôts, inspection, logistique), cela illustre une voie alternative aux approches VLA de bout en bout comme Pi-0 ou GR00T N2, en découplant génération de mouvement de référence et exécution bas niveau. Le travail se positionne dans la lignée des recherches en apprentissage par imitation et en génération de mouvement pour la robotique redondante, un domaine où rivalisent notamment les laboratoires travaillant sur les modèles de flux et les politiques de contrôle hiérarchique. Les auteurs évoquent un potentiel d'extension à d'autres tâches robotiques en aval, sans toutefois annoncer de calendrier de déploiement industriel ni de partenaire commercial à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines

Une équipe de chercheurs a publié sur arXiv (arXiv:2603.03243v2) HoMMI, pour Whole-Body Mobile Manipulation Interface, un framework d'apprentissage par imitation permettant à un robot mobile de maîtriser la manipulation bimanuelle et la navigation à partir de démonstrations humaines réalisées sans robot. Le principe : un opérateur humain porte une interface portative héritée du projet UMI (Universal Manipulation Interface), enrichie d'une caméra égocentrique capturant le contexte global de la scène (position dans l'espace, état de l'environnement). Ces données brutes alimentent une politique apprise, transférée ensuite sur un robot à corps entier (bras, torse, base mobile) sans que celui-ci n'ait été présent lors de la collecte. La difficulté centrale que HoMMI cherche à résoudre est l'"embodiment gap" : la différence morphologique et sensorielle entre humain et robot rend le transfert de politique difficile, particulièrement en perception égocentrique où les champs de vue et hauteurs d'oeil divergent fortement. Les auteurs proposent trois briques techniques pour combler cet écart : une représentation visuelle agnostique à l'embodiment, une représentation d'action "head relaxed" qui neutralise les variations de mouvement de tête, et un contrôleur corps entier réalisant les trajectoires main-oeil sous contraintes physiques du robot. Ces choix permettent des tâches longue-séquence mobilisant navigation, perception active et coordination bimanuelle, le type de scénario que les architectures Vision-Language-Action (VLA) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA visent également à résoudre. Les résultats, présentés sous forme de vidéos sur hommi-robot.github.io, restent à valider en conditions non contrôlées et sur des benchmarks standardisés. HoMMI s'inscrit dans la continuité directe du projet UMI (Columbia/Stanford, 2024), qui avait popularisé la collecte portable de démonstrations pour la manipulation fixe sur table. L'extension au robot mobile ajoute la dimension navigation, saut de complexité majeur pour le sim-to-real et la généralisation hors laboratoire. Les approches concurrentes incluent Mobile ALOHA (Stanford), les pipelines de distillation de données de Physical Intelligence, et les travaux de manipulation bimanuelle ALOHA/ACT de Berkeley. HoMMI reste à ce stade un preprint arXiv sans déploiement industriel annoncé ni métriques de taux de succès publiées, une limite habituelle des publications en robotique d'apprentissage avant revue par les pairs.

RecherchePaper

1 source

4arXiv cs.RO

Weave : apprentissage de la loco-manipulation dextérique du corps entier par interactions humain-objet

Une équipe de recherche publie sur arXiv, le 16 septembre 2026 (arXiv:2609.16683), Weave, un framework pour apprendre à des robots humanoïdes la loco-manipulation dextre en corps entier à partir de démonstrations humaines capturées. Ces interactions humain-objet sont converties en références exécutables par le robot via un retargeting sensible aux contacts et une complétion du mouvement d'approche. Une politique consciente des contacts et de la géométrie commande ensuite simultanément 29 articulations corporelles et 12 articulations de doigts actionnées, sur plusieurs objets et séquences d'interaction. Sur neuf objets testés, le taux de réussite atteint 92,5 % pour les interactions entraînées et 65,0 % pour des séquences totalement inédites, sans entraînement supplémentaire. Les auteurs publient aussi environ 9 000 exécutions physiques réelles, soit près de 23 heures de trajectoires robot-objet annotées en contacts. Coordonner équilibre, locomotion et contact dextre des doigts reste l'un des obstacles majeurs pour faire passer les humanoïdes de la démonstration scriptée à la manipulation réelle d'objets variés, un enjeu direct pour les intégrateurs visant l'entrepôt ou l'usine. En retargetant des captures de mouvement humain vers l'embodiment du robot, Weave s'attaque frontalement au fossé entre démonstration et contrôle réel. Le score de 65 % sur des séquences jamais vues, même limité à neuf objets, suggère que la politique apprend des primitives de contact réutilisables plutôt que de simples trajectoires mémorisées, une distinction clé face aux démonstrations vidéo soigneusement sélectionnées courantes dans le secteur. Le jeu de données publié constitue par ailleurs une ressource comparable, dans son esprit, aux corpus servant à entraîner des modèles vision-langage-action comme Pi-0 ou GR00T N2. Il s'agit d'un travail de recherche en preprint, sans partenaire industriel ni plateforme robotique nommée dans le résumé, pas encore relu par les pairs : une démonstration de laboratoire, non un produit déployé ni un pilote commercial. Weave s'inscrit dans la vague de recherches sur l'apprentissage par imitation à partir de capture de mouvement humain, aux côtés d'initiatives comme Helix chez Figure ou les politiques de Physical Intelligence, qui visent toutes à résoudre le transfert humain-vers-robot pour la manipulation dextre. Aucun calendrier de déploiement n'est annoncé ; la suite logique, ouverte par la publication du jeu de données, est son adoption par d'autres équipes pour entraîner ou évaluer leurs propres politiques d'interaction, plutôt qu'un lancement produit à court terme.

RecherchePaper

1 source