RecherchearXiv cs.RO 18 septembre 2026

ViLoMan : apprentissage de compétences de loco-manipulation du corps entier par vision et proprioception pour robots humanoïdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le laboratoire à l'origine du projet ViLoMan, publié en preprint sur arXiv (arXiv:2609.19340, soumission anonyme en relecture en double aveugle, page projet viloman-anonymous.pages.dev), présente un système d'apprentissage pour la loco-manipulation autonome des robots humanoïdes. La méthode transforme des démonstrations humaines partielles, capturées de façon cinématique lors d'interactions homme-objet, en trajectoires robotiques complètes et physiquement exécutables. Ces trajectoires alimentent ensuite un entraînement par distillation enseignant-élève, qui produit une politique unique convertissant des observations de profondeur en vision égocentrique et des mesures proprioceptives directement en commandes articulaires pour l'ensemble du corps. Une fois déployée, cette politique ne nécessite ni mouvement de référence ni commande intermédiaire. Les auteurs l'ont testée sur des tâches de fermeture de porte, avec des configurations de porte et des positions de départ variées, en simulation puis sur un robot réel Unitree G1, montrant qu'une seule politique suffit à accomplir la tâche uniquement à partir des capteurs embarqués.

Ce travail s'attaque à deux obstacles centraux du secteur : la rareté de données d'interaction robot-objet physiquement réalisables, et la difficulté d'apprendre un contrôle unifié du corps entier à partir des seules observations embarquées, sans capture de mouvement externe ni téléopération lourde. En démontrant un transfert simulation-réel fonctionnel avec un capteur de profondeur et la proprioception seuls, l'étude apporte un contre-exemple concret à l'hypothèse selon laquelle les politiques de loco-manipulation humanoïde exigent nécessairement de vastes jeux de données téléopérées coûteux à constituer. Pour les intégrateurs et décideurs robotique, l'intérêt réside surtout dans la méthode de conversion des démonstrations humaines en données d'entraînement robot exploitables, une piste alternative aux pipelines de collecte par téléopération utilisés par des acteurs comme Figure ou Physical Intelligence.

ViLoMan s'inscrit dans la compétition croissante autour des politiques vision-langage-action et des architectures de contrôle whole-body pour humanoïdes, aux côtés d'approches commerciales comme Helix de Figure, GR00T N2 de Nvidia ou Pi-0 de Physical Intelligence, qui reposent largement sur des données de téléopération à grande échelle. Ici, l'origine académique et le statut anonyme de la soumission signalent une contribution de recherche encore au stade du laboratoire, validée sur une seule tâche restreinte de fermeture de porte plutôt que déployée en conditions industrielles. Les prochaines étapes attendues concernent l'extension à d'autres tâches de manipulation et à des environnements plus variés avant toute perspective de déploiement réel.

Dans nos dossiers

Unitree IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Apprentissage de compétences réactives de football par vision pour robots humanoïdes

Une équipe de recherche présente, dans une version mise à jour d'un preprint arXiv (2511.03996v2), un contrôleur basé sur l'apprentissage par renforcement qui permet à des robots humanoïdes d'acquérir des réflexes de football pilotés par la vision, en couplant directement perception visuelle et contrôle locomoteur plutôt que de séparer les deux étapes dans un pipeline modulaire. Entraîné en simulation avec des "adversarial motion priors" pour produire des mouvements naturels, le système repose sur une architecture encodeur-décodeur et un module de perception virtuelle reproduisant le bruit et les échecs de détection d'une caméra embarquée. Le robot exécute ainsi, avec la seule vision embarquée, la recherche du ballon, sa poursuite et des frappes multidirectionnelles. Face à une méthode de référence basée sur des règles fixes, l'erreur d'estimation de la position du ballon chute de 46%, le temps avant frappe diminue jusqu'à 64%, et le taux de réussite atteint environ 90% en zone offensive, testé lors de compétitions RoboCup réelles. Ce résultat contredit une pratique répandue en robotique humanoïde, qui consiste à séparer perception et contrôle ou à supposer une détection quasi parfaite. En intégrant l'incertitude visuelle directement dans l'apprentissage de la politique, les auteurs montrent qu'un contrôleur de bout en bout peut rester réactif malgré un bruit de détection réaliste, fréquent dès la sortie du laboratoire. Pour les équipes travaillant sur des humanoïdes destinés à des environnements dynamiques, au-delà du seul football, cette boucle fermée perception-contrôle suggère une piste généralisable à des tâches de manipulation ou de navigation exigeant une adaptation continue sous perception dégradée, un enjeu clé pour combler l'écart entre simulation et conditions réelles. Il s'agit d'une contribution académique publiée sur arXiv en version révisée, non d'une annonce de produit commercial: aucune entreprise ni modèle de robot n'est nommé, la validation s'appuyant sur une plateforme générique testée dans le cadre de la RoboCup Humanoid League, compétition où plusieurs équipes universitaires confrontent depuis des années leurs algorithmes de locomotion et de perception. Aucun acteur français ou européen n'apparaît dans cette publication. Les auteurs n'annoncent ni calendrier de déploiement industriel ni partenariat, se limitant à évoquer la poursuite des tests en conditions de compétition réelle.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

RecherchePaper

1 source

3arXiv cs.RO

CWI : système d'imitation du corps entier pour la loco-manipulation de robots humanoïdes

Des chercheurs ont publié fin juin 2026 sur arXiv (réf. 2606.27676) le framework CWI (Composite Whole-Body Imitation), une architecture de contrôle pour robots humanoïdes visant à coordonner locomotion et manipulation bimanuelle en simultané. Le système a été évalué en simulation puis déployé sur un LimX Oli, humanoïde pleine taille du fabricant chinois LimX Robotics. L'approche repose sur une dissociation du recours aux données de capture de mouvement (MoCap) : les données MoCap de manipulation diversifiées pilotent le contrôle du haut du corps, tandis que la locomotion est guidée par deux discriminateurs adversariaux (Adversarial Motion Prior, AMP) entraînés sur des clips curatés de marche et d'accroupissement. Une architecture multi-critique réduit les conflits entre objectifs de locomotion, de manipulation et de style de mouvement ; une étape de distillation enseignant-élève produit ensuite une politique conditionnée uniquement sur les poses des mains et des commandes de vitesse et hauteur. La loco-manipulation reste l'un des verrous majeurs de la robotique humanoïde. Les méthodes purement par renforcement, sans MoCap, souffrent de récompenses creuses et nécessitent des curricula finement réglés ; les méthodes imitant le corps entier butent sur le déséquilibre des datasets, les trajectoires de locomotion trop dynamiques dégradant la stabilité globale. CWI propose une dissociation architecturale qui contourne les deux écueils. Le résultat pratique est une téléopération sans équipement MoCap complet, ce qui abaisse le seuil d'intégration industrielle. Pour les intégrateurs et les décideurs B2B, cela signifie qu'un humanoïde capable d'agir dans des environnements mixtes (déplacements et saisie d'objets) devient envisageable sans infrastructure de capture de mouvement coûteuse. Cela dit, la publication ne fournit aucune métrique de temps de cycle ni de volumes de déploiement, ce qui invite à lire ces résultats comme une preuve de concept compétitive, pas comme un produit shipé. CWI s'inscrit dans une vague de travaux combinant apprentissage par renforcement et imitation de mouvement humain, dont l'Adversarial Motion Prior (AMP) de Peng et al. constitue la brique fondatrice. LimX Robotics reste un acteur discret face aux mastodontes du secteur : Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) ou encore Boston Dynamics (Atlas) travaillent sur des architectures comparables intégrant contrôle corps entier et politiques Vision-Language-Action (VLA). CWI ne mentionne ni calendrier de déploiement industriel, ni partenariat commercial : il s'agit d'un preprint arXiv sans revue par les pairs publiée. Les prochaines étapes probables passeront par une validation en conditions réelles plus variées et une publication dans une conférence robotique de référence (ICRA, IROS ou RAL).

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage de compétences de badminton proches de l'humain pour robots humanoïdes

Un article de recherche révisé sur arXiv (2602.08370v2) présente "Imitation-to-Interaction" (I2I), un framework d'apprentissage par renforcement progressif qui apprend à un robot humanoïde à jouer au badminton. La méthode construit d'abord un a priori moteur à partir de données de mouvement humain, le compresse en une représentation d'état compacte basée sur un modèle, puis stabilise la dynamique via des a priori adversariaux. Une stratégie d'expansion de variété (manifold expansion) généralise ensuite les points de frappe, rares dans les démonstrations expertes disponibles, en un volume d'interaction dense permettant d'intercepter le volant dans une zone continue plutôt qu'à des positions figées. En simulation, le robot maîtrise plusieurs coups caractéristiques comme les lifts (dégagés hauts) et les amortis courts (drop shots). Les auteurs revendiquent le premier transfert "zero-shot" simulation-vers-réel de ces gestes sur un robot humanoïde physique, sans préciser dans le résumé la plateforme utilisée, le nombre de degrés de liberté ni de taux de réussite des frappes. Le badminton combine une coordination corporelle explosive proche de la limite biomécanique et une interception où le timing se compte en dizaines de millisecondes, un défi bien supérieur à celui de la marche ou de la préhension statique en usine. L'enjeu dépasse le sport: la recherche en imitation de mouvement produit souvent des démonstrations visuellement convaincantes mais déconnectées de toute interaction physique fonctionnelle avec un objet dynamique. En affichant un transfert sim-to-real zero-shot sur une frappe à haute vitesse, ce travail s'attaque à l'un des goulots d'étranglement les plus cités du secteur humanoïde, l'écart persistant entre performance simulée et robustesse en conditions réelles. Pour les intégrateurs et décideurs évaluant la maturité des humanoïdes au-delà du pick-and-place répétitif, ce résultat suggère que des architectures combinant a priori de mouvement humain et modèles de dynamique commencent à généraliser à des gestes rapides, précis et non répétitifs. Ce travail prolonge une lignée de recherches en apprentissage par renforcement pour humanoïdes s'appuyant sur des a priori de mouvement adversariaux, technique utilisée pour ancrer des politiques de contrôle dans des captures de mouvement humain sans sacrifier le naturel du geste. Publiée en version révisée sur arXiv, la contribution reste académique à ce stade: le résumé ne cite aucun partenaire industriel, aucune plateforme robotique commerciale ni aucun site de déploiement, et rien n'indique de calendrier de mise en production. Elle s'inscrit dans un mouvement plus large de laboratoires testant la dextérité dynamique des humanoïdes via des tâches sportives, en complément des benchmarks classiques de locomotion et de manipulation statique.

RecherchePaper

1 source