Aller au contenu principal
RecherchearXiv cs.RO 

Dextérité du corps entier

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent Whole-Body Dexterity (WBD), un cadre qui permet à un humanoïde d'utiliser l'ensemble de son corps comme surface de contact pour saisir et déplacer des objets, au lieu de se limiter aux mains et aux préhensions simples. Le pipeline sim-to-real commence par générer un jeu de données de saisies corps entier réalisables. Des experts entraînés par apprentissage par renforcement y apprennent un objectif général de repositionnement « any-to-any », avec des saisies initiales et cibles tirées du jeu de données. Ces experts sont ensuite distillés en une seule politique qui s'appuie sur la proprioception et la géométrie de l'objet. Cette politique est transférée en zero-shot sur un Unitree G1 réel. Le robot repositionne un ballon de basket et un carton autour du torse, puis enchaîne une tâche longue : coincer le carton sous un bras, le porter d'une étagère à une table et le poser. Le contrôleur est interactif et guidé par des références de mouvement grossières fournies par un téléopérateur humain. Sur les tâches de manipulation corps entier testées en conditions réelles, la politique distillée réussit 90 % des essais, contre 18 % pour un retargeting direct et 4 % pour un contrôleur corps entier généraliste.

L'intérêt tient à l'écart que ces chiffres mettent en évidence. Les approches existantes, qu'il s'agisse de transposer directement des mouvements humains ou d'utiliser un contrôleur généraliste, échouent presque systématiquement dès que l'objet est encombrant et que le contact passe par les bras et le torse. Or c'est précisément le cas de la logistique, avec les cartons, bacs et colis trop volumineux pour une pince, que les intégrateurs veulent confier aux humanoïdes. Le résultat suggère que l'apprentissage par renforcement en simulation, appuyé sur un jeu de saisies structuré puis distillé, peut produire un comportement de contact riche qui se transfère sans réglage au robot réel. Il montre aussi que la dextérité ne dépend pas uniquement de la main. Des réserves s'imposent toutefois : il s'agit d'un preprint arXiv (v1), non évalué par des pairs, avec un nombre d'essais et une variété d'objets limités (un ballon, un carton). Le pilotage par téléopérateur signifie en outre que l'autonomie n'est pas démontrée, et aucun déploiement industriel n'est évoqué.

Ces travaux s'inscrivent dans la vague du contrôle corps entier des humanoïdes, qui a surtout porté sur la locomotion et le suivi de mouvements humains, tandis que la manipulation restait cantonnée aux effecteurs terminaux. Le choix du Unitree G1, plateforme abordable et très répandue dans les laboratoires, favorise la reproductibilité. Cela place l'approche en complément des modèles vision-langage-action (VLA) généralistes, qui visent des tâches variées mais traitent encore peu les contacts distribués sur le corps. La suite logique serait d'élargir la gamme d'objets, de réduire la dépendance à la téléopération pour viser des tâches autonomes, puis de valider la méthode sur des plateformes industrielles plus grandes. Aucun calendrier de pilote ni partenaire commercial n'est annoncé à ce stade.

À lire aussi

PanTact : enseigner la dextérité du corps entier avec une interface de contact portable
1arXiv cs.RO 

PanTact : enseigner la dextérité du corps entier avec une interface de contact portable

PanTact est un système de recherche décrit dans l'article arXiv 2610.12558, qui apprend à un humanoïde à manipuler avec n'importe quelle surface adaptée de son corps, et non plus seulement avec ses mains. Les données viennent de démonstrations humaines sans robot. Le dispositif de collecte est portable et combine une vision égocentrique, des pinces UMI bimanuelles et des patchs de contact modulaires répartis sur le corps. Ces patchs enregistrent la position et l'état des contacts. Une politique visuomotrice, conçue pour réduire l'écart d'observation propre à la vue égocentrique, prédit ensuite des objectifs de contact pour tout le corps. Des formulations de contrôle du corps entier sensibles au contact les exécutent avec les surfaces du robot qui conviennent. L'équipe a déployé l'ensemble sur un Unitree G1, sans capteur de contact supplémentaire sur le robot. Elle démontre quatre types de comportements: appui corporel, poussée, balayage et partage de charge. L'extrait disponible ne donne ni taux de réussite, ni temps de cycle, ni nombre de démonstrations. Les performances chiffrées restent donc à vérifier dans l'article complet et sur le site du projet. L'intérêt tient au choix du contact comme représentation commune entre l'humain et le robot. La plupart des travaux de loco-manipulation sur humanoïdes limitent la manipulation aux mains et évitent les autres contacts avec l'environnement, alors que ces robots disposent de nombreux degrés de liberté et de surfaces utilisables. Ici, les positions et les instants de contact décrivent ce qu'il faut accomplir. Le robot choisit lui-même, selon ses contraintes physiques, comment coordonner son corps pour y parvenir. Cette séparation entre l'intention et le mouvement évite de retargeter les poses humaines vers un squelette différent, étape souvent source d'erreurs. Elle supprime aussi la téléopération de robots, coûteuse en temps et en matériel. Pour les intégrateurs, la perspective est de tâches qu'un humanoïde ne sait pas faire avec deux mains seules: pousser un chariot avec le torse, caler une charge contre le corps ou la porter à plusieurs surfaces. Il s'agit toutefois d'un résultat de laboratoire sur un seul robot. Il n'est pas un produit ni un déploiement, et rien n'indique encore une robustesse à l'échelle d'un site industriel. Le travail prolonge la lignée des interfaces UMI (Universal Manipulation Interface), qui ont montré qu'on pouvait collecter des démonstrations avec une pince portable, sans robot, et les transférer à des bras. PanTact étend cette logique du poignet au corps entier. Le choix du Unitree G1 reflète sa position de plateforme de recherche humanoïde abordable et très répandue dans les laboratoires. Les approches concurrentes reposent plutôt sur la téléopération en réalité virtuelle, le suivi de mouvement humain (motion capture) ou l'apprentissage par renforcement en simulation pour le contrôle du corps entier, et les modèles VLA généralistes se concentrent surtout sur les mains. Les suites logiques seraient une évaluation sur d'autres morphologies, des tâches plus longues et des environnements moins contrôlés. L'absence de capteurs de contact sur le robot laisse aussi ouverte la question de la fiabilité du contrôle en conditions réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Dextérité à l'aveugle : manipulation humanoïde corps entier par proprioception pure
2arXiv cs.RO 

Dextérité à l'aveugle : manipulation humanoïde corps entier par proprioception pure

Des chercheurs publient sur arXiv (arXiv:2608.29487v1, fin août 2026) une étude intitulée « Blind Dexterity », qui démontre des compétences de manipulation corporelle complète sur un humanoïde Unitree G1 sans aucune caméra, marqueur, capteur de force-couple ni capteur tactile. Le robot s'appuie uniquement sur sa proprioception embarquée, c'est-à-dire les retours des encodeurs articulaires. Les politiques entraînées réalisent quatre tâches distinctes : une marche bipède résistante aux poussées sans retour IMU, le contrôle actif d'un ballon de football arrêté du pied, la recherche puis le levage d'une valise par sa poignée, et la montée sur un skateboard positionné aléatoirement. Les auteurs attribuent ces résultats à un signal sous-exploité : l'évolution des lectures des encodeurs pendant un contact compliant et intentionnel, qui forme un canal tactile de tout le corps. Des estimateurs d'état entraînés séparément des politiques de contrôle confirment que la position des objets manipulés devient rapidement décodable à partir de courts historiques proprioceptifs, avec une chute nette de l'erreur de prédiction après un contact informatif. Ce résultat pèse sur un débat central du secteur humanoïde : faut-il empiler caméras, peau tactile et capteurs de force-couple pour obtenir de la dextérité, comme le font la plupart des piles vision-langage-action actuelles (Pi-0 de Physical Intelligence, GR00T N2 de Nvidia, Helix de Figure AI) ? L'étude suggère que la proprioception par encodeurs, combinée à un actionnement compliant déjà présent sur des robots commerciaux et des moteurs bas coût, forme à elle seule un socle pratique pour la manipulation dextre. Pour les intégrateurs, l'intérêt est d'abord économique : une architecture qui ne dépend pas d'une pile vision coûteuse pourrait alléger la nomenclature matérielle, tout en restant compatible avec un enrichissement sensoriel ultérieur. Il ne s'agit cependant ni d'un produit livré ni d'un déploiement industriel, mais de démonstrations en laboratoire dont la robustesse hors scénarios contrôlés reste à prouver. Le travail s'inscrit dans la course plus large aux compétences humanoïdes, dominée par les approches vision-langage-action de Figure AI (Figure 03, modèle Helix), Physical Intelligence (Pi-0) ou Nvidia (GR00T N2), qui misent sur caméras embarquées et vastes jeux de données vidéo. Le choix du Unitree G1, plateforme commerciale bas coût largement adoptée par les laboratoires académiques, illustre une tendance à tester ces hypothèses sur du matériel accessible plutôt que sur des prototypes propriétaires. Publié en preprint non encore relu par les pairs, l'article esquisse la proprioception pure comme brique de base, sur laquelle vision ou tact pourraient se greffer ensuite, sans calendrier de pilote industriel annoncé à ce stade.

RecherchePaper
1 source
Weave : apprentissage de la loco-manipulation dextérique du corps entier par interactions humain-objet
3arXiv cs.RO 

Weave : apprentissage de la loco-manipulation dextérique du corps entier par interactions humain-objet

Une équipe de recherche publie sur arXiv, le 16 septembre 2026 (arXiv:2609.16683), Weave, un framework pour apprendre à des robots humanoïdes la loco-manipulation dextre en corps entier à partir de démonstrations humaines capturées. Ces interactions humain-objet sont converties en références exécutables par le robot via un retargeting sensible aux contacts et une complétion du mouvement d'approche. Une politique consciente des contacts et de la géométrie commande ensuite simultanément 29 articulations corporelles et 12 articulations de doigts actionnées, sur plusieurs objets et séquences d'interaction. Sur neuf objets testés, le taux de réussite atteint 92,5 % pour les interactions entraînées et 65,0 % pour des séquences totalement inédites, sans entraînement supplémentaire. Les auteurs publient aussi environ 9 000 exécutions physiques réelles, soit près de 23 heures de trajectoires robot-objet annotées en contacts. Coordonner équilibre, locomotion et contact dextre des doigts reste l'un des obstacles majeurs pour faire passer les humanoïdes de la démonstration scriptée à la manipulation réelle d'objets variés, un enjeu direct pour les intégrateurs visant l'entrepôt ou l'usine. En retargetant des captures de mouvement humain vers l'embodiment du robot, Weave s'attaque frontalement au fossé entre démonstration et contrôle réel. Le score de 65 % sur des séquences jamais vues, même limité à neuf objets, suggère que la politique apprend des primitives de contact réutilisables plutôt que de simples trajectoires mémorisées, une distinction clé face aux démonstrations vidéo soigneusement sélectionnées courantes dans le secteur. Le jeu de données publié constitue par ailleurs une ressource comparable, dans son esprit, aux corpus servant à entraîner des modèles vision-langage-action comme Pi-0 ou GR00T N2. Il s'agit d'un travail de recherche en preprint, sans partenaire industriel ni plateforme robotique nommée dans le résumé, pas encore relu par les pairs : une démonstration de laboratoire, non un produit déployé ni un pilote commercial. Weave s'inscrit dans la vague de recherches sur l'apprentissage par imitation à partir de capture de mouvement humain, aux côtés d'initiatives comme Helix chez Figure ou les politiques de Physical Intelligence, qui visent toutes à résoudre le transfert humain-vers-robot pour la manipulation dextre. Aucun calendrier de déploiement n'est annoncé ; la suite logique, ouverte par la publication du jeu de données, est son adoption par d'autres équipes pour entraîner ou évaluer leurs propres politiques d'interaction, plutôt qu'un lancement produit à court terme.

RecherchePaper
1 source
Sumo : la loco-manipulation dynamique et généralisable du corps entier
4arXiv cs.RO 

Sumo : la loco-manipulation dynamique et généralisable du corps entier

Un institut de recherche a publié via arXiv (article 2604.08508, troisième révision) un travail intitulé "Sumo: Dynamic and Generalizable Whole-Body Loco-Manipulation", mené sur les serveurs du RAI Institute (ex-Boston Dynamics AI Institute, hébergé sur rai-inst.com). La méthode combine sim-to-real et pilotage en temps réel: une politique de contrôle corps entier pré-entraînée est guidée au moment de l'exécution par un planificateur basé sur l'échantillonnage, sans réentraînement supplémentaire. Les chercheurs ont testé l'approche sur un robot quadrupède Spot (Boston Dynamics) dans le monde réel, avec deux tâches marquantes: redresser un pneu plus lourd que la capacité de levage nominale du robot, et traîner une barrière anti-émeute plus grande et plus haute que l'engin lui-même. Le système s'est aussi montré capable de généraliser à une variété d'objets et de tâches sans réglage additionnel, la fonction de coût pouvant être ajustée à la volée. En simulation uniquement, les auteurs étendent la méthode à un humanoïde pour ouvrir une porte et pousser une table. Code et vidéos sont publiés sur sumo.rai-inst.com. L'intérêt principal tient à la généralisation obtenue sans réentraînement par objet: une seule politique, pilotée différemment selon le contexte, remplace la logique habituelle d'entraînement dédié à chaque tâche de manipulation. Pour les intégrateurs et les équipes de R&D en robotique mobile, cela suggère une voie pour dépasser les limites de charge utile nominale annoncées par les constructeurs, un enjeu concret en logistique, chantier ou intervention d'urgence où les objets à déplacer dépassent souvent les specs du robot. Il faut toutefois noter que les résultats humanoïdes ne sont validés qu'en simulation, sans transfert réel démontré, et qu'aucun chiffre précis de masse, de temps de cycle ou de taux de réussite n'est communiqué dans le résumé, ce qui invite à la prudence avant de parler de percée généralisée. Le RAI Institute a été fondé par Marc Raibert, également fondateur de Boston Dynamics, comme structure de recherche indépendante à but non lucratif détachée de la feuille de route produit de Boston Dynamics. Spot reste la plateforme quadrupède commerciale de Boston Dynamics, ici réutilisée comme banc d'essai académique plutôt que comme produit vendu. Ce travail se distingue des approches dominantes du moment fondées sur des modèles vision-langage-action comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, en misant sur la planification par échantillonnage plutôt que sur un grand modèle appris de bout en bout. Les prochaines étapes attendues concernent la validation réelle du volet humanoïde, actuellement cantonné à la simulation.

RecherchePaper
1 source