RecherchearXiv cs.RO 9 novembre 2026

DexHOT : apprentissage du transfert de configuration main-objet pour la manipulation dextère

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

DexHOT, un cadre de manipulation dextre publié sur arXiv (2611.05119v2), propose de reformuler la tâche comme un transfert de configuration main-objet. Au lieu de spécifier un but par la seule pose de l'objet ou par une trajectoire, le système définit des configurations faisables qui décrivent à la fois l'articulation de la main et la pose de l'objet par rapport au poignet. Une primitive de transfert, conditionnée par la relation entre configuration de départ et configuration cible, est apprise à partir de paires de configurations faisables générées de façon synthétique, sans mouvements de référence humains. Les comportements longs sont ensuite composés par un suivi en boucle fermée de sous-objectifs de configuration. Sur DexHOTBench, un banc d'essai de 120 objets, une seule politique atteint 80,5 % de réussite de transfert sur les objets vus et 69,4 % sur les objets inconnus. Sur une vraie main dextre, les auteurs rapportent 61,5 % de réussite sur 200 transferts réels et 90 % de réussite sur six tâches guidées par démonstration. Le résumé ne précise ni le modèle de main, ni le nombre d'essais par tâche, ni les conditions de sélection des démonstrations.

L'intérêt tient à la place donnée à la main. Beaucoup de systèmes appris, notamment les politiques de type VLA (vision-langage-action) ou les approches par suivi de trajectoire d'objet, laissent la configuration de la main émerger implicitement. Or cette configuration conditionne les contacts maintenus et les actions possibles ensuite, par exemple lors d'une reprise en main ou d'un changement de prise. En faisant du couple main-objet une interface explicite, DexHOT offre une couche intermédiaire réutilisable entre un planificateur de haut niveau et un contrôleur bas niveau. L'apprentissage entièrement synthétique, sans capture de mouvement humaine, réduit le coût de collecte de données, un goulot d'étranglement connu en dextérité. Les chiffres appellent toutefois de la prudence : 61,5 % de réussite sur 200 transferts réels reste loin des taux exigés en production, et l'écart de près de 11 points entre objets vus et inconnus rappelle que la généralisation est partielle. Les 90 % sur six tâches dépendent de démonstrations qui guident la composition, ce qui n'est pas de l'autonomie complète.

Ce travail s'inscrit dans une série de recherches visant à rendre la manipulation dextre plus généralisable, après les politiques de retournement d'objet par apprentissage par renforcement en simulation et les jeux de données de saisies synthétiques. Il se distingue des approches fondées sur la rétro-ingénierie de vidéos humaines par l'absence de référence humaine. Il reste un résultat académique, sans annonce de déploiement industriel, de pilote ou de calendrier commercial. Les prochaines étapes les plus probables sont une évaluation sur davantage de mains et d'objets réels, la comparaison avec des modèles fondation robotiques généralistes, et l'intégration de la primitive dans des chaînes pilotées par langage. La publication de vidéos et de détails sur le site du projet permettra de juger la part de sélection dans les démonstrations.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

COWBOY : un cadre évolutif de transfert simulation-réel pour l'apprentissage de la manipulation contextuelle du corps entier

Des chercheurs présentent COWBOY, un cadre d'apprentissage sim-to-real (entraînement en simulation puis transfert au robot réel) pour la manipulation « contextuelle » du corps entier par des manipulateurs mobiles. La politique finale pilote simultanément la base mobile, le bras, une main dextre et une caméra actionnée, à partir d'observations en nuage de points. Sur la saisie dextre corps entier, elle se transfère en zero-shot (sans réentraînement) à des centaines d'objets et à des scènes variées non contrôlées : tables encombrées, étagères, tiroirs et autres environnements non structurés. Le travail, publié sur arXiv (v1), est accompagné de vidéos de démonstration. Le résumé ne donne ni taux de réussite, ni temps de cycle, ni plateforme matérielle précise, ni comparaison chiffrée avec des méthodes existantes. La méthode évite d'apprendre l'adaptation à la scène directement par apprentissage par renforcement (RL) en simulation. Un contrôleur corps entier (WBC) vectorisé, conscient de l'environnement, gère l'approche dans des milliers de scènes. Il coordonne les mouvements base-bras, l'évitement de collisions et la vision active. Des experts RL locaux sont ensuite entraînés sur de petites portions de scène pour l'interaction avec l'objet, et peuvent être réutilisés dans des milliers d'agencements complets. Ces enseignants composés WBC-RL sont enfin distillés en une unique politique visuelle. Elle ajuste d'elle-même la position de la base, le point de vue de la caméra, la trajectoire du bras et la stratégie de préhension selon la géométrie de la scène et de l'objet. L'enjeu pour l'industrie est la généralisation. Beaucoup de démonstrations de manipulation mobile restent cantonnées à des décors figés, où le robot se place toujours au même endroit. Ici, le placement de la base et l'orientation du regard sont appris comme faisant partie de la tâche. C'est ce qui sépare un bras posé sur une base mobile d'un système réellement utilisable en logistique, en maintenance ou en service. L'approche modulaire (décomposer, réutiliser des experts locaux, distiller) offre aussi une voie d'extension du sim-to-real à grande échelle sans exploser le coût de simulation. Il faut toutefois rester prudent : sans métriques publiées dans le résumé, la robustesse « in the wild » reste à confirmer, et les vidéos peuvent être sélectionnées. Un intégrateur devrait attendre les taux de réussite par catégorie, les cas d'échec et la reproductibilité sur d'autres plateformes. COWBOY s'inscrit dans la tendance de la manipulation mobile corps entier, qui rapproche contrôle classique et apprentissage, avec des distillations d'experts en politiques visuelles unifiées, un schéma déjà exploré en saisie dextre et en locomotion. Il s'agit d'un travail de recherche, pas d'un produit : aucun déploiement commercial ni calendrier de pilote n'est annoncé. La suite logique serait la publication du code et des détails matériels, ainsi que des évaluations plus larges sur des tâches longues. Le projet est à suivre aux côtés des politiques généralistes de type VLA, qui visent la même généralité par une voie différente, fondée sur les données plutôt que sur la simulation structurée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Weave : apprentissage de la loco-manipulation dextérique du corps entier par interactions humain-objet

Une équipe de recherche publie sur arXiv, le 16 septembre 2026 (arXiv:2609.16683), Weave, un framework pour apprendre à des robots humanoïdes la loco-manipulation dextre en corps entier à partir de démonstrations humaines capturées. Ces interactions humain-objet sont converties en références exécutables par le robot via un retargeting sensible aux contacts et une complétion du mouvement d'approche. Une politique consciente des contacts et de la géométrie commande ensuite simultanément 29 articulations corporelles et 12 articulations de doigts actionnées, sur plusieurs objets et séquences d'interaction. Sur neuf objets testés, le taux de réussite atteint 92,5 % pour les interactions entraînées et 65,0 % pour des séquences totalement inédites, sans entraînement supplémentaire. Les auteurs publient aussi environ 9 000 exécutions physiques réelles, soit près de 23 heures de trajectoires robot-objet annotées en contacts. Coordonner équilibre, locomotion et contact dextre des doigts reste l'un des obstacles majeurs pour faire passer les humanoïdes de la démonstration scriptée à la manipulation réelle d'objets variés, un enjeu direct pour les intégrateurs visant l'entrepôt ou l'usine. En retargetant des captures de mouvement humain vers l'embodiment du robot, Weave s'attaque frontalement au fossé entre démonstration et contrôle réel. Le score de 65 % sur des séquences jamais vues, même limité à neuf objets, suggère que la politique apprend des primitives de contact réutilisables plutôt que de simples trajectoires mémorisées, une distinction clé face aux démonstrations vidéo soigneusement sélectionnées courantes dans le secteur. Le jeu de données publié constitue par ailleurs une ressource comparable, dans son esprit, aux corpus servant à entraîner des modèles vision-langage-action comme Pi-0 ou GR00T N2. Il s'agit d'un travail de recherche en preprint, sans partenaire industriel ni plateforme robotique nommée dans le résumé, pas encore relu par les pairs : une démonstration de laboratoire, non un produit déployé ni un pilote commercial. Weave s'inscrit dans la vague de recherches sur l'apprentissage par imitation à partir de capture de mouvement humain, aux côtés d'initiatives comme Helix chez Figure ou les politiques de Physical Intelligence, qui visent toutes à résoudre le transfert humain-vers-robot pour la manipulation dextre. Aucun calendrier de déploiement n'est annoncé ; la suite logique, ouverte par la publication du jeu de données, est son adoption par d'autres équipes pour entraîner ou évaluer leurs propres politiques d'interaction, plutôt qu'un lancement produit à court terme.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de priors de mouvement centrés sur l'objet à partir de vidéos humaines pour la manipulation dextérique robotique

Des chercheurs proposent une méthode qui apprend, à partir de jeux de données d'interactions humain-objet (HOI), à prédire de façon globale les états futurs de la main et de l'objet, plutôt que de simplement imiter les démonstrations humaines. Ces états d'objet prédits servent ensuite de terme de récompense généraliste pour l'apprentissage par renforcement, ce qui évite de concevoir une fonction de récompense propre à chaque tâche. Les auteurs ont testé l'approche sur trois tâches de manipulation, en simulation et sur matériel réel, avec des mains robotiques à plusieurs doigts. Ils affirment dépasser les méthodes de l'état de l'art en taux de réussite et en généralisation à des objets inédits, et avoir déployé les compétences apprises sur des mains robotiques différentes. L'article, publié sur arXiv sous la référence 2611.05979, ne précise ni le nombre de degrés de liberté des mains, ni les noms des plateformes, ni les volumes de données ou les taux de réussite chiffrés dans son résumé. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel. L'intérêt tient à deux points qui freinent la manipulation dextre. Le premier est l'ingénierie de récompense. Pour des mains à plusieurs doigts, dont l'espace d'action est de grande dimension et la dynamique de contact complexe, écrire une récompense adaptée à chaque tâche reste un goulot d'étranglement coûteux. Utiliser la trajectoire future prédite de l'objet comme signal de récompense réutilisable déplace l'effort vers l'apprentissage à partir de données humaines, qui sont plus faciles à collecter que des téléopérations robotiques. Le second point est la compatibilité entre morphologies : si le résultat se confirme, une même représentation centrée sur l'objet pourrait alimenter des mains différentes, ce qui réduirait le coût de portage pour les intégrateurs. Il faut toutefois rester prudent. Le résumé ne donne que trois tâches, aucun chiffre et aucune comparaison détaillée, et le terme « état de l'art » dépend du choix des méthodes de référence. La robustesse hors laboratoire reste à démontrer. Ce travail s'inscrit dans un courant qui exploite les vidéos et les jeux de données humains pour la dextérité, en alternative à la collecte massive de démonstrations robotiques, une voie que suivent aussi plusieurs modèles vision-langage-action et des équipes industrielles développant des mains humanoïdes. La difficulté historique tient au fossé de transfert entre simulation et réel et à l'écart de morphologie entre la main humaine et celle du robot. Les approches de pure imitation reproduisent les gestes mais généralisent mal à de nouveaux objets, d'où l'intérêt de raisonner sur l'objet plutôt que sur la main. La suite dépendra de la publication du code, des détails expérimentaux et de tests sur des tâches plus longues ou plus variées. Aucun calendrier de pilote ni partenaire industriel n'est annoncé.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage de comportements réflexes pour la manipulation riche en contacts

Des chercheurs publient sur arXiv (2610.02811) une politique « réflexe » proprioceptive pour la manipulation riche en contacts. Elle est entraînée uniquement en simulation, sur trois primitives d'interaction très simples : un ressort, un plan et un rail. Elle convertit des commandes exprimées dans l'espace tâche en consignes de position articulaire, à partir de l'historique d'état du robot. Elle n'utilise aucune mesure directe de force ni de géométrie. Une fois entraînée, elle est figée et placée sous des contrôleurs de plus haut niveau, comme une couche d'exécution. Les tests couvrent le levage de caisse à deux bras, l'insertion de pion et le suivi de surface. Pour la caisse, la force reste sous le seuil fixé, alors que la référence échoue. Sur surface rugueuse, elle reste sous la référence de 10 N, au niveau d'un contrôle hybride force-position réglé à la main. Pour l'insertion de pion avec un jeu de 0,02 mm, la force de contact moyenne estimée est divisée par plus de deux, et le taux de réussite sur matériel passe d'au plus 22 % à 36-58 %. L'intérêt tient à la séparation entre génération de commande et réponse au contact. Les approches courantes, contrôle en position, hybride force-position ou impédance cartésienne, imposent une raideur, un objectif de suivi ou des directions de force qui ne correspondent pas toujours à la géométrie locale. Ici, une même couche réflexe peut servir sous un planificateur de mouvement, une politique apprise (type VLA) ou un opérateur en téléopération, sans réglage propre à chaque tâche. Si le résultat se confirme, il va dans le sens d'un transfert sim-to-real réussi pour le contact avec des primitives minimales. Il permet aussi un contrôle sans capteur de force, donc moins coûteux, ce qui intéresse les intégrateurs de cellules d'assemblage. Les limites sont nettes : les taux d'insertion de 36-58 % restent loin des exigences industrielles, la force de contact est estimée et non mesurée, et le résumé ne précise ni la plateforme ni le nombre d'essais. Ce travail s'inscrit dans le débat entre contrôle classique du contact (impédance, admittance, hybride force-position) et apprentissage par renforcement en simulation, jusqu'ici surtout appliqué à la locomotion. Il ne s'agit pas d'un produit mais d'une prépublication v1, non évaluée par les pairs, sans calendrier de déploiement. Les suites logiques sont une validation sur davantage de tâches et de robots, une comparaison avec des politiques de manipulation de bout en bout, et une intégration sous des modèles VLA, qui produisent des commandes de haut niveau peu sensibles aux contraintes de contact.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source