DEX-PHD : un dispositif portable à main dextérique pour la collecte de données multimodales

DEX-PHD est un dispositif portable tenu en main, présenté dans un preprint arXiv (v1, octobre 2026), qui vise à rapprocher deux familles de méthodes de collecte de données de manipulation. D'un côté, la téléopération par chaîne cinématique donne un accès précis à l'état du robot, mais reste lourde et peu mobile. De l'autre, les approches par vision sont pratiques et transportables, mais fournissent peu d'information sur l'état réel du robot. Le dispositif embarque une main robotique dextre, un contrôle continu doigt par doigt et une journalisation multimodale: proprioception, données de contact au bout des doigts et vidéo d'une caméra de poignet. L'opérateur pilote directement la main robotique par un mappage au niveau des articulations. La conception est sans fil (sans attache), ce qui permet de collecter des démonstrations dans des environnements variés. Les auteurs l'ont testé sur des tâches riches en contacts qui exigent une coordination multi-doigts. Ils ont ensuite rejoué les démonstrations en boucle ouverte sur un robot humanoïde physique. Le résumé ne donne ni nombre de degrés de liberté, ni taille de jeu de données, ni taux de réussite, ni nom de la main ou du robot utilisés.

Pour les équipes qui entraînent des politiques de manipulation dextre (VLA ou imitation), le goulot d'étranglement est la donnée. Les gants et la vision seule laissent un écart d'embodiment, car la main humaine n'est pas la main robot. La téléopération classique l'évite mais impose un robot complet sur site. Un outil où l'opérateur manipule avec la vraie main robotique, en enregistrant les contacts, vise à produire des démonstrations directement exploitables par le robot cible. Les résultats restent toutefois modestes: le rejeu en boucle ouverte montre que les motifs temporels des doigts et les contacts essentiels sont préservés, mais cela ne prouve ni la robustesse, ni la généralisation, ni l'apprentissage d'une politique à partir de ces données. Aucune comparaison chiffrée avec l'état de l'art n'est fournie dans le résumé.

DEX-PHD s'inscrit dans la lignée des dispositifs handheld sans robot, comme l'UMI de Stanford pour les pinces, et des systèmes de capture par gant ou exosquelette pour mains dextres. Il prolonge cette logique vers des mains à plusieurs doigts équipées de capteurs tactiles. Sur le plan industriel, la même question traverse les acteurs de l'humanoïde (Figure, Tesla, Sanctuary, ou en Europe Wandercraft et Enchanted Tools): comment collecter à grande échelle des données dextres de qualité à faible coût. La suite logique serait un entraînement de politiques en boucle fermée avec ces données, une publication du matériel ou du code, et une évaluation sur des tâches plus longues. À ce stade, il s'agit d'un résultat de recherche et non d'un produit disponible.