RecherchearXiv cs.RO 5 novembre 2026

AutoDex : un système automatisé en conditions réelles pour collecter des données de préhension dextérique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du laboratoire SNU VCLab (Séoul) présentent AutoDex, un système qui collecte des données de préhension dextre en conditions réelles sans opérateur humain en continu. À partir de candidats de prises générés en simulation, le robot planifie et exécute chaque prise, étiquette le résultat (succès ou échec), puis remet l'objet en position pour enchaîner les essais sur plusieurs poses stables. Le suivi d'objet multi-vues permet l'étiquetage malgré l'occultation entre la main et l'objet, tandis qu'une surveillance des collisions par couple résiduel et une remise en place guidée par la pose maintiennent la boucle active sans supervision. Les auteurs ont réuni plus de 3 500 essais sur 100 objets, avec deux mains robotiques, Allegro et Inspire, en enregistrant succès et échecs avec observations visuelles et états du robot synchronisés. Le code et les données sont publics.

L'enjeu principal est le coût humain, goulot d'étranglement habituel de la donnée de manipulation réelle. Selon les auteurs, collecter 500 trajectoires demande environ 0,2 heure-homme avec AutoDex, contre 9,3 heures en téléopération, soit une réduction de plus d'un ordre de grandeur. Il s'agit toutefois d'une estimation des auteurs, et non d'une mesure indépendante. Le résultat le plus parlant touche l'écart simulation-réel: dans de nouvelles configurations de placement d'objets et d'obstacles, la récupération dans la bibliothèque de prises validées physiquement atteint 76 % de succès, contre 34 % pour des candidats filtrés uniquement en simulation. Cela confirme que les prises « plausibles » en simulation se transfèrent mal au matériel, et que la validation physique à grande échelle apporte un gain concret. Pour les équipes qui entraînent des politiques de préhension dextre, le fait de disposer aussi des échecs, rarement conservés dans les jeux de données téléopérés, constitue une ressource utile pour apprendre à prédire la réussite d'une prise.

Ce travail s'inscrit dans la montée de la manipulation dextre, où la collecte par téléopération (gants, exosquelettes, VR) reste coûteuse et peu évolutive, alors que la simulation produit des prises en masse sans garantie matérielle. AutoDex propose une voie intermédiaire: la simulation génère, le robot vérifie. Il faut cependant rester prudent: il s'agit d'un article de recherche (préprint arXiv, v2), avec 100 objets et deux mains seulement, sans déploiement industriel ni comparaison directe avec des systèmes concurrents. La généralisation à des objets déformables, des scènes encombrées plus complexes ou d'autres mains reste à démontrer. La publication du code et des données devrait permettre à d'autres laboratoires de reproduire l'approche et de l'étendre, notamment vers l'entraînement de modèles vision-langage-action qui exigent de gros volumes de données de manipulation réelles.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA Exosquelettes arXiv cs.RO

À lire aussi

1arXiv cs.RO

RLinf-USER : un système unifié et extensible pour l'apprentissage de politiques en ligne en conditions réelles pour l'IA incarnée

Le préprint arXiv:2602.07837 (quatrième version, publiée en remplacement d'une version antérieure) présente USER, un système conçu pour l'apprentissage de politiques en ligne directement dans le monde réel, et non en simulation. Contrairement à un environnement simulé, où l'on peut accélérer le temps, réinitialiser un robot instantanément ou dupliquer massivement les essais, l'entraînement physique impose des contraintes de vitesse, de coût et d'usure matérielle qui, selon les auteurs, transforment le problème en un défi d'ingénierie systémique autant qu'algorithmique. USER répond à ce constat par deux couches complémentaires. Côté infrastructure, une couche d'abstraction matérielle unifie la gestion de robots hétérogènes, tandis qu'un plan de communication adaptatif organise l'entraînement réparti entre cloud et périphérie (edge). Côté apprentissage, le système repose sur un entraînement entièrement asynchrone, un buffer de rejeu persistant et sensible au cache, ainsi que des abstractions extensibles pour définir récompenses, algorithmes et politiques. Les expériences, menées en simulation et sur du matériel réel, couvrent la coordination multi-robots, des manipulateurs de types différents, l'entraînement cloud-edge avec de grands modèles, et des sessions asynchrones de longue durée. L'abstract ne fournit toutefois aucun chiffre précis de charge utile, de degrés de liberté ou de temps de cycle, ce qui limite l'évaluation indépendante des gains annoncés. Pour l'industrie robotique, ce travail cible un goulot d'étranglement rarement documenté publiquement: faire fonctionner l'apprentissage par renforcement en ligne sur des flottes physiques hétérogènes, à l'heure où les modèles VLA (vision-langage-action) type Pi-0 ou GR00T nécessitent des volumes de données et des cycles d'entraînement continus. Une brique d'orchestration cloud-edge réutilisable, si elle tient ses promesses au-delà du cadre expérimental, réduirait le travail d'intégration pour les équipes qui déploient plusieurs types de bras ou de robots mobiles sous une même boucle d'apprentissage. Mais l'absence de métriques quantitatives comparatives dans l'abstract invite à traiter cette annonce comme une proposition d'architecture logicielle validée en laboratoire, pas comme un système prêt à l'échelle industrielle. Cette publication s'inscrit dans une tendance plus large: à mesure que les modèles fondation pour la robotique (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure) gagnent en taille, l'entraînement purement simulé montre ses limites face au fossé sim-to-réel, poussant les laboratoires vers l'apprentissage en ligne sur robot réel. Le statut de préprint en quatrième révision suggère un travail encore en itération académique, sans calendrier de déploiement pilote ni partenaire industriel annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

FINGR : apprentissage du contrôle de main dextérique pour résoudre un Rubik's Cube en conditions réelles

Une équipe de chercheurs présente FINGR (Future-supervised Interaction Network with Geometric Representations), une politique de contrôle pour main robotique dextre qui résout un Rubik's Cube en manipulation à une seule main. Sur une vraie main dextre, elle atteint 99,0 % de réussite sur 300 tentatives de rotation de face, contre 79,7 % pour la politique de flux (flow policy) de base. Couplée à des modules de saisie et de re-préhension assistée par la table, elle résout dix cubes 2×2×2 mélangés sur dix, avec un temps moyen de système complet d'environ 137 secondes. Il s'agit d'un travail académique publié sur arXiv (version 2), accompagné d'un site de projet, et non d'un produit ou d'un déploiement industriel. Les modèles de main utilisés, le protocole de mélange et les conditions d'essai ne figurent pas dans le résumé. Techniquement, FINGR exprime la géométrie du cube relativement à chaque bout de doigt. Un encodeur de points partagé agrège les points sans dépendre de l'indexation des cubies, ce qui évite de figer une numérotation des petits cubes. Des « jetons futurs » appris, qui partagent l'encodeur d'observation, sont supervisés pour prédire les variations de force de contact, la progression de la rotation de couche et le déplacement des articulations des doigts, à plusieurs échelles de temps. La représentation obtenue conditionne une politique de flux qui génère directement les actions des doigts. L'intérêt est double. D'abord, le gain de 79,7 % à 99,0 % suggère que, pour la manipulation riche en contacts, l'ajout d'objectifs auxiliaires de prédiction d'interactions et d'une géométrie centrée sur les doigts améliore nettement la fiabilité d'une politique générative. Ensuite, la fiabilité par tour compte davantage que la vitesse : une séquence de résolution enchaîne des dizaines de rotations, et une erreur non récupérée les fait échouer. Il faut toutefois rester prudent. Le 2×2×2 est nettement plus simple que le 3×3×3, l'échantillon de dix cubes est réduit, et rien n'indique que la méthode dépasse ce cadre de laboratoire ni qu'elle soit transposable à des tâches d'assemblage industrielles. Le Rubik's Cube reste un banc d'essai classique de la dextérité robotique depuis la démonstration d'OpenAI avec la Shadow Hand, qui reposait sur un entraînement en simulation massif et une randomisation de domaine. Les approches actuelles se tournent plutôt vers les politiques génératives, de type flow matching ou diffusion, dont relèvent les modèles VLA récents comme Pi-0. FINGR se distingue en injectant des signaux de contact et de géométrie propres à la main. Les suites probables sont la montée au 3×3×3, plus exigeant en précision et en durée de séquence, ainsi que des tests sur d'autres mains dextres. Les auteurs ne mentionnent aucun partenaire industriel ni calendrier de transfert.

RecherchePaper

1 source

3arXiv cs.RO

LAMP : apprentissage guidé par un a priori de mouvement latent pour la manipulation dextérique en conditions réelles

Les chercheurs à l'origine de LAMP (Latent Motion Prior-Guided Real-World Learning) proposent une méthode d'apprentissage en trois étapes pour piloter des mains robotiques dexterous directement dans le monde réel, sans passer par la simulation. Le système commence par pré-entraîner un module de "prior de mouvement latent", qui compresse l'historique récent des actions de la main en une représentation compacte et décodable en commandes exécutables à haute dimension. Une politique visuomotrice est ensuite entraînée pour prédire à la fois les commandes natives du bras et des corrections latentes pour la main, avant d'être affinée par apprentissage par renforcement (RL) résiduel en ligne, directement sur le robot physique. Testée sur quatre tâches réelles de manipulation dexterous, la méthode atteint un taux de réussite moyen de 56,25% après la seule phase d'imitation, porté à 98,75% après le RL en ligne, avec 100% de réussite sur trois des quatre tâches et 95% sur la dernière. L'enjeu dépasse la simple performance chiffrée: l'apprentissage de mains robotiques à haute dimensionnalité (nombreux degrés de liberté par doigt) est historiquement instable, car la moindre erreur d'imitation s'amplifie et pousse l'exploration par renforcement à casser le contact avec l'objet manipulé, un risque direct pour du matériel physique coûteux. En contraignant l'exploration RL à rester proche de mouvements démontrés et cohérents en termes de contact, plutôt que de perturber chaque articulation indépendamment, LAMP répond à un vrai goulot d'étranglement pour les intégrateurs qui veulent déployer de la manipulation fine (préhension d'objets fragiles, assemblage) sans multiplier les cycles de simulation coûteux ni les casses de vérins. Le travail s'inscrit dans la lignée des approches hybrides imitation + RL déjà explorées pour la robotique, mais cible spécifiquement l'espace d'action des mains dexterous, comparé ici à des interfaces d'action brutes, linéaires et discrètes, que LAMP surpasse selon les auteurs. Publié sur arXiv début juillet 2026, ce travail reste à ce stade une contribution de recherche académique, sans acteur industriel ni date de commercialisation annoncée; sa validation sur davantage de tâches et de plateformes matérielles reste l'étape logique suivante.

RecherchePaper

1 source

4arXiv cs.RO

DEX-PHD : un dispositif portable à main dextérique pour la collecte de données multimodales

DEX-PHD est un dispositif portable tenu en main, présenté dans un preprint arXiv (v1, octobre 2026), qui vise à rapprocher deux familles de méthodes de collecte de données de manipulation. D'un côté, la téléopération par chaîne cinématique donne un accès précis à l'état du robot, mais reste lourde et peu mobile. De l'autre, les approches par vision sont pratiques et transportables, mais fournissent peu d'information sur l'état réel du robot. Le dispositif embarque une main robotique dextre, un contrôle continu doigt par doigt et une journalisation multimodale: proprioception, données de contact au bout des doigts et vidéo d'une caméra de poignet. L'opérateur pilote directement la main robotique par un mappage au niveau des articulations. La conception est sans fil (sans attache), ce qui permet de collecter des démonstrations dans des environnements variés. Les auteurs l'ont testé sur des tâches riches en contacts qui exigent une coordination multi-doigts. Ils ont ensuite rejoué les démonstrations en boucle ouverte sur un robot humanoïde physique. Le résumé ne donne ni nombre de degrés de liberté, ni taille de jeu de données, ni taux de réussite, ni nom de la main ou du robot utilisés. Pour les équipes qui entraînent des politiques de manipulation dextre (VLA ou imitation), le goulot d'étranglement est la donnée. Les gants et la vision seule laissent un écart d'embodiment, car la main humaine n'est pas la main robot. La téléopération classique l'évite mais impose un robot complet sur site. Un outil où l'opérateur manipule avec la vraie main robotique, en enregistrant les contacts, vise à produire des démonstrations directement exploitables par le robot cible. Les résultats restent toutefois modestes: le rejeu en boucle ouverte montre que les motifs temporels des doigts et les contacts essentiels sont préservés, mais cela ne prouve ni la robustesse, ni la généralisation, ni l'apprentissage d'une politique à partir de ces données. Aucune comparaison chiffrée avec l'état de l'art n'est fournie dans le résumé. DEX-PHD s'inscrit dans la lignée des dispositifs handheld sans robot, comme l'UMI de Stanford pour les pinces, et des systèmes de capture par gant ou exosquelette pour mains dextres. Il prolonge cette logique vers des mains à plusieurs doigts équipées de capteurs tactiles. Sur le plan industriel, la même question traverse les acteurs de l'humanoïde (Figure, Tesla, Sanctuary, ou en Europe Wandercraft et Enchanted Tools): comment collecter à grande échelle des données dextres de qualité à faible coût. La suite logique serait un entraînement de politiques en boucle fermée avec ces données, une publication du matériel ou du code, et une évaluation sur des tâches plus longues. À ce stade, il s'agit d'un résultat de recherche et non d'un produit disponible.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source