RecherchearXiv cs.RO 15 octobre 2026

TacClaw-Infinity : un jeu de données vision-tactile-langage-action à grande échelle pour la manipulation dextère

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

TacClaw-Infinity est un jeu de données de manipulation robotique de très grande taille, présenté sur arXiv (2610.20320) sous la forme d'un corpus Vision-Tactile-Langage-Action (VTLA). Il a été collecté avec TacClaw, une interface portable de type UMI (Universal Manipulation Interface) équipée de capteurs tactiles aux bouts des doigts. Elle enregistre de façon synchronisée les images, les signaux tactiles et les trajectoires de l'effecteur, sans qu'aucun robot cible ne soit nécessaire pendant la collecte. La collecte, distribuée dans le monde entier, couvre des domiciles, des laboratoires, des lieux de travail industriels, des commerces et des espaces extérieurs, avec des tâches fournies par des partenaires académiques et industriels. Le corpus dépasse 10 000 heures, 1 million d'épisodes et 1 milliard d'images, pour plus de 1 000 types de tâches. Les auteurs décrivent aussi une chaîne de traitement pour reconstruire les trajectoires, contrôler la qualité multimodale, filtrer selon l'embodiment (le type de robot visé) et annoter de façon structurée : segmentation centrée sur les contacts, description des sous-tâches et ancrage spatial. Côté modèle, ils annoncent un transfert inter-embodiments vers trois robots hétérogènes, sans démonstration propre à chacun.

L'intérêt tient à un goulot d'étranglement bien connu : les démonstrations visuelles se multiplient, mais les données tactiles, indispensables aux tâches riches en contacts comme l'insertion, le serrage ou la manipulation d'objets déformables, restent rares et rarement contrôlées en qualité. Si les résultats tiennent, la collecte sans robot réduit fortement le coût par heure de données et permet d'aller chercher la diversité là où elle existe, chez les utilisateurs et dans les ateliers. Le transfert vers trois robots sans données spécifiques irait dans le sens d'une pré-formation réutilisable, à la manière de ce que les VLA (modèles vision-langage-action) font déjà pour la vision seule. Quelques réserves s'imposent toutefois. Il s'agit d'un preprint, et seul le résumé est disponible ici. Il ne donne ni taux de réussite, ni comparaison avec des bases sans tactile, ni précision sur les trois robots et les tâches testées. Il ne dit pas non plus si le jeu de données sera publié en entier ni sous quelle licence. Les chiffres d'échelle sont des volumes bruts : ils ne disent rien de la proportion de données réellement exploitables après filtrage.

Ce travail prolonge la lignée des interfaces portables sans robot, popularisées par UMI, et des grands corpus multi-embodiments comme Open X-Embodiment ou DROID, qui restent surtout visuels. Les acteurs des VLA, tels que Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix, cherchent à étendre leurs modèles au tactile, sans qu'un jeu de données de cette taille soit aujourd'hui largement disponible. Les prochaines étapes à surveiller sont la publication effective du corpus, la reproduction des résultats de transfert par des équipes indépendantes et l'adoption de TacClaw par d'autres laboratoires ou industriels, y compris européens, pour des tâches de précision.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique

À lire aussi

1arXiv cs.RO

« RoboTacDex : un jeu de données visuo-tactile-action dextérique pour la manipulation humanoïde »

Une équipe de chercheurs en robot learning publie RoboTacDex, un jeu de données de manipulation dextre construit sur le robot humanoïde Unitree G1, accessible publiquement. L'ensemble comprend 6 000 trajectoires couvrant 19 tâches, 23 compétences distinctes et des interactions avec 22 objets différents. Chaque trajectoire embarque des flux RGB et de profondeur multi-vues, un retour tactile et des annotations sémantiques détaillées. Pour garantir la qualité de la collecte, les auteurs ont développé un système de synchronisation multi-caméras capable d'aligner les différentes modalités à la milliseconde près. Le jeu de données cible volontairement des tâches complexes, réalisables uniquement avec deux bras et des mains dextres, pour se rapprocher de la logique opérationnelle humaine. Trois modèles d'apprentissage par imitation ont été testés dessus, avec des résultats jugés positifs et une capacité de généralisation modérée sur l'ensemble des tâches. Le dataset sera open-source prochainement. L'enjeu dépasse la simple publication académique : l'apprentissage par imitation pour la manipulation bimanuelle dextre souffre d'un manque chronique de démonstrations diversifiées et multimodales, la plupart des jeux de données existants se limitant à la vision RGB seule. L'ajout systématique du tactile et d'une synchronisation précise entre capteurs comble un vide identifié par plusieurs laboratoires travaillant sur des modèles vision-langage-action (VLA). Pour les équipes qui entraînent ce type de modèles, disposer de données ouvertes et denses sur une plateforme humanoïde standardisée réduit la dépendance aux jeux de données propriétaires des grands acteurs américains. Le choix du Unitree G1, plateforme humanoïde relativement abordable et largement diffusée dans les laboratoires de recherche, s'inscrit dans une dynamique d'ouverture des données robotiques comparable à des initiatives comme Open X-Embodiment. Ce positionnement contraste avec les approches propriétaires de Physical Intelligence (Pi-0) ou NVIDIA (GR00T), qui restreignent l'accès à leurs corpus d'entraînement. La mise en open source, annoncée mais pas encore effective à la date de publication du prépublication arXiv, déterminera l'impact réel de RoboTacDex sur la communauté.

RecherchePaper

1 source

2arXiv cs.RO

TableVerse : un jeu de données de tables à grande échelle avec des dispositions ancrées dans le réel pour la manipulation généralisable

TableVerse est un nouveau pipeline Real2Sim entièrement automatisé qui transforme des images non structurées, glanées sur internet, en environnements de table simulables avec une échelle métrique précise et une stabilité mécanique vérifiée. Contrairement aux méthodes existantes qui génèrent des scènes à partir de texte ou par génération procédurale simplifiée, TableVerse reconstruit de manière déterministe des dispositions d'objets réellement observées, en préservant leur topologie authentique. Le pipeline intègre également un module de génération de trajectoires conditionné par tâche, capable de produire des démonstrations de préhension et dépose (pick-and-place) sans collision. À partir de cette chaîne complète, les chercheurs ont constitué TableVerse-100K, un corpus de 100 000 environnements de table uniques et physiquement cohérents, chacun associé à des trajectoires de manipulation interactives. L'enjeu principal est celui, bien identifié dans la robotique manipulative, du goulot d'étranglement des données : entraîner des politiques de manipulation généralisables nécessite des volumes massifs de scènes réalistes et denses en encombrement, proches de véritables environnements domestiques ou industriels. Les approches de synthèse par hallucination texte-vers-disposition ou par génération procédurale produisent souvent des agencements physiquement implausibles, avec un encombrement bien plus pauvre que celui d'un vrai bureau ou d'une vraie table de cuisine. En ancrant la génération de scènes dans des images réelles plutôt que dans l'imagination d'un modèle génératif, TableVerse cherche à combler cet écart entre données synthétiques et complexité du monde réel, un enjeu central pour les modèles de type VLA (vision-langage-action) qui peinent aujourd'hui à généraliser au-delà de leurs environnements d'entraînement. Cette publication s'inscrit dans une dynamique de recherche plus large sur la génération automatisée de données d'entraînement pour la manipulation robotique, où plusieurs équipes explorent des approches concurrentes de synthèse procédurale ou de génération de scènes par diffusion 3D. L'accent mis ici sur la reconstruction déterministe à partir de médias internet non scénarisés, plutôt que sur la génération purement imaginative, marque une inflexion méthodologique. Les auteurs présentent TableVerse-100K comme une fondation de données destinée à alimenter les travaux futurs sur les politiques de manipulation généralisables, sans toutefois préciser à ce stade de calendrier de mise à disposition publique ou de validation par des déploiements robotiques réels.

RecherchePaper

1 source

3arXiv cs.RO

FineART : jeu de données de trajectoires robotiques annotées finement et modèle vision-langage-action (VLA) pour la manipulation bimanuelle

FineART est un jeu de données de manipulation bimanuelle annotée finement, présenté sur arXiv (2609.36416v1) avec un modèle associé, FineART-VLA. Le corpus compte 40 543 épisodes, soit 1 718 heures de démonstrations, couvrant 151 tâches et 533 913 sous-tâches annotées individuellement. FineART-VLA est une politique vision-langage-action (VLA) qui prédit elle-même sa prochaine sous-tâche avant d'agir. Selon les auteurs, ce pré-entraînement intermédiaire (mid-training) fait passer le taux de réussite d'une tâche de désambiguïsation spatiale de 32,0 % à 100,0 %. Avec un guidage humain sous-tâche par sous-tâche, une tâche longue jamais vue passe de 16,0 % à 76,0 %. Après un fine-tuning minimal sur un nouveau robot, la politique demande dix fois moins de données que des références sans mid-training et généralise en zéro-shot à des tâches inédites sur ce matériel. Le jeu de données, les poids du modèle et le code d'entraînement sont publiés en open source. L'enjeu tient à la granularité des annotations plus qu'au volume. Les grands corpus mono-bras atteignent des centaines de milliers de trajectoires, mais n'associent en général qu'une instruction de haut niveau à chaque épisode. Les rares efforts bimanuels qui annotent des sous-tâches n'en couvrent qu'une fraction des heures. Or les tâches d'assemblage, de logistique ou de préparation, qui intéressent intégrateurs et industriels, sont longues, à plusieurs étapes et exigent la coordination de deux bras. Si les résultats se confirment, l'apprentissage d'un raisonnement explicite sur les sous-tâches améliore la robustesse sur les longs horizons, point faible connu des VLA. Le gain d'un facteur dix en efficacité de données lors du transfert vers un nouveau robot compte aussi pour un intégrateur : il réduit le coût de collecte de démonstrations par site ou par plateforme. Il faut toutefois rester prudent. Les chiffres viennent d'un préprint non évalué par des pairs, les 100 % portent sur une seule tâche, et les tests d'inédit reposent sur des protocoles propres aux auteurs. La part du succès due au guidage humain, sur la tâche à 76 %, est significative. Ce travail s'inscrit dans la lignée des grands jeux de données de démonstrations et des politiques généralistes de type Pi-0 ou GR00T, qui ont surtout misé sur l'échelle et les instructions globales. La tendance actuelle va vers des architectures hiérarchiques, comme Helix chez Figure, où un niveau planifie et un autre exécute. FineART propose ici un équivalent ouvert, entraînable et reproductible, ce qui le distingue des systèmes propriétaires. La suite dépendra de la reprise du jeu de données par d'autres laboratoires, de validations sur davantage de plateformes et de tâches industrielles réelles, et d'une évaluation indépendante des résultats en zéro-shot.

RechercheActu

1 source

4arXiv cs.RO

AXIS : un moteur de données communautaire évolutif pour la manipulation robotique à grande échelle

Des chercheurs ont présenté AXIS, un moteur de données communautaire et évolutif pour l'apprentissage de la manipulation robotique, décrit dans un article déposé sur arXiv le 24 juillet 2026. Le système permet de collecter des démonstrations à grande échelle via téléopération directement dans le navigateur, sans matériel spécialisé ni opérateurs centralisés, et génère puis valide automatiquement de nouvelles tâches de manipulation. Un pipeline automatisé filtre la qualité des trajectoires, les lisse et applique des augmentations visuelles et physiques pour produire des données prêtes à l'entraînement. Le jeu de données AXIS compte actuellement 207 tâches diverses et plus de 50 000 trajectoires, organisées en "task snapshots" évalués selon un protocole strict à données retenues (held-out). Ce travail cible un goulot d'étranglement bien identifié du secteur : la difficulté à faire grandir les jeux de démonstrations utilisés pour entraîner les politiques vision-langage-action (VLA), jusqu'ici souvent limités par du matériel dédié ou des catalogues de tâches figés. Les auteurs montrent que le pré-entraînement continu sur AXIS améliore le taux de réussite global du modèle π0.5 de 5,8 points, et dépasse de 37,3 points un modèle pré-entraîné sur RoboCasa365, avec des gains qui s'accentuent à mesure que le volume de données augmente. Les progrès les plus nets apparaissent sous perturbations de disposition, de bruit capteur et de point de vue caméra, un signal utile pour les intégrateurs cherchant des politiques robustes hors laboratoire plutôt que de simples démonstrations réussies en conditions idéales. Le projet s'inscrit dans une tendance émergente consistant à traiter la collecte de données robotiques comme un problème d'échelle communautaire, à l'image de ce que le crowdsourcing a permis pour les grands modèles de langage. Il se positionne explicitement face à RoboCasa365, utilisé comme référence de comparaison, et s'appuie sur des politiques VLA existantes telles que π0.5 pour évaluer l'apport réel des données AXIS. Il s'agit à ce stade d'un article de recherche déposé en preprint, dont les résultats n'ont pas encore été validés par relecture par les pairs ni reproduits par des équipes tierces.

RecherchePaper

1 source