Les robots acquièrent un toucher partagé et une meilleure dextérité grâce à un jeu de données chinois de 5 000 heures

Robbyant, la filiale d'IA embarquée d'Ant Group, a publié en open source LingBot-Touch, un modèle de fondation tactile pré-entraîné sur près de 5 000 heures de données tactiles collectées en conditions réelles. Il prend en charge trois technologies de capteurs : magnétique, tactile visuel (type caméra sous élastomère) et piézorésistif. Une architecture à encodeurs séparés traite chaque famille de signaux, puis projette les points de contact dans un espace de coordonnées commun du bout du doigt. Un modèle partagé apprend ensuite la localisation des contacts, la distribution des forces et leur évolution temporelle, et produit des « tokens tactiles » unifiés. L'entraînement combine des données issues de gants tactiles portés par des humains et de mains robotiques téléopérées. Robbyant a mené 26 tests de manipulation réels sur deux mains dextres, Sharpa Wave et XHand, avec quatre modèles d'action (LingBot-VLA, π0.5, Diffusion Policy et TRex). Le gain moyen du taux de réussite par rapport à l'absence de tactile se situe entre 14 et 26 points de pourcentage. Sur le dévissage d'un bouchon de bouteille avec TRex piloté sur Sharpa Wave, le taux passe de 56,25 % sans tactile à 62,5 % avec les signaux bruts injectés directement, puis à 90 % avec le prétraitement par LingBot-Touch. Les tests ont utilisé la version Tiny (environ 5,3 millions de paramètres), qui n'ajoute que 0,13 à 0,16 % à la taille totale des politiques. Le rapport technique et le code sont disponibles sur Hugging Face et GitHub.

L'intérêt pour l'industrie tient moins au gain brut qu'au problème de fragmentation que le modèle vise à résoudre. Les capteurs tactiles commerciaux n'ont pas convergé vers une technologie unique, et chaque changement de matériel oblige aujourd'hui à recollecter des données et à réentraîner les politiques. Une représentation commune réduirait ce coût pour les intégrateurs et les équipes de recherche, et ferait du tactile une brique réutilisable plutôt qu'un développement sur mesure par main. Le test le plus parlant est celui de XHand : ses capteurs magnétiques étaient absents du pré-entraînement, le modèle de fondation est resté gelé, et seule la politique d'action a été entraînée sur des démonstrations XHand. Cela suggère un transfert inter-matériel réel, à confirmer indépendamment. Il faut toutefois lire les chiffres avec prudence : ils proviennent de Robbyant, les tâches sont peu détaillées (pas de nombre d'essais précisé, les écarts de 56 % à 62 % sont modestes), et le meilleur résultat de 90 % porte sur une seule tâche de laboratoire. Rien n'indique non plus un déploiement industriel ou une mesure de robustesse hors du cadre d'évaluation. Les applications citées, tourner des pages, dévisser des bouchons ou identifier des tuiles de mah-jong, restent des démonstrations de dextérité fine.

Ce lancement s'inscrit dans la montée en puissance de Robbyant, qui développe déjà LingBot-VLA, et dans la course des acteurs chinois à structurer l'écosystème de la manipulation dextre par des modèles ouverts, face à des approches plus intégrées et fermées côté américain. Le choix de tester avec π0.5, un modèle VLA (vision-langage-action) d'un acteur occidental, vise aussi à montrer que le module est agnostique vis-à-vis de la politique. Sharpa, dont la main Wave sert de banc d'essai, et le fabricant de XHand y trouvent une vitrine. La version plus grande du modèle n'a pas encore été évaluée en conditions réelles : Robbyant évoque un potentiel d'amélioration à mesure que le jeu de données approche les 5 000 heures. La suite dépendra de l'adoption par des tiers, de reproductions indépendantes sur d'autres mains et capteurs, et de l'intégration de nouvelles technologies tactiles, que l'architecture est censée accueillir sans refonte.