IA physiquePandaily 10 novembre 2026

Ant Group : Robbyant publie en open source LingBot-Touch, un modèle tactile pour mains robotiques

2 sources couvrent ce sujet·Source originale ↗·

Résumé IASources croisées · 2Impact UE

Egalement couvert par :TechNode ↗

Robbyant, la filiale d'IA incarnée d'Ant Group, a publié le 10 novembre en open source LingBot-Touch, un modèle de fondation tactile censé donner aux mains robotiques un sens du toucher commun. Pré-entraîné sur près de 5 000 heures de données tactiles réelles, il couvre trois principes de capteurs : magnétique, visuotactile et piézorésistif. Le code est sous licence Apache-2.0, avec des checkpoints Tiny et Small disponibles sur Hugging Face et ModelScope. L'architecture donne à chaque type de capteur son propre tokenizer d'entrée, alimentant un Transformer partagé. Les points de contact sont projetés dans un espace de coordonnées commun du bout des doigts, et le modèle produit des tokens tactiles unifiés, exploitables par différents modèles d'action. L'entraînement suit un objectif de type JEPA, qui prédit des représentations latentes à partir du contexte spatio-temporel du toucher, avec des données issues de gants tactiles portés par des humains et de mains dextres téléopérées. Robbyant a évalué le modèle sur deux mains, Sharpa Wave et XHand, à travers 26 tâches réelles (tourner des pages, dévisser un bouchon de bouteille, identifier des tuiles de mahjong). Ajoutée à quatre modèles d'action (LingBot-VLA, π0.5, Diffusion Policy et T-Rex), la représentation améliore le taux de réussite moyen de 14 à 26 points de pourcentage. Pour T-Rex dévissant un bouchon sur Sharpa Wave, le succès passe de 56,25 % sans toucher à 62,5 % avec les signaux bruts, puis 90 % avec LingBot-Touch.

L'intérêt tient moins au score qu'au problème traité : les capteurs tactiles produisent des signaux bruts incompatibles, si bien que l'expérience accumulée sur un capteur se transfère mal à un autre. Les politiques VLA actuelles restent largement vision-langage, et le toucher y est rarement intégré de façon réutilisable. Le coût d'intégration est faible : les 26 tests ont utilisé la version Tiny, d'environ 5 millions de paramètres, qui ajoute seulement 0,13 % à 0,16 % aux politiques qu'elle équipe. Le test de transfert matériel est le plus instructif. L'encodeur est resté figé sur XHand, dont le modèle de capteur magnétique n'figurait pas dans le pré-entraînement, et seul le modèle d'action a été entraîné sur des démonstrations XHand ; la connaissance du toucher magnétique provenait donc uniquement des gants humains. Robbyant présente LingBot-Touch comme une couche neutre entre capteurs et politiques, non liée à son propre LingBot-VLA : les fabricants de mains peuvent choisir leurs capteurs selon le coût, les équipes système conservent leurs politiques. La version Small continuerait de progresser à mesure que les données approchent 5 000 heures. À nuancer toutefois : tous les résultats viennent de Robbyant, sans réplication indépendante, et les tests portent sur des tâches de laboratoire de faible volume.

Ce lancement prolonge la famille LingBot d'Ant Group, qui revendique plus de 2,2 millions de téléchargements et dont des robots de pharmacie entrent dans des magasins à Shanghai. Il intervient alors que les fabricants de mains dextres, comme Sharpa avec sa D01, sa main W02 et son gant haptique AE01 dévoilés à l'IROS 2026, multiplient les capteurs tactiles propriétaires, ce qui rend un standard d'encodage de plus en plus utile. Côté concurrence, le toucher reste un angle secondaire chez les grands acteurs des modèles de fondation robotique, davantage centrés sur la vision. La publication GitHub est pour l'instant une version d'inférence : elle contient l'encodeur figé et des outils d'extraction de caractéristiques, pas le code d'entraînement. La prochaine étape à observer sera l'adoption par des tiers sur des matériels non testés par Robbyant, seul vrai test de la promesse de neutralité.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 ICRA / IROS / CoRL

À lire aussi

1Pandaily

Anyverse Dynamics publie en open source MWA-Phoenix, un modèle d'action du monde de 7 milliards de paramètres embarqué pour robots

Anyverse Dynamics, société d'IA incarnée, a publié en open source MWA-Phoenix, un modèle d'action fondé sur un « world model » en espace latent, présenté comme un modèle de fondation pour la manipulation robotique. Il compte 7 milliards de paramètres et est conçu pour tourner directement sur le robot. Le code est disponible sur GitHub, accompagné d'un rapport technique. Le modèle travaille uniquement à partir d'images RGB, sans profondeur de référence. Selon l'entreprise, il se classe premier ou parmi les premiers sur six évaluations : 94,63 % sur LIBERO-Plus (perturbations de angle de caméra, d'éclairage, bruit capteur), 66,48 % sur LIBERO-Pro (objets, positions et objectifs modifiés), 82,67 % sur RoboCasa GR1 Tabletop (+7,5 points face à son précédent modèle WALA) et 72,42 % sur RoboTwin 2.0 en bimanuel. Il affiche aussi des résultats sur le classement RoboDojo en robot réel (trois morphologies, 18 tâches). Le chiffre le plus parlant vient de Bench2Dex, qui couvre 12 combinaisons de bras et de mains dextres : Phoenix y obtient 45,6 % de moyenne, soit 17,3 points de plus que la meilleure référence, pi0.5. Sur le plan technique, le backbone visuel est DINOv3, avec une distillation de deux modèles enseignants : VGGT pour la géométrie et V-JEPA pour la dynamique temporelle. Un VAE sémantique causal compresse ces représentations sans lire les images futures. Un expert vidéo et un expert d'action sont couplés par attention conjointe, de sorte que le modèle prédit simultanément l'évolution de la scène et l'action à exécuter. Deux modules complémentaires visent l'écart simulation/réel : Phoenix-ILA intègre mouvement et contact dans l'apprentissage de l'action pour la manipulation fine, et Phoenix-PhysCanvas est un monde simulé interactif où les politiques peuvent continuer à s'améliorer dans le cloud avant déploiement. Pour le contrôle temps réel, une exécution asynchrone prépare le prochain segment d'actions pendant que le robot bouge encore. Le pré-entraînement mêle opérations de robots réels, vidéo égocentrique humaine et captures UMI portées à la main. Pour les intégrateurs et responsables R&D, l'intérêt tient moins aux classements qu'au signal d'ouverture : un VLA/world action model de 7 milliards de paramètres exécutable en embarqué, avec code public, abaisse le coût d'entrée pour tester des politiques génératives sans dépendre d'une API cloud. Le score de 45,6 % sur Bench2Dex rappelle toutefois que le transfert de compétences entre morphologies différentes reste loin d'être résolu : l'avance sur pi0.5 est nette, mais l'absolu reste faible pour un usage industriel. Il faut aussi relever que tous les chiffres proviennent de l'entreprise, qu'elle affirme qu'aucune donnée de test n'a servi à l'entraînement sans vérification indépendante à ce stade, et que la majorité des benchmarks sont simulés. Seul RoboDojo touche du matériel réel, et rien n'indique de déploiement client ni de temps de cycle en production. Le contexte est celui d'une course aux modèles de fondation pour la manipulation, où pi0.5 fait figure de référence ouverte et où les approches « world model » (prédire la scène future pour guider l'action) gagnent du terrain face aux VLA purement réactifs. Anyverse Dynamics se positionne sur ce créneau en s'appuyant sur plus de 200 000 heures de données multimodales et annonce l'entraînement de modèles plus grands, sans calendrier précis. D'autres acteurs chinois explorent la même voie, comme Qianjue avec son modèle prédictif Polibrain ou Shengshu avec Motus2. La suite dépendra des reproductions indépendantes des résultats, des tests sur robots réels hors des benchmarks de l'éditeur et de la sortie des versions plus volumineuses.

UEPas d\'impact direct sur la France/UE

IA physiqueActu

1 source

2arXiv cs.RO

Agile-WAM : un modèle d'action-monde tactile agile pour le contrôle robotique en contact riche

Des chercheurs ont présenté Agile-WAM, un "world action model" (WAM) tactile pour le contrôle robotique en manipulation à contact riche, détaillé dans un preprint arXiv (2609.20761) et sur une page de projet dédiée portant le nom de code TARO. Le modèle encode vision et tactile dans un espace latent partagé, exploité par un processus de flow-matching direct vision-tactile-vers-action qui génère à la fois des séquences d'actions et les latents visuels/tactiles futurs. Sa particularité est une prédiction multimodale à horizons multiples : supervision visuelle à décalage temporel large, les images voisines étant peu différentes, mais prédiction tactile image par image pour capter les changements brusques au moment du contact. Testé sur neuf tâches simulées et cinq tâches réelles de manipulation, Agile-WAM obtient un gain relatif de 29,4% en taux de succès sur les cinq essais réels, pour une latence d'inférence de 11,9 millisecondes. Ce résultat répond à une limite concrète des WAM tactiles existants, qui s'appuient souvent sur de lourds backbones génératifs pré-entraînés au détriment de la latence et du déploiement temps réel. En affichant une inférence à un chiffre de millisecondes tout en dépassant sa meilleure baseline, Agile-WAM suggère qu'un contrôle précis et à haute fréquence, nécessaire dès que le contact évolue plus vite que l'image, ne requiert pas forcément les architectures massives des VLA généralistes type Pi-0 ou GR00T N2. Pour les équipes de recherche et les intégrateurs travaillant sur l'insertion de pièces, l'assemblage ou la préhension fine, l'apport principal est méthodologique : traiter vision et tactile à des échelles temporelles distinctes améliore à la fois précision et efficacité, plutôt qu'une simple fusion multimodale. Le travail s'inscrit dans la lignée des world models robotiques, qui étendent les politiques visuomotrices classiques en apprenant conjointement la dynamique du monde et l'action à produire, une piste déjà suivie par des VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), rarement avec un signal tactile aussi fin. Les auteurs positionnent Agile-WAM contre des WAM tactiles antérieurs jugés trop coûteux en calcul, sans les nommer précisément dans le résumé. Il s'agit à ce stade d'un preprint de recherche non encore revu par les pairs, appuyé par des démonstrations en simulation et cinq essais réels, sans partenaire industriel ni calendrier de déploiement annoncé.

IA physiqueOpinion

1 source

3arXiv cs.RO

ForeTac-VLA : un modèle vision-langage-action tactile basé sur la prévision pour la manipulation robotique en contact riche

Publié en septembre 2026 sur arXiv sous la référence 2609.20980, ForeTac-VLA est un modèle vision-langage-action (VLA) qui ajoute une couche tactile prédictive pour la manipulation robotique en environnement riche en contacts physiques. Le système encode les observations tactiles récentes en représentations temporelles, les fusionne avec les caractéristiques vision-langage par attention croisée bidirectionnelle, puis un module de prévision fondé sur un transformeur anticipe l'état tactile sur plusieurs pas de temps futurs avant d'injecter ces prédictions dans le backbone VLA qui génère l'action. Un curriculum passant progressivement des données tactiles réelles aux données prédites stabilise l'entraînement lorsque les premières prévisions sont peu fiables. Sur quatre tâches de manipulation réelles à fort contact physique, ForeTac-VLA atteint un taux de réussite moyen de 95%, avec un gain de 36,25 points de pourcentage sur un VLA simplement affiné et de plus de 22 points sur les meilleures méthodes tactiles-VLA existantes, tout en maintenant ses performances en faible luminosité et en environnement visuellement encombré. Ce travail cible une faiblesse connue des modèles VLA, très dépendants de la vision, alors que des états physiques critiques comme le glissement d'un objet ou l'alignement lors d'une insertion ne sont pas observables visuellement. Les approches tactiles existantes se contentaient de réagir au contact déjà survenu; ForeTac-VLA propose de l'anticiper, ce qui change la nature du signal exploité par le modèle d'action. Pour les intégrateurs industriels, l'intérêt pratique tient à la robustesse démontrée en conditions dégradées, faible éclairage ou encombrement visuel, des situations fréquentes en usine ou en entrepôt où la vision seule échoue souvent. Si ces écarts se confirment au-delà des quatre tâches testées, cela conforterait l'idée qu'une fusion tactile prédictive, plutôt que purement réactive, est une piste sérieuse pour fiabiliser la manipulation en contact riche, un point faible récurrent des démonstrations VLA actuelles. ForeTac-VLA s'inscrit dans la lignée des modèles VLA génériques qui unifient perception, langage et contrôle moteur, et dans la sous-famille plus récente des VLA tactiles qui ajoutent un capteur de contact au pipeline vision-langage. Il se positionne explicitement contre ces baselines tactiles-VLA de l'état de l'art, qu'il dépasse de plus de 22 points, ainsi que contre un VLA classique simplement affiné sur les mêmes tâches. La publication reste un preprint arXiv, sans nom d'entreprise ni calendrier de déploiement industriel associé: il s'agit d'un résultat de recherche évalué sur quatre tâches choisies par les auteurs et illustré par des vidéos sélectionnées sur le site du projet, pas d'un produit commercialisé. Les suites attendues sont l'élargissement à davantage de tâches et de plateformes robotiques, ainsi qu'une évaluation indépendante confirmant que l'écart de performance tient face à des scénarios plus variés que le banc d'essai initial.

IA physiqueOpinion

1 source

4Pandaily

Shanghai AI Lab lance Intern W0, un modèle du monde physique pour la robotique à retour de force et tactile

Le Shanghai Artificial Intelligence Laboratory a présenté W0, un modèle de fondation robotique baptisé Intern physical world model, conçu pour combiner vision, force et toucher dans des tâches physiques à contact riche, avec perception, prédiction, action et correction s'exécutant en parallèle plutôt qu'en chaîne rigide. Deux piliers le définissent : une perception force-tactile native, où la vision fixe cibles et trajectoires d'approche, le retour de contact ajuste qualité de préhension et détection de glissement, et l'état corporel suit pose et mouvement ; et une architecture « duplex » asynchrone à fréquences multiples, planification longue en arrière-plan et commandes moteur à haute fréquence, pour raccourcir le délai entre un changement d'environnement et la correction du geste. W0 diffère du projet NCP-ArchPreview, mené avec le LUMIA Lab de l'université Jiao Tong de Shanghai sur la prédiction du concept suivant en espace latent. Connecté à la plateforme Intern InkStone et au modèle scientifique Intern S2, W0 a fait tourner des boucles fermées en laboratoire humide et sec : évolution dirigée de protéines d'édition génique, synthèse organique de mépivacaïne, préparation de nanoparticules lipidiques avec ajustements dynamiques de paramètres en cours de run. Pour les intégrateurs et décideurs de la robotique industrielle, ce choix diffère du pari humanoïde grand public : plutôt que la démonstration spectaculaire, le laboratoire vise l'automatisation d'expériences scientifiques, où la fiabilité du contact (préhension, glissement, micro-ajustement) prime sur la marche ou la manipulation domestique. Si le couplage force-tactile-vision en duplex tient au-delà des cas montrés, il fournirait un argument concret dans le débat sur le passage à l'échelle des modèles vision-langage-action au-delà de vidéos de démonstration triées, un reproche récurrent fait au secteur. Les résultats de laboratoire humide cités restent toutefois issus en partie de couverture secondaire relayée par le laboratoire lui-même comme preuve précoce, non d'une validation indépendante ni d'un déploiement à grande échelle : une preuve de faisabilité sur un nombre limité de protocoles, pas un produit fini. W0 s'inscrit dans l'effort plus large du Shanghai AI Lab pour bâtir une pile de modèles d'IA physique, distincte de sa branche NCP-ArchPreview menée avec l'université Jiao Tong de Shanghai. Contrairement aux humanoïdes commerciaux orientés logistique ou assemblage industriel, le laboratoire cible en priorité les instruments de paillasse et les protocoles de chimie, biologie et science des matériaux, présentés comme une brique sous les flux Intern InkStone plutôt que comme un robot grand public. La suite dépendra de la capacité du contrôle force-tactile duplex à généraliser au-delà des trois cas démontrés, protéines d'édition génique, synthèse de mépivacaïne, nanoparticules lipidiques ; le laboratoire présente ces résultats comme l'ouverture d'un chemin allant de la déduction de schémas à l'expérience instrumentée, sans calendrier de déploiement ni partenaires pilotes annoncés à ce stade.

IA physiqueOpinion

1 source