Aller au contenu principal
IA physiqueRobotics & Automation News 

Robbyant lance LingBot-Touch pour doter les robots du sens du toucher

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Robbyant, la filiale d'IA embarquée d'Ant Group, a publié en open source LingBot-Touch, un modèle de fondation tactile destiné à donner aux mains robotiques une perception du toucher exploitable. Le modèle a été pré-entraîné sur près de 5 000 heures de données tactiles réelles et couvre les trois grandes familles de capteurs du marché : magnétique, visuo-tactile et piézorésistif. Leurs signaux hétérogènes sont convertis en une représentation tactile unifiée, sous forme de « tokens » tactiles. Robbyant a mené 26 tests en conditions réelles sur deux mains dextres, la Sharpa Wave et la XHand, avec quatre modèles d'action : LingBot-VLA, π0.5, Diffusion Policy et T-Rex. Le gain moyen de taux de réussite se situe entre 14 et 26 points de pourcentage par rapport à une exécution sans retour tactile. Sur le test le plus mis en avant, le dévissage d'un bouchon de bouteille par T-Rex piloté sur la Sharpa Wave, le taux passe de 56,25 % sans toucher et 62,5 % avec les signaux bruts injectés directement, à 90 % avec la représentation de LingBot-Touch. Tous ces essais ont utilisé la version légère, LingBot-Touch-Tiny (environ 5,3 millions de paramètres), qui n'ajoute que 0,13 à 0,16 % à la taille totale des modèles hôtes. Une version plus grande existe et continue de progresser à mesure que les données s'accumulent.

L'enjeu est moins la performance brute que le découplage entre capteur, main et politique de contrôle. Aujourd'hui, un modèle entraîné sur un type de capteur est difficilement réutilisable dès que le matériel change, ce qui force à recollecter des données et à réentraîner, un coût que supportent fabricants de mains, intégrateurs et développeurs de modèles. Robbyant propose une couche de perception générique entre capteurs et modèles d'action, capable d'absorber à la fois des données de gants tactiles portés par des humains et de téléopération de mains robotiques. Le test le plus parlant porte sur la XHand : son capteur magnétique n'apparaissait pas dans les données de pré-entraînement, et toute l'expérience magnétique du modèle provenait de gants humains. Les paramètres de LingBot-Touch ont été gelés et seul le modèle d'action a été entraîné sur les démonstrations de la XHand. Si ces résultats se confirment hors du laboratoire, ils soutiennent l'idée qu'un pré-entraînement tactile mutualisé peut remplacer les pipelines propres à chaque capteur, et que le toucher peut devenir une modalité réutilisable comme la vision l'est devenue pour les VLA. Il faut toutefois relativiser : les chiffres viennent de Robbyant lui-même, sans validation indépendante, le nombre d'essais par tâche n'est pas précisé et les tâches (tourner des pages, dévisser un bouchon, identifier des tuiles de mahjong) restent des démonstrations de dextérité, pas des cycles industriels mesurés. Aucun temps de cycle, aucune cadence ni aucun déploiement client n'est annoncé.

Cette publication s'inscrit dans la stratégie de Robbyant, qui a déjà ouvert sa famille LingBot, dont le VLA du même nom, et cherche à fédérer un écosystème autour de ses briques logicielles, à la manière de ce que font Physical Intelligence avec π0.5 ou NVIDIA avec GR00T côté modèles d'action. Le positionnement est ici différent : plutôt qu'un modèle de politique de plus, Robbyant vise la couche d'interface tactile, un terrain encore peu structuré où les capteurs commerciaux restent immatures et où plusieurs technologies devraient coexister, en raison de coûts et d'usages différents. Le fait que l'évaluation couvre des modèles tiers (π0.5, Diffusion Policy) et des mains tierces, dont la Sharpa Wave, plaide pour une logique de standard ouvert plutôt que de module captif. Reste à voir si les fabricants de mains et de capteurs, notamment en Europe où la dextérité reste un axe de recherche actif, adopteront cette représentation, et si des équipes indépendantes reproduiront les gains annoncés. Robbyant indique que l'architecture est conçue pour accueillir de nouveaux types de capteurs, et que la montée en échelle des données reste la principale piste d'amélioration.

À lire aussi

Ant Group : Robbyant publie en open source LingBot-Touch, un modèle tactile pour mains robotiques
Illustration générée par IA
1Pandaily 

Ant Group : Robbyant publie en open source LingBot-Touch, un modèle tactile pour mains robotiques

Robbyant, la filiale d'IA incarnée d'Ant Group, a publié le 10 novembre en open source LingBot-Touch, un modèle de fondation tactile censé donner aux mains robotiques un sens du toucher commun. Pré-entraîné sur près de 5 000 heures de données tactiles réelles, il couvre trois principes de capteurs : magnétique, visuotactile et piézorésistif. Le code est sous licence Apache-2.0, avec des checkpoints Tiny et Small disponibles sur Hugging Face et ModelScope. L'architecture donne à chaque type de capteur son propre tokenizer d'entrée, alimentant un Transformer partagé. Les points de contact sont projetés dans un espace de coordonnées commun du bout des doigts, et le modèle produit des tokens tactiles unifiés, exploitables par différents modèles d'action. L'entraînement suit un objectif de type JEPA, qui prédit des représentations latentes à partir du contexte spatio-temporel du toucher, avec des données issues de gants tactiles portés par des humains et de mains dextres téléopérées. Robbyant a évalué le modèle sur deux mains, Sharpa Wave et XHand, à travers 26 tâches réelles (tourner des pages, dévisser un bouchon de bouteille, identifier des tuiles de mahjong). Ajoutée à quatre modèles d'action (LingBot-VLA, π0.5, Diffusion Policy et T-Rex), la représentation améliore le taux de réussite moyen de 14 à 26 points de pourcentage. Pour T-Rex dévissant un bouchon sur Sharpa Wave, le succès passe de 56,25 % sans toucher à 62,5 % avec les signaux bruts, puis 90 % avec LingBot-Touch. L'intérêt tient moins au score qu'au problème traité : les capteurs tactiles produisent des signaux bruts incompatibles, si bien que l'expérience accumulée sur un capteur se transfère mal à un autre. Les politiques VLA actuelles restent largement vision-langage, et le toucher y est rarement intégré de façon réutilisable. Le coût d'intégration est faible : les 26 tests ont utilisé la version Tiny, d'environ 5 millions de paramètres, qui ajoute seulement 0,13 % à 0,16 % aux politiques qu'elle équipe. Le test de transfert matériel est le plus instructif. L'encodeur est resté figé sur XHand, dont le modèle de capteur magnétique n'figurait pas dans le pré-entraînement, et seul le modèle d'action a été entraîné sur des démonstrations XHand ; la connaissance du toucher magnétique provenait donc uniquement des gants humains. Robbyant présente LingBot-Touch comme une couche neutre entre capteurs et politiques, non liée à son propre LingBot-VLA : les fabricants de mains peuvent choisir leurs capteurs selon le coût, les équipes système conservent leurs politiques. La version Small continuerait de progresser à mesure que les données approchent 5 000 heures. À nuancer toutefois : tous les résultats viennent de Robbyant, sans réplication indépendante, et les tests portent sur des tâches de laboratoire de faible volume. Ce lancement prolonge la famille LingBot d'Ant Group, qui revendique plus de 2,2 millions de téléchargements et dont des robots de pharmacie entrent dans des magasins à Shanghai. Il intervient alors que les fabricants de mains dextres, comme Sharpa avec sa D01, sa main W02 et son gant haptique AE01 dévoilés à l'IROS 2026, multiplient les capteurs tactiles propriétaires, ce qui rend un standard d'encodage de plus en plus utile. Côté concurrence, le toucher reste un angle secondaire chez les grands acteurs des modèles de fondation robotique, davantage centrés sur la vision. La publication GitHub est pour l'instant une version d'inférence : elle contient l'encodeur figé et des outils d'extraction de caractéristiques, pas le code d'entraînement. La prochaine étape à observer sera l'adoption par des tiers sur des matériels non testés par Robbyant, seul vrai test de la promesse de neutralité.

IA physiqueActu
1 source
Toucher visible : rendu du contact pour les politiques visuomotrices
Illustration générée par IA
2arXiv cs.RO 

Toucher visible : rendu du contact pour les politiques visuomotrices

Des chercheurs publient sur arXiv (article 2609.14156v1, déposé en tant que nouvelle contribution) une méthode baptisée Visible Touch, destinée à intégrer le toucher dans les politiques visuomotrices des robots manipulateurs. Le système repose sur un capteur de contact magnétique bas coût, conçu en interne et mis en open source, fabriqué à partir de pièces standard via un pipeline paramétrique de conception assistée par ordinateur allant jusqu'au moulage. L'idée centrale consiste à afficher le signal de contact directement dans le même repère spatial que l'image de la scène observée par la politique, plutôt que de l'encoder séparément, ce qui le rend exploitable par n'importe quel modèle conditionné par l'image sans modification d'architecture. Sur le benchmark LIBERO, cette approche améliore le taux de réussite d'un modèle BC-Transformer de 15,7 points de pourcentage en moyenne en configuration à deux caméras, avec des gains comparables à une seule caméra. Appliquée au fine-tuning de modèles vision-langage-action (VLA) pré-entraînés, elle apporte 25 points de gain moyen à miniVLA sur LIBERO, et jusqu'à 30 points à π_0.5 sur quatre tâches réelles à fort contact, avec le capteur maison. Ce résultat s'attaque à un angle mort connu des politiques génératives de manipulation: la plupart des modèles VLA actuels, y compris les architectures pré-entraînées dominantes, fonctionnent uniquement à partir de la vision et de la proprioception, sans retour tactile. Les solutions existantes nécessitaient un matériel tactile spécialisé, un encodeur dédié, ou une architecture non basée sur l'image, incompatibles avec le paradigme actuel des modèles construits sur des représentations visuelles 2D pré-entraînées. En montrant qu'une simple reprojection du signal de contact dans le plan image suffit à obtenir des gains significatifs, l'étude suggère une voie d'intégration du toucher peu coûteuse et directement compatible avec les pipelines de fine-tuning industriels existants, un enjeu clé pour les tâches d'assemblage ou d'insertion où la vision seule échoue souvent. Le travail s'inscrit dans la lignée des recherches visant à combler l'écart entre perception visuelle et retour physique dans l'apprentissage robotique, alors que la génération actuelle de modèles VLA pré-entraînés se généralise dans l'industrie. Il s'agit d'un preprint académique et non d'un produit commercialisé: les auteurs annoncent l'ouverture du design du capteur, sans calendrier de déploiement industriel précisé à ce stade.

IA physiqueActu
1 source
La couche manquante dans l'assurance de sécurité des robots
Illustration générée par IA
3The Robot Report 

La couche manquante dans l'assurance de sécurité des robots

Plusieurs recherches récentes révèlent que le comportement d'un robot d'IA physique peut être détourné sans prise de contrôle directe de la machine. Dès 2017, l'attaque BadNets avait montré qu'un modèle de vision pouvait fonctionner normalement tout en échouant face à un déclencheur caché, par exemple en classant un panneau stop comme un panneau de limitation de vitesse. Présentée à NeurIPS 2025, BadVLA étend ce principe aux modèles Vision-Language-Action (VLA), qui traduisent perception et instructions en mouvements robotiques : en présence d'un déclencheur, le modèle dévie de sa trajectoire tout en gardant des performances normales après transfert de tâche ou fine-tuning. Une autre étude de 2025, GoBA, montre qu'un objet aussi banal qu'une tasse à café peut servir de déclencheur fiable, avec 97% de réussite d'attaque sans dégrader les performances sur des entrées propres. En septembre 2025, la faille Bluetooth UniPwn, qualifiée de « vermifère », a été divulguée sur des robots quadrupèdes et humanoïdes d'un grand fabricant non identifié dans l'article : clés cryptographiques codées en dur, authentification contournée, exécution de code avec des droits root. Une démonstration de VicOne Lab R7 a montré qu'enchaîner trois exploits sans fil suffit à provoquer un comportement robotique incontrôlé en moins de 60 secondes. Ces résultats mettent en lumière un angle mort dans la validation des modèles : un système peut réussir toute sa qualification et pourtant produire un comportement corrompu en opération, dès qu'un déclencheur caché apparaît. Pour les intégrateurs qui déploient des modèles VLA comme couche de contrôle générique de robots, la sécurité ne peut plus se limiter à la robustesse mécanique ou logicielle classique : elle doit couvrir toute la chaîne, de l'entraînement du modèle au middleware embarqué. Des vulnérabilités dans des piles comme ROS 2 ou les systèmes DDS peuvent en effet permettre l'exécution de code arbitraire ou l'envoi de commandes non authentifiées, jusqu'à remplacer les poids d'un modèle sans même toucher à son architecture. Le risque n'est donc plus seulement la panne visible, mais un robot qui continue d'opérer en apparence normalement tout en exécutant des commandes dont l'intégrité a été compromise, un enjeu qui prend du poids à mesure que les flottes de robots humanoïdes et quadrupèdes connectés se multiplient sur le terrain. Ces travaux prolongent une lignée de recherche sur les portes dérobées en apprentissage automatique ouverte par BadNets en 2017, désormais étendue à la robotique physique à mesure que les modèles VLA se généralisent dans l'industrie. La démonstration UniPwn et les outils de test cités proviennent de VicOne, éditeur spécialisé en cybersécurité des systèmes physiques, dont l'outil de validation Radeis s'appuie sur la plateforme de simulation NVIDIA Isaac Sim pour tester l'effet d'entrées visuelles manipulées avant le déploiement réel d'un robot, un discours qui sert aussi à mettre en avant ses propres solutions. Ni le fabricant touché par UniPwn ni un calendrier de correctifs ne sont précisés dans l'article, qui plaide surtout pour une gestion des vulnérabilités étendue à chaque couche du système, de l'entraînement du modèle jusqu'à l'infrastructure réseau, alors que le secteur commence tout juste à structurer cette approche.

IA physiqueOpinion
1 source
Robbyant lance LingBot-World 2.0, avec génération de monde en temps réel sur une heure
Illustration générée par IA
4Robotics & Automation News 

Robbyant lance LingBot-World 2.0, avec génération de monde en temps réel sur une heure

Robbyant, filiale d'IA incarnée du groupe chinois Ant Group, a publié en open source LingBot-World 2.0, surnommé Infinity, la nouvelle génération de son modèle de monde interactif. Cette version ajoute la génération de mondes en temps réel sur une durée d'environ une heure, une sortie en haute définition et des capacités interactives élargies par rapport à la mouture précédente. Selon l'entreprise, il s'agit d'une avancée significative face à LingBot-World 1.0, qui ne maintenait une génération stable que sur quelques minutes : Infinity étendrait cette stabilité à un régime quasi continu, sur une échelle de temps nettement supérieure. Pour l'industrie robotique, un modèle de monde capable de générer des environnements interactifs cohérents sur des durées prolongées représente un outil potentiellement précieux pour l'entraînement d'agents embarqués et de politiques VLA, en offrant des données de simulation à grande échelle sans dépendre entièrement de captures réelles. Cela s'inscrit dans une tendance plus large où les world models cherchent à combler l'écart entre simulation et réalité pour accélérer l'apprentissage robotique. Il faut toutefois rester prudent : l'annonce reste à ce stade une publication de recherche en open source, sans détails indépendants sur la robustesse en conditions réelles, et la formulation « temps réel sur une heure » mérite d'être vérifiée au-delà des démonstrations mises en avant par l'entreprise. Ant Group investit depuis plusieurs trimestres dans l'IA incarnée via Robbyant, dans un contexte où des laboratoires concurrents (World Labs, DeepMind avec Genie, ou encore les initiatives world-model de Nvidia) développent des approches similaires pour générer des environnements simulés destinés à l'entraînement de robots et d'agents autonomes. La publication en open source de LingBot-World 2.0 pourrait accélérer l'adoption par la communauté de recherche, sans qu'un calendrier de déploiement industriel concret n'ait encore été précisé.

IA physiqueActu
1 source