Aller au contenu principal
Le défi LingBot-VLA 2.0 de Robbyant se termine par une finale de 48 heures sur robot réelIllustration générée par IA
IA physiquePandaily 

Le défi LingBot-VLA 2.0 de Robbyant se termine par une finale de 48 heures sur robot réel

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Robbyant, la filiale d'IA embarquée d'Ant Group, a clôturé le 16 novembre à Shanghai son premier challenge consacré aux modèles de fondation pour la robotique. Quinze équipes finalistes y ont adapté, pendant un hackathon de 48 heures, le même modèle open source LingBot-VLA 2.0 à des robots physiques. Selon le rapport en chinois de Robot Forward, la compétition a enregistré 1 855 équipes et 3 252 inscrits venus de 13 pays, des chiffres qui mesurent les inscriptions et non le nombre d'équipes ayant réellement déployé un robot en finale. Les finalistes, sélectionnés après une manche de simulation en ligne, ont travaillé sur le matériel COBOT MAGIC d'AgileX Robotics. Trois tâches étaient au programme : ranger fruits et légumes avec un bras, placer des cosmétiques dans une boîte transparente avec un bras, et balayer des débris sur une table puis les vider dans un bac avec deux bras. Dans ce laps de temps, chaque équipe devait collecter ou adapter des données, affiner le modèle et le déployer sur le robot. L'équipe gagnante, TARS, a utilisé Qwen pour identifier les objets cibles et les éléments parasites, ce qui réduit le bruit visuel pour les tâches de fruits et de cosmétiques. Pour le balayage, elle a mesuré l'effet de l'extension du bras sur son affaissement et ajouté une compensation à l'exécution. Elle affirme avoir ramené le temps d'une étape d'entraînement d'environ 15 secondes à 3,4 secondes.

L'intérêt de l'événement tient moins au classement qu'aux obstacles rencontrés, plus proches d'un déploiement réel que d'un benchmark. Les équipes ont buté sur la perception de l'espace à l'intérieur de contenants transparents, les variations d'éclairage, les objets inconnus et l'affaissement des bras sous charge. Une équipe a constaté que collecter davantage de démonstrations n'améliorait pas ses résultats lorsque les nouvelles données ne correspondaient pas aux tâches évaluées, un rappel que la qualité et la pertinence des données comptent plus que le volume. Les autres approches illustrent des stratégies de contournement variées : EVA a mené environ sept boucles de retour de données et ajouté plus de 700 démonstrations en s'appuyant sur ses échecs pour orienter la collecte, tandis que SST a combiné un modèle externe et la segmentation SAM 3 pour mettre en avant les objets pertinents, avec une politique qui génère 50 actions mais n'en exécute que 16 avant de se mettre à jour. Ces méthodes sont déclarées par les participants et n'ont pas été reproduites de façon indépendante. Pour un intégrateur, le message est que les VLA (modèles vision-langage-action) ouverts restent exploitables par des tiers en deux jours, mais au prix d'un important travail d'ingénierie autour du modèle, et que l'écart entre démonstration et fiabilité en environnement variable n'est pas résolu.

Il s'agit d'un suivi de déploiement et non d'un nouveau modèle LingBot. Robbyant poursuit une stratégie d'écosystème ouvert, déjà visible avec l'open source du modèle tactile LingBot-Touch pour mains robotiques et avec les 2,2 millions de téléchargements revendiqués pour LingBot, dont des robots de pharmacie entrant dans des magasins de Shanghai. L'entreprise lance dans cette logique un programme de développeurs, qui cherche d'abord 20 experts MVP et 40 Developer Experts pour fournir supports pédagogiques, démonstrations, projets open source et scripts d'évaluation. Cette approche place Robbyant en concurrence avec d'autres fournisseurs de modèles de fondation robotiques, comme Physical Intelligence avec Pi-0 ou NVIDIA avec GR00T, qui cherchent eux aussi à fédérer des développeurs autour de leurs modèles. Le défi apporte des enseignements concrets d'adaptation, mais ne prouve pas que LingBot-VLA 2.0 gère de manière fiable tous les environnements réels. La suite dépendra de la capacité du programme développeurs à produire des évaluations reproductibles et des déploiements au-delà du cadre d'un hackathon.

À lire aussi

Robbyant lance LingBot-World 2.0, avec génération de monde en temps réel sur une heure
Illustration générée par IA
1Robotics & Automation News 

Robbyant lance LingBot-World 2.0, avec génération de monde en temps réel sur une heure

Robbyant, filiale d'IA incarnée du groupe chinois Ant Group, a publié en open source LingBot-World 2.0, surnommé Infinity, la nouvelle génération de son modèle de monde interactif. Cette version ajoute la génération de mondes en temps réel sur une durée d'environ une heure, une sortie en haute définition et des capacités interactives élargies par rapport à la mouture précédente. Selon l'entreprise, il s'agit d'une avancée significative face à LingBot-World 1.0, qui ne maintenait une génération stable que sur quelques minutes : Infinity étendrait cette stabilité à un régime quasi continu, sur une échelle de temps nettement supérieure. Pour l'industrie robotique, un modèle de monde capable de générer des environnements interactifs cohérents sur des durées prolongées représente un outil potentiellement précieux pour l'entraînement d'agents embarqués et de politiques VLA, en offrant des données de simulation à grande échelle sans dépendre entièrement de captures réelles. Cela s'inscrit dans une tendance plus large où les world models cherchent à combler l'écart entre simulation et réalité pour accélérer l'apprentissage robotique. Il faut toutefois rester prudent : l'annonce reste à ce stade une publication de recherche en open source, sans détails indépendants sur la robustesse en conditions réelles, et la formulation « temps réel sur une heure » mérite d'être vérifiée au-delà des démonstrations mises en avant par l'entreprise. Ant Group investit depuis plusieurs trimestres dans l'IA incarnée via Robbyant, dans un contexte où des laboratoires concurrents (World Labs, DeepMind avec Genie, ou encore les initiatives world-model de Nvidia) développent des approches similaires pour générer des environnements simulés destinés à l'entraînement de robots et d'agents autonomes. La publication en open source de LingBot-World 2.0 pourrait accélérer l'adoption par la communauté de recherche, sans qu'un calendrier de déploiement industriel concret n'ait encore été précisé.

IA physiqueActu
1 source
Robbyant lance LingBot-Touch pour doter les robots du sens du toucher
Illustration générée par IA
2Robotics & Automation News 

Robbyant lance LingBot-Touch pour doter les robots du sens du toucher

Robbyant, la filiale d'IA embarquée d'Ant Group, a publié en open source LingBot-Touch, un modèle de fondation tactile destiné à donner aux mains robotiques une perception du toucher exploitable. Le modèle a été pré-entraîné sur près de 5 000 heures de données tactiles réelles et couvre les trois grandes familles de capteurs du marché : magnétique, visuo-tactile et piézorésistif. Leurs signaux hétérogènes sont convertis en une représentation tactile unifiée, sous forme de « tokens » tactiles. Robbyant a mené 26 tests en conditions réelles sur deux mains dextres, la Sharpa Wave et la XHand, avec quatre modèles d'action : LingBot-VLA, π0.5, Diffusion Policy et T-Rex. Le gain moyen de taux de réussite se situe entre 14 et 26 points de pourcentage par rapport à une exécution sans retour tactile. Sur le test le plus mis en avant, le dévissage d'un bouchon de bouteille par T-Rex piloté sur la Sharpa Wave, le taux passe de 56,25 % sans toucher et 62,5 % avec les signaux bruts injectés directement, à 90 % avec la représentation de LingBot-Touch. Tous ces essais ont utilisé la version légère, LingBot-Touch-Tiny (environ 5,3 millions de paramètres), qui n'ajoute que 0,13 à 0,16 % à la taille totale des modèles hôtes. Une version plus grande existe et continue de progresser à mesure que les données s'accumulent. L'enjeu est moins la performance brute que le découplage entre capteur, main et politique de contrôle. Aujourd'hui, un modèle entraîné sur un type de capteur est difficilement réutilisable dès que le matériel change, ce qui force à recollecter des données et à réentraîner, un coût que supportent fabricants de mains, intégrateurs et développeurs de modèles. Robbyant propose une couche de perception générique entre capteurs et modèles d'action, capable d'absorber à la fois des données de gants tactiles portés par des humains et de téléopération de mains robotiques. Le test le plus parlant porte sur la XHand : son capteur magnétique n'apparaissait pas dans les données de pré-entraînement, et toute l'expérience magnétique du modèle provenait de gants humains. Les paramètres de LingBot-Touch ont été gelés et seul le modèle d'action a été entraîné sur les démonstrations de la XHand. Si ces résultats se confirment hors du laboratoire, ils soutiennent l'idée qu'un pré-entraînement tactile mutualisé peut remplacer les pipelines propres à chaque capteur, et que le toucher peut devenir une modalité réutilisable comme la vision l'est devenue pour les VLA. Il faut toutefois relativiser : les chiffres viennent de Robbyant lui-même, sans validation indépendante, le nombre d'essais par tâche n'est pas précisé et les tâches (tourner des pages, dévisser un bouchon, identifier des tuiles de mahjong) restent des démonstrations de dextérité, pas des cycles industriels mesurés. Aucun temps de cycle, aucune cadence ni aucun déploiement client n'est annoncé. Cette publication s'inscrit dans la stratégie de Robbyant, qui a déjà ouvert sa famille LingBot, dont le VLA du même nom, et cherche à fédérer un écosystème autour de ses briques logicielles, à la manière de ce que font Physical Intelligence avec π0.5 ou NVIDIA avec GR00T côté modèles d'action. Le positionnement est ici différent : plutôt qu'un modèle de politique de plus, Robbyant vise la couche d'interface tactile, un terrain encore peu structuré où les capteurs commerciaux restent immatures et où plusieurs technologies devraient coexister, en raison de coûts et d'usages différents. Le fait que l'évaluation couvre des modèles tiers (π0.5, Diffusion Policy) et des mains tierces, dont la Sharpa Wave, plaide pour une logique de standard ouvert plutôt que de module captif. Reste à voir si les fabricants de mains et de capteurs, notamment en Europe où la dextérité reste un axe de recherche actif, adopteront cette représentation, et si des équipes indépendantes reproduiront les gains annoncés. Robbyant indique que l'architecture est conçue pour accueillir de nouveaux types de capteurs, et que la montée en échelle des données reste la principale piste d'amélioration.

IA physiqueActu
1 source
Ant Group : Robbyant publie en open source LingBot-Touch, un modèle tactile pour mains robotiques
Illustration générée par IA
3Pandaily 

Ant Group : Robbyant publie en open source LingBot-Touch, un modèle tactile pour mains robotiques

Robbyant, la filiale d'IA incarnée d'Ant Group, a publié le 10 novembre en open source LingBot-Touch, un modèle de fondation tactile censé donner aux mains robotiques un sens du toucher commun. Pré-entraîné sur près de 5 000 heures de données tactiles réelles, il couvre trois principes de capteurs : magnétique, visuotactile et piézorésistif. Le code est sous licence Apache-2.0, avec des checkpoints Tiny et Small disponibles sur Hugging Face et ModelScope. L'architecture donne à chaque type de capteur son propre tokenizer d'entrée, alimentant un Transformer partagé. Les points de contact sont projetés dans un espace de coordonnées commun du bout des doigts, et le modèle produit des tokens tactiles unifiés, exploitables par différents modèles d'action. L'entraînement suit un objectif de type JEPA, qui prédit des représentations latentes à partir du contexte spatio-temporel du toucher, avec des données issues de gants tactiles portés par des humains et de mains dextres téléopérées. Robbyant a évalué le modèle sur deux mains, Sharpa Wave et XHand, à travers 26 tâches réelles (tourner des pages, dévisser un bouchon de bouteille, identifier des tuiles de mahjong). Ajoutée à quatre modèles d'action (LingBot-VLA, π0.5, Diffusion Policy et T-Rex), la représentation améliore le taux de réussite moyen de 14 à 26 points de pourcentage. Pour T-Rex dévissant un bouchon sur Sharpa Wave, le succès passe de 56,25 % sans toucher à 62,5 % avec les signaux bruts, puis 90 % avec LingBot-Touch. L'intérêt tient moins au score qu'au problème traité : les capteurs tactiles produisent des signaux bruts incompatibles, si bien que l'expérience accumulée sur un capteur se transfère mal à un autre. Les politiques VLA actuelles restent largement vision-langage, et le toucher y est rarement intégré de façon réutilisable. Le coût d'intégration est faible : les 26 tests ont utilisé la version Tiny, d'environ 5 millions de paramètres, qui ajoute seulement 0,13 % à 0,16 % aux politiques qu'elle équipe. Le test de transfert matériel est le plus instructif. L'encodeur est resté figé sur XHand, dont le modèle de capteur magnétique n'figurait pas dans le pré-entraînement, et seul le modèle d'action a été entraîné sur des démonstrations XHand ; la connaissance du toucher magnétique provenait donc uniquement des gants humains. Robbyant présente LingBot-Touch comme une couche neutre entre capteurs et politiques, non liée à son propre LingBot-VLA : les fabricants de mains peuvent choisir leurs capteurs selon le coût, les équipes système conservent leurs politiques. La version Small continuerait de progresser à mesure que les données approchent 5 000 heures. À nuancer toutefois : tous les résultats viennent de Robbyant, sans réplication indépendante, et les tests portent sur des tâches de laboratoire de faible volume. Ce lancement prolonge la famille LingBot d'Ant Group, qui revendique plus de 2,2 millions de téléchargements et dont des robots de pharmacie entrent dans des magasins à Shanghai. Il intervient alors que les fabricants de mains dextres, comme Sharpa avec sa D01, sa main W02 et son gant haptique AE01 dévoilés à l'IROS 2026, multiplient les capteurs tactiles propriétaires, ce qui rend un standard d'encodage de plus en plus utile. Côté concurrence, le toucher reste un angle secondaire chez les grands acteurs des modèles de fondation robotique, davantage centrés sur la vision. La publication GitHub est pour l'instant une version d'inférence : elle contient l'encodeur figé et des outils d'extraction de caractéristiques, pas le code d'entraînement. La prochaine étape à observer sera l'adoption par des tiers sur des matériels non testés par Robbyant, seul vrai test de la promesse de neutralité.

IA physiqueActu
1 source
La régularisation en sortie élimine la loterie des seeds dans le fine-tuning VLA sur GPU unique
Illustration générée par IA
4arXiv cs.RO 

La régularisation en sortie élimine la loterie des seeds dans le fine-tuning VLA sur GPU unique

Une équipe de chercheurs révèle dans un prépublication arXiv (2606.13856, juin 2026) un défaut structurel dans le fine-tuning des modèles vision-langage-action sur GPU unique : la "loterie de seed". En exécutant le même code d'entraînement sur VLA-JEPA treize fois avec des graines aléatoires différentes, mêmes données, même architecture, douze runs atteignent 91 à 94 % de taux de succès sur les benchmarks LIBERO, mais un run chute silencieusement à 65,2 %, soit un écart de 29 points de pourcentage, sans message d'erreur ni avertissement. La cause identifiée est un phénomène d'effondrement de sortie (output collapse) : le prédicteur d'action converge vers des sorties quasi-identiques quelle que soit l'observation visuelle. Les auteurs ont évalué 7 méthodes de régularisation sur jusqu'à 13 seeds et 3 benchmarks LIBERO, et montrent que trois régularisateurs au niveau des sorties, VICReg (n=12 seeds), Dropout (n=4), et un taux d'apprentissage divisé par deux (n=5), éliminent chaque run catastrophique : 0 effondrement sur 21 tentatives combinées, contre 1/13 pour la baseline (F(12,11)=28,7, p<0,001). Les méthodes classiques de régularisation au niveau des poids, L2 et EWC, laissent la loterie intacte. Ce résultat remet en cause une hypothèse implicite du secteur : que le fine-tuning sur GPU unique des VLA est reproductible par défaut. Pour les intégrateurs industriels et les laboratoires qui déploient Pi-0, GR00T N2, Helix ou des modèles similaires sur des robots réels, un écart de 29 pp non détectable est un risque opérationnel concret. Les méthodes L2 et EWC pénalisent les changements de poids mais restent aveugles à l'effondrement qui se produit dans le null-space jacobien, là où les poids peuvent varier librement sans modifier les sorties observables. La correction la plus simple demande un seul changement dans la configuration de l'optimiseur, ce qui rend la solution immédiatement déployable sans refonte d'architecture. Les VLA connaissent depuis 2024 une montée en puissance accélérée, avec des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et 1X (Helix) qui misent sur des politiques généralisables entraînées sur données hétérogènes. Le fine-tuning sur matériel modeste est devenu un enjeu clé pour démocratiser l'accès à ces modèles au-delà des grandes entreprises disposant de clusters de calcul. VICReg, issu des travaux de Meta AI sur l'apprentissage auto-supervisé, se retrouve ici appliqué avec succès à la stabilisation de l'espace d'action robotique. Les prochaines étapes naturelles incluent la validation sur robots physiques hors simulation LIBERO, et l'extension à d'autres architectures VLA pour confirmer la généralité du diagnostic.

UELes laboratoires et intégrateurs français/européens qui font du fine-tuning de VLA (Pi-0, GR00T N2, Helix) sur GPU unique sont directement exposés à ce risque opérationnel silencieux (-29 pp), mais peuvent l'éliminer immédiatement via VICReg ou un ajustement du taux d'apprentissage sans refonte d'architecture.

💬 Un run sur treize qui s'effondre à 65 % sans le moindre message d'erreur, c'est le genre de bombe à retardement qu'on découvre sur robot réel, pas en benchmark. Ce qui est malin ici, c'est d'avoir localisé le problème dans l'espace des sorties, là où L2 et EWC sont complètement aveugles. La correction tient en un paramètre d'optimiseur, donc si tu fais du fine-tuning VLA aujourd'hui, t'as pas vraiment d'excuse.

IA physiqueActu
1 source