IA physiquearXiv cs.RO 15 juin 2026

Un modèle fondation VLA pragmatique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE Pourquoi ça compte

LingBot-VLA est un modèle fondation de type Vision-Language-Action (VLA) publié en janvier 2026 sur arXiv (v3), conçu pour la manipulation robotique sur bras duals. Entraîné sur environ 20 000 heures de données réelles issues de 9 configurations distinctes de robots bi-bras, le modèle a été évalué sur 3 plateformes robotiques différentes, chacune complétant 100 tâches avec 130 épisodes de post-entraînement par tâche. Sur le plan de l'efficacité computationnelle, la codebase développée atteint un débit de 261 échantillons par seconde sur un cluster de 8 GPU, représentant une accélération de 1,5 à 2,8 fois selon le VLM de base choisi. Le code, le modèle de base et les données de benchmark sont publiés en open access.

Ce travail s'attaque à l'un des verrous structurels des VLA en production : la généralisation croisée entre tâches et entre plateformes, couplée à un coût d'adaptation acceptable en données et en GPU-heures. Le fait que le modèle surpasse ses concurrents sur 100 tâches distinctes par plateforme, avec seulement 130 épisodes de fine-tuning, indique que le sim-to-real gap et l'adaptation à de nouveaux morphologies de bras sont partiellement résolus dans ce cadre, du moins pour la manipulation bi-bras. Pour un intégrateur industriel ou un équipementier, c'est un signal concret : l'écart entre démo labo et déploiement réel se réduit sur des tâches structurées, même si les conditions de benchmark restent contrôlées et méritent d'être vérifiées en environnement ouvert.

La course aux VLA généralisables oppose aujourd'hui plusieurs approches : Pi-0 de Physical Intelligence sur des données hétérogènes multi-robots, OpenVLA et Octo comme baselines open-source établies, et GR00T N2 de NVIDIA ciblant l'humanoïde. LingBot-VLA se positionne sur le segment bi-bras industriel, avec une volumétrie de données réelles supérieure à la plupart des travaux publiés et un accent explicite sur l'efficacité d'entraînement, ce qui le rend pertinent pour des laboratoires sans infrastructure cloud massive. Aucun déploiement industriel n'est annoncé à ce stade : il s'agit d'une contribution académique avec ouverture du code, dont les suites dépendront de l'adoption communautaire et d'éventuels partenariats industriels non encore divulgués.

Impact France/UE

Les laboratoires et intégrateurs européens sans infrastructure cloud massive peuvent adopter directement le modèle et les données open-access pour accélérer leurs travaux de manipulation bi-bras.

💬 Le point de vue du dev

130 épisodes pour adapter le modèle à un nouveau robot, c'est un seuil qu'on n'osait pas espérer il y a deux ans. L'open access complet du modèle, du code et des données, c'est ça la vraie nouvelle, parce que les labos sans infrastructure cloud massive peuvent maintenant entrer dans la course face à NVIDIA et Physical Intelligence. Reste à voir si ça tient hors benchmark.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X Manipulation robotique

À lire aussi

1arXiv cs.RO

Des fondamentaux à l'application : améliorer les modèles VLA en pratique

Les chercheurs à l'origine du modèle VLA (vision-language-action) LingBot dévoilent LingBot-VLA 2.0, une version améliorée conçue pour réduire l'écart entre les performances en laboratoire et les conditions réelles de déploiement, un problème récurrent des modèles fondation pour la robotique. Trois axes de travail sont mis en avant. D'abord, la généralisation entre tâches et morphologies de robots a été retravaillée via un nouveau pipeline de traitement de données, avec environ 60 000 heures de données de pré-entraînement, dont 50 000 heures de trajectoires robotiques couvrant 20 configurations de robots différentes et 10 000 heures de vidéos égocentriques humaines. Ensuite, l'espace d'action a été étendu au-delà des plateformes à double bras classiques, pour inclure les degrés de liberté (DOF) de la tête, du buste, de la base mobile et des mains dextres. Enfin, le système intègre une modélisation prédictive de la dynamique, en formulant la prédiction du futur comme tâche annexe, appuyée par un modèle de représentation vidéo pour les indices sémantiques et un modèle d'estimation de profondeur pour les indices géométriques. Les évaluations ont été menées sur le benchmark GM-100 en configuration généraliste. Cette annonce illustre une tendance de fond dans la robotique humanoïde et manipulatrice: le passage de bras robotiques figés à des systèmes corps entier, capables de coordonner tête, buste, base mobile et mains, à l'image des approches poursuivies par Pi-0, GR00T N2 ou Helix. L'accent mis sur la généralisation cross-embodiment et sur le raisonnement temporel prédictif répond directement à une critique fréquente des modèles VLA actuels: leur difficulté à transférer des compétences apprises entre différents robots et à anticiper les conséquences physiques de leurs actions dans des tâches longues et complexes de manipulation mobile. Il s'agit ici d'une publication de recherche (arXiv), pas d'un produit commercialisé ni d'un déploiement industriel annoncé. LingBot-VLA 2.0 s'inscrit dans la succession directe de la première version LingBot-VLA, dans un paysage où les laboratoires chinois et américains multiplient les modèles fondation généralistes pour la robotique, sans que les auteurs ne précisent à ce stade de calendrier de mise en production ou de partenariats industriels.

IA physiqueOpinion

1 source

2arXiv cs.RO

τ0-VLA : un modèle fondation hiérarchique guidé par un modèle du monde en temps d'inférence

Publié le 18 août 2026 sur arXiv sous la référence 2608.16885, τ0-VLA est un modèle de fondation robotique hiérarchique vision-langage-action (VLA) conçu pour la manipulation à long horizon, où un robot enchaîne plusieurs compétences de façon cohérente. Sa spécificité : une politique de haut niveau, guidée par un modèle du monde, génère la sous-tâche suivante à partir de la mémoire d'exécution et, si la décision est jugée difficile, explore plusieurs alternatives avant de trancher, plutôt que de décider en un seul passage avant comme la plupart des VLA hiérarchiques actuels. Une politique de bas niveau exécute ensuite cette sous-tâche, sur plusieurs types de robots. Le modèle a été entraîné sur 40 115 heures de données réelles hétérogènes avec co-entraînement multimodal. En conditions connues comme en décalage de distribution, allouer plus de calcul au moment du test améliore la prédiction de la sous-tâche suivante et le taux de réussite en boucle fermée sur des tâches longues. La plupart des VLA hiérarchiques décident chaque sous-tâche en un seul passage, sans pouvoir consacrer plus de calcul aux choix difficiles ou lourds de conséquences. τ0-VLA transpose à la planification robotique un principe déjà exploité par les modèles de raisonnement en langage : allouer davantage de calcul au moment du test face à l'incertitude. Pour les intégrateurs qui déploient des VLA en usine ou en entrepôt, la fiabilité des tâches longues reste le principal écart entre démonstrations et déploiement robuste ; réduire les échecs en cascade sur ces séquences serait un progrès concret. Ce résultat reste toutefois un préprint évalué en interne, pas un produit déployé chez un client. τ0-VLA s'inscrit dans la lignée des VLA généralistes récents, comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, qui génèrent une action en un seul passage avant, sans délibération explicite ; son nom fait écho à Pi-0 tout en ajoutant une étape de recherche à l'inférence. Le résumé ne précise ni laboratoire porteur ni date de publication du code ou des poids. Il illustre une tendance émergente du secteur : après la course aux volumes de données, plusieurs équipes explorent désormais l'allocation dynamique de calcul comme nouveau levier d'amélioration des modèles de fondation robotique.

IA physiqueOpinion

1 source

3arXiv cs.RO

DeMaVLA : un modèle fondation vision-langage-action (VLA) pour la manipulation de matériaux déformables

Des chercheurs ont publié DeMaVLA, un modèle fondation de type Vision-Langage-Action (VLA) conçu pour la manipulation d'objets déformables, en particulier le pliage de vêtements. Annoncé en preprint arXiv (2605.31286, mai 2026), DeMaVLA couple un backbone VLM à un module appelé "action expert" qui génère des trajectoires continues par flow matching. Pour réduire les coûts d'entraînement et d'inférence, cet action expert est construit en élaguant une couche transformer sur deux du backbone, tout en préservant l'alignement entre les deux modules. Le modèle est d'abord pré-entraîné sur environ 5 000 heures de démonstrations bimanuals en conditions réelles, puis affiné via un pipeline DAgger (Data Aggregation) avec supervision humaine : des trajectoires correctives sont collectées à partir des échecs du robot sur plusieurs tâches de pliage, puis réinjectées en entraînement. Les résultats sont compétitifs sur le benchmark RoboTwin et solides sur un benchmark maison de pliage domestique. La plupart des systèmes VLA actuels entraînent des politiques séparées par catégorie d'objet (un réseau pour les t-shirts, un autre pour les pantalons), ce qui limite la généralisation et alourdit la maintenance. DeMaVLA propose une politique unifiée capable de traiter des vêtements de géométries, matières et états initiaux variés sans réentraînement par catégorie, ce qui est directement pertinent pour les intégrateurs en robotique domestique et logistique. Le recours au DAgger avec boucle humaine est aussi un signal industriel : les corrections issues des échecs du robot, structurées et réinjectées, améliorent concrètement la robustesse au-delà des seules démonstrations expertes. Cela valide l'hypothèse que les données correctives à grande échelle sont un levier clé pour réduire le sim-to-real gap sur des tâches à haute variabilité. La manipulation d'objets déformables reste l'un des problèmes ouverts les plus difficiles en robotique physique : contrairement aux objets rigides, un vêtement n'a pas d'état canonique stable, ce qui complique radicalement la planification et la perception. Plusieurs équipes travaillent sur ce terrain : Physical Intelligence avec Pi-0 (manipulation généraliste bimanuels), NVIDIA avec GR00T N2, et divers laboratoires académiques (Columbia, CMU) sur la manipulation textile. DeMaVLA se positionne sur le créneau des fondations multi-tâches déformables, en combinant pré-entraînement à grande échelle et fine-tuning correctif. Ce travail reste un preprint non encore évalué par les pairs, et les benchmarks maisons appellent à une validation indépendante. Les suites naturelles sont l'extension à d'autres objets déformables (câbles, sacs souples) et l'évaluation sur des plateformes robotiques commerciales en environnement non contrôlé.

IA physiqueOpinion

1 source

4Robotics Business Review

Skild AI dévoile S1, son modèle fondation phare pour la robotique

Skild AI a dévoilé S1, son modèle de fondation robotique phare, conçu pour l'apprentissage en contexte : une vidéo d'un humain réalisant une tâche, ajoutée au prompt, suffit au robot pour la reproduire sans réentraînement, explique le cofondateur et PDG Deepak Pathak. Fondée en 2023, la start-up a levé près de 1,7 milliard de dollars pour bâtir ce "cerveau" robotique généraliste. S1 cible des tâches longues, jusqu'à dix minutes, comme rempoter une plante, préparer un café ou cuisiner des pancakes, plutôt que les gestes de quelques secondes habituellement démontrés. Il combine quatre sources de données d'entraînement, téléopération, vidéos humaines, simulation et gants de capture de mouvement, chacune compensant les limites des autres. Pathak affirme que le robot a improvisé le retournement d'une crêpe à la spatule sans aucun exemple de ce geste dans ses millions d'heures de données d'entraînement, en généralisant à partir de la seule vidéo du prompt. Le modèle est dit "omni-corps", fonctionnant sur bras fixes, quadrupèdes et humanoïdes. Cette annonce s'inscrit dans le débat sur un éventuel "moment ChatGPT" de la robotique, où un modèle de fondation unique remplacerait le post-entraînement tâche par tâche qui freine aujourd'hui le passage à l'échelle des déploiements. Si ces résultats se confirment sur des tâches longues et non scriptées, ils contrediraient l'idée que l'apprentissage en contexte ne fonctionne que sur des gestes courts déjà vus en simulation. Pour les intégrateurs, un modèle apprenant par une seule vidéo démonstrative réduirait le coût de reconfiguration des robots face à de nouvelles lignes ou de nouvelles références produits. Skild AI n'a toutefois publié ni protocole de test indépendant, ni taux de réussite chiffré, ni durée de cycle précise : ces démonstrations restent une vitrine contrôlée plutôt qu'un produit validé en conditions industrielles. L'entreprise reconnaît elle-même que ses résultats sur humanoïdes, capables de continuer une tâche après la perte d'un membre, proviennent d'une version antérieure du modèle, pas encore mise à l'échelle. Skild AI a été cofondée en 2023 par Deepak Pathak et Abhinav Gupta, chercheurs issus de Carnegie Mellon, avec l'ambition de vendre un modèle de fondation indépendant du matériel plutôt que de construire son propre robot. Ses près de 1,7 milliard de dollars levés en font l'un des acteurs les mieux capitalisés du secteur, aux côtés de rivaux développant leurs propres modèles vision-langage-action, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, tandis que des humanoïdes comme Optimus ou Figure 03 restent pilotés par des piles logicielles propriétaires intégrées verticalement. Contrairement à ces approches liées à un matériel spécifique, Skild positionne S1 comme une couche logicielle tierce, applicable à des plateformes existantes. L'entreprise dit vouloir concentrer ses prochains efforts sur l'amélioration de S1 sur humanoïdes, sans donner de calendrier de déploiement pilote ni de client industriel nommé à ce stade.

IA physiqueActu

1 source