RecherchearXiv cs.RO 7 août 2026

In-Context VLA : doter les modèles VLA de langage via post-entraînement en contexte et outils à base d'agents

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (2608.05738v1) identifie un défaut structurel des modèles vision-langage-action (VLA), la méthode dominante pour la manipulation robotique généraliste, entraînés par clonage comportemental à partir d'une image statique et d'une instruction fixe. Les auteurs montrent qu'ajouter un raisonnement textuel explicite (chain-of-thought, CoT) dégrade le contrôle bas niveau : ce raisonnement n'est pas ancré dans la perception réelle, sa latence casse le timing de la boucle fermée, et texte et action, optimisés selon des objectifs contradictoires, poussent la politique à commenter plutôt qu'à agir. Leur réponse, baptisée In-Context VLA, combine un post-entraînement en contexte, où les preuves perceptuelles sont injectées comme contexte structuré et où seule la supervision des actions est utilisée, et une interface agentique qui interroge des détecteurs en vocabulaire ouvert, un module de profondeur monoculaire et un modèle vision-langage. Sur les bancs d'essai RoboCasa-GR1, SimplerEnv et LIBERO, plus 8 tâches de manipulation réelles, la méthode atteint l'état de l'art en performance et en efficacité face aux approches CoT à configuration égale.

Ce résultat pèse sur un débat central du secteur : le CoT, efficace pour les grands modèles de langage, était vu comme une voie naturelle pour rendre les VLA plus performants et plus interprétables. L'étude montre l'inverse pour des systèmes de contrôle temps réel, où la latence du texte entre en conflit direct avec les contraintes de boucle fermée d'un bras ou d'un robot mobile. Pour les équipes qui évaluent des architectures candidates à la manipulation industrielle, la leçon est de séparer la capacité à produire du langage de celle à l'exploiter comme information de perception, un choix de conception qui conditionne directement la fiabilité des futures politiques robotiques face à des instructions inédites.

Le clonage comportemental s'est imposé comme recette par défaut à mesure que se multipliaient les démonstrations téléopérées et les architectures VLA, et plusieurs travaux récents avaient tenté d'y greffer un raisonnement CoT dans la lignée des gains observés côté modèles de langage purs. In-Context VLA prend le contre-pied en s'appuyant sur un moteur de données qui génère des descriptions spatiales diverses et paraphrasées, conditionnées par des preuves perceptuelles réelles, plutôt qu'une légende unique et gabarisée, pour que la politique apprenne à interpréter un langage jamais vu mot pour mot. Les auteurs positionnent leur approche comme une alternative directe aux méthodes fondées sur le CoT, avec des résultats state-of-the-art annoncés sur trois bancs de simulation distincts et des tests physiques, que de futures reproductions viendront confirmer ou nuancer.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

AgenticRoboRL : appliquer le post-entraînement des agents de code à la robotique à base d'agents

Des chercheurs publient AgenticRoboRL, un cadre de post-entraînement destiné aux planificateurs des systèmes de robotique agentique. Ces systèmes associent un planificateur, c'est-à-dire un modèle de langage qui décompose la tâche, à un « harnais » qui exécute les actions, soit en appelant des compétences VLA (vision-langage-action), soit en générant du code de contrôle. La recette combine un réglage supervisé (SFT) et un apprentissage par renforcement multi-tours. Des adaptateurs propres à chaque harnais relient les interactions enregistrées du planificateur aux résultats des tâches. Le pipeline RL reste ainsi commun et les composants d'exécution restent figés. Sur le benchmark LIBERO-PRO, un planificateur de 9 milliards de paramètres passe de 18,1 % à 71,0 % de réussite sans mémoire externe. Codex (GPT-5.5) atteint 72,1 % avec mémoire externe. Les auteurs annoncent la publication du cadre et des checkpoints entraînés. Pour l'instant, il s'agit d'une prépublication arXiv, sans code disponible. L'intérêt tient à ce que les travaux récents sur la robotique agentique cherchaient surtout à améliorer le harnais et la mémoire externe, tout en s'appuyant sur de gros modèles propriétaires pour planifier. Ces résultats suggèrent qu'un modèle ouvert de taille modeste, spécialisé par post-entraînement, peut se rapprocher d'un modèle fermé de pointe sur ce benchmark. Pour un intégrateur ou un industriel, cela change le calcul sur trois points : la dépendance à une API tierce, la latence et la possibilité d'un déploiement embarqué ou sur site. Le gain de 53 points montre aussi que l'écart de départ venait en grande partie de l'inadéquation du modèle à la tâche, et pas de la seule faiblesse du harnais. Il faut toutefois relativiser. LIBERO-PRO est un benchmark simulé de manipulation, le comparatif avec Codex mélange des conditions différentes (avec ou sans mémoire), et rien n'indique encore une validation sur robot réel, en environnement non structuré, ni sur des temps de cycle industriels. Le transfert sim-to-real reste donc entièrement à démontrer. Cette approche transpose à la robotique ce qui a fait progresser les agents de code, dont les gains récents viennent du post-entraînement du modèle lui-même par RL sur des retours d'exécution vérifiables. Elle se place face aux architectures de type VLA de bout en bout (Pi-0, GR00T, Helix), qui fusionnent perception et contrôle dans un seul modèle, alors qu'ici la planification reste séparée de l'exécution. Elle se distingue aussi des systèmes agentiques qui reposent sur des LLM fermés avec mémoire externe. La suite dépendra de la publication effective des poids et du code, qui permettra une réplication indépendante. Il faudra ensuite voir si le gain tient sur d'autres harnais, sur des tâches plus longues et sur du matériel réel. Aucun pilote industriel ni calendrier n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Entraînement au moment de l'inférence pour les modèles vision-langage-action à prévision visuelle (VLA)

Des chercheurs proposent T³VF (Test-Time Training Visual Foresight VLA), une méthode d'adaptation à l'inférence publiée sur arXiv en mai 2025 (réf. 2605.08215). Les architectures Visual Foresight VLA, qui figurent parmi les plus performantes pour le contrôle de robots manipulateurs, fonctionnent en deux temps : elles prédisent d'abord une image future représentant l'état visuel attendu après l'action, puis génèrent la commande motrice à partir de cette prédiction. Cette dépendance en cascade crée une vulnérabilité double aux situations hors-distribution (OOD) : une prédiction visuelle dégradée corrompt directement la décision motrice en aval. T³VF exploite l'écart entre l'image future prédite et l'observation réellement reçue comme signal de supervision naturel, permettant au modèle de s'ajuster en continu pendant l'exécution, sans modification architecturale ni modules auxiliaires. Un mécanisme de filtrage adaptatif sélectionne les mises à jour pertinentes pour éviter la dérive par accumulation d'erreurs indiscriminée. Pour les équipes de déploiement, l'enjeu est direct : les VLA sont benchmarkés en laboratoire mais confrontés en production à des variations de scène (éclairage, textures, disposition des objets) rarement couvertes par les données d'entraînement. T³VF propose une adaptation sans annotation humaine ni nouvelle session d'entraînement, le robot se corrigeant à partir de ses propres observations, avec un surcoût d'inférence qualifié de modeste par les auteurs, une affirmation à vérifier selon les environnements cibles. Si les résultats se confirment à plus grande échelle, la méthode pourrait réduire les cycles de re-fine-tuning lors du passage en production, un poste de coût opérationnel significatif pour les intégrateurs industriels. Les VLA s'imposent depuis 2023 comme architecture dominante en manipulation robotique, portés par des modèles comme RT-2 (Google DeepMind), OpenVLA ou Pi-0 de Physical Intelligence. Les variantes Visual Foresight, qui ajoutent une prédiction d'état futur avant l'action, ont montré des gains sur les tâches de précision, mais leur fragilité face aux shifts de distribution restait peu adressée dans la littérature. Ce travail s'inscrit dans un courant croissant de Test-Time Training (TTT) appliqué à la robotique, distinct du fine-tuning classique en ce qu'il n'exige aucune supervision externe. Aucun partenariat industriel ni timeline de transfert technologique n'est mentionné : ce pré-print académique ne décrit pas de produit ou de déploiement commercialisé associé.

RechercheOpinion

1 source

3arXiv cs.RO

Entraînement hybride pour les modèles vision-langage-action (VLA)

Une équipe de chercheurs a publié sur arXiv (identifiant 2510.00600, version 2) un framework nommé Hybrid Training (HyT), conçu pour les modèles Vision-Language-Action (VLA) utilisés en robotique de manipulation. Le problème central est le suivant : le raisonnement par chaîne de pensée (Chain-of-Thought, CoT), qui consiste à générer des "pensées" intermédiaires avant chaque action, améliore les performances des VLA mais allonge mécaniquement le temps d'inférence. Dans des tâches requérant de longues séquences d'actions successives, ce délai compromet l'utilisabilité réelle du système. HyT découple la phase d'apprentissage de la phase d'exécution : le modèle s'entraîne en intégrant les pensées intermédiaires, acquiert les gains de performance associés, puis peut les omettre entièrement lors du déploiement. Le framework supporte trois modes à l'inférence selon le contexte : prédiction directe d'actions, génération CoT complète, ou suivi d'instructions. Les auteurs ont validé l'approche sur plusieurs benchmarks simulés et sur des expériences en conditions réelles. Ce découplage entraînement/inférence répond à l'une des tensions fondamentales dans le déploiement industriel des VLA : les techniques qui améliorent la fiabilité dégradent souvent la réactivité. Pour un intégrateur ou un COO industriel, un système qui "réfléchit" trop longtemps avant d'agir est difficilement intégrable sur une ligne de production cadencée. HyT avance que les bénéfices du raisonnement explicite peuvent être distillés dans les poids du modèle et activés implicitement, sans générer de tokens supplémentaires au runtime. Si ce résultat se confirme à plus grande échelle, il simplifierait le compromis latence/performance qui freine aujourd'hui le déploiement de bras manipulateurs VLA en environnement non structuré. C'est également une réponse indirecte au "demo gap" fréquemment reproché à ces modèles : de bonnes performances en simulation ne garantissent pas une vitesse d'exécution acceptable sur le terrain. L'essor des VLA s'est accéléré depuis 2023 avec RT-2 (Google DeepMind), OpenVLA (UC Berkeley), Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA), qui combinent vision, langage et prédiction d'actions dans un seul réseau. L'application du CoT à la robotique prolonge les travaux fondateurs sur les LLMs, mais se heurte aux contraintes temps-réel absentes du traitement de texte. HyT s'inscrit dans un courant de recherche orienté déployabilité, aux côtés de la distillation de politiques et des architectures à flux de tokens réduit. La publication est une preprint arXiv non peer-reviewed, et les résultats en conditions réelles restent à confirmer à plus grande échelle industrielle. Aucun acteur européen n'est impliqué dans ces travaux ; les laboratoires cités opèrent principalement depuis les États-Unis.

RechercheOpinion

1 source

4arXiv cs.RO

Co-VLA : entraînement fédéré par consensus pour les modèles vision-langage-action

Un article publié sur arXiv (référence 2609.19923v1) présente Co-VLA, une méthode d'entraînement fédéré pour les modèles vision-langage-action (VLA), cette classe de modèles qui traduit perception visuelle et instructions en langage naturel en commandes motrices pour robots. La technique s'appuie sur l'optimisation par consensus via l'algorithme ADMM (Alternating Direction Method of Multipliers) pour coordonner l'entraînement entre plusieurs clients détenant chacun des données robotiques locales différentes, sans jamais faire transiter ces données brutes vers un serveur central. Les auteurs montrent que le même algorithme fonctionne à la fois pour l'entraînement complet d'un modèle et pour le fine-tuning paramétrique-efficient, avec des adaptateurs à rang fixe comme à rang adaptatif. Selon les expériences rapportées, Co-VLA atteint des performances comparables à celles d'un entraînement centralisé classique, aussi bien en entraînement complet qu'en fine-tuning léger. L'abstract ne détaille toutefois ni le nombre de robots ou de sites impliqués dans les tests, ni les tâches précises évaluées, ni de métriques chiffrées de réussite. L'enjeu pratique est celui du goulot d'étranglement identifié par tout le secteur des VLA : les performances de ces modèles s'améliorent avec l'échelle des données, mais ces données de démonstration robotique sont dispersées entre flottes, sites industriels et types de tâches, et leur centralisation pose des problèmes de coût, de bande passante et souvent de confidentialité pour les intégrateurs qui déploient des robots chez des clients tiers. En rendant possible un entraînement collaboratif sans partage de données, Co-VLA ouvre une voie pour mutualiser l'apprentissage entre opérateurs de flottes concurrents ou entre sites d'un même groupe industriel, tout en gérant l'hétérogénéité des distributions de données propre à des robots différents opérant dans des environnements différents, un obstacle documenté du federated learning appliqué à la robotique. Ce travail s'inscrit dans la course actuelle aux modèles VLA généralistes, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) cherchent à industrialiser l'apprentissage à grande échelle sur données robotiques réelles. Co-VLA ne propose pas un nouveau modèle concurrent mais une brique méthodologique complémentaire, exploitable en principe par n'importe quel VLA existant. Il s'agit à ce stade d'une contribution de recherche publiée sur arXiv, sans annonce de déploiement industriel, de partenariat ou de calendrier de suite.

RecherchePaper

1 source