RecherchearXiv cs.RO 21 octobre 2026

Toutes les caractéristiques ne se valent pas : une étude mécaniste des modèles vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une politique Vision-Language-Action (VLA) affinée sait placer une boîte de soupe alphabet dans un panier sur commande, mais la laisse tomber hors de la table si le panier est décalé de cinq centimètres vers la gauche. Des chercheurs de CWRU (Case Western Reserve University) ont construit un pipeline d'interprétabilité pour comprendre ce que calcule une telle politique. En injectant les activations de la tâche A dans l'« action expert » de pi0.5 alors que le modèle observe la scène de la tâche B, le robot exécute la trajectoire motrice de la tâche A dans 99,6 % des épisodes (n = 1 968). Le test a été reproduit sur un bras UR10e réel : la redirection de tâche par rejeu dirigé réussit 26 fois sur 26 dans un sens et 18 sur 26 dans l'autre, contre un niveau plancher pour les contrôles sans injection et à direction aléatoire. Quand l'objet source est déplacé de 10 à 15 cm, le bras saisit et relâche aux coordonnées enregistrées dans 50 essais sur 50, ramassant le mauvais bloc s'il s'en trouve un à cet endroit, ou se refermant dans le vide sinon. L'étude couvre aussi six VLA sur LIBERO, MetaWorld, SimplerEnv et ALOHA, soit plus de 420 000 rollouts.

Le résultat donne une explication mécaniste de la fragilité aux perturbations relevée par d'autres benchmarks : le « programme » moteur est lié à des coordonnées absolues de l'espace de travail et ignore la scène visible. Pour les intégrateurs et responsables industriels, cela signifie qu'un taux de réussite élevé en démonstration, avec des objets à position quasi fixe, peut masquer une politique qui rejoue un geste mémorisé plutôt qu'elle ne perçoit. Les autres conclusions vont dans le même sens : toutes les architectures encodent l'instruction, mais quatre des cinq qui permettent la comparaison la pondèrent en dessous de la vision dès que la scène seule identifie l'objectif. La sélection du but et la génération du mouvement empruntent des voies distinctes, côté VLM et côté expert, partout où la distinction est possible. Les auteurs notent aussi que le pooling d'autoencodeurs parcimonieux (SAE) qui préserve le comportement dépend de l'architecture (par token pour pi0.5, indifférent pour SmolVLA). Ces résultats reposent surtout sur des benchmarks et sur un seul bras réel, et ne chiffrent pas la généralisation en production.

Ces travaux s'inscrivent dans la vague d'études sur la robustesse des VLA, après la domination de modèles comme pi0.5 de Physical Intelligence sur les benchmarks de manipulation, et avant les efforts de remédiation (augmentation de données, meilleur ancrage visuel, entraînement multi-positions). Les auteurs publient Action Atlas (action-atlas.com), une plateforme interactive qui regroupe plus de 520 SAE entraînés, 79 concepts identifiés et les rollouts UR10e annotés, ainsi que le code sur GitHub, ce qui permet à d'autres équipes de tester leurs propres modèles. Cette version 4 de l'article sur arXiv n'annonce ni correctif ni produit, seulement un outil de diagnostic.

Dans nos dossiers

Boston Dynamics IA physique & VLA Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Les modèles vision-langage-action (VLA) comprennent-ils les instructions ? Une étude d'interprétabilité mécaniste sur l'ancrage du langage

Une étude d'interprétabilité mécaniste, publiée sur arXiv (2610.10178), s'est demandé si les modèles Vision-Language-Action (VLA) utilisent réellement l'instruction textuelle pour générer leurs actions. Elle porte sur deux modèles de référence, π0.5 et GR00T N1.7. Les auteurs appliquent de l'activation patching et de l'attribution patching au flux résiduel des modules de génération d'actions. Ils corrompent les consignes de la base LIBERO selon cinq stratégies: remplacement par des synonymes, variation d'échelle sémantique, inversion directionnelle, substitution par un objet aléatoire et chaîne vide. Les deux modèles réagissent peu à une reformulation abstraite ou à la mention d'un objet inexistant. Ils réagissent fortement à une consigne vide et surtout au langage directionnel. Le siège de cette sensibilité diffère selon le modèle. Chez GR00T N1.7, elle se concentre dans les premières couches de cross-attention périodiques. Chez π0.5, elle est répartie entre les toutes premières couches et quelques couches plus tardives. Ce résultat nuance l'idée que les VLA « comprennent » le langage. Une faible sensibilité aux synonymes pourrait être de la robustesse. Mais l'indifférence aux objets inexistants suggère que les modèles s'appuient largement sur des indices visuels et des corrélations de surface, plutôt que sur une vraie ancrage sémantique. Ces modèles n'ont pas de module de grounding explicite et dépendent des capacités de leur backbone vision-langage. Pour un intégrateur ou un responsable de déploiement, cela pose un risque concret: une consigne ambiguë, erronée ou sans rapport avec la scène peut ne pas être détectée, et le robot exécutera tout de même une tâche plausible. À l'inverse, la forte dépendance aux termes directionnels (gauche, droite, haut, bas) indique que ce sont les mots qui portent réellement l'information d'action. Les auteurs relèvent aussi que, pour GR00T N1.7, les perturbations directionnelles produisent certains des plus grands effets causaux alors que la géométrie interne des représentations change peu. Ce découplage n'apparaît pas nettement chez π0.5. Enfin, l'attribution patching, méthode d'approximation peu coûteuse, suit fidèlement l'activation patching pour GR00T N1.7 mais pas pour π0.5. Sa fiabilité dépend donc du modèle et ne peut pas être supposée. Le contexte est celui d'une course aux modèles généralistes, où π0.5 (Physical Intelligence) et la série GR00T (NVIDIA) servent de références. Leur évaluation repose souvent sur des benchmarks comme LIBERO, dont les scènes, qui répètent des configurations proches, peuvent masquer une dépendance limitée au langage. Cette étude s'inscrit dans un courant de travaux d'audit qui testent la robustesse linguistique et visuelle avant tout déploiement réel. Il s'agit d'un travail de recherche en simulation, sans produit ni pilote associé. Les suites probables sont des protocoles d'évaluation plus exigeants, avec des consignes contradictoires, et des méthodes d'entraînement ou des architectures qui renforcent l'ancrage du langage.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Des pixels aux tokens : étude systématique de la supervision par actions latentes pour les modèles vision-langage-action (VLA)

Des chercheurs de l'Université Renmin de Chine (RUC) ont publié le 7 mai 2026 une étude systématique sur la supervision par actions latentes dans les modèles VLA (Vision-Language-Action), une architecture clé pour les robots capables de comprendre des instructions en langage naturel et d'agir dans le monde physique. L'article, référencé arXiv:2605.04678, pose une question concrète : comment entraîner efficacement un VLA sur des datasets hétérogènes, issus de robots différents avec des espaces d'action incompatibles ? La réponse explorée est l'action latente, une représentation intermédiaire abstraite qui sert de pivot commun entre perception visuelle, langage et commande motrice. Les auteurs comparent quatre stratégies d'intégration sous une baseline VLA unifiée, en distinguant deux familles : les actions latentes basées sur l'image (qui encodent les transitions visuelles entre frames) et celles basées sur l'action (qui compressent directement les commandes moteurs dans un espace latent). Les résultats révèlent une correspondance formulation-tâche claire, ce qui est utile pour tout intégrateur qui choisit une architecture : les actions latentes image-based sont plus efficaces sur les tâches longues nécessitant un raisonnement multi-étapes et une généralisation au niveau de la scène, tandis que les actions latentes action-based surperforment sur la coordination motrice fine et complexe. La découverte la plus opérationnelle est que superviser directement le modèle de langage vision (VLM) avec des tokens discrets d'actions latentes donne les meilleures performances globales, devançant les approches de supervision continue ou indirecte. L'étude apporte également des premières preuves que la supervision par actions latentes améliore l'entraînement en données mixtes (multi-robot, multi-tâche), un verrou majeur pour passer du lab au déploiement à grande échelle. Ce travail s'inscrit dans une course effrénée à la généralisation des VLA, après les succès récents de Pi-0 (Physical Intelligence), OpenVLA (UC Berkeley) et GR00T N2 (NVIDIA), qui ont tous démontré des capacités cross-embodiment limitées mais prometteuses. La contribution de RUC est moins un nouveau modèle qu'un benchmark de design choices, un type de contribution rare et précieux dans un domaine encore dominé par les démonstrations spectaculaires. La prochaine étape naturelle serait de valider ces résultats sur du matériel réel au-delà des benchmarks simulés, notamment sur des plateformes comme ALOHA 2 ou des manipulateurs industriels, pour confirmer que le gap sim-to-real ne neutralise pas les gains observés en simulation. Le code est disponible sur GitHub (RUCKBReasoning/FromPixelsto_Tokens).

RechercheOpinion

1 source

4arXiv cs.RO

Observer et contrôler les caractéristiques dans les modèles vision-langage-action

Des chercheurs publient une étude (arXiv:2603.05487, version révisée) intitulée "Observing and Controlling Features in Vision-Language-Action Models", consacrée à l'interprétabilité mécaniste des modèles vision-langage-action (VLA) utilisés en robotique, ces systèmes qui traduisent une consigne en langage naturel et une image en commandes motrices. L'équipe teste sa méthode sur quatre modèles VLA de pointe, couvrant à la fois des architectures autorégressives et des architectures hybrides transformer/flow-matching à diffusion. Elle introduit des "observateurs" linéaires capables d'extraire, depuis les représentations internes du modèle, des informations sur l'état du robot et sur l'action à venir, ainsi qu'un "contrôleur" qui modifie légèrement ces représentations pour forcer les prédictions dans un intervalle cible, sans réentraînement ni fine-tuning. La méthode est validée en boucle fermée sur le modèle π0.5 de Physical Intelligence, dans le simulateur LIBERO et sur du matériel réel DROID. Résultat annoncé: un meilleur respect des contraintes imposées, une performance de tâche globalement préservée, et un surcoût de calcul à l'inférence d'environ 1% seulement. Pour l'industrie robotique, ce travail s'attaque à un problème concret: contrairement aux grands modèles de langage, les VLA combinent entrées multimodales et têtes de diffusion, ce qui rend leurs représentations internes plus opaques et empêche de transposer directement les outils d'interprétabilité conçus pour les LLM. Montrer qu'une intervention linéaire légère, quasi gratuite en calcul, suffit à orienter le comportement d'un VLA en cours d'exécution ouvre une piste pour ajuster des robots déployés à des préférences utilisateur ou des contraintes de sécurité sans repasser par un cycle d'entraînement coûteux. Pour les intégrateurs et décideurs B2B, c'est un argument en faveur d'un contrôle plus fin et plus rapide des politiques robotiques en production. Le résultat reste toutefois validé sur un seul modèle en conditions réelles et en simulateur, pas sur un produit déployé à grande échelle. Ce travail s'inscrit dans la lignée de l'interprétabilité mécaniste développée sur les LLM (sondes linéaires, vecteurs de pilotage d'activations), que les auteurs cherchent à étendre aux VLA, un champ encore peu exploré du fait de leur complexité multimodale. Le choix de π0.5 comme banc d'essai principal ancre l'étude dans l'écosystème actuel des VLA génératifs à têtes de diffusion, dont l'essor rapide a fait de l'opacité des représentations internes un point de blocage identifié par la communauté recherche. La mention "replace" sur arXiv indique une itération en cours plutôt qu'un résultat figé. Les auteurs ne fournissent aucun calendrier de transfert vers des systèmes commerciaux: la contribution reste, à ce stade, méthodologique et validée en laboratoire, sans annonce de pilote industriel ni de partenaire de déploiement.

RecherchePaper

1 source