RecherchearXiv cs.RO 18 juin 2026

Les modèles VLA maîtrisent-ils les bases ? Évaluation de la rétention du sens commun et des connaissances du monde

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié sur arXiv (arXiv:2606.19297) un protocole d'évaluation baptisé Act2Answer, conçu pour mesurer objectivement combien de connaissances de sens commun et de savoirs factuels les modèles Vision-Language-Action (VLA) conservent après leur fine-tuning sur des données robotiques. Le protocole transforme les benchmarks classiques d'évaluation de modèles de langage visuels (VLM) en épisodes tabulaires courts : l'agent doit répondre à une question en plaçant physiquement un objet parmi plusieurs candidats sur une surface, ce qui ancre l'évaluation dans une action réelle plutôt que dans un output textuel. L'étude couvre 7 modèles VLA et 9 modèles VLM de référence, testés sur une suite de scénarios couvrant plusieurs catégories de connaissances. À cela s'ajoute une technique de sondage couche par couche (layerwise intent probing) pour localiser où l'information pertinente à la réponse est encodée dans le backbone VLM et la tête d'action.

Les résultats révèlent une dégradation systématique, mais inégale, des connaissances après adaptation robotique. Les VLA maintiennent des performances solides sur les concepts simples, mais accusent des écarts significatifs sur les catégories sémantiquement plus riches par rapport à leurs VLM d'origine. Autrement dit, le fine-tuning robotique érode préférentiellement les représentations de haut niveau, celles qui portent le raisonnement nuancé. Le probing couche par couche montre que les signaux pertinents culminent dans les couches intermédiaires du réseau, puis s'atténuent dans les couches supérieures, ce qui suggère que la tête d'action interfère avec la propagation des connaissances sémantiques. Fait notable : l'entraînement conjoint avec des données VQA (Visual Question Answering) est associé à une meilleure rétention des connaissances, ouvrant une piste concrète pour les architectures futures. L'outil résout aussi un problème méthodologique persistant : il devient difficile de distinguer un échec dû à une connaissance absente d'un échec de contrôle moteur de bas niveau.

Act2Answer s'inscrit dans un débat plus large sur le sim-to-real gap et la robustesse des VLA en déploiement industriel. Les modèles VLA actuels, comme Pi-0 (Physical Intelligence), OpenVLA, ou les architectures dérivées de modèles comme LLaVA et Qwen-VL, héritent de VLMs préentraînés sur des corpus massifs, puis sont spécialisés sur des datasets robotiques relativement restreints. La question de la rétention des connaissances est directement pertinente pour les intégrateurs qui misent sur ces modèles pour des tâches impliquant une compréhension contextuelle du monde réel, au-delà du simple pick-and-place. Aucun acteur européen n'est mentionné dans l'étude. Le code et les environnements Act2Answer sont disponibles publiquement, ce qui permettra à d'autres équipes de compléter les comparaisons avec d'autres architectures et de tester l'impact de stratégies d'entraînement alternatives.

Impact France/UE

Les équipes de recherche et les intégrateurs européens travaillant sur les VLA peuvent exploiter le benchmark Act2Answer (code public) pour évaluer la rétention de connaissances de leurs modèles et tester la stratégie d'entraînement conjoint VQA.

Dans nos dossiers

Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

Les modèles VLA aériens peuvent-ils coopérer ? Évaluation de la coordination air-sol en boucle fermée avec CARLA-Air

Des chercheurs ont publié sur arXiv (arXiv:2605.31066) une évaluation systématique des modèles vision-langage-action (VLA) aériens dans des scénarios de coopération air-sol. L'étude introduit CARLA-Air, un environnement de simulation mono-processus qui fusionne CARLA et AirSim au sein d'un même runtime Unreal Engine. Cette architecture unifiée permet de partager un état physique commun, un tick de physique synchronisé et un pipeline de capteurs cohérent entre un drone (UAV) et un robot terrestre (UGV), garantissant ainsi une mesure précise de la latence de coordination effective et de l'alignement temporel entre les agents. Deux tâches de diagnostic complémentaires ont été retenues : l'atterrissage sur plateforme mobile et l'escorte avec récupération d'occlusion, deux scénarios qui exigent une action jointe continue en boucle fermée. Les résultats révèlent un écart notable entre compétence individuelle et comportement coopératif stable. Les modèles VLA aériens testés parviennent souvent à suivre ou à pister un partenaire sol, mais échouent à convertir cette aptitude mono-agent en coordination fiable. L'ajout de prompts d'état explicites (state prompting) n'apporte qu'un bénéfice limité, et l'interaction bidirectionnelle naïve ne stabilise pas les performances, elle amplifie même les erreurs pour la majorité des baselines évaluées. Ce constat soulève une question structurelle pour les intégrateurs et décideurs industriels qui envisagent des flottes hétérogènes : les VLA actuels, conçus pour des missions autonomes mono-agent, ne sont pas directement transposables à la coopération multi-robot sans ingénierie supplémentaire sur l'interface de communication et la gestion d'objectifs partagés. L'étude s'inscrit dans un momentum fort autour des VLA embarqués (modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA), majoritairement optimisés pour des robots manipulateurs ou des plateformes terrestres. La robotique aérienne coopérative reste un angle peu couvert. Les auteurs identifient trois prérequis manquants pour le zero-shot air-sol : un ancrage explicite de l'état du partenaire, une coordination d'action à faible latence, et un alignement sur un objectif d'équipe partagé. Le code de CARLA-Air est disponible publiquement sur GitHub, ce qui ouvre la voie à des benchmarks reproductibles dans un domaine encore dépourvu de standards d'évaluation communs.

RechercheActu

1 source

2arXiv cs.RO

Évaluation comparative des modèles du monde pour l'apprentissage continu sur des tâches compositionnelles

Un article publié sur arXiv (2609.22055v1, section cross-listing) présente un nouveau benchmark destiné à évaluer la capacité des "world models" à apprendre en continu sur des tâches de manipulation robotique. Baptisé benchmark de continual learning compositionnel, l'outil construit des séquences de tâches où chaque nouvelle tâche recombine des éléments déjà rencontrés, en factorisant cette composition selon deux axes distincts : l'action et la perception. L'objectif est de séparer deux capacités souvent confondues dans les mesures d'adaptation classiques, la vitesse d'apprentissage de tâches inédites d'un côté, la réutilisation de connaissances déjà acquises de l'autre. Les auteurs testent plusieurs world models considérés comme état de l'art, combinés à des méthodes de continual learning standards, ainsi qu'un modèle modulaire dont le socle de dynamique intègre des composants explicitement conçus pour être réutilisés. Le code et les détails du benchmark sont publiés sur un site dédié au projet, object814.github.io/Compositional-Continual-Learning. Le résultat central est que l'architecture modulaire offre un meilleur compromis entre réutilisation des connaissances et oubli catastrophique que les méthodes de continual learning conventionnelles, mais qu'aucune approche testée ne résout le problème dans son ensemble. Pour les laboratoires qui développent des modèles génériques de type VLA destinés à équiper des robots manipulateurs en usine ou en logistique, ce constat vient nuancer l'hypothèse implicite selon laquelle un modèle suffisamment large finirait par s'adapter à de nouveaux environnements sans réentraînement complet ni perte de performance sur les tâches antérieures. Le benchmark fournit en somme un outil de diagnostic plus rigoureux que les mesures d'adaptation globales habituellement citées dans les communiqués sur les robots généralistes, en isolant précisément où l'apprentissage échoue. Ce travail s'inscrit dans la continuité des recherches sur le continual learning appliqué à la robotique, un champ où les benchmarks existants mesuraient rarement séparément la vitesse d'apprentissage et la réutilisation de connaissances. En se concentrant spécifiquement sur les world models, composants de plus en plus centraux dans les architectures de contrôle robotique moderne, les auteurs positionnent leur contribution comme un outil d'évaluation plutôt qu'un nouveau modèle concurrent. La publication du benchmark en accès libre laisse présager son adoption par d'autres équipes pour tester leurs propres architectures, sans qu'aucun calendrier de déploiement industriel ne soit annoncé à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

TriWorldBench : une évaluation de la cohérence tri-vue des modèles du monde incarnés

Une équipe de recherche a publié sur arXiv, en septembre 2026, TriWorldBench, un banc d'essai évaluant les modèles de monde incarnés, ces systèmes qui prédisent le résultat des actions d'un robot pour l'aider à apprendre et planifier. L'outil compare trois flux vidéo synchronisés plutôt que de les juger séparément : la caméra de tête, qui capture la tâche globale, et les caméras de poignet gauche et droite, qui filment l'interaction entre la pince et l'objet. Le jeu de données couvre 500 épisodes sur 50 tâches de manipulation bimanuelle, notées par 19 métriques : cohérence entre vues, alignement avec la tâche, cohérence physique et 3D, qualité du mouvement, stabilité temporelle et qualité visuelle. Un score global, le TWB-Score, résume ces résultats tout en gardant le détail par vue pour localiser les échecs. Code, données et métriques sont publiés en libre accès sur GitHub. Cette approche comble une lacune : jusqu'ici, un modèle pouvait générer une vidéo de tête plausible et des vidéos de poignet tout aussi convaincantes sans qu'aucune métrique ne vérifie si elles décrivent la même action et le même état de l'objet. Pour les équipes qui développent des modèles vision-langage-action et des politiques bimanuelles combinant caméra de tête et caméras de poignet, ce contrôle croisé devient un critère de fiabilité avant tout déploiement. Le benchmark rappelle qu'une vidéo visuellement convaincante n'équivaut pas à une prédiction de monde cohérente, un écart que l'industrie robotique doit désormais mesurer plutôt que supposer. L'essor des modèles de monde incarnés accompagne la multiplication des architectures robotiques associant caméra globale et caméras embarquées sur les pinces, utilisées pour entraîner et planifier des manipulations fines. Jusqu'ici, les benchmarks jugeaient la qualité visuelle vue par vue sans vérifier leur cohérence mutuelle, un angle mort que TriWorldBench comble explicitement. En publiant code, données et métriques en open source, ses auteurs proposent moins un produit commercial qu'un étalon commun destiné aux laboratoires et entreprises qui développent des modèles de monde ou des politiques vision-langage-action. Le texte ne précise ni affiliation industrielle ni calendrier de déploiement : il s'agit pour l'instant d'un outil de recherche visant à structurer l'évaluation d'un domaine encore jeune.

RecherchePaper

1 source

4arXiv cs.RO

RoboWorM : évaluation du réalisme des mouvements, de la cohérence et des effets de l'accélération dans les modèles du monde vidéo incarnés

RoboWorM, un nouveau benchmark publié sur arXiv (2610.33807), s'attaque à l'évaluation des modèles de monde vidéo (VWM), ces simulateurs neuronaux de plus en plus utilisés pour la manipulation robotique. Il regroupe 1 605 épisodes couvrant des bras uniques, des systèmes bimanuels et des humanoïdes, avec des tâches markoviennes et des tâches longues non markoviennes, en configuration mono ou multi-vues. Les auteurs proposent deux métriques déterministes sans modèle vision-langage (VLM): KIVA, qui mesure la stabilité cinématique dans une vue, et RIGIS, qui mesure la cohérence géométrique entre vues. Selon eux, KIVA améliore de 25,8 % l'alignement avec les annotations humaines pour la détection d'hallucinations par rapport aux meilleurs VLM de pointe, et RIGIS atteint une corrélation de Spearman supérieure de 130 % avec les préférences humaines. L'équipe a aussi audité 9 techniques d'accélération sur 3 modèles de monde de premier plan, soit plus de 29 000 trajectoires générées, et obtient une accélération maximale de 2,3 fois avec une perte de qualité minimale. L'enjeu est concret pour quiconque envisage d'utiliser un modèle de monde comme substitut de simulateur, pour l'évaluation de politiques ou la génération de données. Les benchmarks actuels jugent ces modèles comme des générateurs vidéo en monde ouvert, avec des VLM peu fiables sur le raisonnement 3D et cinématique. Un rendu vidéo plausible peut donc cacher un bras dont la géométrie se déforme ou des vues incohérentes entre caméras. En exploitant des invariants propres à la robotique (arbre cinématique, caméras fixes), RoboWorM rend l'évaluation plus vérifiable et reproductible. Le résultat le plus parlant est l'audit des accélérations: les méthodes qui réduisent la latence d'inférence, indispensable en déploiement, peuvent préserver l'apparence visuelle tout en dégradant en silence les contraintes physiques. Les métriques classiques de qualité d'image ne suffisent donc pas à valider ces optimisations. Les chiffres restent toutefois ceux des auteurs, issus d'un jeu de données et d'annotations qu'ils ont eux-mêmes constitués, sans validation indépendante à ce stade. Ce travail s'inscrit dans la montée des modèles de monde vidéo comme brique de la robotique généraliste, portée par les politiques vision-langage-action (VLA) et par le besoin de tester des politiques à grande échelle sans multiplier les essais physiques. La course à la qualité visuelle a longtemps éclipsé la question de la fidélité physique et de la latence, deux critères décisifs pour un usage en boucle fermée. Le papier est une prépublication (v1) sans relecture par les pairs, et les auteurs ne précisent pas dans ce résumé quels modèles ni quelles techniques d'accélération ont été testés, ce qui limite pour l'instant la lecture comparative. La suite logique serait l'adoption de KIVA et RIGIS par les équipes développant ou comparant des modèles de monde, ainsi qu'une confrontation à des déploiements réels.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source