RecherchearXiv cs.RO 15 septembre 2026

Au-delà des tests à axe unique : évaluation croisée de la robustesse combinée des politiques vision-langage-action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente LIBERO-CTRL, un benchmark en six axes conçu pour tester la robustesse des politiques vision-langage-action (VLA) face à des perturbations combinées plutôt qu'isolées, selon un article publié sur arXiv le 15 septembre 2026 (arXiv:2609.15940v1). Le protocole apparie, pour chaque état initial, des essais à perturbation unique avec un essai équivalent soumis simultanément à plusieurs perturbations, à trois niveaux de sévérité. L'évaluation porte sur six politiques VLA et met en évidence deux phénomènes que les taux de réussite agrégés ne permettent pas de distinguer : des échecs émergents, où toutes les variantes à perturbation unique réussissent mais la version combinée échoue, et des réussites compensées, où au moins une variante à perturbation unique échoue mais la version combinée réussit. Ces deux effets vont dans des directions opposées et peuvent s'annuler statistiquement dans les moyennes, alors même que jusqu'à 29,0% des états initiaux appariés changent de résultat, ce taux montant à 34,5% dans la condition la plus affectée.

Cette étude touche un point sensible pour l'industrie robotique : elle démontre que les scores de robustesse agrégés, largement utilisés pour comparer les politiques VLA entre elles, peuvent masquer des écarts de comportement substantiels dès que plusieurs perturbations surviennent en même temps, ce qui est précisément la situation d'un déploiement réel en usine ou en entrepôt. Autrement dit, un modèle jugé robuste sur des tests à perturbation unique peut échouer de façon imprévisible dès que deux conditions défavorables se combinent, sans que cela transparaisse dans les benchmarks classiques. Pour les intégrateurs et décideurs B2B qui évaluent des politiques génératives pour du pick-and-place ou de la manipulation en environnement non contrôlé, ce résultat invite à exiger des évaluations appariées par instance plutôt que des moyennes globales avant de valider un déploiement, et tempère l'idée que les benchmarks actuels suffisent à garantir une robustesse compositionnelle.

Le travail s'inscrit dans la lignée des efforts de la communauté robotique pour évaluer les politiques VLA au-delà des suites de test standard comme LIBERO, habituellement utilisées pour mesurer la sensibilité à des décalages de distribution pris un par un (changement d'éclairage, de position d'objet, de texture, etc.). Les auteurs soulignent que les taux de transition entre échec et réussite restent stables lors de réévaluations indépendantes des politiques stochastiques, ce qui exclut un simple artefact de bruit expérimental. L'article ne précise pas les politiques testées nommément dans le résumé ni un calendrier de suivi, mais son apport principal est méthodologique : il fournit un cadre reproductible pour quantifier la robustesse composée, appelé à être repris par les équipes évaluant des modèles VLA en conditions de déploiement multi-perturbations.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Vue-croisée d'action cohérente pour des politiques vision-langage-action robustes aux caméras

Des chercheurs publient sur arXiv (2608.06965v1) une méthode pour rendre les politiques vision-langage-action (VLA) robustes au déplacement de la caméra de scène, défaut fréquent alors même que tâche et objets restent identiques. L'approche n'utilise que l'image RGB, le langage et la proprioception, sans extrinsèques ni profondeur, la caméra au poignet étant masquée pour éviter tout raccourci visuel. Pour les VLA à flow matching, elle régularise le champ de vitesse d'action via une perte cross-vue appliquée à des paires de rendus MuJoCo (vue nominale/perturbée) issues des mêmes démonstrations LIBERO. Sur le benchmark LIBERO-Plus, elle atteint 87,2% de réussite (4797 rollouts par graine, sur 3 graines d'entraînement), contre 79,8% pour un flow-matching seul sur les mêmes paires et seulement 25,8% quand les paires sont mélangées au hasard, tout en préservant 95% de réussite en caméra nominale. Sur robot réel, sur trois tâches de manipulation, le taux de réussite en caméra inédite passe de 53,3% à 74,4%. Le résultat s'attaque à un vrai point de friction pour les intégrateurs: reconfigurer ou dupliquer une cellule robotique oblige aujourd'hui à recollecter des données, faute de quoi la performance chute dès que l'angle de caméra change. Sans capteur supplémentaire ni calibration caméra, la méthode améliore la robustesse de près de 20 points sur robot réel, ce qui suggère que la généralisation aux changements de point de vue des VLA dépend autant de l'algorithme d'entraînement que du volume de données, une nuance qui tranche avec les discours misant tout sur l'échelle des données. Le taux plafonne toutefois à 74% en caméra inédite, sur seulement trente essais réels au total, ce qui limite la portée des conclusions hors laboratoire. Le travail s'appuie sur LIBERO-Plus, extension du benchmark LIBERO conçue pour stresser les politiques d'imitation face aux perturbations de caméra, et sur le flow matching, technique de génération d'action utilisée par plusieurs architectures VLA récentes. Il se positionne implicitement contre la pratique courante du fine-tuning multi-caméra, moins performante de 12,5 points que la perte cross-vue proposée. Publié comme préprint non encore évalué par les pairs, sans mention de déploiement pilote ni de partenaire industriel, l'article laisse en suspens une validation à plus grande échelle, sur davantage de tâches et de plateformes robotiques réelles.

RechercheOpinion

1 source

2arXiv cs.RO

LIBERO-PRO : vers une évaluation robuste et équitable des modèles vision-langage-action (VLA) au-delà de la mémorisation

Des chercheurs ont publié LIBERO-PRO, une extension critique du benchmark LIBERO largement utilisé pour évaluer les modèles Vision-Language-Action (VLA). Disponible sur GitHub (Zxy-MLlab/LIBERO-PRO), le travail, présenté sous forme d'arXiv preprint (arXiv:2510.03827v2), soumet les VLA à des perturbations systématiques selon quatre axes : substitution des objets manipulés, variation des états initiaux, modification des instructions de tâche, et changement d'environnement. Résultat sans appel : les modèles actuels qui atteignent plus de 90 % de succès sur l'évaluation LIBERO standard s'effondrent à 0,0 % dans le cadre généralisé de LIBERO-PRO. Concrètement, un modèle continue d'exécuter une séquence de saisie même lorsque l'objet cible est remplacé par un objet sans rapport, et ses sorties restent inchangées face à des instructions corrompues ou composées de tokens aléatoires. Ce résultat est un signal d'alarme direct pour les équipes qui fondent leurs décisions de recherche ou de déploiement sur les classements LIBERO. Il démontre que les modèles VLA n'ont pas acquis de compréhension générale des tâches ni de perception réelle de l'environnement : ils mémorisent des séquences d'actions et des configurations spatiales vues à l'entraînement. Autrement dit, le gap sim-to-real et le problème de généralisation restent entiers, quelle que soit la performance affichée sur le benchmark. Pour les intégrateurs industriels ou les équipes robotique qui envisagent de déployer des politiques basées sur des VLA, cela signifie que les scores publiés ne sont pas des indicateurs fiables de robustesse opérationnelle. LIBERO, introduit pour standardiser l'évaluation des politiques manipulatrices en langage naturel, est devenu une référence de facto dans la communauté. Mais comme tout benchmark sur-exploité, il a progressivement favorisé l'overfitting plutôt que la généralisation. LIBERO-PRO s'inscrit dans une tendance plus large de remise en question des protocoles d'évaluation VLA, aux côtés d'initiatives comparables sur les benchmarks de navigation et de saisie. La prochaine étape logique serait l'adoption de LIBERO-PRO comme standard par les principaux groupes travaillant sur des modèles comme OpenVLA, Octo ou pi0 (Physical Intelligence), afin de permettre des comparaisons réellement équitables et de pousser le secteur vers des politiques robustes en conditions réelles.

RechercheOpinion

1 source

3arXiv cs.RO

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

JevVLA : adaptation à base d'énergie inspirée de Jev pour les politiques vision-langage-action

JevVLA est un cadre d'adaptation léger pour les politiques vision-langage-action (VLA), publié sur arXiv (2610.35010) par une équipe dont le dépôt GitHub, ZJU4EmbodiedAI, suggère un rattachement à l'université du Zhejiang. La politique de base reste gelée. Les auteurs entraînent par-dessus un modèle à énergie, c'est-à-dire un réseau qui attribue un score scalaire différentiable à une action selon l'observation et le contexte de la tâche. L'apprentissage s'appuie sur le retour d'exécution, des corrections d'experts ou des préférences dérivées de démonstrations. Ce score sert de deux façons. Pour le pick-and-place, il classe des candidats discrets. Pour le contrôle de mouvement, son gradient corrige ou guide des séquences d'actions continues. Le même noyau, d'environ 80 000 paramètres, gère les deux cas, avec des poids entraînés séparément pour chaque benchmark. Les gains de taux de succès sur les jeux de test sont de 1,28 point sur MetaWorld MT50, 2,31 sur VIMA, 1,60 sur LanguageTable, 1,52 sur LIBERO Plus et 1,28 sur CLIPort. Le code doit être publié en open source, mais il ne l'est pas encore. L'intérêt est d'abord d'ingénierie. Une couche de 80 000 paramètres, face aux milliards d'une politique de base, se greffe sans réentraîner ni dégrader ce qu'elle sait déjà faire. C'est une piste pour les intégrateurs qui veulent corriger un VLA sur un site précis sans toucher au modèle d'origine. Les résultats restent toutefois modestes. Des gains de 1 à 2 points sont proches de ce que peut produire la variance d'entraînement. Le résumé ne précise ni le nombre de graines ni les intervalles de confiance. Tout est évalué en simulation, aucun robot physique n'est cité, et les comparaisons portent sur des contrôles de base appariés. Cela ne dit rien de l'écart entre simulation et réel, ni de la robustesse hors distribution. Le texte ne livre pas non plus de coût de latence à l'inférence. Or le guidage par gradient ajoute des calculs à chaque pas de contrôle. Le travail s'inscrit dans le courant des méthodes d'adaptation légères des VLA, qui cherchent des alternatives au réglage fin complet ou aux adaptateurs de type LoRA, et il reprend l'idée du modèle à énergie utilisé comme vérificateur ou guide. Le nom fait référence à Jev, un modèle de décision probabiliste de TypeSafe. L'inspiration est donc conceptuelle, et le papier ne présente pas de reprise du modèle lui-même. La suite dépendra de la publication du code, de validations sur robot réel et de comparaisons directes avec les autres méthodes d'adaptation sur des politiques de référence.

RecherchePaper

1 source