Aller au contenu principal
LIBERO-PRO : vers une évaluation robuste et équitable des modèles vision-langage-action (VLA) au-delà de la mémorisationIllustration générée par IA
RecherchearXiv cs.RO 

LIBERO-PRO : vers une évaluation robuste et équitable des modèles vision-langage-action (VLA) au-delà de la mémorisation

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont publié LIBERO-PRO, une extension critique du benchmark LIBERO largement utilisé pour évaluer les modèles Vision-Language-Action (VLA). Disponible sur GitHub (Zxy-MLlab/LIBERO-PRO), le travail, présenté sous forme d'arXiv preprint (arXiv:2510.03827v2), soumet les VLA à des perturbations systématiques selon quatre axes : substitution des objets manipulés, variation des états initiaux, modification des instructions de tâche, et changement d'environnement. Résultat sans appel : les modèles actuels qui atteignent plus de 90 % de succès sur l'évaluation LIBERO standard s'effondrent à 0,0 % dans le cadre généralisé de LIBERO-PRO. Concrètement, un modèle continue d'exécuter une séquence de saisie même lorsque l'objet cible est remplacé par un objet sans rapport, et ses sorties restent inchangées face à des instructions corrompues ou composées de tokens aléatoires.

Ce résultat est un signal d'alarme direct pour les équipes qui fondent leurs décisions de recherche ou de déploiement sur les classements LIBERO. Il démontre que les modèles VLA n'ont pas acquis de compréhension générale des tâches ni de perception réelle de l'environnement : ils mémorisent des séquences d'actions et des configurations spatiales vues à l'entraînement. Autrement dit, le gap sim-to-real et le problème de généralisation restent entiers, quelle que soit la performance affichée sur le benchmark. Pour les intégrateurs industriels ou les équipes robotique qui envisagent de déployer des politiques basées sur des VLA, cela signifie que les scores publiés ne sont pas des indicateurs fiables de robustesse opérationnelle.

LIBERO, introduit pour standardiser l'évaluation des politiques manipulatrices en langage naturel, est devenu une référence de facto dans la communauté. Mais comme tout benchmark sur-exploité, il a progressivement favorisé l'overfitting plutôt que la généralisation. LIBERO-PRO s'inscrit dans une tendance plus large de remise en question des protocoles d'évaluation VLA, aux côtés d'initiatives comparables sur les benchmarks de navigation et de saisie. La prochaine étape logique serait l'adoption de LIBERO-PRO comme standard par les principaux groupes travaillant sur des modèles comme OpenVLA, Octo ou pi0 (Physical Intelligence), afin de permettre des comparaisons réellement équitables et de pousser le secteur vers des politiques robustes en conditions réelles.

À lire aussi

Vers des modèles vision-langage-action (VLA) à peu d'exemples, robustes aux variations de pose
Illustration générée par IA
1arXiv cs.RO 

Vers des modèles vision-langage-action (VLA) à peu d'exemples, robustes aux variations de pose

Des chercheurs ont publié sur arXiv (identifiant 2611.24360) WACO, un cadre de « canonicalisation ancrée dans le monde » destiné aux modèles vision-langage-action (VLA), accompagné d'un nouveau banc d'essai, LIBERO-PoseShift. Le problème visé est concret : la recette standard consiste à affiner un VLA sur quelques dizaines de démonstrations, mais la politique obtenue mémorise implicitement la transformation entre la caméra et la base du robot. Un trépied heurté ou une base ré-docquée à quelques centimètres de sa position suffit alors à faire viser au bras le mauvais endroit. WACO traite ces deux défaillances comme un seul phénomène, un changement d'extrinsèque caméra-base. À partir d'une seule image RGB-D, il estime les deux décalages sans extrinsèques de référence ni données supplémentaires.

RecherchePaper
1 source
Au-delà des tests à axe unique : évaluation croisée de la robustesse combinée des politiques vision-langage-action
Illustration générée par IA
2arXiv cs.RO 

Au-delà des tests à axe unique : évaluation croisée de la robustesse combinée des politiques vision-langage-action

Une équipe de recherche présente LIBERO-CTRL, un benchmark en six axes conçu pour tester la robustesse des politiques vision-langage-action (VLA) face à des perturbations combinées plutôt qu'isolées, selon un article publié sur arXiv le 15 septembre 2026 (arXiv:2609.15940v1). Le protocole apparie, pour chaque état initial, des essais à perturbation unique avec un essai équivalent soumis simultanément à plusieurs perturbations, à trois niveaux de sévérité. L'évaluation porte sur six politiques VLA et met en évidence deux phénomènes que les taux de réussite agrégés ne permettent pas de distinguer : des échecs émergents, où toutes les variantes à perturbation unique réussissent mais la version combinée échoue, et des réussites compensées, où au moins une variante à perturbation unique échoue mais la version…

RecherchePaper
1 source
CoRE-VLA : vers une modélisation vision-langage-action évolutive et robuste par routage conditionnel d'experts
Illustration générée par IA
3arXiv cs.RO 

CoRE-VLA : vers une modélisation vision-langage-action évolutive et robuste par routage conditionnel d'experts

Des chercheurs présentent CoRE-VLA, une nouvelle architecture de modèle vision-langage-action (VLA) conçue pour résoudre un problème concret de déploiement robotique: la gestion de capteurs hétérogènes et potentiellement défaillants. Publié sur arXiv le 3 juillet 2026, le papier propose de traiter la génération d'actions comme un calcul épars conditionné par le contexte, plutôt que par un calcul dense partagé comme dans les VLA classiques. Concrètement, la disponibilité des capteurs active des experts spécialisés par modalité (le papier se concentre sur la profondeur, ou depth, comme capteur auxiliaire représentatif), tandis que l'intention de la tâche route les représentations vers des experts pertinents pour chaque sous-objectif.

RechercheActu
1 source
MIKASA-Robo-VLA : évaluer la mémoire des modèles vision-langage-action (VLA) pour la manipulation à long horizon
Illustration générée par IA
4arXiv cs.RO 

MIKASA-Robo-VLA : évaluer la mémoire des modèles vision-langage-action (VLA) pour la manipulation à long horizon

MIKASA-Robo-VLA, un nouveau benchmark publié sur arXiv (v1, octobre 2026), propose 90 tâches de manipulation conditionnées par le langage pour mesurer comment les politiques vision-langage-action (VLA) exploitent une information qui disparaît en cours de tâche. Dans 80 d'entre elles, l'indice dont dépend l'action est masqué ; les 10 restantes sont des contrôles réactifs où il reste visible. Chaque tâche fournit une instruction textuelle, alors que la suite d'origine, MIKASA-Robo (32 tâches), n'utilisait le langage que sur un sous-ensemble représentatif. Pour 70 tâches, les temps de phase de l'environnement définissent un « écart d'information », et dans 28 cas il dépasse la fenêtre de 16 images du VLA à contexte fixe le plus large recensé par les auteurs.

RecherchePaper
1 source