RecherchearXiv cs.RO 23 septembre 2026

IndustrialVLA-Bench : une évaluation traçable multi-axes des modèles de politique robotique ouverts

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

IndustrialVLA-Bench, publié en septembre 2026 sur arXiv (2609.25562) avec le code sur GitHub (xiaoqi-7/IndustrialVLA-Bench), compare six systèmes de politiques robotiques open source sous un protocole de rapport unifié. Il oppose les vision-language-action models (VLA), qui associent observations et instructions à des actions, aux world-action models (WAM), qui intègrent une dynamique du monde apprise dans la génération d'actions, et les teste sur trois volets LIBERO : capacité brute, robustesse à des perturbations non linguistiques (LIBERO-Plus) et sensibilité à la formulation des consignes (LIBERO-Para). Les six systèmes ne s'écartent que de 1,58 point en moyenne sur les tâches propres de LIBERO, contre 14,62 points en robustesse et 31,08 points en sensibilité aux paraphrases, un écart qui persiste (1,36, 14,62 et 23,10 points) en ne retenant que les trois systèmes jugés fidèles au protocole d'origine, les autres reposant sur des reproductions partielles ou une vérification encore en attente.

Ce travail chiffre un problème que le secteur pressentait sans le mesurer : les VLA et WAM publiés sont généralement comparés sous des protocoles différents, ce qui rend leurs classements peu exploitables pour un intégrateur devant choisir une pile logicielle. Que les scores en conditions contrôlées soient quasi identiques d'un système à l'autre, alors que les écarts explosent dès qu'on introduit du bruit visuel ou une reformulation de consigne, confirme empiriquement l'hypothèse d'un fossé entre démonstration et usage réel : la capacité brute ne prédit ni la robustesse ni la compréhension du langage sur le terrain. Pour un décideur B2B, un score LIBERO flatteur ne garantit donc rien en atelier, où l'éclairage varie et les consignes orales ne se répètent jamais à l'identique.

IndustrialVLA-Bench s'appuie sur LIBERO, référence académique pour l'évaluation de la manipulation pilotée par le langage, et y ajoute les variantes de robustesse et de paraphrase déjà proposées séparément dans la littérature récente pour bâtir un protocole de comparaison commun. L'article ne dévoile pas l'identité des six systèmes testés, mais s'inscrit dans un paysage où des VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA rivalisent avec des architectures world-action pour équiper des robots industriels ; aucun acteur français ou européen n'apparaît dans cette évaluation. Les auteurs publient code et journaux d'évaluation complets sur GitHub, une transparence qui pourrait pousser les prochains lancements à publier des mesures de robustesse, et pas seulement des scores de capacité en conditions favorables.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

RoboWM-Bench : un benchmark pour évaluer les modèles du monde en manipulation robotique

Une équipe de chercheurs a déposé sur arXiv (identifiant 2604.19092) RoboWM-Bench, un benchmark dédié à l'évaluation des world models vidéo pour la manipulation robotique. Le protocole est exigeant : les comportements générés par ces modèles, à partir de vidéos de mains humaines ou de robots en action, sont convertis en séquences d'actions exécutables, puis validés par exécution réelle sur robot physique. Les évaluations conduites sur les meilleurs world models actuels sont sans appel : produire des comportements physiquement exécutables de manière fiable reste un problème ouvert. Les modes d'échec récurrents identifiés incluent les erreurs de raisonnement spatial, la prédiction instable des contacts entre effecteur et objet, et les déformations non physiques de matériaux. Un fine-tuning sur données de manipulation améliore les résultats, mais les incohérences physiques persistent. Ce constat soulève une question stratégique pour l'industrie : peut-on utiliser des world models comme simulateurs bon marché pour générer des données d'entraînement, en remplacement des démonstrations terrain coûteuses ? Le réalisme visuel d'une vidéo générée ne garantit pas sa plausibilité physique, une distinction que les benchmarks existants, majoritairement orientés perception ou diagnostic, ne permettaient pas de mesurer. En imposant la validation par exécution réelle comme critère central, RoboWM-Bench dépasse les métriques habituelles de cohérence temporelle ou de FID. Pour les équipes engineering et les intégrateurs, la conclusion est opérationnelle : les world models actuels ne sont pas encore substituables aux démonstrations réelles pour l'apprentissage de politiques de manipulation précise. L'intérêt pour les world models en robotique s'est intensifié depuis 2024, porté par des modèles génératifs comme Sora (OpenAI), Genie 2 (Google DeepMind) ou UniSim, et alimenté par les avancées des VLA (Vision-Language-Action). L'hypothèse qu'un monde simulé pourrait tenir lieu de terrain d'entraînement, évitant la collecte de données réelles, est au coeur des investissements d'une dizaine de startups et labos académiques actifs sur ce créneau. RoboWM-Bench s'inscrit dans une dynamique de standardisation comparable à ce que RoboMimic ou MetaWorld ont établi pour l'imitation learning : un protocole unifié et reproductible. Aucune affiliation institutionnelle ni timeline d'extension du benchmark ne figurent dans le preprint, ce qui en limite la portée immédiate, mais la publication envoie un signal net : la communauté robotique commence à exiger des preuves d'exécutabilité physique, et non plus seulement de cohérence visuelle.

RecherchePaper

1 source

2arXiv cs.RO

RoboTrustBench : évaluation de la fiabilité des modèles du monde vidéo pour la manipulation robotique

Une équipe de recherche a publié en juin 2026 RoboTrustBench (arXiv:2606.01600), un benchmark conçu spécifiquement pour évaluer la fiabilité des modèles vidéo du monde (video world models) appliqués à la manipulation robotique. Le jeu d'évaluation repose sur des épisodes réels issus du dataset DROID et comprend 1 207 paires instruction-image validées par des experts. Les modèles sont soumis à quatre scénarios progressivement contraignants : Normal (instructions valides et réalisables), Constraint-Sensitive (contraintes environnementales ou physiques), Counterfactual (états initiaux impossibles ou contradictoires) et Adversarial (instructions non sûres ou malveillantes). Le protocole d'évaluation s'articule autour de six dimensions et 13 critères fins, et mobilise à la fois des annotateurs humains et des MLLM (multimodal large language models) comme juges. Sept modèles vidéo représentatifs ont été évalués dans ce cadre. Les résultats révèlent une dissociation nette entre qualité visuelle et fiabilité opérationnelle : les modèles produisent des vidéos cohérentes en apparence, mais échouent sur le raisonnement sous contrainte, l'ancrage contrefactuel, les interactions physiques plausibles et, fait plus préoccupant, la suppression d'instructions non sûres. Pour les intégrateurs et les équipes robotique qui utilisent ces modèles comme simulateurs de planification ou comme oracles de vérification, cela signifie qu'une métrique de qualité vidéo seule ne peut pas servir de proxy de confiance. La capacité à rejeter une instruction dangereuse ou physiquement impossible est un prérequis de déploiement industriel que les architectures actuelles ne satisfont pas. Les video world models ont pris une place croissante dans la recherche en robotique depuis 2024, avec des travaux comme UniSim, DIAMOND ou Genie, qui les positionnent comme substituts légers de simulateurs physiques pour l'entraînement et la planification. DROID, le dataset sous-jacent de RoboTrustBench, est l'une des collections de trajectoires de manipulation réelles les plus utilisées en recherche académique. L'absence de benchmark centré sur la robustesse adversariale et les cas limites physiques était identifiée comme un angle mort du domaine. RoboTrustBench comble ce manque, mais la publication ne présente pas de modèle amélioré ni de solution : elle caractérise le problème et fournit l'infrastructure d'évaluation pour orienter les prochains travaux de fine-tuning ou d'alignement de ces modèles sur des critères de sûreté.

RecherchePaper

1 source

3arXiv cs.RO

TriWorldBench : une évaluation de la cohérence tri-vue des modèles du monde incarnés

Une équipe de recherche a publié sur arXiv, en septembre 2026, TriWorldBench, un banc d'essai évaluant les modèles de monde incarnés, ces systèmes qui prédisent le résultat des actions d'un robot pour l'aider à apprendre et planifier. L'outil compare trois flux vidéo synchronisés plutôt que de les juger séparément : la caméra de tête, qui capture la tâche globale, et les caméras de poignet gauche et droite, qui filment l'interaction entre la pince et l'objet. Le jeu de données couvre 500 épisodes sur 50 tâches de manipulation bimanuelle, notées par 19 métriques : cohérence entre vues, alignement avec la tâche, cohérence physique et 3D, qualité du mouvement, stabilité temporelle et qualité visuelle. Un score global, le TWB-Score, résume ces résultats tout en gardant le détail par vue pour localiser les échecs. Code, données et métriques sont publiés en libre accès sur GitHub. Cette approche comble une lacune : jusqu'ici, un modèle pouvait générer une vidéo de tête plausible et des vidéos de poignet tout aussi convaincantes sans qu'aucune métrique ne vérifie si elles décrivent la même action et le même état de l'objet. Pour les équipes qui développent des modèles vision-langage-action et des politiques bimanuelles combinant caméra de tête et caméras de poignet, ce contrôle croisé devient un critère de fiabilité avant tout déploiement. Le benchmark rappelle qu'une vidéo visuellement convaincante n'équivaut pas à une prédiction de monde cohérente, un écart que l'industrie robotique doit désormais mesurer plutôt que supposer. L'essor des modèles de monde incarnés accompagne la multiplication des architectures robotiques associant caméra globale et caméras embarquées sur les pinces, utilisées pour entraîner et planifier des manipulations fines. Jusqu'ici, les benchmarks jugeaient la qualité visuelle vue par vue sans vérifier leur cohérence mutuelle, un angle mort que TriWorldBench comble explicitement. En publiant code, données et métriques en open source, ses auteurs proposent moins un produit commercial qu'un étalon commun destiné aux laboratoires et entreprises qui développent des modèles de monde ou des politiques vision-langage-action. Le texte ne précise ni affiliation industrielle ni calendrier de déploiement : il s'agit pour l'instant d'un outil de recherche visant à structurer l'évaluation d'un domaine encore jeune.

RecherchePaper

1 source

4arXiv cs.RO

LongBench : évaluation des politiques de manipulation robotique sur des tâches réelles à horizon long

Une équipe de chercheurs a publié en avril 2026 LongBench, un benchmark conçu pour évaluer les politiques de manipulation robotique sur des tâches longues et enchaînées dans le monde réel. Contrairement à la majorité des benchmarks existants, LongBench repose sur plus de 1 000 épisodes exécutés en conditions réelles, et non en simulation. Il se structure autour de deux régimes complémentaires : les tâches Context-Independent, où l'état du monde est entièrement observable, et les tâches Context-Dependent, où le robot doit gérer une ambiguïté sur l'état ou l'intention. Les tâches sont organisées en sous-ensembles ciblant des capacités spécifiques (robustesse d'exécution, cohérence temporelle, raisonnement contextuel), permettant un diagnostic fin des sources d'échec. Six politiques de l'état de l'art ont été évaluées sur ce protocole, sans qu'un seul facteur dominant n'explique les dégradations de performance sur les horizons longs. Ces résultats remettent en question une hypothèse courante dans le domaine : celle selon laquelle améliorer la mémoire ou le contexte historique suffirait à résoudre les échecs en manipulation longue durée. LongBench montre que dans les environnements pleinement observables, c'est la robustesse d'exécution, c'est-à-dire la capacité du robot à répéter fidèlement une séquence motrice sur des dizaines de pas, qui domine les performances, et non la gestion du contexte. À l'inverse, dans les scénarios ambigus, les méthodes à mémoire n'apportent pas d'amélioration systématique : la difficulté contextuelle varie fortement selon les tâches, ce qui suggère qu'il n'existe pas de solution générique. Pour les intégrateurs et les équipes R&D qui évaluent des politiques VLA (Vision-Language-Action) ou des architectures de contrôle diffusion, ce benchmark offre un protocole de diagnostic plus fin que les métriques de succès agrégé habituelles. Le benchmark s'inscrit dans un effort plus large de la communauté robotique pour dépasser les évaluations en simulation, dont le sim-to-real gap reste un problème structurel non résolu. Plusieurs benchmarks récents, comme DROID ou Open X-Embodiment, ont posé des bases de données multi-robots, mais peu proposent une décomposition mécaniste des sources d'échec sur des horizons longs. LongBench se positionne comme un outil de diagnostic complémentaire, agnostique à l'architecture, applicable aussi bien aux politiques de type ACT, Diffusion Policy qu'aux approches VLA. Les auteurs n'annoncent pas de déploiement industriel associé : il s'agit d'un outil de recherche, pas d'un produit. Les prochaines étapes attendues incluent l'extension à d'autres morphologies robotiques et l'intégration de tâches bi-manuelles, qui représentent le prochain mur de complexité pour la manipulation longue durée.

RecherchePaper

1 source