RecherchearXiv cs.RO 1 octobre 2026

DrivingBench : les modèles vision-langage peuvent-ils conduire une Toyota Corolla ?

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

DrivingBench, un nouveau benchmark publié sur arXiv (2609.38948), place pour la première fois, à la connaissance de ses auteurs, des modèles vision-langage généralistes aux commandes d'une vraie voiture. Les modèles reçoivent les images d'une caméra montée sur une Toyota Corolla via trois outils, puis commandent directement l'angle de volant et la vitesse sur un parcours de cônes dans un parking, à basse vitesse. Le véhicule peut continuer à rouler pendant que le modèle réfléchit, et chaque nouvelle commande remplace celle en cours. Quatre modèles ont été testés dans leurs environnements natifs (Codex, Claude Code, Cursor), avec jusqu'à trois tentatives par conversation: GPT-6 Astra, Claude Fable 5.1, GPT-5.6 Sol et Grok 4.6. Seul Astra termine le parcours, à sa deuxième tentative. Aucun autre modèle ne dépasse 50 % du tracé. Deux des quatre progressent nettement d'une tentative à l'autre lorsqu'ils conservent leur contexte.

L'intérêt tient à ce que le test mesure ce que les benchmarks numériques ignorent: la boucle complète observer, agir, surveiller, corriger et tenir un objectif long sous contrainte de latence. Ici, le temps d'inférence fait partie de la tâche, puisque la voiture avance pendant que le modèle délibère. Le résultat tempère l'idée que de bons scores sur des tâches logicielles se transfèrent mécaniquement au monde physique: un seul modèle sur quatre boucle un parcours à basse vitesse, sur un terrain dégagé et sans trafic. L'amélioration entre tentatives suggère aussi que la mémoire de contexte compense en partie le manque de précision spatiale, ce qui intéresse les concepteurs d'agents pour la robotique mobile. Les auteurs relèvent enfin que le format de sortie des outils et la formulation de la consigne ont suffi à décider si un modèle conduisait ou refusait, un point de fragilité à garder en tête pour toute intégration industrielle.

Ce travail s'inscrit dans le débat sur l'écart entre compétence numérique et compétence incarnée. Il se distingue des approches de conduite autonome classiques, entraînées de bout en bout ou spécialisées sur des données routières, car il évalue des modèles généralistes sans entraînement dédié. Il diffère aussi des VLA robotiques, conçus pour émettre des actions à haute fréquence. Ici, la boucle de contrôle passe par des agents de code, avec une latence qui reste élevée. Il faut rester prudent: l'échantillon est de quatre modèles, avec trois essais maximum, ce qui limite la portée statistique, et le test n'évalue pas la sécurité. Les auteurs publient le harnais, les prompts, la carte du parcours et les traces avec vidéo et télémétrie, ce qui permet à d'autres laboratoires de reproduire et d'étendre l'expérience, par exemple avec des vitesses plus élevées ou des environnements plus complexes.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

HumanCLAW : les modèles vision-langage peuvent-ils agir à travers un corps ?

Décider où poser le pied ou quoi ramasser est une chose ; l'exécuter avec un corps qui doit garder l'équilibre en est une autre, et jusqu'ici les benchmarks d'IA incarnée mélangeaient les deux dans un seul score d'échec. Une équipe de recherche présente HumanCLAW, un cadre d'évaluation qui sépare explicitement la décision d'action, confiée à un modèle vision-langage (VLM) générique non modifié, de son exécution motrice. À chaque étape, le VLM se contente d'émettre une commande de compétence atomique (aller vers, saisir, éviter), traduite ensuite en une fraction de seconde de mouvement corporel complet soumis à la vraie physique, gravité et collisions comprises, mais dont l'exécution motrice elle-même n'est pas imputée au modèle. Sur cette base, les chercheurs ont construit HumanCLAW-Bench : 1 218 épisodes longs, en vue égocentrique, combinant recherche, navigation et interaction dans 41 scènes d'intérieur. Neuf VLMs de pointe ont été testés, et aucun ne parvient à résoudre le benchmark ; le meilleur plafonne à 16,8 % de réussite. Ce résultat déplace le diagnostic habituel sur l'IA incarnée. Puisque les erreurs de motricité et d'équilibre sont neutralisées par construction, l'échec ne peut plus être attribué à un contrôleur bas niveau défaillant : il révèle une limite propre à l'intelligence décisionnelle du modèle. Or reconnaître la cible visuellement n'est pas le problème, selon les auteurs : c'est l'absence de conscience corporelle incarnée qui bloque les VLMs, incapables de savoir où se situe leur propre corps, s'ils ont atteint l'objectif, ou s'ils viennent de heurter un obstacle. Pour les équipes qui développent des modèles vision-langage-action destinés à des robots humanoïdes, cela suggère que l'ajout de capacités motrices ou de données de démonstration ne suffira pas tant que le modèle n'intègre pas une forme de proprioception explicite. HumanCLAW s'inscrit dans une lignée de benchmarks d'IA incarnée cherchant à isoler les sources d'échec plutôt qu'à mesurer un taux de succès global. En proposant une méthodologie reproductible et un large jeu de scènes, les auteurs ouvrent la voie à des comparaisons plus fines entre futurs VLMs et à des pistes de recherche ciblées sur l'auto-localisation et le suivi d'état corporel, plutôt que sur la seule perception d'objets.

RecherchePaper

1 source

2arXiv cs.RO

FailBench : les modèles vision-langage sont-ils fiables pour juger la réussite des tâches robotiques ?

Des chercheurs présentent FailBench, un benchmark conçu pour mesurer la fiabilité des modèles vision-langage (VLM) lorsqu'ils sont utilisés comme juges automatiques du succès ou de l'échec des tâches de manipulation robotique. L'ensemble compile 2 197 tentatives de manipulation issues de 14 sources publiques, dont 12 jeux de données réels et 2 simulés ; 75% des échecs y surviennent naturellement, sans être provoqués pour les besoins du test, et six des sources réelles ne sont pas conçues à l'origine pour la détection d'échec. Les auteurs évaluent 13 détecteurs basés sur des VLM : le meilleur modèle plafonne à seulement 0,77 de précision équilibrée moyenne, un score modeste pour une tâche de classification binaire réussite/échec. Fait notable, les modèles spécifiquement affinés (fine-tunes) pour la détection d'échec obtiennent des résultats systématiquement inférieurs à ceux des VLM généralistes et même à leurs propres versions pré-entraînées non spécialisées. Ce résultat questionne directement une hypothèse répandue dans l'écosystème des VLA (vision-language-action) et de la supervision automatisée de robots : que des modèles de fondation généralistes, une fois affinés sur des données spécialisées, deviennent mécaniquement de meilleurs juges de tâche. FailBench montre l'inverse, avec un écart de performance particulièrement marqué selon le type de tâche observée : les modèles approchent la saturation quand le succès dépend d'un mouvement d'objet visible et facilement observable, mais retombent près du niveau du hasard, sous 0,60 de précision équilibrée, sur des tâches d'assemblage à fort contact physique où l'échec n'est pas visuellement évident. Pour les intégrateurs et équipes qui envisagent d'automatiser la supervision qualité de lignes robotisées avec des VLM, à Nvidia le comportement de GR00T N2 ou d'autres pipelines VLA, ces chiffres suggèrent qu'une confiance aveugle dans un détecteur automatique reste risquée sur les tâches d'assemblage fin, précisément là où l'erreur coûte le plus cher en production. L'analyse d'erreur des auteurs révèle un biais systématique des modèles à prédire un succès par défaut lorsque la preuve visuelle est ambiguë, un biais qui persiste même en augmentant l'effort de raisonnement alloué au modèle, ce qui limite l'intérêt du simple scaling de compute au moment de l'inférence pour corriger ce défaut. En revanche, une intervention plus ciblée au niveau de l'entrée, la localisation spatiale et le recadrage automatique des régions de l'image pertinentes pour le résultat, améliore le meilleur détecteur de 2,4 points de pourcentage sans entraînement supplémentaire. FailBench s'inscrit dans une lignée de benchmarks cherchant à combler l'écart entre démonstrations en conditions contrôlées et fiabilité réelle des systèmes de perception robotique, un enjeu central alors que les VLM sont de plus en plus proposés comme couche de supervision autonome pour des flottes de robots manipulateurs en usine ou en entrepôt.

RecherchePaper

1 source

3arXiv cs.RO

NAC : un codec neuronal d'actions pour les modèles vision-langage-action

Des chercheurs publient une version mise à jour (v2) du préprint arXiv 2606.21372, intitulé « NAC: Neural Action Codec for Vision-Language-Action Models », qui introduit un nouveau tokenizer d'actions pour les modèles vision-langage-action (VLA). Le NAC reprend l'architecture des codecs audio neuronaux, encodeur-décodeur convolutif à quantification vectorielle résiduelle (RVQGAN) utilisée dans les modèles de fondation audio, en traitant les courtes trajectoires d'actions robotiques comme des signaux 1D multicanaux compressés à plusieurs échelles. Le système produit un espace de tokens compact et ordonné via des codebooks décalés, ce qui permet à des politiques autorégressives standard de fonctionner sur des séquences courtes et structurées ; la reconstruction des trajectoires s'appuie sur un décodeur de style Vocos, avec tête ISTFT et discriminateurs adversariaux. Évalué sur les bancs d'essai LIBERO-10 et RoboMimic, ainsi que sur une série de tâches de manipulation réelles, NAC atteint une fidélité de reconstruction élevée et des taux de réussite moyens supérieurs au binning, à FAST et aux tokenizers VQ antérieurs, à taux de compression comparable ou meilleur. Le tokenizer d'actions est le goulot d'étranglement discret entre commande continue du robot et modélisation de séquence autorégressive au cœur de tout VLA ; jusqu'ici, binning, FAST et quantification vectorielle classique forçaient un compromis entre compression, latence et performance. En montrant qu'une architecture éprouvée pour l'audio se transpose presque sans changement structurel au contrôle robotique, ce travail suggère que la tokenisation d'actions n'est plus le facteur limitant majeur pour faire passer à l'échelle les politiques VLA, un enjeu concret pour tout intégrateur entraînant des politiques génériques de manipulation sur plusieurs tâches et morphologies de robot. Le gain de taux de réussite à compression égale ou supérieure compte surtout pour le temps réel, où latence d'inférence et longueur de séquence conditionnent le temps de cycle. Les résultats restent toutefois issus de bancs d'essai académiques, simulation complétée d'un nombre limité de tâches réelles, donc d'un stade de recherche et non d'un produit ou d'un déploiement industriel. Le travail s'inscrit dans la lignée des tokenizers développés pour les VLA récents, dont FAST, méthode associée à la famille de modèles Pi-0 de Physical Intelligence et prise ici comme référence de comparaison, ainsi que les approches par binning et par quantification vectorielle discrète plus anciennes. L'idée de recycler les codecs audio neuronaux à quantification résiduelle, déjà standard pour les modèles de fondation audio, illustre une tendance plus large du secteur à importer des briques génératives multimodales vers la robotique. Publiée sous forme de préprint arXiv, sans annonce de licence, d'intégration produit ni de calendrier de déploiement, la contribution demeure un résultat de recherche dont la portée dépendra de sa reproduction sur des politiques VLA de plus grande échelle et de tests au-delà des bancs d'essai contrôlés utilisés dans l'article.

RechercheActu

1 source

4arXiv cs.RO

IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action

Publié sur arXiv (2609.10915), IMLE-VLA remplace la tête d'action itérative des politiques vision-langage-action (VLA) par un générateur en une seule étape, entraîné via l'estimation conditionnelle du maximum de vraisemblance implicite (cIMLE). Appliqué au modèle π0.5, il fait passer la fréquence d'inférence de 15 Hz à 55 Hz, soit un facteur 3,67, et jusqu'à 11 fois le débit d'action. Sur le benchmark LIBERO, qui couvre 40 tâches, IMLE-VLA atteint 98,0% de réussite moyenne, le meilleur score et la plus haute fréquence d'inférence parmi les méthodes comparées. Sous les perturbations du test LIBERO-plus, il conserve la robustesse de π0.5 alors que les autres approches se dégradent nettement. Sur un bras Franka Emika Panda, quatre tâches en conditions réelles montrent un jerk réduit de 2,2 à 3,0 fois et un temps d'inférence par épisode divisé par 3,9 à 6,6 par rapport à π0.5 seul. Le problème visé est bien identifié dans le secteur: les têtes d'action entraînées par diffusion ou flow matching, comme celle de π0.5, exigent un échantillonnage multi-étapes (jusqu'à 10 pas d'Euler), ce qui produit un mouvement saccadé du robot et ralentit l'exécution des tâches. Pour les intégrateurs et équipes robotique qui déploient des bras ou des humanoïdes pilotés par des modèles de fondation, la latence d'inférence conditionne directement la fluidité et la sécurité du contrôle en temps réel. En montrant qu'un générateur à étape unique peut couvrir la multimodalité de l'action sans tomber dans l'effondrement de mode des têtes de régression classiques, IMLE-VLA remet en cause l'idée reçue selon laquelle l'échantillonnage itératif serait indispensable pour préserver la généralisation des politiques VLA à grande échelle. Ce travail s'inscrit dans la lignée des VLA construits sur des backbones vision-langage préentraînés, avec π0.5 comme base de comparaison. Il s'agit d'une contribution académique et non d'un produit commercial: code et vidéos de démonstration sont publiés sur le site du projet à des fins de reproductibilité, sans annonce de déploiement industriel ni de pilote client. Présentée comme générique, la méthode cIMLE pourrait en principe s'appliquer à d'autres têtes d'action par diffusion ou flow matching utilisées ailleurs dans le secteur, ce qui ouvre la voie à des tests sur d'autres politiques VLA et d'autres plateformes robotiques, au-delà du seul bras Franka Emika Panda utilisé pour cette validation.

RechercheActu

1 source