RecherchearXiv cs.RO 17 juin 2026

ERQA-Plus : un benchmark de diagnostic pour le raisonnement en IA incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du LUNAProject22 ont publié le 17 juin 2026 ERQA-Plus, un benchmark de diagnostic conçu pour évaluer les capacités de raisonnement des agents robotiques incarnés (embodied AI). Le jeu de données comprend 1 766 paires question-réponse ancrées dans 711 images prises depuis le point de vue d'un robot, organisées selon une taxonomie en cinq catégories : raisonnement perceptuel, centré sur l'action, interaction sociale, navigation environnementale, et inférence de sens commun contextuel. La construction du dataset repose sur un pipeline en plusieurs étapes combinant génération guidée par la taxonomie, validation automatique par juge LLM, révision itérative et évaluation humaine. Six modèles vision-langage ont été benchmarkés : LLaVA-NeXT-8B, Prismatic-7B, MiniCPM-V-4.5-8B, Qwen3-VL (7B et 32B), RoboRefer-8B et RoboBrain2.5-8B. Le meilleur score global est atteint par Qwen3-VL-32B avec 83,4 % de précision et un score SBERT de 61,4, ce dernier mesurant la similarité sémantique des réponses générées.

Le chiffre de 83,4 % masque des déficiences structurelles que l'analyse par catégorie révèle clairement : les modèles testés échouent de manière persistante sur le raisonnement spatial, le raisonnement procédural, la prédiction d'événements et l'inférence d'intentions. C'est précisément le problème que ce benchmark cherche à exposer : les évaluations globales permettent à des modèles d'obtenir des scores élevés en exploitant des raccourcis statistiques visuels ou linguistiques, sans raisonnement incarné réel. Pour les équipes qui développent des VLA (vision-language-action models) destinés à des robots industriels ou de service, ERQA-Plus fournit un outil de diagnostic granulaire qui distingue ce qu'un modèle sait réellement faire dans un environnement situé de ce qu'il devine correctement par coïncidence de distribution.

Les benchmarks existants pour l'embodied AI comme ScanQA, EQA ou OpenEQA souffrent d'un contrôle insuffisant sur les dépendances de raisonnement testées, ce qui rend difficile l'attribution des performances à des capacités spécifiques. ERQA-Plus s'inscrit dans un effort de structuration plus rigoureux de l'évaluation, comparable à ce que BIG-Bench a représenté pour les LLM textuels. Dans le paysage concurrentiel, les modèles spécialisés robotique comme RoboRefer et RoboBrain2.5 n'ont pas surpassé les modèles généralistes comme Qwen3-VL, ce qui soulève des questions sur la valeur ajoutée du fine-tuning robotique pour le raisonnement de haut niveau. Le dataset est disponible sur HuggingFace (huggingdas/erqa-plus) et le projet sur GitHub ; aucun déploiement industriel n'est annoncé, il s'agit d'une contribution de recherche sous forme de preprint arXiv.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

CAPSafe : un benchmark pour le raisonnement contextuel sur la sécurité des actions et des plans des agents incarnés

CAPSafe, un nouveau benchmark publié sur arXiv (2610.28381), évalue la capacité des agents incarnés pilotés par des grands modèles de langage à raisonner sur la sécurité, à deux niveaux. Le premier est un jeu de données au niveau de l'action, qui teste si une action isolée est sûre compte tenu de son contexte environnemental. Le second, au niveau du plan, vérifie si un agent sait produire des plans à long horizon sûrs pour des tâches domestiques dangereuses et complexes. Les auteurs ont testé neuf LLM, propriétaires et open source. Plusieurs d'entre eux dépassent 90 % de précision pour reconnaître une action dangereuse dans les meilleurs cas. Pourtant, le meilleur taux de réussite en toute sécurité sur les plans longs revient à Gemini-3-pro avec 78,19 %, tandis que tous les autres restent sous 65 %. Cet écart entre détection et planification est le résultat à retenir pour l'industrie. Un modèle qui identifie correctement un danger quand on le lui présente ne le prend pas pour autant en compte quand il enchaîne des dizaines d'actions. Pour les intégrateurs et les décideurs qui envisagent de confier à un LLM ou à un modèle vision-langage-action (VLA) la planification de tâches en environnement réel, la précision sur des questions isolées ne garantit donc pas la sécurité d'exécution. Les garde-fous devront probablement être placés au niveau de la séquence, par exemple avec une vérification formelle du plan, un filtre indépendant ou une supervision en boucle fermée, plutôt que de s'en remettre au seul raisonnement du modèle. Les chiffres sont en outre obtenus sur des tâches textuelles ou simulées. Ils ne disent rien de la perception, des erreurs de capteurs ni de la dynamique physique, qui aggravent le problème sur un robot réel. Le benchmark répond à des limites des évaluations précédentes. CAPSafe modélise des dangers situationnels, déduits des propriétés des objets plutôt que listés à l'avance. Il prévoit aussi plusieurs dangers simultanés dans un même environnement, chacun annoté d'un niveau de gravité relatif, ce qui permet une analyse plus fine que le simple verdict sûr ou non sûr. Il s'inscrit dans la série des évaluations de sécurité pour agents incarnés, sur un terrain où les laboratoires de modèles généralistes et les développeurs de robots humanoïdes et domestiques convergent. Le travail est un préprint, non évalué par les pairs, et l'article ne mentionne ni pilote industriel ni calendrier. Les suites logiques seraient l'adoption du benchmark par d'autres équipes, le test de modèles plus récents et son extension à des environnements physiques ou à des politiques VLA.

RecherchePaper

1 source

2arXiv cs.RO

Un mot, deux actions différentes : un benchmark robotique réel pour le raisonnement incarné conditionné au langage

Des chercheurs ont mis en ligne sur arXiv, en septembre 2026, un preprint non encore relu par les pairs présentant un nouveau benchmark nommé « One Word, Different Action » (référence 2609.05260), conçu pour évaluer le raisonnement incarné conditionné par le langage directement sur robot réel plutôt qu'en simulation. Le protocole s'appuie sur des états de décision physiques et des actions exécutables, en confrontant des paires d'instructions qui soit préservent la tâche malgré un changement de mot, soit la modifient réellement. Il mesure ainsi séparément deux capacités : l'invariance décisionnelle, soit la capacité à conserver la même action quand la tâche ne change pas, et la sensibilité décisionnelle, soit la capacité à changer d'action quand la consigne l'exige vraiment. Deux volets complètent l'évaluation : un test de raisonnement multi-contraintes, où plusieurs exigences de tâche doivent être combinées en une seule décision exécutable, et un test d'ancrage sur images RGB réelles plutôt que sur des représentations symboliques simplifiées. Les résultats montrent que les modèles actuels frôlent la saturation face à un changement isolé d'instruction, une difficulté donc largement surmontée par l'état de l'art. Ils se dégradent en revanche nettement dès qu'il faut intégrer plusieurs contraintes simultanées dans une seule décision exécutable. Pour les intégrateurs et décideurs qui déploient des robots pilotés en langage naturel, ce constat déplace le véritable verrou technique : il ne s'agit plus de détecter qu'une consigne a changé, mais de composer correctement plusieurs contraintes, par exemple l'objet visé, la position et une condition de sécurité, en une action cohérente. Le résultat invite à tempérer l'idée reçue selon laquelle les modèles vision-langage-action (VLA) auraient déjà réglé le suivi d'instructions en robotique : le goulot d'étranglement se déplace du repérage du changement vers le raisonnement compositionnel. Ce travail s'inscrit dans une tendance plus large des bancs d'essai en robotique cherchant à dépasser les métriques obtenues en simulation, jugées trop éloignées des conditions réelles, en testant directement sur robot physique avec des images RGB non retouchées. Il fait écho à une limite déjà observée sur les modèles vision-langage-action déployés dans l'industrie : de bonnes performances sur des démonstrations isolées et contrôlées, mais une généralisation plus fragile dès que plusieurs contraintes de tâche doivent être combinées en une seule décision. L'abstract publié ne précise ni le robot manipulateur utilisé ni les modèles VLA spécifiquement testés, et ne mentionne aucun jeu de données ou code source rendu public à ce stade. « One Word, Different Action » ouvre néanmoins la voie à des comparaisons futures entre modèles sur la composition de contraintes, un axe que les prochains bancs d'essai du secteur devront probablement intégrer pour aller au-delà du simple test de détection de changement d'instruction.

RecherchePaper

1 source

3arXiv cs.RO

JRDB-AVR : un banc d'essai de raisonnement visuel actif pour les agents incarnés en environnements réels

JRDB-AVR est un nouveau benchmark de raisonnement visuel actif pour agents incarnés, publié sur arXiv avec son code et ses données sur GitHub (ControlNet/JRDB-AVR). Il est dérivé des données robotiques réelles JRDB, recueillies dans plusieurs environnements, via un moteur structuré de génération de questions. Le principe : un agent reçoit une question visuelle, puis doit demander lui-même des observations bornées, en précisant un horodatage et un angle de vue. Il est évalué à la fois sur sa réponse finale et sur les preuves visuelles qu'il invoque pour la justifier. Les questions couvrent la recherche temporelle, le choix du point de vue et le raisonnement compositionnel centré sur les humains. Les auteurs proposent aussi JRDB-AVR-Agent, une méthode de référence qui maintient un modèle du monde sous forme de graphe ancré dans les observations, et qui répond par résolution de ce graphe. Le résumé ne chiffre pas les écarts de performance. L'enjeu tient à ce que mesurent, ou non, les évaluations actuelles. Les benchmarks de raisonnement visuel classiques notent des observations passives et une réponse finale, ce qui permet à un modèle vision-langage (VLM) de donner une réponse plausible, voire correcte, sans avoir regardé l'objet, l'instant ou la vue qui la fonde. Les expériences des auteurs montrent un écart substantiel entre précision de la réponse et précision des preuves chez les modèles de référence testés. Pour un intégrateur ou un décideur qui envisage de confier des tâches de perception à un robot mobile, c'est un signal de prudence : un bon score de réponse peut masquer un raisonnement non fondé, donc fragile hors des conditions de test. Ce travail plaide pour évaluer la capacité d'un agent à aller chercher l'information, un point critique en conditions réelles où le champ de vision est limité. Il s'agit toutefois d'un benchmark académique, sans produit ni déploiement, et son adoption reste à démontrer. Le contexte est celui d'un glissement de la recherche vers des agents incarnés, où les VLM servent de couche de raisonnement au-dessus de la perception. Les jeux de données JRDB, issus de plateformes robotiques mobiles opérant en environnements humains, fournissaient jusqu'ici surtout des tâches de perception. Ce nouveau benchmark les réutilise pour tester l'acquisition active de preuves, un angle encore peu couvert par les évaluations de questions-réponses visuelles. La version 2 de l'article, indiquée comme remplaçante, suggère un travail encore en évolution. La suite dépendra de l'adoption de l'évaluation par la communauté et de la capacité des modèles de pointe à réduire l'écart entre réponse et preuve.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

OceanGym : un environnement de référence pour les agents incarnés sous-marins

Des chercheurs du projet OceanGPT ont publié en septembre 2025 sur arXiv (article 2509.26536, version 3) OceanGym, présenté comme le premier benchmark complet pour les agents incarnés évoluant en environnement océanique sous-marin. La plateforme couvre huit domaines de tâches réalistes et repose sur un framework d'agent unifié piloté par des modèles de langage multimodaux de grande taille (MLLM), combinant perception, mémoire et prise de décision séquentielle. Les agents testés doivent interpréter à la fois des données optiques et sonar, explorer de façon autonome des environnements complexes et mener à bien des objectifs à long horizon, dans des conditions marquées par une faible visibilité et des courants océaniques dynamiques. Le code et les données du benchmark sont mis à disposition sur GitHub, sous l'organisation OceanGPT. Les expériences menées par les auteurs montrent un écart substantiel entre les agents MLLM les plus avancés et des experts humains sur les tâches de perception, de planification et d'adaptation en milieu sous-marin, un constat qui tranche avec le discours ambiant sur la maturité des agents vision-langage-action. Pour l'industrie des véhicules sous-marins autonomes (AUV) et des ROV, ce résultat confirme que l'environnement océanique reste nettement plus exigeant que les domaines terrestre ou aérien, où des benchmarks d'agents incarnés existent déjà depuis plusieurs années. OceanGym fournit ainsi aux équipes de recherche et aux intégrateurs un outil d'évaluation standardisé pour mesurer les progrès réels des agents avant tout déploiement physique, plutôt que de se fier à des démonstrations isolées. Le milieu sous-marin figure, selon les auteurs, parmi les dernières frontières inexplorées de la Terre. Jusqu'ici, l'essentiel des benchmarks d'IA incarnée portait sur des environnements terrestres ou aériens, structurés et bien cartographiés, laissant un vide pour les usages océaniques. OceanGym s'inscrit dans la continuité du projet OceanGPT, dont l'équipe avait déjà développé des modèles de langage dédiés aux sciences océaniques, et prolonge cette démarche vers l'évaluation d'agents capables d'agir physiquement sous l'eau. Les auteurs présentent ce travail comme une étape vers le transfert de ces capacités à de véritables véhicules sous-marins autonomes déployés en conditions réelles, sans toutefois communiquer de calendrier de pilote ni de partenariat industriel à ce stade: le projet reste pour l'instant au niveau de la recherche académique en accès ouvert plutôt que du produit commercial.

RecherchePaper

1 source