RecherchearXiv cs.RO 17 juin 2026

ERQA-Plus : un benchmark de diagnostic pour le raisonnement en IA incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du LUNAProject22 ont publié le 17 juin 2026 ERQA-Plus, un benchmark de diagnostic conçu pour évaluer les capacités de raisonnement des agents robotiques incarnés (embodied AI). Le jeu de données comprend 1 766 paires question-réponse ancrées dans 711 images prises depuis le point de vue d'un robot, organisées selon une taxonomie en cinq catégories : raisonnement perceptuel, centré sur l'action, interaction sociale, navigation environnementale, et inférence de sens commun contextuel. La construction du dataset repose sur un pipeline en plusieurs étapes combinant génération guidée par la taxonomie, validation automatique par juge LLM, révision itérative et évaluation humaine. Six modèles vision-langage ont été benchmarkés : LLaVA-NeXT-8B, Prismatic-7B, MiniCPM-V-4.5-8B, Qwen3-VL (7B et 32B), RoboRefer-8B et RoboBrain2.5-8B. Le meilleur score global est atteint par Qwen3-VL-32B avec 83,4 % de précision et un score SBERT de 61,4, ce dernier mesurant la similarité sémantique des réponses générées.

Le chiffre de 83,4 % masque des déficiences structurelles que l'analyse par catégorie révèle clairement : les modèles testés échouent de manière persistante sur le raisonnement spatial, le raisonnement procédural, la prédiction d'événements et l'inférence d'intentions. C'est précisément le problème que ce benchmark cherche à exposer : les évaluations globales permettent à des modèles d'obtenir des scores élevés en exploitant des raccourcis statistiques visuels ou linguistiques, sans raisonnement incarné réel. Pour les équipes qui développent des VLA (vision-language-action models) destinés à des robots industriels ou de service, ERQA-Plus fournit un outil de diagnostic granulaire qui distingue ce qu'un modèle sait réellement faire dans un environnement situé de ce qu'il devine correctement par coïncidence de distribution.

Les benchmarks existants pour l'embodied AI comme ScanQA, EQA ou OpenEQA souffrent d'un contrôle insuffisant sur les dépendances de raisonnement testées, ce qui rend difficile l'attribution des performances à des capacités spécifiques. ERQA-Plus s'inscrit dans un effort de structuration plus rigoureux de l'évaluation, comparable à ce que BIG-Bench a représenté pour les LLM textuels. Dans le paysage concurrentiel, les modèles spécialisés robotique comme RoboRefer et RoboBrain2.5 n'ont pas surpassé les modèles généralistes comme Qwen3-VL, ce qui soulève des questions sur la valeur ajoutée du fine-tuning robotique pour le raisonnement de haut niveau. Le dataset est disponible sur HuggingFace (huggingdas/erqa-plus) et le projet sur GitHub ; aucun déploiement industriel n'est annoncé, il s'agit d'une contribution de recherche sous forme de preprint arXiv.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Un mot, deux actions différentes : un benchmark robotique réel pour le raisonnement incarné conditionné au langage

Des chercheurs ont mis en ligne sur arXiv, en septembre 2026, un preprint non encore relu par les pairs présentant un nouveau benchmark nommé « One Word, Different Action » (référence 2609.05260), conçu pour évaluer le raisonnement incarné conditionné par le langage directement sur robot réel plutôt qu'en simulation. Le protocole s'appuie sur des états de décision physiques et des actions exécutables, en confrontant des paires d'instructions qui soit préservent la tâche malgré un changement de mot, soit la modifient réellement. Il mesure ainsi séparément deux capacités : l'invariance décisionnelle, soit la capacité à conserver la même action quand la tâche ne change pas, et la sensibilité décisionnelle, soit la capacité à changer d'action quand la consigne l'exige vraiment. Deux volets complètent l'évaluation : un test de raisonnement multi-contraintes, où plusieurs exigences de tâche doivent être combinées en une seule décision exécutable, et un test d'ancrage sur images RGB réelles plutôt que sur des représentations symboliques simplifiées. Les résultats montrent que les modèles actuels frôlent la saturation face à un changement isolé d'instruction, une difficulté donc largement surmontée par l'état de l'art. Ils se dégradent en revanche nettement dès qu'il faut intégrer plusieurs contraintes simultanées dans une seule décision exécutable. Pour les intégrateurs et décideurs qui déploient des robots pilotés en langage naturel, ce constat déplace le véritable verrou technique : il ne s'agit plus de détecter qu'une consigne a changé, mais de composer correctement plusieurs contraintes, par exemple l'objet visé, la position et une condition de sécurité, en une action cohérente. Le résultat invite à tempérer l'idée reçue selon laquelle les modèles vision-langage-action (VLA) auraient déjà réglé le suivi d'instructions en robotique : le goulot d'étranglement se déplace du repérage du changement vers le raisonnement compositionnel. Ce travail s'inscrit dans une tendance plus large des bancs d'essai en robotique cherchant à dépasser les métriques obtenues en simulation, jugées trop éloignées des conditions réelles, en testant directement sur robot physique avec des images RGB non retouchées. Il fait écho à une limite déjà observée sur les modèles vision-langage-action déployés dans l'industrie : de bonnes performances sur des démonstrations isolées et contrôlées, mais une généralisation plus fragile dès que plusieurs contraintes de tâche doivent être combinées en une seule décision. L'abstract publié ne précise ni le robot manipulateur utilisé ni les modèles VLA spécifiquement testés, et ne mentionne aucun jeu de données ou code source rendu public à ce stade. « One Word, Different Action » ouvre néanmoins la voie à des comparaisons futures entre modèles sur la composition de contraintes, un axe que les prochains bancs d'essai du secteur devront probablement intégrer pour aller au-delà du simple test de détection de changement d'instruction.

RecherchePaper

1 source

2arXiv cs.RO

OceanGym : un environnement de référence pour les agents incarnés sous-marins

Des chercheurs du projet OceanGPT ont publié en septembre 2025 sur arXiv (article 2509.26536, version 3) OceanGym, présenté comme le premier benchmark complet pour les agents incarnés évoluant en environnement océanique sous-marin. La plateforme couvre huit domaines de tâches réalistes et repose sur un framework d'agent unifié piloté par des modèles de langage multimodaux de grande taille (MLLM), combinant perception, mémoire et prise de décision séquentielle. Les agents testés doivent interpréter à la fois des données optiques et sonar, explorer de façon autonome des environnements complexes et mener à bien des objectifs à long horizon, dans des conditions marquées par une faible visibilité et des courants océaniques dynamiques. Le code et les données du benchmark sont mis à disposition sur GitHub, sous l'organisation OceanGPT. Les expériences menées par les auteurs montrent un écart substantiel entre les agents MLLM les plus avancés et des experts humains sur les tâches de perception, de planification et d'adaptation en milieu sous-marin, un constat qui tranche avec le discours ambiant sur la maturité des agents vision-langage-action. Pour l'industrie des véhicules sous-marins autonomes (AUV) et des ROV, ce résultat confirme que l'environnement océanique reste nettement plus exigeant que les domaines terrestre ou aérien, où des benchmarks d'agents incarnés existent déjà depuis plusieurs années. OceanGym fournit ainsi aux équipes de recherche et aux intégrateurs un outil d'évaluation standardisé pour mesurer les progrès réels des agents avant tout déploiement physique, plutôt que de se fier à des démonstrations isolées. Le milieu sous-marin figure, selon les auteurs, parmi les dernières frontières inexplorées de la Terre. Jusqu'ici, l'essentiel des benchmarks d'IA incarnée portait sur des environnements terrestres ou aériens, structurés et bien cartographiés, laissant un vide pour les usages océaniques. OceanGym s'inscrit dans la continuité du projet OceanGPT, dont l'équipe avait déjà développé des modèles de langage dédiés aux sciences océaniques, et prolonge cette démarche vers l'évaluation d'agents capables d'agir physiquement sous l'eau. Les auteurs présentent ce travail comme une étape vers le transfert de ces capacités à de véritables véhicules sous-marins autonomes déployés en conditions réelles, sans toutefois communiquer de calendrier de pilote ni de partenariat industriel à ce stade: le projet reste pour l'instant au niveau de la recherche académique en accès ouvert plutôt que du produit commercial.

RecherchePaper

1 source

3arXiv cs.RO

Plan bien pensé, puis plan précis : RL symbolique pour un raisonnement incarné efficace

Un article de recherche publié sur arXiv (n°2606.31260) présente une nouvelle méthode d'apprentissage par renforcement symbolique pour la planification de tâches robotiques incarnées, c'est-à-dire la conversion d'instructions en langage naturel en séquences d'actions exécutables dans un environnement physique. Le système repose sur une spécification unique au format BDDL, générée automatiquement soit à partir de vidéos capturées en conditions réelles, soit à partir de tâches curées, qui sert simultanément à construire les données d'entraînement, vérifier la validité des plans et calculer la récompense du modèle. Trois composants la mettent en œuvre : un analyseur vidéo-vers-BDDL, un vérificateur basé sur un LLM, et un moteur symbolique léger capable de fournir un retour en quelques millisecondes. Les chercheurs introduisent également GroupAdapt, un mécanisme qui ajuste dynamiquement la tolérance de longueur des réponses selon le taux de réussite du groupe de prompts, resserrant la contrainte au fur et à mesure que le modèle progresse. Résultat : un modèle de 8 milliards de paramètres atteint un score Strict-Pass de 97,3 sur le benchmark BEHAVIOR-1000, soit une amélioration relative de 25,9% par rapport à la base Qwen3-8B, et dépasse de 3,5% le meilleur modèle de grande taille testé, tout en réduisant de 79% la longueur des réponses générées (207 tokens en moyenne). L'apport principal tient à la vérification déterministe et peu coûteuse des plans, un maillon manquant chez les approches actuelles qui s'appuient soit sur du prompting produisant du texte fluide mais non vérifié, soit sur une simulation haute-fidélité trop lente pour servir de signal d'entraînement en boucle interne. Pour l'industrie de la robotique de service et d'assistance, ce travail illustre qu'un modèle relativement petit, correctement supervisé et vérifié, peut surpasser des modèles plus volumineux tout en étant nettement plus économe en tokens, donc en latence et en coût d'inférence, un critère décisif pour du déploiement embarqué. Le choix de BEHAVIOR-1000 comme banc d'essai ancre cette étude dans la lignée des benchmarks de planification domestique à grande échelle, et l'usage de Qwen3-8B comme référence de base confirme que les progrès s'appuient sur des modèles ouverts plutôt que propriétaires. L'article ne précise pas d'affiliation industrielle ni de calendrier de déploiement : il s'agit à ce stade d'une contribution méthodologique en phase de recherche, dont la prochaine étape logique serait une validation sur robots physiques plutôt qu'en simulation pure.

RecherchePaper

1 source

4arXiv cs.RO

GuardianBench : un benchmark contrastif à instructions identiques pour évaluer le risque contextuel latent en IA incarnée

Des chercheurs détaillent dans un article arXiv (2608.21928v1) GuardianBench, un benchmark qui évalue les modèles vision-langage (VLM) sur les risques de sécurité « latents » : ceux qui n'apparaissent que lorsqu'une instruction anodine croise une scène précise. Fondé sur des normes de sécurité internationales, il réunit 3 024 exemples instruction-scène organisés en paires contrastives sûr/dangereux sur un même décor, couvrant plusieurs catégories de dangers. En testant des VLM de pointe, les auteurs mesurent une précision moyenne par paire de seulement 24,1%. Un audit des justifications produites par les modèles montre que l'échec vient d'une incapacité à relier les indices propres à l'instruction aux éléments de la scène qui distinguent une composition sûre d'une composition dangereuse. Ce résultat pèse pour les intégrateurs et décideurs qui envisagent de confier l'évaluation de sécurité de robots humanoïdes ou de bras manipulateurs à un VLM générique : un score de 24,1% signifie que les modèles approuvent quasi systématiquement les deux instructions d'une même paire, sans réellement raisonner sur ce qui rend l'action dangereuse. Malgré de bonnes performances sur des tâches de perception classiques, ces modèles échouent donc sur un angle mort critique du déploiement réel, où une même commande peut être sûre ou dangereuse selon ce que contient la scène. Le résultat nuance l'idée reçue que les architectures VLA (vision-language-action) actuelles auraient déjà résolu le raisonnement de sécurité contextuelle nécessaire à une autonomie fiable. GuardianBench complète les benchmarks antérieurs de sécurité en IA incarnée, qui faisaient varier le décor ou évaluaient la dynamique d'exécution du robot, en isolant pour la première fois l'axe scène fixe et instruction variable. Les auteurs testent aussi une piste de correction, Verdict Log-Odds Supervision (VLOS), un objectif d'entraînement léger au niveau du verdict qui améliore sensiblement les résultats sur des modèles ouverts (open-weight). Cette démonstration ouvre la voie à un post-entraînement ciblé, moins coûteux qu'une refonte complète des architectures VLM, avant tout déploiement de systèmes robotiques capables de refuser une instruction dangereuse selon le contexte plutôt que de l'exécuter aveuglément.

RechercheOpinion

1 source