Aller au contenu principal
Analyse des capacités incarnées dans les modèles de langage multimodaux par évaluation et diagnostic par compétencesIllustration générée par IA
RecherchearXiv cs.RO 

Analyse des capacités incarnées dans les modèles de langage multimodaux par évaluation et diagnostic par compétences

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs a publié BEAR (Benchmark for Embodied Abilities and Reasoning), un cadre d'évaluation qui décompose les tâches robotiques en 14 compétences atomiques pour diagnostiquer les failles des grands modèles de langage multimodaux (MLLMs) embarqués. Le benchmark regroupe 4 469 échantillons entrelacés image-vidéo-texte couvrant 6 catégories, de la perception bas niveau jusqu'à la planification de haut niveau. Soumis à 20 MLLMs dont GPT-5, il révèle deux résultats principaux : les capacités perceptuelles constituent le principal goulot d'étranglement derrière les échecs de raisonnement, et les modèles présentent une modélisation spatiotemporelle instable qui restait invisible dans les benchmarks précédents. En réponse, les auteurs proposent BEAR-Agent, un agent multimodal augmenté d'outils de raisonnement visuel et spatial, qui obtient une amélioration relative de 17,5 % sur GPT-5 par rapport au modèle de base, avec des gains confirmés en simulation et en robotique réelle.

L'intérêt de ce travail tient à la granularité du diagnostic. Les benchmarks existants mesurent si un agent réussit une tâche sans expliquer pourquoi. BEAR révèle que les modèles n'échouent pas d'abord sur le raisonnement abstrait, mais sur la perception : identifier des objets dans une scène, interpréter une séquence vidéo, localiser un élément dans l'espace. Ce résultat contredit l'hypothèse répandue selon laquelle les LLMs auraient comblé le déficit de compréhension scénique grâce à leur préentraînement massif. La découverte sur l'instabilité spatiotemporelle est particulièrement significative pour les intégrateurs déployant des VLA (Vision-Language-Action models) en environnement industriel : elle suggère que les performances observées en démonstration vidéo curatée ne reflètent pas la fiabilité opérationnelle réelle.

Ce preprint arXiv (version 2, 2025) s'inscrit dans un effort plus large pour structurer l'évaluation des agents embarqués, là où des benchmarks comme EgoSchema ou OpenEQA traitent la compréhension incarnée sans diagnostiquer les sous-compétences. BEAR se distingue par ses expériences en environnements robotiques réels, contrairement aux approches purement simulées comme EmbodiedScan. Aucun acteur français ou européen n'est directement impliqué dans cette publication académique, qui émane vraisemblablement d'équipes universitaires asiatiques ou nord-américaines au vu de la page projet associée. La prochaine étape logique serait l'adoption de BEAR comme protocole standard dans les pipelines d'évaluation VLA avant tout déploiement physique.

Dans nos dossiers

À lire aussi

RoboBench : un benchmark d'évaluation complet pour les grands modèles multimodaux comme cerveau incarné
Illustration générée par IA
1arXiv cs.RO 

RoboBench : un benchmark d'évaluation complet pour les grands modèles multimodaux comme cerveau incarné

La robotique humanoïde et manipulatrice s'appuie de plus en plus sur une architecture a deux niveaux: un "System 1" qui gère le contrôle moteur bas niveau et un "System 2", le cerveau incarne, charge du raisonnement et de la prise de décision. Un article mis a jour sur arXiv présente RoboBench, un benchmark conçu pour évaluer spécifiquement ce cerveau incarne lorsqu'il est implémenté par un modèle multimodal de grande taille (MLLM). Le benchmark couvre cinq dimensions: compréhension des instructions, raisonnement perceptif, planification généralisée, prédiction d'affordances et analyse d'échecs, reparties en 14 capacités, 25 taches et 6 092 paires question réponse. Les données combinent des jeux de données robotiques réels a grande échelle et des collectes internes couvrant plusieurs types de robots, des objets aux attributs varies, des scenes multi vues et des taches de navigation dépendantes de la mémoire. Dix huit MLLMs de pointe ont été testes sur ce benchmark. L'enjeu dépasse la simple mesure de performance: la plupart des benchmarks existants évaluent surtout le succès final d'exécution, sans isoler la qualité du raisonnement de haut niveau qui précède l'action, ni la réalité des taches proposées. RoboBench cherche a combler cet écart en testant directement si un modèle comprend une consigne implicite, raisonne correctement sur l'espace et le temps, ou diagnostique un échec, indépendamment de la couche de contrôle moteur. Les résultats montrent des limites persistantes sur la compréhension d'instructions implicites, le raisonnement spatio-temporel, la planification inter scenarios, la compréhension fine des affordances et le diagnostic d'échecs, ce qui questionne la maturité réelle des MLLMs actuels comme cerveaux de robots, au delà des démonstrations souvent mises en avant par les laboratoires. Pour l'évaluation de la planification, les auteurs introduisent un cadre inédit dit "MLLM comme simulateur du monde", qui vérifie si un plan prédit peut effectivement produire les changements d'état critiques d'un objet sous contraintes physiques et visuelles, plutôt que de se contenter d'un simple appariement symbolique avec un plan de référence. Cette approche vise une évaluation plus fidèle du raisonnement a long horizon. Les chercheurs analysent également le lien entre ces capacités cognitives incarnées et la performance réelle en contrôle robotique, positionnant RoboBench comme un outil de référence pour orienter la prochaine génération de MLLMs vers une intelligence robotique plus robuste.

RecherchePaper
1 source
RoboJudge : des modèles de langage multimodaux comme juges pour la génération de vidéos d'IA incarnée
Illustration générée par IA
2arXiv cs.RO 

RoboJudge : des modèles de langage multimodaux comme juges pour la génération de vidéos d'IA incarnée

Des chercheurs proposent RoboJudge, un cadre destiné à évaluer la capacité des modèles de langage multimodaux (MLLM) à juger des vidéos générées pour la robotique. Son banc d'essai, RoboJudge-Bench, regroupe 800 vidéos annotées par des humains. Elles proviennent de 8 corpus sources et de 10 générateurs vidéo, et couvrent des pinces, des mains humaines et des mains dextres. Deux critères sont notés : l'adhérence physique (la scène respecte-t-elle les lois de la physique ?) et l'alignement avec l'instruction (la vidéo exécute-t-elle bien la tâche demandée ?). Les auteurs constatent un accord inégal entre juges automatiques et humains. Les MLLM généralistes s'accordent moins bien avec les humains sur la physique. Les juges vidéo spécialisés, conçus pour le raisonnement physique en domaine général, ne se transfèrent pas de façon constante aux scènes incarnées. L'équipe a ensuite construit RoboJudge-Train : 12 000 vidéos, 25 000 scores vérifiés par des humains et des justifications produites avec l'aide d'un modèle. Un MLLM de 9 milliards de paramètres a été affiné par apprentissage supervisé puis par apprentissage par renforcement, ce qui donne RoboJudge-9B. Ce modèle atteint la meilleure corrélation de Pearson du banc d'essai, 0,719. Il devance de 0,089 points, un écart statistiquement significatif, Gemini-3.7-Flash, le meilleur modèle propriétaire testé. Les modèles de monde fondés sur la génération vidéo sont de plus en plus présentés comme une base pour la simulation et l'entraînement de politiques robotiques. Cela suppose de pouvoir dire si une trajectoire générée est utilisable, c'est-à-dire sans objets qui traversent la pince ni contacts irréalistes, et fidèle à la consigne. Or l'évaluation à grande échelle repose de plus en plus sur des MLLM utilisés comme arbitres, sans que leur fiabilité ait été mesurée sur des vidéos de manipulation. Ce travail indique que ce choix est risqué : le classement de générateurs vidéo par un juge généraliste peut être biaisé justement sur la physique, critère le plus important pour les robots. Un juge de 9 milliards de paramètres, spécialisé, peut surpasser un modèle propriétaire. Il est donc réaliste de l'exécuter localement, à faible coût et de façon reproductible. Il faut toutefois relativiser : une corrélation de 0,719 reste loin d'un accord parfait avec les humains. Le benchmark est modeste, avec 800 vidéos, et les résultats n'ont pas été validés sur des tâches de robotique en conditions réelles. Ce travail s'inscrit dans la lignée des benchmarks de physique vidéo comme VideoPhy2 et Physion-Eval, sur lesquels l'entraînement avec RoboJudge-Train apporte aussi des gains selon les auteurs. Il répond à la multiplication des modèles de monde incarnés et des générateurs vidéo orientés manipulation, dont l'évaluation reste surtout visuelle ou subjective. Les auteurs utilisent RoboJudge-9B pour classer des générateurs vidéo selon les deux critères, mais le résumé ne détaille ni les résultats ni la disponibilité publique des données et du modèle. La suite logique serait d'intégrer ce type de juge dans les boucles de génération de données synthétiques et de filtrage de rollouts, puis de vérifier si les scores prédisent réellement la réussite de politiques entraînées sur ces vidéos.

RecherchePaper
1 source
KineBench : évaluation des modèles du monde incarnés par ancrage cinématique sans IDM
Illustration générée par IA
3arXiv cs.RO 

KineBench : évaluation des modèles du monde incarnés par ancrage cinématique sans IDM

Une équipe de recherche a publié KineBench, un nouveau benchmark conçu pour évaluer la cohérence physique des modèles de monde incarnés (embodied world models, EWM), ces systèmes qui génèrent des vidéos prédictives de l'interaction robot-environnement. Jusqu'ici, l'évaluation en boucle fermée de ces modèles reposait presque exclusivement sur des modèles de dynamique inverse (IDM) pour extraire les actions robotiques à partir des vidéos générées, une méthode fragile dès que la scène ou l'objet manipulé sort de la distribution d'entraînement. KineBench s'affranchit de cette dépendance en extrayant directement des poses d'organe terminal en 6 degrés de liberté image par image, via une cascade de modèles de vision fondation, puis en rejouant ces trajectoires dans un simulateur physique pour valider l'exécution. Le benchmark ajoute deux métriques cinématiques classiques, la longueur d'arc spectrale (SPARC) et l'indice de manipulabilité de Maruyama, pour juger la fluidité et la faisabilité des trajectoires du point de vue du robot. L'ensemble s'appuie sur 20 tâches de manipulation issues du simulateur ManiSkill3, réparties en quatre suites progressives: exécution de base, transfert de tâche, généralisation visuelle hors distribution, et montée en complexité. L'enjeu dépasse la simple mesure académique: sans méthode fiable pour distinguer une erreur du modèle de monde d'une erreur de l'extracteur d'actions, impossible de savoir si un EWM comprend réellement la physique ou s'il produit des vidéos plausibles mais inexploitables pour du contrôle réel. C'est précisément le doute qui plane sur beaucoup de démonstrations vidéo dans le secteur des VLA (vision-language-action) et de la génération embarquée, où l'écart entre rendu visuel convaincant et action réellement exécutable reste mal quantifié. En testant plusieurs modèles de pointe, les auteurs montrent une montée en échelle non linéaire et bornée par la complexité des tâches, un signal utile pour calibrer les futures stratégies d'entraînement sur données plutôt que d'empiler des vidéos sans discernement. Ce travail s'inscrit dans la lignée des benchmarks fermés basés simulateur, déjà utilisés pour évaluer le sim-to-real, mais cherche à corriger leur talon d'Achille méthodologique, la dépendance aux IDM appris. En s'appuyant sur ManiSkill3, un environnement de simulation déjà largement adopté par la communauté manipulation robotique, KineBench se positionne comme un outil de diagnostic reproductible plutôt qu'un nouveau modèle concurrent, avec pour prochaine étape probable son extension à davantage de tâches et de familles de modèles génératifs.

RecherchePaper
1 source
Que doivent mémoriser les agents incarnés ? Évaluation comparative des modalités de mémoire pour les agents incarnés
Illustration générée par IA
4arXiv cs.RO 

Que doivent mémoriser les agents incarnés ? Évaluation comparative des modalités de mémoire pour les agents incarnés

Des chercheurs proposent MeMoREval, un benchmark qui cherche à déterminer ce que les agents incarnés, c'est-à-dire les robots pilotés par un grand modèle de langage (LLM), devraient mémoriser. Le protocole est contrôlé : l'agent traverse d'abord une séquence d'événements sans connaître les tâches à venir, puis répond à des demandes d'information ou d'action en s'appuyant uniquement sur sa mémoire, sans nouvelle observation. Le benchmark regroupe 53 tâches réparties sur quatre environnements d'intérieur simulés. Il mesure le taux de réussite, mais aussi le coût d'inférence de la construction de la mémoire (écriture) et de son utilisation (lecture). Les évaluations de référence montrent que stocker les images brutes surpasse le stockage de descriptions textuelles générées, avec un coût d'inférence à l'écriture plus faible pour le modèle principal. L'association des images à des graphes de scène (représentation structurée des objets et de leurs relations spatiales) donne le meilleur taux de réussite agrégé, pour chacun des modèles testés. Deux démonstrations sur robots physiques indiquent que le protocole peut s'appliquer hors simulation. L'intérêt tient à une hypothèse très répandue dans les architectures d'agents : transposer aux robots la mémoire textuelle issue des agents LLM, en légendant tout ce que le robot perçoit. Les résultats la contredisent. Convertir la vision en texte à l'écriture perd de l'information utile pour des questions ultérieures, que l'on ne peut pas anticiper, et coûte en plus des appels de modèle. Conserver les pixels, et les compléter par une structure spatiale explicite, semble à la fois plus fidèle et plus économique à l'écriture. Pour les intégrateurs et les équipes qui conçoivent la pile logicielle de robots de service ou d'assistance, le message est concret : le choix de la modalité de mémoire est un arbitrage mesurable entre précision et coût d'inférence, et non un détail d'implémentation. Il convient toutefois de rester prudent : les résultats viennent surtout de simulation, avec seulement deux démonstrations physiques de faisabilité, sans mesure de performance en conditions réelles. Le périmètre de 53 tâches reste aussi modeste. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) et des agents incarnés, où la mémoire à long terme reste un point faible. Les politiques actuelles raisonnent surtout sur une fenêtre de contexte courte, et les benchmarks existants évaluent rarement la mémoire séparément de la perception ou de la planification. MeMoREval vise ce manque et prévoit des extensions : expérience accumulée, rétention sélective d'images et entrée visuelle fournie aux modules d'écriture de mémoire. Ces pistes, encore à explorer, détermineront si l'approche passe à l'échelle d'un déploiement de longue durée dans des environnements réels, domestiques ou industriels.

RecherchePaper
1 source