Aller au contenu principal
RoboBench : un benchmark d'évaluation complet pour les grands modèles multimodaux comme cerveau incarnéIllustration générée par IA
RecherchearXiv cs.RO 

RoboBench : un benchmark d'évaluation complet pour les grands modèles multimodaux comme cerveau incarné

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

La robotique humanoïde et manipulatrice s'appuie de plus en plus sur une architecture a deux niveaux: un "System 1" qui gère le contrôle moteur bas niveau et un "System 2", le cerveau incarne, charge du raisonnement et de la prise de décision. Un article mis a jour sur arXiv présente RoboBench, un benchmark conçu pour évaluer spécifiquement ce cerveau incarne lorsqu'il est implémenté par un modèle multimodal de grande taille (MLLM). Le benchmark couvre cinq dimensions: compréhension des instructions, raisonnement perceptif, planification généralisée, prédiction d'affordances et analyse d'échecs, reparties en 14 capacités, 25 taches et 6 092 paires question réponse. Les données combinent des jeux de données robotiques réels a grande échelle et des collectes internes couvrant plusieurs types de robots, des objets aux attributs varies, des scenes multi vues et des taches de navigation dépendantes de la mémoire. Dix huit MLLMs de pointe ont été testes sur ce benchmark.

L'enjeu dépasse la simple mesure de performance: la plupart des benchmarks existants évaluent surtout le succès final d'exécution, sans isoler la qualité du raisonnement de haut niveau qui précède l'action, ni la réalité des taches proposées. RoboBench cherche a combler cet écart en testant directement si un modèle comprend une consigne implicite, raisonne correctement sur l'espace et le temps, ou diagnostique un échec, indépendamment de la couche de contrôle moteur. Les résultats montrent des limites persistantes sur la compréhension d'instructions implicites, le raisonnement spatio-temporel, la planification inter scenarios, la compréhension fine des affordances et le diagnostic d'échecs, ce qui questionne la maturité réelle des MLLMs actuels comme cerveaux de robots, au delà des démonstrations souvent mises en avant par les laboratoires.

Pour l'évaluation de la planification, les auteurs introduisent un cadre inédit dit "MLLM comme simulateur du monde", qui vérifie si un plan prédit peut effectivement produire les changements d'état critiques d'un objet sous contraintes physiques et visuelles, plutôt que de se contenter d'un simple appariement symbolique avec un plan de référence. Cette approche vise une évaluation plus fidèle du raisonnement a long horizon. Les chercheurs analysent également le lien entre ces capacités cognitives incarnées et la performance réelle en contrôle robotique, positionnant RoboBench comme un outil de référence pour orienter la prochaine génération de MLLMs vers une intelligence robotique plus robuste.

Dans nos dossiers

À lire aussi

RoboJudge : des modèles de langage multimodaux comme juges pour la génération de vidéos d'IA incarnée
Illustration générée par IA
1arXiv cs.RO 

RoboJudge : des modèles de langage multimodaux comme juges pour la génération de vidéos d'IA incarnée

Des chercheurs proposent RoboJudge, un cadre destiné à évaluer la capacité des modèles de langage multimodaux (MLLM) à juger des vidéos générées pour la robotique. Son banc d'essai, RoboJudge-Bench, regroupe 800 vidéos annotées par des humains. Elles proviennent de 8 corpus sources et de 10 générateurs vidéo, et couvrent des pinces, des mains humaines et des mains dextres. Deux critères sont notés : l'adhérence physique (la scène respecte-t-elle les lois de la physique ?) et l'alignement avec l'instruction (la vidéo exécute-t-elle bien la tâche demandée ?). Les auteurs constatent un accord inégal entre juges automatiques et humains. Les MLLM généralistes s'accordent moins bien avec les humains sur la physique. Les juges vidéo spécialisés, conçus pour le raisonnement physique en domaine général, ne se transfèrent pas de façon constante aux scènes incarnées. L'équipe a ensuite construit RoboJudge-Train : 12 000 vidéos, 25 000 scores vérifiés par des humains et des justifications produites avec l'aide d'un modèle. Un MLLM de 9 milliards de paramètres a été affiné par apprentissage supervisé puis par apprentissage par renforcement, ce qui donne RoboJudge-9B. Ce modèle atteint la meilleure corrélation de Pearson du banc d'essai, 0,719. Il devance de 0,089 points, un écart statistiquement significatif, Gemini-3.7-Flash, le meilleur modèle propriétaire testé. Les modèles de monde fondés sur la génération vidéo sont de plus en plus présentés comme une base pour la simulation et l'entraînement de politiques robotiques. Cela suppose de pouvoir dire si une trajectoire générée est utilisable, c'est-à-dire sans objets qui traversent la pince ni contacts irréalistes, et fidèle à la consigne. Or l'évaluation à grande échelle repose de plus en plus sur des MLLM utilisés comme arbitres, sans que leur fiabilité ait été mesurée sur des vidéos de manipulation. Ce travail indique que ce choix est risqué : le classement de générateurs vidéo par un juge généraliste peut être biaisé justement sur la physique, critère le plus important pour les robots. Un juge de 9 milliards de paramètres, spécialisé, peut surpasser un modèle propriétaire. Il est donc réaliste de l'exécuter localement, à faible coût et de façon reproductible. Il faut toutefois relativiser : une corrélation de 0,719 reste loin d'un accord parfait avec les humains. Le benchmark est modeste, avec 800 vidéos, et les résultats n'ont pas été validés sur des tâches de robotique en conditions réelles. Ce travail s'inscrit dans la lignée des benchmarks de physique vidéo comme VideoPhy2 et Physion-Eval, sur lesquels l'entraînement avec RoboJudge-Train apporte aussi des gains selon les auteurs. Il répond à la multiplication des modèles de monde incarnés et des générateurs vidéo orientés manipulation, dont l'évaluation reste surtout visuelle ou subjective. Les auteurs utilisent RoboJudge-9B pour classer des générateurs vidéo selon les deux critères, mais le résumé ne détaille ni les résultats ni la disponibilité publique des données et du modèle. La suite logique serait d'intégrer ce type de juge dans les boucles de génération de données synthétiques et de filtrage de rollouts, puis de vérifier si les scores prédisent réellement la réussite de politiques entraînées sur ces vidéos.

RecherchePaper
1 source
Grands modèles multimodaux pour le contrôle direct de robots : GPT-6 comme point de départ
Illustration générée par IA
2arXiv cs.RO 

Grands modèles multimodaux pour le contrôle direct de robots : GPT-6 comme point de départ

Des chercheurs publient sur arXiv (octobre 2026) une évaluation systématique de GPT-6 Astra, modèle multimodal généraliste d'OpenAI, utilisé en contrôle direct de bras robotiques en boucle fermée via un cadre d'exécution d'agent léger. Les auteurs testent d'abord trois capacités élémentaires : la perception de profondeur, l'apprentissage en contexte à partir de démonstrations et la compréhension tactile. Le modèle exploite l'information de profondeur, tire des stratégies simples de démonstrations fournies dans le prompt et corrige ses actions grâce à un retour tactile. Il est ensuite évalué sur cinq benchmarks de manipulation selon six dimensions de capacité : 26,92 % de réussite sur RoboDojo et 76,0 % sur RoboTwin 2.0. Les auteurs introduisent aussi LIBERO-GeoMotion, un benchmark de tâches à contraintes géométriques (alignement de pose précis, translation et rotation coordonnées, anticipation des conséquences physiques), où GPT-6 Astra n'atteint que 11,1 % de succès en zéro-shot. En conditions réelles, l'exécution zéro-shot fonctionne sur des tâches simples, mais la faisabilité du mouvement, la précision et la sécurité physique restent déficientes, et la latence d'inférence est jugée substantielle. L'intérêt tient à ce que l'étude mesure, hors démonstration, ce que donne un modèle généraliste sans entraînement robotique dédié. Elle met en évidence un écart net entre raisonnement sémantique et exécution physique : le modèle comprend la scène et la consigne, mais peine à produire des trajectoires réalisables, précises et sûres. Pour les intégrateurs et les décideurs industriels, le message est que le contrôle direct par un modèle fondation généraliste n'est pas prêt pour des postes exigeant précision et sécurité, d'autant que la latence interdit les cadences industrielles. Le score élevé sur RoboTwin 2.0 contraste avec les 11,1 % de LIBERO-GeoMotion, ce qui rappelle que les benchmarks existants peuvent masquer des faiblesses géométriques. Ces résultats nuancent l'idée qu'une montée en puissance des modèles de langage et de vision suffirait à résoudre la manipulation, et renforcent l'intérêt des modèles VLA spécialisés entraînés sur des données d'action. Le travail s'inscrit dans la tendance à utiliser des modèles multimodaux comme « cerveau » de robots, entre planificateurs de haut niveau et politiques entraînées de bout en bout comme Pi-0, GR00T ou Helix, qui produisent directement les actions à haute fréquence. Le titre, « GPT-6 as a Beginning », indique que les auteurs voient ces résultats comme un point de départ et non un verdict. Les pistes naturelles sont la réduction de la latence, l'intégration de contrôleurs bas niveau pour la précision et la sécurité, et des benchmarks plus exigeants sur les contraintes géométriques. Il s'agit d'une prépublication v1, non évaluée par les pairs, et aucun déploiement industriel n'est annoncé.

RecherchePaper
1 source
RMMBench : un benchmark complet pour la manipulation mobile robotique
Illustration générée par IA
3arXiv cs.RO 

RMMBench : un benchmark complet pour la manipulation mobile robotique

Des chercheurs publient RMMBench (arXiv 2610.05414, version 2), un banc d'essai pour évaluer les modèles vision-langage (VLM) qui pilotent des robots mobiles manipulateurs. Le robot doit comprendre des instructions en langage naturel et mener à bien des tâches longues dans des espaces continus, et non sur des grilles discrètes. Le benchmark réunit dans un même cadre les tâches « haut niveau » (raisonnement, planification) et « bas niveau » (contrôle). Il propose une suite navigation-manipulation de 70 scénarios canoniques, de la manipulation localisée jusqu'à la navigation composite sur de longs enchaînements. Le constat principal est que les meilleurs VLM éprouvent encore de grandes difficultés de localisation spatiale quand ils doivent manipuler en se déplaçant. Le résumé ne donne ni scores chiffrés, ni liste des modèles testés, ni plateformes robotiques utilisées. Il ne précise pas non plus si l'évaluation se fait en simulation ou sur matériel réel. Le projet est accessible en ligne. Il s'agit d'un outil de mesure, pas d'un produit ni d'un déploiement. Son intérêt tient à ce qu'il pointe un goulot d'étranglement précis. Les VLM de pointe comprennent bien les scènes et raisonnent bien sur les tâches, mais ils situent mal les objets et les poses d'approche dans l'espace, ce qui est décisif pour saisir, poser ou se repositionner. Pour un intégrateur ou un COO industriel, cela invite à relativiser les démonstrations de manipulation mobile pilotées par VLM. Elles peuvent masquer des échecs de localisation sur des séquences longues, et seules des évaluations de bout en bout avec des métriques fines permettent de les révéler. Sans les scores détaillés, l'ampleur réelle de l'écart reste impossible à estimer, et 70 scénarios ne couvrent qu'une partie de la diversité des environnements industriels ou domestiques. Les auteurs partent du constat que les benchmarks existants évaluent souvent la navigation et la manipulation séparément, avec des métriques de succès assez frustes. Cela empêche de diagnostiquer finement où les VLM échouent. RMMBench s'inscrit dans l'écosystème des bancs d'essai embodied de type Habitat ou BEHAVIOR, en insistant sur l'intégration des deux compétences et sur la granularité des mesures. La suite dépendra de l'adoption par la communauté, notamment par les équipes qui développent des modèles vision-langage-action comme Pi-0, GR00T ou Helix, et de la publication de résultats détaillés qui permettent des comparaisons reproductibles. Les auteurs concluent à la nécessité d'améliorer la perception spatiale des robots lors d'interactions longues.

RecherchePaper
1 source
Les modèles du monde rendent-ils les robots meilleurs ? Un panorama des benchmarks d'évaluation pour l'IA incarnée prédictive
Illustration générée par IA
4arXiv cs.RO 

Les modèles du monde rendent-ils les robots meilleurs ? Un panorama des benchmarks d'évaluation pour l'IA incarnée prédictive

Une synthèse déposée sur arXiv fin septembre 2026 recense et vérifie une par une 160 benchmarks d'évaluation robotique publiés entre 2017 et 2026, dans le but de déterminer si les modèles du monde (world models), qui prédisent les observations futures, offrent un avantage mesurable en boucle fermée face aux politiques vision-langage-action (VLA), qui associent directement l'observation à l'action. Les 160 bancs d'essai sont répartis en quatre familles : suites d'évaluation de politiques, agents incarnés, évaluation pure des world models, et ponts prédiction-vers-action. Le bilan chiffré est net : 138 benchmarks sur 160, soit 86%, restent agnostiques au type de modèle, 11 seulement (7%) construisent une comparaison explicite VLA contre world model, et 4 seulement transforment une prédiction en action réellement exécutée sur un robot. La capacité contrefactuelle, c'est-à-dire anticiper ce qui se passerait sous une action alternative, n'est quasiment jamais mesurée dans l'ensemble du corpus étudié. Ce travail met en lumière un angle mort structurel du secteur : il est aujourd'hui impossible de trancher, preuves à l'appui, si entraîner un robot à prédire l'avenir améliore réellement ses performances en boucle fermée par rapport à une politique VLA directe. Les benchmarks de world models jugent la qualité de la prédiction sans jamais l'exécuter, tandis que les suites de succès de tâche n'hébergent qu'une seule politique à la fois et ne construisent jamais ce contraste. Pour les intégrateurs et décideurs qui arbitrent entre paradigmes de recherche et priorités d'investissement, la leçon est de rester prudent face aux annonces autour des world models : générer des vidéos futures convaincantes ne prouve aucun gain réel de succès de tâche en conditions réelles, faute de protocole capable d'isoler cet avantage. Ce fossé méthodologique vient du fait que les deux courants de recherche se sont développés en parallèle sans jamais vraiment se confronter, les politiques VLA étant jugées en boucle fermée sur le taux de réussite de tâches concrètes, les modèles du monde en boucle ouverte sur la seule qualité de leurs prédictions ou générations. Face à ce vide, les auteurs comparent leur couverture à celle des huit enquêtes les plus proches déjà publiées et revendiquent être les seuls à croiser capacité robotique et famille de modèle. Ils proposent une taxonomie opérationnelle des 160 bancs d'essai, une boucle d'évaluation conçue pour isoler spécifiquement l'avantage de la prédiction, et un protocole de quatre métriques ancrées sur des bancs d'essai nommés. Leur conclusion n'est pas que les world models aident ou non les robots, mais que répondre à cette question exige de construire des benchmarks conçus spécifiquement pour la poser.

RecherchePaper
1 source