RecherchearXiv cs.RO 21 octobre 2026

RoboJudge : des modèles de langage multimodaux comme juges pour la génération de vidéos d'IA incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent RoboJudge, un cadre destiné à évaluer la capacité des modèles de langage multimodaux (MLLM) à juger des vidéos générées pour la robotique. Son banc d'essai, RoboJudge-Bench, regroupe 800 vidéos annotées par des humains. Elles proviennent de 8 corpus sources et de 10 générateurs vidéo, et couvrent des pinces, des mains humaines et des mains dextres. Deux critères sont notés : l'adhérence physique (la scène respecte-t-elle les lois de la physique ?) et l'alignement avec l'instruction (la vidéo exécute-t-elle bien la tâche demandée ?). Les auteurs constatent un accord inégal entre juges automatiques et humains. Les MLLM généralistes s'accordent moins bien avec les humains sur la physique. Les juges vidéo spécialisés, conçus pour le raisonnement physique en domaine général, ne se transfèrent pas de façon constante aux scènes incarnées. L'équipe a ensuite construit RoboJudge-Train : 12 000 vidéos, 25 000 scores vérifiés par des humains et des justifications produites avec l'aide d'un modèle. Un MLLM de 9 milliards de paramètres a été affiné par apprentissage supervisé puis par apprentissage par renforcement, ce qui donne RoboJudge-9B. Ce modèle atteint la meilleure corrélation de Pearson du banc d'essai, 0,719. Il devance de 0,089 points, un écart statistiquement significatif, Gemini-3.7-Flash, le meilleur modèle propriétaire testé.

Les modèles de monde fondés sur la génération vidéo sont de plus en plus présentés comme une base pour la simulation et l'entraînement de politiques robotiques. Cela suppose de pouvoir dire si une trajectoire générée est utilisable, c'est-à-dire sans objets qui traversent la pince ni contacts irréalistes, et fidèle à la consigne. Or l'évaluation à grande échelle repose de plus en plus sur des MLLM utilisés comme arbitres, sans que leur fiabilité ait été mesurée sur des vidéos de manipulation. Ce travail indique que ce choix est risqué : le classement de générateurs vidéo par un juge généraliste peut être biaisé justement sur la physique, critère le plus important pour les robots. Un juge de 9 milliards de paramètres, spécialisé, peut surpasser un modèle propriétaire. Il est donc réaliste de l'exécuter localement, à faible coût et de façon reproductible. Il faut toutefois relativiser : une corrélation de 0,719 reste loin d'un accord parfait avec les humains. Le benchmark est modeste, avec 800 vidéos, et les résultats n'ont pas été validés sur des tâches de robotique en conditions réelles.

Ce travail s'inscrit dans la lignée des benchmarks de physique vidéo comme VideoPhy2 et Physion-Eval, sur lesquels l'entraînement avec RoboJudge-Train apporte aussi des gains selon les auteurs. Il répond à la multiplication des modèles de monde incarnés et des générateurs vidéo orientés manipulation, dont l'évaluation reste surtout visuelle ou subjective. Les auteurs utilisent RoboJudge-9B pour classer des générateurs vidéo selon les deux critères, mais le résumé ne détaille ni les résultats ni la disponibilité publique des données et du modèle. La suite logique serait d'intégrer ce type de juge dans les boucles de génération de données synthétiques et de filtrage de rollouts, puis de vérifier si les scores prédisent réellement la réussite de politiques entraînées sur ces vidéos.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA

À lire aussi

1arXiv cs.RO

Génération d'arbres de comportement multimodaux : un petit modèle vision-langage pour la planification de tâches robotiques

Une nouvelle version (v2) d'un article de recherche publié sur arXiv (2603.06084) détaille un pipeline pour entraîner des modèles vision-langage (VLM) compacts à générer des arbres de comportement (Behavior Trees, BT) exécutables et compatibles ROS2 pour la planification de tâches robotiques. Les auteurs ont converti 1 622 épisodes du corpus Open X-Embodiment via un pipeline enseignant multi-étapes, produisant un jeu de données augmenté de 2 433 exemples multimodaux associant images, instructions et BT. Ce jeu de données a servi à affiner, par fine-tuning efficace en paramètres (PEFT), des VLM open source allant de 500 millions à 4 milliards de paramètres. Les BT générés ont été évalués hors ligne sur leur validité syntaxique, puis exécutés sur 15 tâches domestiques dans l'environnement de simulation BEHAVIOR-1K. Le meilleur modèle, Gemma-3 4B, atteint une validité syntaxique parfaite et un taux de réussite de 87%, devançant Claude Opus 4.8 et approchant GPT-5, tout en tournant entièrement en local. Ce résultat nourrit le débat récurrent sur l'écart entre démonstration et réalité dans la planification robotique pilotée par IA: un modèle compact, exécutable sans API propriétaire ni connexion cloud, égale voire dépasse des modèles fermés bien plus massifs sur une tâche concrète. Pour les intégrateurs et décideurs industriels, c'est un signal en faveur d'une planification embarquée, sans latence réseau ni coûts d'inférence récurrents, un critère souvent déterminant pour un déploiement à grande échelle. Les ablations confirment aussi une hypothèse centrale du secteur: l'ancrage visuel est décisif, le taux de réussite passant de 40% en texte seul à 87% avec observations visuelles. L'augmentation de données, elle, fait grimper la validité syntaxique des BT de 65% à 100%, rappelant que la qualité des données d'entraînement prime souvent sur la taille du modèle. Ces travaux prolongent une lignée de recherches utilisant les Behavior Trees, formalisme hiérarchique déjà répandu en robotique industrielle via ROS2, comme cible de génération pour les grands modèles de langage. Jusqu'ici, ces approches restaient soit purement textuelles, soit dépendantes de VLM propriétaires massifs, faute de jeu de données public reliant observations visuelles et BT exécutables, un manque que ce travail cherche explicitement à combler. La comparaison directe avec Claude Opus 4.8 et GPT-5 positionne cette contribution académique comme une tentative de démocratiser la planification VLM face aux modèles propriétaires. Aucun partenariat industriel ni déploiement sur robot physique n'est mentionné: l'évaluation reste cantonnée à la simulation BEHAVIOR-1K, ce qui invite à la prudence avant toute extrapolation vers un usage en environnement réel.

RechercheOpinion

1 source

2arXiv cs.RO

RoboBench : un benchmark d'évaluation complet pour les grands modèles multimodaux comme cerveau incarné

La robotique humanoïde et manipulatrice s'appuie de plus en plus sur une architecture a deux niveaux: un "System 1" qui gère le contrôle moteur bas niveau et un "System 2", le cerveau incarne, charge du raisonnement et de la prise de décision. Un article mis a jour sur arXiv présente RoboBench, un benchmark conçu pour évaluer spécifiquement ce cerveau incarne lorsqu'il est implémenté par un modèle multimodal de grande taille (MLLM). Le benchmark couvre cinq dimensions: compréhension des instructions, raisonnement perceptif, planification généralisée, prédiction d'affordances et analyse d'échecs, reparties en 14 capacités, 25 taches et 6 092 paires question réponse. Les données combinent des jeux de données robotiques réels a grande échelle et des collectes internes couvrant plusieurs types de robots, des objets aux attributs varies, des scenes multi vues et des taches de navigation dépendantes de la mémoire. Dix huit MLLMs de pointe ont été testes sur ce benchmark. L'enjeu dépasse la simple mesure de performance: la plupart des benchmarks existants évaluent surtout le succès final d'exécution, sans isoler la qualité du raisonnement de haut niveau qui précède l'action, ni la réalité des taches proposées. RoboBench cherche a combler cet écart en testant directement si un modèle comprend une consigne implicite, raisonne correctement sur l'espace et le temps, ou diagnostique un échec, indépendamment de la couche de contrôle moteur. Les résultats montrent des limites persistantes sur la compréhension d'instructions implicites, le raisonnement spatio-temporel, la planification inter scenarios, la compréhension fine des affordances et le diagnostic d'échecs, ce qui questionne la maturité réelle des MLLMs actuels comme cerveaux de robots, au delà des démonstrations souvent mises en avant par les laboratoires. Pour l'évaluation de la planification, les auteurs introduisent un cadre inédit dit "MLLM comme simulateur du monde", qui vérifie si un plan prédit peut effectivement produire les changements d'état critiques d'un objet sous contraintes physiques et visuelles, plutôt que de se contenter d'un simple appariement symbolique avec un plan de référence. Cette approche vise une évaluation plus fidèle du raisonnement a long horizon. Les chercheurs analysent également le lien entre ces capacités cognitives incarnées et la performance réelle en contrôle robotique, positionnant RoboBench comme un outil de référence pour orienter la prochaine génération de MLLMs vers une intelligence robotique plus robuste.

RecherchePaper

1 source

3arXiv cs.RO

Le raisonnement comme distribution : des latents de plan génératifs pour les modèles vision-langage-action (VLA)

Des chercheurs proposent le Generative Plan Latent (GPL), une méthode qui change la façon dont les politiques vision-langage-action (VLA) représentent leur étape de raisonnement avant d'agir. Plutôt que de compresser cette décision intermédiaire en une seule représentation, le GPL la modélise comme une distribution conditionnelle de faible dimension sur les plans possibles : quel objet saisir, quelle prise adopter, quel itinéraire suivre. Selon les auteurs, ce raisonnement devient alors « adressable » sans réentraîner la VLA. Les plans peuvent être échantillonnés pour couvrir les alternatives, sélectionnés à la demande (steering) et repondérés selon les résultats observés en déploiement (adaptation aux résultats). Les tests portent sur la manipulation dans SimplerEnv avec le modèle π0 (Pi-0), puis sur RoboCasa, LIBERO et un domaine de labyrinthe. Le chiffre central : le pilotage du plan fait passer la part d'exécutions qui suivent la consigne de 0,48 à 0,94, alors qu'appliquer le même guidage à la distribution d'actions native ne produit aucun gain fiable. L'enjeu touche un point faible des VLA à raisonnement : quand plusieurs plans sont valides, un modèle qui s'engage sur un seul masque les alternatives que l'opérateur ou le système aurait pu choisir ou corriger. Pour un intégrateur, la capacité de dire « prends cet objet » ou « passe par là » et d'obtenir cette exécution dans 94 % des cas plutôt que dans moins de la moitié est une propriété de contrôlabilité qui compte autant que le taux de réussite brut. Le résultat suggère aussi qu'il vaut mieux agir sur une couche de décision explicite que sur la distribution d'actions bas niveau. L'adaptation par les résultats de déploiement ouvre une voie vers une amélioration en service sans réentraînement coûteux. Les auteurs nuancent toutefois : un plan explicite n'est utile que s'il porte une information de décision que l'observation ne détermine pas déjà. Ces travaux s'inscrivent dans la montée des VLA qui raisonnent avant d'agir, après la première vague de politiques de type π0 qui prédisent directement les actions. La portée reste à relativiser : il s'agit d'un préprint arXiv (v1), évalué uniquement en simulation (SimplerEnv, RoboCasa, LIBERO) et sur un labyrinthe, sans validation sur robot réel ni évaluation indépendante. Le gain de 0,48 à 0,94 vaut pour la fidélité à la consigne dans ces benchmarks, pas pour des cadences ou taux de réussite industriels. La suite logique sera de tester le GPL sur d'autres architectures de VLA et sur du matériel physique, là où les plans multiples et les contraintes de déploiement sont réels.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

NavGen : les modèles génératifs visuels comme moteur de données évolutif pour la navigation 3D incarnée

Des chercheurs présentent NavGen dans un article publié sur arXiv (identifiant 2609.30770), un pipeline de génération de données texte-vers-vidéo destiné à l'entraînement de modèles de navigation aérienne pour drones. Le système produit des épisodes de navigation vision-langage (VLN) simulant des environnements intérieurs et extérieurs, associés à une méthode de diversification stylistique conçue pour multiplier les scénarios rares et coûteux à collecter dans la réalité. Le jeu de données résultant compte environ 400 000 épisodes de navigation. Les auteurs comparent leurs résultats à ceux obtenus avec des jeux de données UAV existants sur plusieurs métriques et constatent que les performances du modèle entraîné sur NavGen progressent avec l'échelle des données, dépassant les modèles entraînés sur les corpus concurrents. Pour vérifier le transfert vers le monde réel, l'équipe a déployé le modèle selon un paradigme dit "world-action-model" lors d'essais de vol réels, avec un taux de réussite de 75% sur des tâches et environnements de navigation variés. Cette approche s'attaque à un compromis structurel connu du secteur de la robotique aérienne : les données simulées sont générables à grande échelle mais souffrent d'un écart visuel important entre simulation et réalité, tandis que les données de vol réelles sont fidèles mais coûteuses et lentes à rassembler. En proposant les modèles génératifs vidéo comme une troisième voie, capable de produire des observations visuelles réalistes sans les contraintes logistiques du vol réel, NavGen apporte un élément de preuve empirique en faveur de l'hypothèse selon laquelle des générateurs vidéo haute fidélité peuvent servir de moteurs de données scalables pour l'IA incarnée. Le résultat intéresse directement les intégrateurs et laboratoires travaillant sur des modèles vision-langage-action : un taux de succès de 75% en conditions réelles, à nuancer selon la difficulté exacte des tâches testées et le nombre d'essais réalisés, suggère que l'écart entre démonstration et déploiement réel peut se réduire grâce à des données synthétiques mieux conçues plutôt que par la seule accumulation de vols réels. NavGen s'inscrit dans la lignée des travaux récents qui cherchent à contourner la pénurie de données d'entraînement pour la robotique incarnée, un problème déjà posé pour les bras manipulateurs et les humanoïdes et qui touche tout autant la navigation aérienne autonome. L'article ne révèle ni affiliation institutionnelle ni drone commercial associé au projet, et reste au stade de préprint scientifique : aucun partenariat industriel, pilote client ni feuille de route de déploiement n'est mentionné à ce jour. Les auteurs positionnent leur travail comme une alternative aux jeux de données UAV existants utilisés comme références dans le domaine, sans toutefois les nommer explicitement. La suite logique, non confirmée par les auteurs, serait l'extension de la méthode à d'autres classes de robots mobiles ou à des tâches de navigation plus complexes.

RechercheOpinion

1 source