RecherchearXiv cs.RO 12 octobre 2026

MAGMA-Bench : évaluer les agents incarnés à long horizon face à des tâches dynamiques et à des échecs d'exécution

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

MAGMA-Bench, présenté sur arXiv (2610.13534) comme un benchmark indépendant de l'architecture, vise à mesurer la capacité d'agents incarnés à raisonner sur de longues missions dans des environnements multi-robots dynamiques. Il évalue les agents sur des horizons de tâche croissants et sous perturbations contrôlées en ligne : échecs d'exécution, interruptions de tâche et mises à jour de mission. Les scénarios imposent de coordonner des robots aux capacités hétérogènes. Une interface structurée au niveau des compétences (skills) sépare le raisonnement de haut niveau de la perception et du contrôle bas niveau. Les auteurs ont testé des planificateurs open-weight déployables en local, plusieurs stratégies de suivi d'état multi-agents et des modèles frontière. Même les meilleurs échouent sur une part substantielle des épisodes « propres », sans perturbation, et leur taux de succès baisse encore dès que des perturbations sont injectées. Une adaptation supervisée améliore nettement un petit modèle, mais ses performances restent bien inférieures sur les missions longues et multi-robots. L'équipe publie le benchmark, 261 646 exemples d'entraînement au niveau tâche et un pipeline de génération de traces expertes, lui aussi indépendant de l'architecture.

L'intérêt tient à ce que ces résultats disent de l'écart entre démonstrations et fiabilité opérationnelle. Beaucoup de systèmes à base de LLM ou de VLA brillent sur des tâches courtes et scriptées, mais un intégrateur industriel travaille dans l'inverse : des missions longues, des pannes de préhension, des commandes modifiées en cours de route, des flottes mêlant AMR, bras et humanoïdes. Qu'un modèle frontière échoue déjà sans perturbation suggère que la mémoire de tâche, le suivi d'état et la replanification restent des verrous, indépendamment de la qualité de la perception ou du contrôle, que le benchmark neutralise volontairement. Le gain obtenu par fine-tuning sur un petit modèle est un signal utile pour les décideurs : un planificateur local, peu coûteux et déployable sur site, peut devenir compétitif sur des missions courtes avec des données spécialisées. Mais l'écart persistant sur les horizons longs et la coordination multi-robots relativise l'idée d'une orchestration autonome prête à la production. Précision méthodologique : il s'agit de résultats de simulation avec une couche de compétences abstraite, qui ne mesurent donc ni les aléas de la perception réelle ni la robustesse du contrôle.

Le benchmark comble un angle mort entre deux familles d'évaluations existantes : celles qui testent l'exécution dynamique de tâches pour un agent isolé, et celles qui testent la coordination multi-agents incarnée dans des conditions statiques. Il arrive alors que les acteurs du secteur (modèles de type Pi-0, Helix ou GR00T, systèmes de planification à base de LLM) multiplient les annonces d'autonomie à long terme sans protocole commun pour comparer la gestion des échecs. La publication du jeu d'entraînement et du pipeline de traces permet à d'autres laboratoires de reproduire les résultats et d'entraîner leurs propres planificateurs, ce qui pourrait en faire une référence pour les équipes travaillant sur la robotique de flotte, y compris en Europe. Les prochaines étapes à surveiller sont les évaluations de modèles tiers sur ce banc, et surtout un passage à des déploiements physiques, seul moyen de vérifier que ces faiblesses de raisonnement persistent hors simulation.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Compiler et évaluer les horizons d'états de tâche pour les agents incarnés

L'agence de recherche IA vient de publier un article arXiv (2608.08036, non révisé par les pairs) qui identifie une faille dans la façon dont l'industrie évalue les agents robotiques capables de planification longue durée. L'équipe introduit la notion de "task-state horizon" (TSH), c'est-à-dire l'étendue des transitions d'état pertinentes pour la tâche qu'un agent doit suivre au fil du temps, y compris celles causées par ses propres explorations, la dynamique de l'environnement, des échecs inattendus ou des interventions externes. Pour mesurer ce facteur, jusqu'ici ignoré par les benchmarks existants qui se contentent de mesurer la longueur des séquences d'actions ou la complexité des sous-tâches, les chercheurs ont développé RoboGraph, un compilateur de tâches robotiques qui traduit les dépendances de transition d'état en graphes symboliques exécutables. Ils publient également un benchmark associé de 588 épisodes répartis sur 84 scènes, avec des niveaux de TSH variables. Testés sur cet ensemble, en environnement fermé sémantique et visuel, 15 modèles agentiques de pointe ont été évalués, sans que les noms précis de ces modèles ne soient détaillés dans le résumé disponible. Ce travail est important car il déplace la question centrale de l'évaluation robotique : la difficulté d'une tâche ne se réduit pas à sa longueur ou à son nombre d'étapes, mais dépend de la capacité de l'agent à maintenir, explorer et mettre à jour une représentation cohérente de l'état du monde sur la durée. Pour les intégrateurs et décideurs qui évaluent des piles de planification haut niveau associées à des modèles vision-langage-action (VLA), ce résultat suggère que des benchmarks de "longue durée" bien notés peuvent masquer des faiblesses réelles sur des tâches où l'état évolue de façon imprévisible, un cas fréquent en environnement industriel réel. L'étude confirme empiriquement que la majorité des modèles agentiques testés peinent dès que le TSH devient exigeant, ce qui nuance les annonces de robustesse "long-horizon" faites par certains fournisseurs de modèles de fondation robotique. Ce travail s'inscrit dans la vague récente de benchmarks cherchant à dépasser les métriques simplistes (taux de succès, nombre d'étapes) pour capturer des dimensions cognitives plus fines de l'autonomie robotique, à l'image d'efforts antérieurs sur la mémoire ou le raisonnement causal des agents. Les auteurs ne précisent pas, dans le résumé, l'identité des laboratoires ou entreprises ayant développé les 15 modèles testés ni un calendrier de suites prévues ; RoboGraph et le benchmark associé sont présentés comme des outils ouverts destinés à orienter les prochaines générations d'agents planificateurs vers une meilleure gestion des états de tâche, plutôt que comme un produit ou déploiement commercial.

RecherchePaper

1 source

2arXiv cs.RO

LongBench : évaluation des politiques de manipulation robotique sur des tâches réelles à horizon long

Une équipe de chercheurs a publié en avril 2026 LongBench, un benchmark conçu pour évaluer les politiques de manipulation robotique sur des tâches longues et enchaînées dans le monde réel. Contrairement à la majorité des benchmarks existants, LongBench repose sur plus de 1 000 épisodes exécutés en conditions réelles, et non en simulation. Il se structure autour de deux régimes complémentaires : les tâches Context-Independent, où l'état du monde est entièrement observable, et les tâches Context-Dependent, où le robot doit gérer une ambiguïté sur l'état ou l'intention. Les tâches sont organisées en sous-ensembles ciblant des capacités spécifiques (robustesse d'exécution, cohérence temporelle, raisonnement contextuel), permettant un diagnostic fin des sources d'échec. Six politiques de l'état de l'art ont été évaluées sur ce protocole, sans qu'un seul facteur dominant n'explique les dégradations de performance sur les horizons longs. Ces résultats remettent en question une hypothèse courante dans le domaine : celle selon laquelle améliorer la mémoire ou le contexte historique suffirait à résoudre les échecs en manipulation longue durée. LongBench montre que dans les environnements pleinement observables, c'est la robustesse d'exécution, c'est-à-dire la capacité du robot à répéter fidèlement une séquence motrice sur des dizaines de pas, qui domine les performances, et non la gestion du contexte. À l'inverse, dans les scénarios ambigus, les méthodes à mémoire n'apportent pas d'amélioration systématique : la difficulté contextuelle varie fortement selon les tâches, ce qui suggère qu'il n'existe pas de solution générique. Pour les intégrateurs et les équipes R&D qui évaluent des politiques VLA (Vision-Language-Action) ou des architectures de contrôle diffusion, ce benchmark offre un protocole de diagnostic plus fin que les métriques de succès agrégé habituelles. Le benchmark s'inscrit dans un effort plus large de la communauté robotique pour dépasser les évaluations en simulation, dont le sim-to-real gap reste un problème structurel non résolu. Plusieurs benchmarks récents, comme DROID ou Open X-Embodiment, ont posé des bases de données multi-robots, mais peu proposent une décomposition mécaniste des sources d'échec sur des horizons longs. LongBench se positionne comme un outil de diagnostic complémentaire, agnostique à l'architecture, applicable aussi bien aux politiques de type ACT, Diffusion Policy qu'aux approches VLA. Les auteurs n'annoncent pas de déploiement industriel associé : il s'agit d'un outil de recherche, pas d'un produit. Les prochaines étapes attendues incluent l'extension à d'autres morphologies robotiques et l'intégration de tâches bi-manuelles, qui représentent le prochain mur de complexité pour la manipulation longue durée.

RecherchePaper

1 source

3arXiv cs.RO

SWITCH : évaluation de la modélisation et manipulation d'interfaces tangibles dans des scénarios incarnés à long horizon

Une équipe de chercheurs a publié SWITCH (arXiv:2511.17649), un benchmark conçu pour évaluer la capacité des agents IA à interagir avec ce que les auteurs appellent des interfaces de contrôle tangibles (TCIs) : panneaux d'appareils électroménagers, télécommandes, ascenseurs, interfaces graphiques embarquées. Le jeu de données comprend 1 170 vidéos temporellement interactives, annotées de manière structurée avec instructions, actions, transitions d'état, résultats et comportements de récupération en cas d'erreur. La spécificité de SWITCH est d'évaluer le raisonnement en boucle fermée : l'agent doit percevoir, agir, vérifier le résultat, et corriger si nécessaire, dans une séquence continue. Le benchmark inclut également une évaluation des modèles de génération vidéo sur des tâches centrées sur l'interaction, combinant jugement automatique par LLM et évaluation humaine. L'intérêt de SWITCH réside dans ce qu'il révèle : les modèles multimodaux de frontier, propriétaires comme open source, présentent des faiblesses persistantes en perception visuo-temporelle fine, en vérification des résultats et en récupération d'erreur. La plupart des benchmarks existants se limitent à la perception en boucle ouverte ou à l'exécution d'une seule action, ce qui masque précisément les défaillances qui apparaissent dans des scénarios d'horizon long, là où l'agent doit maintenir un état interne et détecter un échec non anticipé. Pour les équipes travaillant sur des robots de service ou des agents embarqués destinés à des environnements industriels ou domestiques, ce constat est directement opérationnel : les modèles actuels ne sont pas encore fiables dès qu'une interaction nécessite un retour d'état et une correction. SWITCH s'inscrit dans un effort plus large de la communauté embodied AI pour combler le fossé entre les capacités de perception statique et l'agentivité réelle en environnement physique. Les benchmarks précédents comme SQA3D, EmbodiedScan ou OpenEQA avaient posé des jalons en compréhension 3D et en questions-réponses situées, mais sans capturer la dimension corrective de l'interaction. SWITCH adresse explicitement ce manque via des scénarios égocentrés. L'étude ne mentionne pas de partenariat industriel ni de déploiement applicatif immédiat : il s'agit d'un outil académique, non d'un produit. Les suites probables concernent l'intégration du benchmark dans les pipelines d'entraînement de VLA (Vision-Language-Action models) et l'extension à des environnements 3D interactifs.

RecherchePaper

1 source

4arXiv cs.RO

Behavior-Skill : un benchmark détaillé pour évaluer les politiques VLA dans des tâches à long horizon

Des chercheurs associés au laboratoire NuBot de la National University of Defense Technology (NUDT), en Chine, ont publié en aout 2026 sur arXiv un article présentant Behavior-Skill, un benchmark destine a évaluer les politiques vision-langage-action (VLA) sur des taches ménagères a long horizon. Le jeu de données comprend 235 492 instances de compétences élémentaires issues de 10 000 démonstrations, reparties sur 50 taches domestiques et 34 catégories sémantiques de compétences (saisir, verser, ouvrir un tiroir, etc.). Chaque instance associe une instruction de compétence a un segment observation-action aligne, avec un état intermédiaire restaurable et une condition de réussite propre, ce qui permet d'évaluer chaque sous-compétence indépendamment plutôt que de se limiter au succès global de la tache. Les auteurs ont teste sur l'ensemble des 50 taches deux politiques VLA représentatives, pi0.5 (Physical Intelligence) et GR00T (famille de modèles de NVIDIA), en mesurant des métriques a la fois au niveau trajectoire et au niveau compétence. Le code et les données sont disponibles publiquement sur GitHub, sous nubot-nudt/Behavior-Skill. Pour l'industrie de la robotique mobile et humanoïde, ce travail met en lumière un angle mort connu mais rarement quantifie: le score de réussite global d'une tache masque ou et pourquoi une politique échoue réellement. Les résultats montrent des taux d'échec très inégaux selon les compétences, la manipulation a contact riche (saisir des objets déformables, manipuler des poignées, ajuster une prise) formant un goulot d'étranglement persistant, même pour des modèles réputés généralistes comme pi0.5 ou GR00T. Pour des intégrateurs ou décideurs qui évaluent une pile VLA avant déploiement, cela confirme qu'une démonstration réussie sur une tache complète ne garantit pas la robustesse des briques sous-jacentes, et qu'un audit fin par compétence devient nécessaire avant de valider un cas d'usage industriel. Ce benchmark s'inscrit dans une lignée d'évaluations pour la manipulation mobile a long horizon qui, jusqu'ici, reposaient presque exclusivement sur des rollouts de tache complète et des métriques agrégées, rendant les échecs intermédiaires difficiles a observer et a diagnostiquer. En proposant une décomposition fine par compétence, Behavior-Skill se positionne comme un complément, et non un remplacement, des benchmarks de bout en bout existants, dans un paysage ou pi0.5 et GR00T comptent parmi les références les plus citées pour les politiques VLA généralistes. Les auteurs invitent la communauté a s'appuyer sur cette base pour diagnostiquer et améliorer les politiques existantes, sans annoncer a ce stade de déploiement industriel ni de suite commerciale au-delà de la publication du benchmark et de son code source.

RecherchePaper

1 source