Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Au-delà de la description : évaluer cognitivement l'action fine pour les agents incarnés
RecherchearXiv cs.RO 

Au-delà de la description : évaluer cognitivement l'action fine pour les agents incarnés

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié CFG-Bench, un nouveau benchmark destiné à évaluer la capacité des grands modèles multimodaux (MLLM) à raisonner sur l'action fine dans des environnements physiques, plutôt que sur la simple planification de haut niveau ou le raisonnement spatial déjà couverts par les benchmarks existants. L'article, disponible sur arXiv (2511.18685), détaille un corpus de 1 368 vidéos annotées, associées à 19 562 paires question-réponse. Ces données couvrent trois paradigmes d'évaluation et quatre capacités cognitives distinctes : l'interaction physique, la relation temporelle-causale, la compréhension intentionnelle et le jugement évaluatif. L'objectif est de mesurer si un modèle sait traduire une observation visuelle en connaissance actionnable, au-delà de la simple reconnaissance d'objets ou de scènes.

Les résultats sont significatifs pour l'écosystème des agents incarnés (embodied agents) qui s'appuient de plus en plus sur des architectures vision-langage-action (VLA) pour piloter robots et humanoïdes. Les auteurs montrent que même les MLLM les plus performants du marché peinent à produire des instructions détaillées pour des interactions physiques concrètes, et présentent des lacunes marquées dès qu'il s'agit de raisonnement d'ordre supérieur, comme inférer une intention ou juger la qualité d'une action. C'est un signal notable pour les intégrateurs et équipes de recherche qui misent sur ces modèles comme moteurs de décision : la compréhension de haut niveau ne garantit pas une exécution fine et fiable, un des points de friction identifiés dans l'écart persistant entre démonstration et déploiement réel en robotique.

Point plus encourageant pour le secteur : les auteurs démontrent qu'un fine-tuning supervisé (SFT) sur les données de CFG-Bench, en apprenant explicitement au modèle à articuler des actions fines, se traduit par des gains de performance mesurables sur des benchmarks incarnés déjà établis. Cela suggère une piste d'amélioration directe et reproductible pour les futurs modèles VLA, plutôt qu'une simple mise en évidence de leurs limites. Le projet s'inscrit dans la vague de benchmarks spécialisés qui cherchent à combler les angles morts des évaluations génériques de MLLM. La page du projet et le jeu de données sont accessibles publiquement via cfg-bench.github.io, ouvrant la voie à des comparaisons futures entre laboratoires et fournisseurs de modèles.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Compiler et évaluer les horizons d'états de tâche pour les agents incarnés
1arXiv cs.RO 

Compiler et évaluer les horizons d'états de tâche pour les agents incarnés

L'agence de recherche IA vient de publier un article arXiv (2608.08036, non révisé par les pairs) qui identifie une faille dans la façon dont l'industrie évalue les agents robotiques capables de planification longue durée. L'équipe introduit la notion de "task-state horizon" (TSH), c'est-à-dire l'étendue des transitions d'état pertinentes pour la tâche qu'un agent doit suivre au fil du temps, y compris celles causées par ses propres explorations, la dynamique de l'environnement, des échecs inattendus ou des interventions externes. Pour mesurer ce facteur, jusqu'ici ignoré par les benchmarks existants qui se contentent de mesurer la longueur des séquences d'actions ou la complexité des sous-tâches, les chercheurs ont développé RoboGraph, un compilateur de tâches robotiques qui traduit les dépendances de transition d'état en graphes symboliques exécutables. Ils publient également un benchmark associé de 588 épisodes répartis sur 84 scènes, avec des niveaux de TSH variables. Testés sur cet ensemble, en environnement fermé sémantique et visuel, 15 modèles agentiques de pointe ont été évalués, sans que les noms précis de ces modèles ne soient détaillés dans le résumé disponible. Ce travail est important car il déplace la question centrale de l'évaluation robotique : la difficulté d'une tâche ne se réduit pas à sa longueur ou à son nombre d'étapes, mais dépend de la capacité de l'agent à maintenir, explorer et mettre à jour une représentation cohérente de l'état du monde sur la durée. Pour les intégrateurs et décideurs qui évaluent des piles de planification haut niveau associées à des modèles vision-langage-action (VLA), ce résultat suggère que des benchmarks de "longue durée" bien notés peuvent masquer des faiblesses réelles sur des tâches où l'état évolue de façon imprévisible, un cas fréquent en environnement industriel réel. L'étude confirme empiriquement que la majorité des modèles agentiques testés peinent dès que le TSH devient exigeant, ce qui nuance les annonces de robustesse "long-horizon" faites par certains fournisseurs de modèles de fondation robotique. Ce travail s'inscrit dans la vague récente de benchmarks cherchant à dépasser les métriques simplistes (taux de succès, nombre d'étapes) pour capturer des dimensions cognitives plus fines de l'autonomie robotique, à l'image d'efforts antérieurs sur la mémoire ou le raisonnement causal des agents. Les auteurs ne précisent pas, dans le résumé, l'identité des laboratoires ou entreprises ayant développé les 15 modèles testés ni un calendrier de suites prévues ; RoboGraph et le benchmark associé sont présentés comme des outils ouverts destinés à orienter les prochaines générations d'agents planificateurs vers une meilleure gestion des états de tâche, plutôt que comme un produit ou déploiement commercial.

RecherchePaper
1 source
Que doivent mémoriser les agents incarnés ? Évaluation comparative des modalités de mémoire pour les agents incarnés
2arXiv cs.RO 

Que doivent mémoriser les agents incarnés ? Évaluation comparative des modalités de mémoire pour les agents incarnés

Des chercheurs proposent MeMoREval, un benchmark qui cherche à déterminer ce que les agents incarnés, c'est-à-dire les robots pilotés par un grand modèle de langage (LLM), devraient mémoriser. Le protocole est contrôlé : l'agent traverse d'abord une séquence d'événements sans connaître les tâches à venir, puis répond à des demandes d'information ou d'action en s'appuyant uniquement sur sa mémoire, sans nouvelle observation. Le benchmark regroupe 53 tâches réparties sur quatre environnements d'intérieur simulés. Il mesure le taux de réussite, mais aussi le coût d'inférence de la construction de la mémoire (écriture) et de son utilisation (lecture). Les évaluations de référence montrent que stocker les images brutes surpasse le stockage de descriptions textuelles générées, avec un coût d'inférence à l'écriture plus faible pour le modèle principal. L'association des images à des graphes de scène (représentation structurée des objets et de leurs relations spatiales) donne le meilleur taux de réussite agrégé, pour chacun des modèles testés. Deux démonstrations sur robots physiques indiquent que le protocole peut s'appliquer hors simulation. L'intérêt tient à une hypothèse très répandue dans les architectures d'agents : transposer aux robots la mémoire textuelle issue des agents LLM, en légendant tout ce que le robot perçoit. Les résultats la contredisent. Convertir la vision en texte à l'écriture perd de l'information utile pour des questions ultérieures, que l'on ne peut pas anticiper, et coûte en plus des appels de modèle. Conserver les pixels, et les compléter par une structure spatiale explicite, semble à la fois plus fidèle et plus économique à l'écriture. Pour les intégrateurs et les équipes qui conçoivent la pile logicielle de robots de service ou d'assistance, le message est concret : le choix de la modalité de mémoire est un arbitrage mesurable entre précision et coût d'inférence, et non un détail d'implémentation. Il convient toutefois de rester prudent : les résultats viennent surtout de simulation, avec seulement deux démonstrations physiques de faisabilité, sans mesure de performance en conditions réelles. Le périmètre de 53 tâches reste aussi modeste. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) et des agents incarnés, où la mémoire à long terme reste un point faible. Les politiques actuelles raisonnent surtout sur une fenêtre de contexte courte, et les benchmarks existants évaluent rarement la mémoire séparément de la perception ou de la planification. MeMoREval vise ce manque et prévoit des extensions : expérience accumulée, rétention sélective d'images et entrée visuelle fournie aux modules d'écriture de mémoire. Ces pistes, encore à explorer, détermineront si l'approche passe à l'échelle d'un déploiement de longue durée dans des environnements réels, domestiques ou industriels.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée
3arXiv cs.RO 

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée

Des chercheurs publient ASENA, un système d'agent incarné qui relie des agents de codage généralistes aux capteurs, au calcul, à l'exécution supervisée et à une mémoire persistante d'un robot. L'agent écrit et exécute des programmes, relit les résultats enregistrés, corrige ses échecs et réutilise des notes et des compétences exécutables, le tout sans modifier les poids du modèle. Le système s'accompagne d'ASENA-VLN, une politique de navigation monoculaire de 4 milliards de paramètres, proposée comme outil optionnel. Elle prédit des trajectoires dans le repère du corps, pour des itinéraires longs comme pour des comportements à court horizon, grâce à un décodeur vision-langage unique. Celui-ci est entraîné sur des instructions de parcours, des questions-réponses visuelles et un nouveau jeu de tâches de navigation « atomiques » dérivées de la géométrie. Seule, la politique atteint 68,7 % de succès sur R2R et 70,2 % sur RxR, ce que les auteurs présentent comme l'état de l'art. Couplée à l'agent de codage, elle ajoute 11 points de succès sur les deux benchmarks agentiques tout en réduisant le temps d'exécution. Dix passes sur des sous-ensembles récurrents de 100 tâches, avec retour du simulateur, font passer le succès de 72 % à 98 % sur R2R et de 65 % à 89 % sur RxR. En question-réponse incarnée, ASENA annonce aussi la meilleure précision, avec moins d'étapes d'interaction. Des démonstrations réelles sur un Unitree G1 combinent recherche, inspection visuelle, raisonnement spatial et gestes synthétisés, sans carte préalable. L'intérêt tient moins au score de navigation qu'à l'architecture. Ici, l'amélioration ne passe pas par un réentraînement : elle vient de la mémoire de l'agent (notes, scripts, compétences), ce qui rapproche le robot d'un logiciel qu'on débogue que d'un modèle qu'on affine. Pour un intégrateur, cela ouvre la voie à une adaptation d'un site à l'autre sans cycle de collecte de données ni de fine-tuning. Il faut toutefois lire les gains avec prudence. Le passage de 72 % à 98 % est mesuré sur des sous-ensembles de 100 tâches rejouées dix fois avec retour du simulateur : cela ressemble davantage à une mémorisation de tâches récurrentes qu'à une généralisation à des environnements inédits. Les résultats chiffrés restent obtenus en simulation, et les démonstrations sur G1 sont qualitatives, sans taux de réussite, durée ni nombre d'essais publiés. L'écart entre démonstration et fiabilité en conditions réelles reste donc entier. Ce travail s'inscrit dans deux tendances qui convergent : les politiques vision-langage-action pour la navigation, évaluées sur R2R et RxR, et les agents de codage appliqués à la robotique, où le LLM génère du code plutôt que des commandes bas niveau. En faisant de la politique apprise un simple outil parmi d'autres, ASENA se positionne à l'opposé des approches de bout en bout comme Pi-0 ou GR00T, qui concentrent tout dans un seul modèle. Le G1 de Unitree, plateforme humanoïde à bas coût largement répandue en recherche, sert de support. Il s'agit d'une prépublication arXiv (v1), non évaluée par les pairs. Le code, les jeux de données et d'éventuels tests hors simulation seront les vrais juges de la portée du système.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Le jeu de l'imitateur : évaluer la capacité d'imitation des robots au-delà de la prédiction d'action
4arXiv cs.RO 

Le jeu de l'imitateur : évaluer la capacité d'imitation des robots au-delà de la prédiction d'action

Un benchmark baptisé « The Imitator Game » évalue en quatre niveaux (L0 à L3) la capacité d'un robot à imiter l'intention d'une démonstration humaine, et non son simple mouvement, en écartant progressivement la scène du robot de celle de la démonstration. L'étude s'appuie sur IG-10K, le plus grand jeu de données humain-robot appairé et aligné par environnement à ce jour : plus de 20 000 épisodes couvrant 50 tâches et 6 domaines, en réel comme en simulation. Les auteurs publient aussi Imitator Arena, une plateforme ouverte d'évaluation humaine en aveugle par comparaison A/B. Sur neuf modèles vision-langage-action testés, les performances restent stables de L0 à L2 puis s'effondrent à L3 : aucun ne dépasse 13% de réussite en zero-shot sur des tâches inédites, malgré des gains nets après un fine-tuning sur seulement 10 démonstrations appariées. Le point de rupture identifié est la « substitution fonctionnelle » : atteindre le même objectif via un objet ou un outil différent de celui vu en démonstration, plus déterminante dans l'effondrement des scores que la simple variation visuelle du décor. Pour les intégrateurs et équipes robotique, le résultat tempère l'idée que les politiques vision-langage-action actuelles comprennent réellement une tâche : elles semblent surtout rejouer des trajectoires proches de ce qu'elles ont observé, sans transfert vers une affordance différente. Le plafond de 13% en zero-shot confirme l'écart persistant entre démonstrations soignées et généralisation réelle ; le protocole d'évaluation en aveugle d'Imitator Arena vise à limiter les biais de sélection des vidéos de démonstration, une critique récurrente adressée aux annonces du secteur. Ce travail s'inscrit dans la vague des modèles vision-langage-action qui apprennent des tâches robotiques à partir de vidéos humaines plutôt que de téléopération coûteuse, une piste suivie par plusieurs laboratoires de robotique généraliste. En décomposant l'évaluation en quatre niveaux plutôt qu'en un score global agrégé, les auteurs cherchent précisément à localiser où l'apprentissage par imitation cesse de fonctionner. Le site du projet et l'accès à Imitator Arena sont ouverts sur imitator-game.github.io, pour que la communauté y soumette et compare ses propres modèles. Ce gain rapide avec un minimum de données ouvre une piste concrète pour de futurs déploiements : combiner pré-entraînement à grande échelle sur données appariées et calibration légère sur site.

RecherchePaper
1 source