RecherchePandaily 18 octobre 2026

EMem-Bench de Zhejiang University teste si les agents incarnés se souviennent de ce qu'ils ont vu et essayé

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'OmniAI Group de l'université du Zhejiang ont publié EmbodiedMemory-Bench (EMem-Bench), un benchmark qui mesure si un agent d'IA incarnée sait constituer une mémoire à partir de longs historiques d'interaction, puis s'en servir pour agir. L'article est paru sur arXiv il y a environ trois semaines, et la presse chinoise s'en est fait l'écho ce week-end. Le jeu de données hébergé sur Hugging Face dépassait 32 000 téléchargements au 18 octobre. Les auteurs ont d'abord examiné à la main 100 trajectoires échouées de Gemini-3-Flash et de Qwen3-VL-32B sur les suites EB-ALF et EB-Hab d'EmbodiedBench. Les causes se répartissent ainsi : indices visuels fins manqués (35 %), états révélés par l'interaction non enregistrés (31 %), changements de l'environnement ignorés (18 %) et expérience passée non réutilisée (7 %). Ces lacunes ont donné quatre familles de tâches : observation passive, suivi dynamique, échec d'interaction et généralisation d'expérience. Le benchmark compte 2 554 épisodes exécutables répartis sur 1 118 scènes. Chacun fournit un historique multimodal ordonné dans le temps, suivi d'une nouvelle tâche. L'agent doit retrouver les éléments pertinents, puis naviguer, ouvrir des conteneurs, saisir et déposer des objets en simulation jusqu'à l'état cible. Des scènes AI2-THOR mono-pièce sont assemblées en logements multi-pièces, et des interactions parasites mais exécutables sont glissées entre l'indice clé et la tâche. En contexte complet, Gemini-3-Flash domine avec 64,2 % de réussite moyenne, devant Gemini-2.5-Pro (60,8 %), Qwen3.6-27B (58,2 %) et GPT-5.4 (56,8 %). Tous les modèles open source sauf un restent sous 45 %.

L'intérêt est double. D'abord, le résultat contredit l'idée qu'il suffit d'allonger le contexte : en injectant davantage d'images d'historique, le taux de réussite chute de 36,6 % à 26,2 % alors que les tokens d'entrée par épisode passent de 41 770 à 206 489. Plus de mémoire brute coûte cinq fois plus cher et dégrade les performances, ce qui pèse sur les architectures de robots domestiques ou logistiques qui comptent sur des fenêtres de contexte géantes. Ensuite, l'équipe propose Embodied-Memorizer (EMem), un système de mémoire externe qui découpe l'expérience en mémoires de scène, spatiale et événementielle. Avec GPT-5.4-mini comme modèle de base, la réussite moyenne passe de 35,3 % à 58,9 %, soit 21,1 points de plus que le meilleur système concurrent, TeleMem. Une politique de 8 milliards de paramètres affinée, EMem-8B, atteint 46,0 %, soit 20,6 points au-dessus de sa base Qwen3-VL-8B. Pour un intégrateur, cela suggère qu'un petit modèle bien doté en mémoire structurée peut rivaliser avec de grands modèles à contexte long, à un coût d'inférence bien moindre. Ces chiffres restent toutefois des résultats de simulation, et aucun test sur robot réel n'a été mené.

Ce travail s'inscrit dans une série d'efforts sur la mémoire des agents. Tencent Hunyuan vient d'ouvrir Hy Memory 2.0, qui ajoute des mémoires de travail et de code, et UBTECH a détaillé Thinker-WM, un modèle du monde unifiant vidéo, profondeur et actions robotiques. Les benchmarks d'embodied AI évaluaient surtout la perception et la planification à court terme, pas la persistance de l'information sur de longues séquences. EMem-Bench comble en partie ce vide. Les auteurs reconnaissent eux-mêmes que le passage au réel, avec bruit de capteurs et erreurs d'exécution, reste à démontrer. Il faudra donc surveiller si les acteurs des VLA généralistes et des robots domestiques intègrent ce type de mémoire structurée, et si des validations sur matériel physique suivent.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

UBTech IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

OceanGym : un environnement de référence pour les agents incarnés sous-marins

Des chercheurs du projet OceanGPT ont publié en septembre 2025 sur arXiv (article 2509.26536, version 3) OceanGym, présenté comme le premier benchmark complet pour les agents incarnés évoluant en environnement océanique sous-marin. La plateforme couvre huit domaines de tâches réalistes et repose sur un framework d'agent unifié piloté par des modèles de langage multimodaux de grande taille (MLLM), combinant perception, mémoire et prise de décision séquentielle. Les agents testés doivent interpréter à la fois des données optiques et sonar, explorer de façon autonome des environnements complexes et mener à bien des objectifs à long horizon, dans des conditions marquées par une faible visibilité et des courants océaniques dynamiques. Le code et les données du benchmark sont mis à disposition sur GitHub, sous l'organisation OceanGPT. Les expériences menées par les auteurs montrent un écart substantiel entre les agents MLLM les plus avancés et des experts humains sur les tâches de perception, de planification et d'adaptation en milieu sous-marin, un constat qui tranche avec le discours ambiant sur la maturité des agents vision-langage-action. Pour l'industrie des véhicules sous-marins autonomes (AUV) et des ROV, ce résultat confirme que l'environnement océanique reste nettement plus exigeant que les domaines terrestre ou aérien, où des benchmarks d'agents incarnés existent déjà depuis plusieurs années. OceanGym fournit ainsi aux équipes de recherche et aux intégrateurs un outil d'évaluation standardisé pour mesurer les progrès réels des agents avant tout déploiement physique, plutôt que de se fier à des démonstrations isolées. Le milieu sous-marin figure, selon les auteurs, parmi les dernières frontières inexplorées de la Terre. Jusqu'ici, l'essentiel des benchmarks d'IA incarnée portait sur des environnements terrestres ou aériens, structurés et bien cartographiés, laissant un vide pour les usages océaniques. OceanGym s'inscrit dans la continuité du projet OceanGPT, dont l'équipe avait déjà développé des modèles de langage dédiés aux sciences océaniques, et prolonge cette démarche vers l'évaluation d'agents capables d'agir physiquement sous l'eau. Les auteurs présentent ce travail comme une étape vers le transfert de ces capacités à de véritables véhicules sous-marins autonomes déployés en conditions réelles, sans toutefois communiquer de calendrier de pilote ni de partenariat industriel à ce stade: le projet reste pour l'instant au niveau de la recherche académique en accès ouvert plutôt que du produit commercial.

RecherchePaper

1 source

2arXiv cs.RO

MAGMA-Bench : évaluer les agents incarnés à long horizon face à des tâches dynamiques et à des échecs d'exécution

MAGMA-Bench, présenté sur arXiv (2610.13534) comme un benchmark indépendant de l'architecture, vise à mesurer la capacité d'agents incarnés à raisonner sur de longues missions dans des environnements multi-robots dynamiques. Il évalue les agents sur des horizons de tâche croissants et sous perturbations contrôlées en ligne : échecs d'exécution, interruptions de tâche et mises à jour de mission. Les scénarios imposent de coordonner des robots aux capacités hétérogènes. Une interface structurée au niveau des compétences (skills) sépare le raisonnement de haut niveau de la perception et du contrôle bas niveau. Les auteurs ont testé des planificateurs open-weight déployables en local, plusieurs stratégies de suivi d'état multi-agents et des modèles frontière. Même les meilleurs échouent sur une part substantielle des épisodes « propres », sans perturbation, et leur taux de succès baisse encore dès que des perturbations sont injectées. Une adaptation supervisée améliore nettement un petit modèle, mais ses performances restent bien inférieures sur les missions longues et multi-robots. L'équipe publie le benchmark, 261 646 exemples d'entraînement au niveau tâche et un pipeline de génération de traces expertes, lui aussi indépendant de l'architecture. L'intérêt tient à ce que ces résultats disent de l'écart entre démonstrations et fiabilité opérationnelle. Beaucoup de systèmes à base de LLM ou de VLA brillent sur des tâches courtes et scriptées, mais un intégrateur industriel travaille dans l'inverse : des missions longues, des pannes de préhension, des commandes modifiées en cours de route, des flottes mêlant AMR, bras et humanoïdes. Qu'un modèle frontière échoue déjà sans perturbation suggère que la mémoire de tâche, le suivi d'état et la replanification restent des verrous, indépendamment de la qualité de la perception ou du contrôle, que le benchmark neutralise volontairement. Le gain obtenu par fine-tuning sur un petit modèle est un signal utile pour les décideurs : un planificateur local, peu coûteux et déployable sur site, peut devenir compétitif sur des missions courtes avec des données spécialisées. Mais l'écart persistant sur les horizons longs et la coordination multi-robots relativise l'idée d'une orchestration autonome prête à la production. Précision méthodologique : il s'agit de résultats de simulation avec une couche de compétences abstraite, qui ne mesurent donc ni les aléas de la perception réelle ni la robustesse du contrôle. Le benchmark comble un angle mort entre deux familles d'évaluations existantes : celles qui testent l'exécution dynamique de tâches pour un agent isolé, et celles qui testent la coordination multi-agents incarnée dans des conditions statiques. Il arrive alors que les acteurs du secteur (modèles de type Pi-0, Helix ou GR00T, systèmes de planification à base de LLM) multiplient les annonces d'autonomie à long terme sans protocole commun pour comparer la gestion des échecs. La publication du jeu d'entraînement et du pipeline de traces permet à d'autres laboratoires de reproduire les résultats et d'entraîner leurs propres planificateurs, ce qui pourrait en faire une référence pour les équipes travaillant sur la robotique de flotte, y compris en Europe. Les prochaines étapes à surveiller sont les évaluations de modèles tiers sur ce banc, et surtout un passage à des déploiements physiques, seul moyen de vérifier que ces faiblesses de raisonnement persistent hors simulation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Vers un cadre pour les agents incarnés

Un article de recherche mis en ligne le 13 aout 2026 sur arXiv (2608.11246) présente Thea, un "harness", c'est a dire une architecture d'orchestration logicielle, destine aux agents robotiques et conçu selon le principe des agents de codage: la performance dépend moins du modèle que de l'infrastructure qui l'entoure. Thea fait tourner une boucle agentique qui invoque les capacités du robot, chacune encapsulée comme un outil appelable. Les auteurs pointent deux fonctions que le monde physique refuse, contrairement au monde logiciel: lire l'état du monde et juger le résultat d'une action. Pour y remédier, le système introduit le Scene Graph as Context, une représentation symbolique persistante de l'environnement servant de contexte au modèle, et l'Evaluation as Exit Codes, un module qui détecte la fin d'une action, évalué sa réussite et diagnostique la cause d'un échec. Cette approche cible directement l'écart, souvent dénonce dans le secteur, entre démonstrations impressionnantes en environnement contrôle et exécution fiable de taches longues en conditions réelles. En fermant la boucle entre perception, action et évaluation, Thea cherche a faire émerger des comportements complexes par simple composition d'outils, sans reentrainement du modèle pour chaque nouvelle tache. L'article ne fournit toutefois aucune métrique chiffrée, ni taux de réussite ni benchmark, dans son résume: il s'agit a ce stade d'une contribution architecturale, pas d'une validation empirique a grande échelle ni d'un produit déployé. Pour les intégrateurs, l'intérêt tient a la proposition méthodologique: traiter l'agent robotique comme un agent logiciel dote d'un accès symbolique au monde plutôt que comme un modèle entraine de bout en bout. Thea prolonge directement la lignée des harnais d'agents de codage, dont le succès récent a impose ce paradigme d'infrastructure au delà du monde logiciel, et rejoint les recherches en cours sur les modèles vision-langage-action cherchant a leur adjoindre une mémoire structurée du monde plutôt qu'une politique entraînée par imitation. Le document ne précise ni l'affiliation institutionnelle des auteurs ni de calendrier de déploiement pilote. Il se presente comme une contribution académique destinée a être discutée et reproduite par la communauté, la prochaine étape logique étant une évaluation quantitative sur des taches longues en environnement réel.

RecherchePaper

1 source

4Pandaily

VA-Bench de Dalian University of Technology : les meilleurs modèles multimodaux ne réussissent que la moitié des tâches robotiques

Une équipe de recherche pilotée par la Dalian University of Technology a publié VA-Bench, un banc d'essai qui mesure si des modèles de langage multimodaux généralistes savent transformer ce qu'ils voient en actions réussies sur un bras robotique. Décrit dans un article arXiv (2609.19554) et relayé par Sina Tech, il évalue toute la boucle observer, raisonner, agir et corriger. Avant chaque test, le modèle visionne une démonstration réussie, mais ne reçoit ni coordonnées d'objets, ni trajectoires expertes, ni paramètres d'action précis. Il peut changer de point de vue caméra, au prix de pas d'interaction, puis doit émettre des commandes concrètes : translations en millimètres par axe, angles de rotation, ouverture ou fermeture de la pince. Un contrôleur fixe n'exécute que ce qui est spécifié. Le benchmark couvre 14 types de tâches (11 à un bras, 3 à deux bras), chacun avec 20 scènes validées physiquement en simulation, soit 280 scènes de base, plus des variantes de géométrie et d'agencement inédites et une piste longue de cinq objets. Chaque condition a été jouée trois fois. Sur 12 configurations, la meilleure, Qwen3.8-max d'Alibaba, réussit en moyenne 53,93 % des tâches, devant Opus-5 (52,86 %) et GPT-5.6-sol (51,55 %). Les auteurs précisent que ces trois modèles sont séparés de 2,38 points et ne revendiquent aucun classement fiable. Toutes les autres conditions plafonnent à 23,10 %. Le résultat éclaire un écart central : les modèles localisent les cibles à 100 % et comprennent la manipulation requise à 99,6-100 %, mais la réussite complète reste autour de la moitié. Les sous-tâches aboutissent à 65,9-68,6 %, donc beaucoup d'échecs surviennent après une progression partielle. Qwen3.8-max détecte ses erreurs dans 73,6 % des cas mais ne les corrige en ligne que dans 46,7 %. Il atteint 65,61 % sur les tâches à un bras contre 11,11 % à deux bras, où il faut répartir les objets et coordonner les positions relatives. L'observation active pèse plus que le nombre de caméras : 57,50 % de réussite quand Qwen3.8-max choisit ses vues, contre 27,86 % avec cinq vues fixes, et les quatre modèles testés se dégradent sans observation active. La généralisation reste fragile : changer formes, contenants ou agencements fait chuter un modèle de référence de 80,00 % à 47,86 %, Qwen3.8-max passant de 77,86 % à 67,86 %. Sur la piste longue, il place 61 objets sur 100, mais aucun modèle ne termine un épisode au sens strict. Pour les intégrateurs, cela rappelle que la compréhension visuelle ne garantit pas l'exécution, et que les résultats sont obtenus en simulation, sans bruit de capteur ni contact réel. Le benchmark complète le classement « cerveau incarné » de SuperCLUE publié cette semaine, qui note perception, raisonnement et planification, là où VA-Bench vérifie si ces jugements deviennent des gestes réussis. Il s'inscrit dans la montée des évaluations des modèles généralistes comme contrôleurs de robots, face aux approches VLA (vision-langage-action) entraînées spécifiquement, qui ne sont pas comparées ici. Qwen3.8-max, récemment sorti en version officielle, partage par ailleurs la première place chinoise du classement SuperCLUE avec le Nebula de ZTE. Aucun déploiement ni produit n'est annoncé : il s'agit d'un outil de recherche. Les prochaines étapes probables sont l'évaluation de nouveaux modèles, notamment sur la coordination bimanuelle, et une validation sur robots physiques pour mesurer l'écart entre simulation et réalité.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source