EMem-Bench de Zhejiang University teste si les agents incarnés se souviennent de ce qu'ils ont vu et essayé
Des chercheurs de l'OmniAI Group de l'université du Zhejiang ont publié EmbodiedMemory-Bench (EMem-Bench), un benchmark qui mesure si un agent d'IA incarnée sait constituer une mémoire à partir de longs historiques d'interaction, puis s'en servir pour agir. L'article est paru sur arXiv il y a environ trois semaines, et la presse chinoise s'en est fait l'écho ce week-end. Le jeu de données hébergé sur Hugging Face dépassait 32 000 téléchargements au 18 octobre. Les auteurs ont d'abord examiné à la main 100 trajectoires échouées de Gemini-3-Flash et de Qwen3-VL-32B sur les suites EB-ALF et EB-Hab d'EmbodiedBench. Les causes se répartissent ainsi : indices visuels fins manqués (35 %), états révélés par l'interaction non enregistrés (31 %), changements de l'environnement ignorés (18 %) et expérience passée non réutilisée (7 %). Ces lacunes ont donné quatre familles de tâches : observation passive, suivi dynamique, échec d'interaction et généralisation d'expérience. Le benchmark compte 2 554 épisodes exécutables répartis sur 1 118 scènes. Chacun fournit un historique multimodal ordonné dans le temps, suivi d'une nouvelle tâche. L'agent doit retrouver les éléments pertinents, puis naviguer, ouvrir des conteneurs, saisir et déposer des objets en simulation jusqu'à l'état cible. Des scènes AI2-THOR mono-pièce sont assemblées en logements multi-pièces, et des interactions parasites mais exécutables sont glissées entre l'indice clé et la tâche. En contexte complet, Gemini-3-Flash domine avec 64,2 % de réussite moyenne, devant Gemini-2.5-Pro (60,8 %), Qwen3.6-27B (58,2 %) et GPT-5.4 (56,8 %). Tous les modèles open source sauf un restent sous 45 %. L'intérêt est double. D'abord, le résultat contredit l'idée qu'il suffit d'allonger le contexte : en injectant davantage d'images d'historique, le taux de réussite chute de 36,6 % à 26,2 % alors que les tokens d'entrée par épisode passent de 41 770 à 206 489. Plus de mémoire brute coûte cinq fois plus cher et dégrade les performances, ce qui pèse sur les architectures de robots domestiques ou logistiques qui comptent sur des fenêtres de contexte géantes. Ensuite, l'équipe propose Embodied-Memorizer (EMem), un système de mémoire externe qui découpe l'expérience en mémoires de scène, spatiale et événementielle. Avec GPT-5.4-mini comme modèle de base, la réussite moyenne passe de 35,3 % à 58,9 %, soit 21,1 points de plus que le meilleur système concurrent, TeleMem. Une politique de 8 milliards de paramètres affinée, EMem-8B, atteint 46,0 %, soit 20,6 points au-dessus de sa base Qwen3-VL-8B. Pour un intégrateur, cela suggère qu'un petit modèle bien doté en mémoire structurée peut rivaliser avec de grands modèles à contexte long, à un coût d'inférence bien moindre. Ces chiffres restent toutefois des résultats de simulation, et aucun test sur robot réel n'a été mené. Ce travail s'inscrit dans une série d'efforts sur la mémoire des agents. Tencent Hunyuan vient d'ouvrir Hy Memory 2.0, qui ajoute des mémoires de travail et de code, et UBTECH a détaillé Thinker-WM, un modèle du monde unifiant vidéo, profondeur et actions robotiques. Les benchmarks d'embodied AI évaluaient surtout la perception et la planification à court terme, pas la persistance de l'information sur de longues séquences. EMem-Bench comble en partie ce vide. Les auteurs reconnaissent eux-mêmes que le passage au réel, avec bruit de capteurs et erreurs d'exécution, reste à démontrer. Il faudra donc surveiller si les acteurs des VLA généralistes et des robots domestiques intègrent ce type de mémoire structurée, et si des validations sur matériel physique suivent.
UEPas d\'impact direct sur la France/UE
