RecherchearXiv cs.RO 12 mai 2026

RoboMemArena : un benchmark complet et exigeant pour la mémoire des robots

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié sur arXiv (2605.10921) RoboMemArena, un benchmark de grande envergure conçu pour évaluer les capacités mémorielles des robots dans des tâches longues et partiellement observables. Le benchmark couvre 26 tâches distinctes, avec des trajectoires d'exécution dépassant en moyenne 1 000 étapes par tâche, dont 68,9 % des sous-tâches nécessitent explicitement la mobilisation de la mémoire passée. Sa pipeline de génération repose sur un modèle vision-langage (VLM) pour composer les sous-tâches, produire les trajectoires via des fonctions atomiques, et annoter les séquences clés (keyframes, instructions de sous-tâches). Une évaluation en environnement physique réel complète les expériences en simulation, ce qui distingue RoboMemArena des benchmarks existants. Les chercheurs proposent également PrediMem, une architecture VLA à double système : un planificateur VLM haut niveau gère une banque mémoire combinant un buffer récent et un buffer de keyframes, tandis qu'une tête de codage prédictif améliore la sensibilité aux dynamiques de tâche. PrediMem surpasse tous les modèles de référence testés sur RoboMemArena.

Ce travail s'attaque à un angle mort persistant dans la recherche robotique : les systèmes actuels, y compris les VLA récents comme Pi-0, GR00T N2 ou Helix, sont majoritairement évalués sur des tâches courtes et observables, où la mémoire à long terme n'est pas critique. RoboMemArena expose la fragilité de ces architectures dès que l'horizon de décision s'allonge et que l'environnement devient partiellement observable. Pour un intégrateur ou un décideur B2B, le chiffre-clé est celui des 1 000 étapes : la plupart des benchmarks industriels actuels restent en dessous de 100 étapes, ce qui masque des lacunes importantes en conditions réelles. L'inclusion d'une évaluation physique réelle renforce la crédibilité des résultats, même si les détails de configuration matérielle ne sont pas précisés dans l'abstract.

La question de la mémoire robotique n'est pas nouvelle : des travaux comme MemoryReplay, EpisodeVQA ou les architectures à attention récurrente (R-VLA) ont posé les bases, mais sans benchmark unifié à cette échelle. RoboMemArena s'inscrit dans une tendance plus large d'outillage de l'évaluation des VLA, aux côtés de BenchBot, RLBench2 ou Open X-Embodiment. PrediMem reste pour l'instant un modèle académique sans déploiement annoncé, et ses résultats devront être confirmés sur des plateformes matérielles tierces (Unitree G1, Figure 03, Boston Dynamics Atlas) pour convaincre au-delà du laboratoire. Les auteurs évoquent des lois de mise à l'échelle (scaling laws) pour les systèmes mémoriels complexes, ce qui suggère une piste de recherche active dans les mois à venir.

Impact France/UE

Les laboratoires européens (CEA-List, INRIA) pourraient adopter RoboMemArena comme référence commune pour évaluer leurs architectures VLA sur des horizons longs, comblant l'absence actuelle de benchmark unifié à cette échelle.

Dans nos dossiers

Figure Boston Dynamics Unitree NVIDIA GR00T

À lire aussi

1Pandaily

RoboMemArena : un nouveau benchmark évalue systématiquement les capacités mémoire des robots

Un consortium d'institutions chinoises de premier plan, l'HKUST (Guangzhou), l'Université Tsinghua, l'Université du Zhejiang, Westlake University et Shanghai Jiao Tong University, a publié RoboMemArena, présenté comme le premier benchmark dédié à l'évaluation des capacités mémorielles des robots dans des tâches de manipulation à long horizon. Le benchmark couvre quatre scénarios exigeant explicitement de la mémoire : transfert d'objets, occlusion de cibles, comptage d'actions et exécution de séquences. Il comprend 26 tâches à long horizon, 151 sous-tâches, 2 600 trajectoires de démonstration expertes, et des séquences dépassant en moyenne 1 000 étapes. Fait notable : 68,9 % des sous-tâches sont déclarées dépendantes d'états historiques. Le benchmark intègre également cinq tâches réelles, dont une séquence "préparer le petit-déjeuner à la manière humaine" (IHMB) dépassant 3 minutes d'exécution continue. Seule la méthode PrediMem, développée par l'équipe elle-même, a complété avec succès cette tâche. L'ensemble des ressources est open-source : dataset sur Hugging Face, code sur GitHub, leaderboard public, et article sur arXiv (2605.10921). Ce benchmark pointe une lacune réelle dans l'évaluation des robots embodied : la quasi-totalité des benchmarks existants mesurent la perception immédiate et le contrôle réactif, sans jamais tester la capacité à maintenir et exploiter un état historique. Pour les intégrateurs industriels et les équipes R&D, c'est un signal clair : les VLA (Vision-Language-Action models) et les architectures de politique actuelles ne sont pas évaluées sur ce qui compte dans les environnements réels, où un robot doit se souvenir qu'un objet a été déplacé trois minutes plus tôt. RoboMemArena fournit aussi des annotations multi-modales (sous-tâches, keyframes, observations visuelles alignées avec les états robot), ce qui le rend directement exploitable pour entraîner ou fine-tuner des modèles. Le contexte est celui d'une course active entre laboratoires asiatiques et occidentaux sur les capacités d'exécution longue durée des robots manipulateurs. Des travaux comme RoboAgent, RoboVLMs ou les benchmarks LIBERO ont posé des fondations, mais aucun ne ciblait explicitement la dépendance mémorielle. L'initiative est entièrement académique et ne mentionne pas de partenariat industriel. La prochaine étape naturelle serait l'intégration de ce benchmark dans les pipelines d'évaluation des grands modèles robotiques comme GR00T N2 (NVIDIA) ou OpenVLA, dont les performances sur des horizons longs restent peu documentées en conditions réelles.

UELes laboratoires européens en robotique (CEA-List, INRIA, ETH Zurich) peuvent exploiter directement ce benchmark open-source pour évaluer leurs architectures VLA sur des tâches à long horizon, comblant un manque critique dans leurs pipelines d'évaluation existants.

RecherchePaper

1 source

2arXiv cs.RO

RMMBench : un benchmark complet pour la manipulation mobile robotique

Des chercheurs publient RMMBench (arXiv 2610.05414, version 2), un banc d'essai pour évaluer les modèles vision-langage (VLM) qui pilotent des robots mobiles manipulateurs. Le robot doit comprendre des instructions en langage naturel et mener à bien des tâches longues dans des espaces continus, et non sur des grilles discrètes. Le benchmark réunit dans un même cadre les tâches « haut niveau » (raisonnement, planification) et « bas niveau » (contrôle). Il propose une suite navigation-manipulation de 70 scénarios canoniques, de la manipulation localisée jusqu'à la navigation composite sur de longs enchaînements. Le constat principal est que les meilleurs VLM éprouvent encore de grandes difficultés de localisation spatiale quand ils doivent manipuler en se déplaçant. Le résumé ne donne ni scores chiffrés, ni liste des modèles testés, ni plateformes robotiques utilisées. Il ne précise pas non plus si l'évaluation se fait en simulation ou sur matériel réel. Le projet est accessible en ligne. Il s'agit d'un outil de mesure, pas d'un produit ni d'un déploiement. Son intérêt tient à ce qu'il pointe un goulot d'étranglement précis. Les VLM de pointe comprennent bien les scènes et raisonnent bien sur les tâches, mais ils situent mal les objets et les poses d'approche dans l'espace, ce qui est décisif pour saisir, poser ou se repositionner. Pour un intégrateur ou un COO industriel, cela invite à relativiser les démonstrations de manipulation mobile pilotées par VLM. Elles peuvent masquer des échecs de localisation sur des séquences longues, et seules des évaluations de bout en bout avec des métriques fines permettent de les révéler. Sans les scores détaillés, l'ampleur réelle de l'écart reste impossible à estimer, et 70 scénarios ne couvrent qu'une partie de la diversité des environnements industriels ou domestiques. Les auteurs partent du constat que les benchmarks existants évaluent souvent la navigation et la manipulation séparément, avec des métriques de succès assez frustes. Cela empêche de diagnostiquer finement où les VLM échouent. RMMBench s'inscrit dans l'écosystème des bancs d'essai embodied de type Habitat ou BEHAVIOR, en insistant sur l'intégration des deux compétences et sur la granularité des mesures. La suite dépendra de l'adoption par la communauté, notamment par les équipes qui développent des modèles vision-langage-action comme Pi-0, GR00T ou Helix, et de la publication de résultats détaillés qui permettent des comparaisons reproductibles. Les auteurs concluent à la nécessité d'améliorer la perception spatiale des robots lors d'interactions longues.

RecherchePaper

1 source

3arXiv cs.RO

ECoMEM : une mémoire à concepts explicites pour le contrôle de robots dépendant de la mémoire

Des chercheurs proposent ECoMEM (Explicit Concept Memory), une architecture de mémoire pour les politiques robotiques de type vision-langage-action (VLA), publiée sur arXiv en octobre 2026. Le système remplace l'historique brut ou la mémoire implicite apprise par une bibliothèque réutilisable de « concepts » ancrés dans les observations, par exemple la position d'un objet disparu du champ de vision, ce qu'un humain a démontré plus tôt, ou les étapes déjà accomplies d'une tâche. Un module Writer, fondé sur des preuves observées, sélectionne et met à jour ces enregistrements. Un module Reader, appris, les convertit en tokens de mémoire qui conditionnent directement la VLA. Sur le benchmark RoboMME (16 tâches), ECoMEM arrive en tête des politiques évaluées sur 15 tâches. Sur deux nouvelles tâches en robot réel, la même bibliothèque de concepts est soit réutilisée telle quelle, soit complétée par un seul nouveau concept. Le taux de succès atteint 86,1 %, contre 8,6 % pour une VLA sans mémoire. Les auteurs ne précisent pas, dans le résumé, la plateforme robotique, le nombre d'essais ni la VLA de base utilisée. Ce travail s'attaque à une faiblesse structurelle des VLA actuelles : elles décident à partir de l'observation courante et échouent dès que l'information utile n'est plus visible. Or les tâches à long horizon rencontrées en logistique, en assemblage ou en service (retrouver une pièce rangée hors champ, reprendre une séquence interrompue, répéter une démonstration) en dépendent. L'écart 86,1 % contre 8,6 % montre surtout que le cas sans mémoire est un plancher quasi nul sur ces tâches, ce qui est attendu par construction. La comparaison la plus utile serait celle avec les mémoires à historique long ou implicites. Pour les intégrateurs, l'intérêt tient à l'extensibilité annoncée : ajouter un concept plutôt que réentraîner une politique entière réduirait le coût d'adaptation à un nouveau poste. Il tient aussi à l'inspectabilité, car une mémoire explicite peut être lue et débogguée, ce qui compte pour la validation en environnement industriel. Ces affirmations restent à confirmer sur un nombre de tâches réelles réduit à deux, avec une définition des concepts qui reste conçue par des humains. Le résultat s'inscrit dans un débat de fond sur la mémoire des modèles robotiques. Les approches dominantes allongent le contexte d'images passées ou apprennent une mémoire latente à partir des seules trajectoires observation-action, ce que les auteurs jugent insuffisant puisque la supervision d'action n'indique pas quoi retenir. ECoMEM sépare donc la tenue d'un compte rendu du passé de l'apprentissage de l'action, une idée proche des architectures hiérarchiques ou à mémoire structurée explorées autour de familles comme Pi-0 ou GR00T. Le projet est publié avec un site dédié (ecomem.github.io). Les prochaines étapes à surveiller sont une validation sur davantage de tâches réelles, des comparaisons directes avec des baselines à mémoire récentes, et la capacité à générer ou découvrir automatiquement de nouveaux concepts sans intervention humaine.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Bench-Push : benchmark pour la navigation et la manipulation par poussée des robots mobiles

Une équipe de chercheurs a publié Bench-Push (arXiv:2512.11736), le premier benchmark unifié dédié à l'évaluation des robots mobiles capables de pousser et de manipuler des objets dans leur environnement immédiat. La suite comprend quatre environnements de simulation aux niveaux de complexité variables : navigation en labyrinthe avec obstacles mobiles, navigation autonome de navire en eaux glacées, livraison de caisses, et nettoyage de zones encombrées. Bench-Push intègre également un jeu de métriques originales conçues pour mesurer l'efficacité, l'effort d'interaction mécanique et la complétion partielle des tâches, ainsi que des démonstrations de baselines établies. La bibliothèque est open-source, distribuée sous Python avec une architecture modulaire, et disponible sur GitHub (IvanIZ/BenchNPIN). L'absence de référentiel commun dans ce domaine constitue un frein réel : jusqu'ici, chaque équipe évaluait ses approches sur des configurations ad hoc, rendant toute comparaison inter-laboratoires impossible et la reproductibilité aléatoire. Or la question est loin d'être académique. Les robots mobiles autonomes (AMR) déployés en logistique, en entrepôt ou en milieu industriel se retrouvent régulièrement dans des espaces encombrés d'objets déplaçables que les algorithmes classiques d'évitement d'obstacles ne savent tout simplement pas gérer. Les stratégies de poussée (pushing, nudging) constituent une compétence clé pour ces environnements réels, et Bench-Push offre désormais un terrain de comparaison structuré pour les évaluer. La métrique de complétion partielle est notamment utile pour les décideurs B2B, qui ont besoin de quantifier la dégradation progressive des performances plutôt qu'un simple succès ou échec binaire. Le champ dit NAMO (Navigation Among Movable Obstacles) connaît une croissance soutenue, mais restait fragmenté faute d'outil fédérateur. Bench-Push s'inscrit dans la continuité des efforts de standardisation observés ailleurs en robotique, à l'image de ce que RoboSuite ou Isaac Gym ont apporté à la manipulation. L'inclusion d'un scénario de navigation en eaux glacées témoigne d'une ambition d'élargissement au-delà de la robotique d'entrepôt stricte, vers des domaines comme la navigation maritime autonome. Il n'existe à ce stade aucune annonce de déploiement industriel : Bench-Push est un outil de recherche, mais sa conception modulaire et son accessibilité via pip en font un candidat sérieux à une adoption rapide par les équipes travaillant sur la planification en environnements dynamiques.

RecherchePaper

1 source