RecherchearXiv cs.RO 30 septembre 2026

Une mémoire simple à base d'agents pour les politiques robotiques généralistes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent SimpleARM (Simple Agentic Robot Memory), une couche de mémoire sans entraînement pour politiques robotiques généralistes gelées, décrite dans un preprint arXiv (v1). Le système fonctionne en quatre temps : à partir de l'instruction de la tâche, il détermine ce qu'il faut surveiller ; des outils perceptifs gelés maintiennent en ligne un état compact et typé ; un accès structuré ne récupère cet état que lorsqu'un sous-objectif proposé dépend de l'historique ; enfin, un ancrage dans la vue courante résout les entités rappelées avant l'exécution. L'évaluation porte sur RoboMME, un benchmark de 16 tâches de manipulation dont la réussite exige des informations qui ne sont plus visibles dans l'observation actuelle. Sur les 16 tâches et trois graines de politique, SimpleARM atteint 67,17 % de réussite moyenne, contre 44,51 % pour la meilleure base de comparaison non oracle. Des ablations appariées montrent que retirer l'état de relation, de référence, de progression ou d'itinéraire provoque de fortes chutes là où cet état est mobilisé, et épargne largement les autres tâches.

L'enjeu dépasse le gain chiffré, soit environ 22,7 points. Les systèmes de mémoire visuelle actuels conservent ou compressent des observations passées, en supposant que l'historique utile se retrouve dans les images. Or le contrôle robotique dépend aussi d'un état issu de l'interaction, qu'aucune image ne représente explicitement : quel objet est lequel après avoir été déplacé, où en est la tâche, dans quel ordre exécuter une procédure. Les résultats plaident pour une mémoire conçue comme un état compact et pertinent pour la tâche, plutôt que comme un historique visuel étendu. Pour les intégrateurs et les équipes qui déploient des politiques VLA gelées, l'intérêt pratique est réel : la couche s'ajoute sans réentraînement, donc sans coût de collecte de données ni de fine-tuning. La spécificité des ablations renforce la crédibilité du mécanisme. Des réserves s'imposent toutefois : les résultats proviennent d'un benchmark, avec des tâches vraisemblablement simulées, sans preuve de déploiement réel, et l'écart avec les approches plus complexes reste à vérifier hors de RoboMME.

Ce travail s'inscrit dans la montée des modèles généralistes gelés, de type VLA, qui excellent en réactivité mais restent faibles sur les tâches à longue portée dépendant du passé. Les approches concurrentes se répartissent entre conservation brute de trames, compression de contexte visuel et mémoires apprises de bout en bout, toutes exposées au même défaut : ne pas capter l'état implicite. SimpleARM adopte une orientation « agentique », où des outils spécialisés remplissent l'état plutôt que la politique elle-même. Les suites logiques seraient des tests sur robot physique, d'autres benchmarks de mémoire et une comparaison avec des politiques entraînées avec mémoire native. Le preprint n'annonce ni code, ni pilote, ni calendrier, et n'a pas encore été évalué par des pairs.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

RoboMME : évaluation et compréhension de la mémoire pour les politiques robotiques généralistes

Une équipe de chercheurs a publié RoboMME (Robotic Multi-Memory Evaluation), un benchmark standardisé à grande échelle destiné à évaluer les modèles VLA (vision-language-action) sur des tâches de manipulation robotique nécessitant de la mémoire à long horizon. Le benchmark comprend 16 tâches construites selon une taxonomie en quatre catégories : mémoire temporelle, spatiale, des objets et procédurale, couvrant des scénarios comme le comptage d'actions répétées ou la manipulation d'objets temporairement occultés. Les auteurs ont également développé 14 variantes de VLA augmentées de mémoire, toutes bâties sur le backbone pi0.5 de Physical Intelligence, et les ont évaluées selon différentes stratégies d'intégration mémorielle. L'absence d'un cadre d'évaluation standardisé était jusqu'ici un frein majeur pour la recherche sur la mémoire dans les VLA généralistes : chaque équipe testait ses mécanismes dans des conditions ad hoc, rendant toute comparaison rigoureuse impossible. RoboMME comble ce vide en permettant, pour la première fois, de mesurer systématiquement comment différentes représentations mémorielles (états cachés récurrents, mémoire externe, fenêtre de contexte longue) se comportent sur un spectre de tâches hétérogènes. La conclusion principale est nuancée : l'efficacité d'une architecture mémoire est fortement dépendante de la tâche, chaque approche présentant des avantages distincts selon la catégorie, ce qui remet en cause l'idée qu'une solution universelle serait à portée à court terme. Pour les intégrateurs et les décideurs B2B, cela signifie concrètement que le choix du mécanisme mémoriel devra rester spécifique au cas d'usage, sans recette générique applicable. Ce benchmark s'inscrit dans la montée en puissance des VLA généralistes, portés par des modèles comme pi0 et pi0.5 de Physical Intelligence (levée de 400 millions de dollars en 2024), OpenVLA, Octo ou RoboVLMs, qui cherchent tous à transférer les capacités des grands modèles de langage à la manipulation physique. D'autres benchmarks comme LIBERO, RoboSuite ou MetaWorld couvrent déjà l'évaluation générale des VLA, mais RoboMME se distingue par son focus explicite sur la mémoire à long horizon, un aspect jusqu'ici systématiquement sous-évalué dans ces environnements. Les prochaines étapes probables incluent l'adoption de RoboMME comme référence communautaire dans les pipelines d'évaluation des grands labs robotiques, et le développement d'architectures mémoire capables de généraliser entre catégories de tâches sans sacrifier les performances spécialisées.

RechercheActu

1 source

2arXiv cs.RO

You Don't Restez Pas dans la Boucle : une Boucle Robotique à Base d'Agents pour Améliorer les Politiques Robotiques

Un article de recherche publié sur arXiv (arXiv:2608.07555v1, intitulé "You Don't Need To Stay in The Loop: An Agentic Robotics Loop for Robot-Policy Improvement") présente AgenticRobotics, une architecture de contrôle indépendante du backend pour automatiser l'amélioration des politiques robotiques. Le système transpose à la robotique l'architecture des agents de codage type Claude Code ou Codex, où un agent principal pilote la boucle pendant que des sous-agents exécutent les tâches via des outils. Ici, un contrôleur LLM dirige des workers jetables à travers des transactions entraîner-évaluer-améliorer, avec cinq briques: un objectif immuable, une mesure détenue par le contrôleur, une récupération après crash indexée par commit, une bibliothèque de compétences graduée par preuves, et un registre d'outils à surface d'appel standardisée et enregistrée. Sur la lignée testée par les auteurs, le taux de fausse promotion tombe à 0,001 par run en version durcie contre 0,005 à 0,021 en version de base, les décisions restent valides à tout moment sous arrêt optionnel, aucun effet n'est perdu ou dupliqué sous injection de pannes, et un vérificateur signé détecte les six classes de falsification d'artefacts testées. Le point de départ est que les outils robotiques (politiques entraînées, pipelines d'entraînement, collecte de données) échouent régulièrement, contrairement aux outils logiciels des agents de codage: AgenticRobotics mesure donc et enregistre la qualité de chaque outil à chaque appel, et l'expire dès que l'artefact sous-jacent change. Les auteurs précisent que le titre est une revendication opérationnelle et non une revendication de performance: l'opérateur humain peut quitter la boucle parce que la promotion des candidats est conditionnée à des preuves et que l'état du système est récupérable, pas parce que la boucle sélectionne de meilleurs checkpoints qu'un humain. Sur la lignée testée, ce n'est d'ailleurs pas le cas. Pour les intégrateurs et responsables R&D en robotique, l'intérêt n'est donc pas un gain de performance des politiques mais une réduction mesurable du risque opérationnel lors de cycles d'amélioration continue à grande échelle, une distinction utile face aux discours qui assimilent automatisation de la supervision et automatisation de la décision de qualité. Le travail prolonge explicitement les architectures d'agents de codage popularisées par Claude Code (Anthropic) et Codex (OpenAI), adaptées ici au contexte des politiques robotiques apprenantes, où les pipelines d'entraînement produisent des artefacts instables et coûteux à valider. En présentant AgenticRobotics comme un plan de contrôle indépendant du backend, les auteurs visent une architecture générique plutôt que liée à un fournisseur ou une pile logicielle unique. L'article ne mentionne ni déploiement industriel ni partenariat commercial: il s'agit d'une contribution de recherche évaluée sur une seule lignée expérimentale de politique, ce qui limite pour l'instant la portée des résultats. Les suites logiques, non détaillées dans cette publication, porteraient sur l'extension à davantage de lignées de politiques et de backends robotiques afin de confirmer la généralité des garanties de sécurité et de traçabilité mises en avant.

RecherchePaper

1 source

3arXiv cs.RO

AURA : une mémoire à déclenchement par action pour les politiques robotiques à VRAM constante

Des chercheurs ont publié sur arXiv (référence 2606.02775) une architecture mémoire baptisée AURA-Mem (Action-Utility Recurrent Adaptive Memory), conçue pour réduire drastiquement l'empreinte mémoire des politiques robotiques exécutées sur matériel embarqué. Le principe est simple : envelopper un backbone Vision-Language-Action (VLA) gelé avec une mémoire récurrente de taille fixe, pilotée par une porte apprise qui n'écrit en mémoire que lorsque l'observation courante modifierait l'action suivante. L'état d'inférence reste constant à 4 224 octets, quelle que soit la durée de l'épisode, là où un KV-cache standard atteint 6 061 fois cette taille après 100 000 pas. Sur le benchmark synthétique contrôlé, AURA-Mem produit entre 5,19 et 6,13 fois moins d'écritures que la meilleure baseline O(1), avec un pic à 9,19 fois moins sur les configurations plus faciles. Sur OpenVLA-OFT 7B évalué en boucle fermée sur LIBERO-Long (60 épisodes par bras), le taux de succès reste stable à 0,233, identique à la politique de base non gatée, et légèrement supérieur au bras KV always-write (0,217), tout en divisant par 7 le nombre d'écritures effectives. L'enjeu industriel est direct : les robots mobiles et les manipulateurs déployés en conditions réelles tournent sur hardware edge à mémoire haute bande passante limitée, avec une flash dont l'endurance en écriture est finie. Dans ce régime, c'est l'écriture mémoire, et non la puissance de calcul, qui devient le goulot d'étranglement. AURA-Mem démontre que le signal d'action-surprise, c'est-à-dire écrire uniquement quand l'observation changerait le comportement, est la clé du gain: les plannings d'écriture aléatoires ou périodiques à budget équivalent ne reproduisent pas les mêmes performances, ce qui isole clairement l'apport de la sélectivité apprise. C'est une réponse concrète au problème du déploiement longue durée des VLA sur robots réels, où la gestion de l'état de contexte est souvent traitée par des heuristiques peu robustes. AURA-Mem s'inscrit dans une vague de travaux visant à rendre les grands modèles VLA viables hors datacenter. OpenVLA, développé à Stanford et Embodied Intelligence, est l'un des modèles VLA open-source les plus utilisés en robotique de manipulation; la variante OFT (fine-tuning orienté action) à 7 milliards de paramètres est aujourd'hui un standard de facto pour les évaluations comparatives. La contribution reste pour l'instant une preuve de concept académique: les auteurs signalent eux-mêmes que la borne théorique sur la valeur de l'état d'information approximée est vacuante à cette échelle, et ne constitue pas encore une garantie formelle. Les travaux compétiteurs dans l'espace mémoire des VLA incluent les approches à fenêtre glissante, les mémoires épisodiques par reconstruction, et les architectures Mamba/SSM; AURA-Mem se distingue en ne nécessitant aucune modification du backbone et en ciblant explicitement les contraintes hardware embarquées. Les prochaines étapes naturelles seraient une validation sur robot physique en environnement non contrôlé et une intégration dans des pipelines de déploiement industriels, deux points absents de l'article actuel.

RechercheOpinion

1 source

4arXiv cs.RO

ABot-AgentOS : un système d'exploitation robotique généraliste doté d'une mémoire multimodale à long terme

ABot-AgentOS, un système d'exploitation générique pour agents robotiques, vient d'être détaillé dans un article arXiv (2607.10350v1, juillet 2026). Il se positionne au-dessus des contrôleurs bas niveau existants et ajoute une couche délibérative chargée de la planification conditionnée par la scène, de l'exécution de compétences isolées par contexte, de la vérification multi-étapes, de la mémoire multimodale et de la collaboration edge-cloud. Pour l'évaluer, les auteurs introduisent EmbodiedWorldBench, un benchmark exécutable couvrant 16 scènes intérieures, extérieures et hybrides, quatre niveaux de difficulté et plus de 200 tâches (navigation, recherche d'objets, dialogue avec des PNJ, événements dynamiques), avec un scoring ancré sur les traces d'exécution réelles. Le système repose sur une "Universal Multi-modal Graph Memory", une mémoire persistante qui transforme dialogues, observations visuelles, contexte spatial, relations temporelles et traces de tâches en nœuds et arêtes typés. Une boucle d'auto-amélioration pilotée par les échecs promeut les correctifs générés uniquement vers de futurs jeux d'évaluation, pour éviter toute fuite de vérité terrain. Sur les benchmarks de mémoire, la version statique atteint 87,5 sur LoCoMo, 59,9 sur OpenEQA EM-EQA, 88,6 sur Mem-Gallery et 76,5 (Acc@All) sur NExT-QA ; l'auto-évolution pousse ces scores à 88,7, 60,4 et 89,0 respectivement. L'enjeu dépasse la simple perception ou prédiction d'action déjà couverte par les modèles VLA (Pi-0, GR00T N2, Helix) : il s'agit de doter les robots d'une mémoire persistante et auditable capable de raisonner sur le long terme, un manque identifié comme un frein à l'autonomie réelle en environnement complexe. Pour les intégrateurs, l'intérêt d'une couche OS générique tient à la promesse d'exécution cross-embodiment, potentiellement réutilisable entre plateformes robotiques différentes. Le scoring ancré sur les traces d'exécution répond directement à une critique récurrente du secteur, celle des démonstrations sélectionnées sans validation vérifiable. Il faut toutefois noter que les résultats ne portent que sur un "sous-ensemble initial" d'EmbodiedWorldBench, sans validation indépendante à ce stade. Ce travail s'inscrit dans la suite logique des modèles VLA qui ont résolu une bonne partie de la perception et de la prédiction d'action, mais laissent en jachère la mémoire et le raisonnement à long horizon. Aucun acteur français ou européen n'apparaît dans cette publication, purement académique et publiée en preprint. Les prochaines étapes annoncées consistent à étendre l'évaluation à l'ensemble du benchmark EmbodiedWorldBench, la boucle d'auto-évolution actuelle n'ayant pour l'instant été validée que sur des correctifs de mémoire ciblés et progressivement promus.

RecherchePaper

1 source