Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Mimir : un système de mémoire neuro-symbolique à ancrage dynamique pour agents incarnés en environnements interactifs
RecherchearXiv cs.RO 

Mimir : un système de mémoire neuro-symbolique à ancrage dynamique pour agents incarnés en environnements interactifs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (4 août 2026) Mimir, un système de mémoire neuro-symbolique pour agents incarnés évoluant sous observabilité partielle. L'architecture sépare une mémoire du monde (emplacements et états des objets, preuves perceptuelles) d'une mémoire de tâche (agenda d'objectifs, progression, état de la main de l'agent, échecs, contraintes), qu'un module d'ancrage relie dynamiquement avant chaque planification. Testé sur plusieurs backbones via les benchmarks EB-ALFRED et EB-Habitat, Mimir obtient des gains allant jusqu'à 42,5% (moyenne de 23,0%) et améliore de 8,5% le taux de réussite moyen face aux meilleurs systèmes antérieurs évalués sur le même backbone. Sur le sous-ensemble de tâches longues d'EB-Habitat, il atteint 86,0% de réussite, devant les modèles propriétaires actuels.

Le problème ciblé est connu : un historique plat ou un état de politique implicite ne dit pas explicitement quels faits du monde soutiennent l'objectif en cours, ce qui fragilise la planification sur des tâches longues. En séparant "ce que l'agent sait du monde" de "où il en est dans sa tâche", et en ancrant l'un dans l'autre à chaque étape, Mimir cible la dérive entre perception et progression qui limite les agents domestiques ou robotiques sur des séquences multi-étapes. Dépasser des modèles fermés sur le sous-ensemble long-horizon d'EB-Habitat, benchmark utilisé comme proxy vers la robotique physique, suggère qu'une mémoire explicite et modulaire peut surpasser des politiques bout-en-bout plus opaques.

EB-ALFRED et EB-Habitat dérivent respectivement d'ALFRED (tâches ménagères instruites en langage naturel) et d'Habitat, le simulateur d'intérieurs de Meta AI, tous deux utilisés pour évaluer des agents en observabilité partielle. Mimir s'inscrit dans une lignée récente de travaux sur la mémoire augmentée pour agents LLM, où plusieurs équipes académiques et industrielles combinent raisonnement symbolique et perception neuronale pour étendre l'horizon de planification. Les auteurs comparent leurs résultats aux "meilleurs systèmes d'agents et de mémoire antérieurs" sans les nommer précisément, ce qui limite l'évaluation de l'avance réellement revendiquée. Le code, annoncé "prochainement", n'est pas encore disponible, et aucun test sur robot physique n'est mentionné : tous les résultats proviennent de simulation.

Dans nos dossiers

arXiv cs.RO

À lire aussi

eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée
1arXiv cs.RO 

eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée

Une équipe de recherche a déposé sur arXiv (arXiv:2606.03374, juin 2026) un système de mémoire baptisé eMEM (Embodied Memory), conçu spécifiquement pour les agents incarnés opérant dans des environnements physiques. Contrairement aux architectures existantes comme Generative Agents, MemGPT ou A-MEM, qui stockent la mémoire sous forme de flux textuels ou de graphes de connaissances, eMEM propose une architecture multi-index combinant SQLite pour le stockage structuré, hnswlib pour la recherche sémantique par voisins les plus proches (ANN), et un R-tree pour les requêtes spatiales, le tout unifié derrière un modèle de graphe unique. Un pipeline de consolidation par niveaux transforme les observations perceptuelles brutes en résumés compressés, en s'inspirant explicitement de la consolidation hippocampo-néocorticale observée chez les mammifères. Dix outils de rappel, exposés en natif au LLM, couvrent des primitives comme la résolution concept-vers-localisation ou le rappel inter-couches. Le système tourne entièrement en mémoire vive, en co-processus avec l'agent. Sur eMEM-Bench v1, un benchmark construit sur les scènes ProcTHOR-10K autour de huit paradigmes de psychologie cognitive (leurres DRM, séparation de patterns, complétion de patterns, surveillance de source, récupération dépendante du contexte, interférence à long horizon, position sérielle, courbe de rétention augmentée par des distracteurs), eMEM atteint un score pondéré moyen de 80,8 sur 988 sondes, avec une courbe de rétention plate au plafond de 1 heure à 1 an de délai simulé sur des objets uniques par pièce. Ce résultat est significatif parce qu'il isole deux problèmes structurels des approches purement RAG : une baseline flat_rag perd 30 points sur la récupération dépendante du contexte et 29 points sur le rejet des leurres DRM, ce qui valide respectivement la contribution du stockage multi-couches et du pipeline de consolidation. Pour les intégrateurs qui déploient des agents dans des environnements industriels ou domestiques complexes, cela met en évidence un angle mort majeur : un robot ou un agent LLM utilisant une récupération sémantique plate ne peut pas distinguer "le tiroir où j'ai vu les pinces hier dans cette pièce" de "les pinces en général". L'indexation spatiale couplée à la consolidation temporelle est ce qui permet à eMEM de maintenir des performances constantes sur de longues fenêtres simulées, là où les systèmes actuels dégradent. Le choix de benchmarker sur des paradigmes issus de la psychologie cognitive humaine est méthodologiquement solide : il rend les résultats comparables à la littérature sur la mémoire biologique, ce que des benchmarks surfaciques comme LoCoMo ou OpenEQA ne permettent pas. eMEM s'inscrit dans une vague de travaux sur la mémoire à long terme pour agents LLM, portée notamment par Generative Agents (Park et al., 2023) et MemGPT (Packer et al., 2023), qui ont posé les bases mais restent aveugles à la dimension spatiale, critique pour les robots physiques. L'environnement ProcTHOR-10K offre des scènes intérieures procédurales variées, mais les performances en transfert vers des environnements réels restent entièrement à démontrer : le sim-to-real gap s'applique autant aux systèmes de mémoire qu'aux politiques motrices. Le code du système et du benchmark est rendu public, ouvrant la voie à des évaluations indépendantes. Aucun partenariat industriel ni déploiement terrain n'est mentionné : c'est une contribution académique, pas un produit. Les étapes suivantes naturelles seraient de valider eMEM sur des plateformes embarquées à mémoire contrainte et de tester sa robustesse dans des scènes dynamiques où les objets se déplacent entre deux requêtes.

RecherchePaper
1 source
TypeGo : un runtime système pour agents incarnés
2arXiv cs.RO 

TypeGo : un runtime système pour agents incarnés

TypeGo est un nouveau runtime de type "système d'exploitation" pour agents incarnés, présenté dans un article arXiv (2607.05482v1) publié le 8 juillet 2026. Le prototype a été testé sur Kalos, un quadrupède Unitree Go2, et structure la planification par LLM en boucles asynchrones à plusieurs échelles de temps qui se chevauchent avec l'exécution physique du robot. Son composant central, le Skill Kernel, arbitre des sous-systèmes physiques typés entre plusieurs processus concurrents par tâche, tandis qu'un ordonnanceur peut préempter, reprendre ou remplacer ces processus selon leur source. Le système utilise aussi un mécanisme de "streaming" spéculatif de compétences qui masque la latence du LLM derrière le mouvement en cours, plus un chemin rapide pour la première action garantissant un retour visible en moins d'une seconde. Résultat mesuré sur la suite de tâches des chercheurs: le délai par étape chute de 50% par rapport à une planification pas-à-pas classique, et le délai avant première action baisse de 73% par rapport à une planification monolithique, avec une faible surcharge d'ordonnancement même en cas de tâches concurrentes. L'enjeu dépasse la simple optimisation de latence: TypeGo attaque un problème structurel largement ignoré par les démonstrations actuelles de robots pilotés par LLM, à savoir que traiter un modèle de langage comme un oracle requête/réponse sur le chemin critique de contrôle est incompatible avec le temps réel et la gestion de tâches concurrentes. En empruntant les principes d'un OS classique (gestion de ressources matérielles, préemption, ordonnancement) pour orchestrer un corps robotique, les auteurs proposent une réponse concrète à l'écart persistant entre les capacités de planification des VLA en démonstration et leur fiabilité en exécution réelle, sujet central pour tout intégrateur ou décideur évaluant le déploiement de robots pilotés par IA générative. Ce travail s'inscrit dans la lignée des architectures combinant LLM et contrôle robotique bas niveau, où la latence des modèles de langage reste un goulot d'étranglement majeur face aux exigences de réactivité physique. Il s'agit à ce stade d'un prototype de recherche académique, validé sur une suite de tâches restreinte avec un seul robot quadrupède, et non d'un produit commercialisé ou déployé en flotte. Les auteurs ne précisent pas de calendrier de transfert vers l'industrie, mais posent les bases conceptuelles d'un runtime générique que d'autres plateformes robotiques pourraient reprendre.

RecherchePaper
1 source
Mémoire à long terme pour agents VLA dans l'exécution de tâches en environnement ouvert
3arXiv cs.RO 

Mémoire à long terme pour agents VLA dans l'exécution de tâches en environnement ouvert

Une équipe de chercheurs a publié le 22 avril 2026 sur arXiv (ref. 2504.15671) les résultats de ChemBot, un système robotique conçu pour automatiser des protocoles d'expérimentation chimique complexes en laboratoire. ChemBot repose sur une architecture à deux couches couplant un agent IA planificateur à un modèle Vision-Language-Action (VLA) baptisé Skill-VLA, capable de décomposer hiérarchiquement des tâches longues, typiquement des protocoles multi-étapes, puis de les exécuter sur des robots collaboratifs. Le système intègre une mémoire persistante à double niveau qui archive les trajectoires réussies sous forme d'assets réutilisables, et s'appuie sur un serveur Model Context Protocol (MCP) pour orchestrer les sous-agents et les outils. Un mécanisme d'inférence asynchrone basé sur la prédiction d'états futurs est également implémenté pour réduire les discontinuités de trajectoire, un défaut récurrent des VLA standards. Les expériences rapportées montrent des taux de succès et une précision opérationnelle supérieurs aux baselines VLA existantes sur des scénarios longs et multi-étapes. Ce travail adresse une limite structurelle bien documentée des modèles VLA : leur incapacité à capitaliser sur les expériences passées, ce qui force le système à recommencer par tâtonnements à chaque nouvelle session. En intégrant une mémoire persistante récupérable, ChemBot réduit concrètement le "trial-and-error gap" dans des environnements à longue horizon de planification, un problème critique pour l'automatisation de laboratoire où une erreur en milieu de protocole peut invalider toute une expérience. C'est également une démonstration applicative du sim-to-real dans un domaine non industriel, le laboratoire chimique, traditionnellement peu couvert par les benchmarks robotiques. Pour les intégrateurs B2B dans le pharma ou la recherche chimique, cela constitue un signal concret vers des robots de laboratoire autonomes capables de gérer des workflows non déterministes. Les modèles VLA ont connu une montée en puissance rapide depuis 2023 avec des travaux comme RT-2 (Google DeepMind), OpenVLA et Pi-0 (Physical Intelligence), mais la majorité des déploiements restent limités à des tâches courtes et répétitives. ChemBot se positionne dans le segment émergent des "long-horizon VLA", aux côtés de travaux comme SayCan ou des architectures hiérarchiques de Carnegie Mellon. Aucun déploiement industriel n'est annoncé à ce stade, il s'agit d'une publication académique avec validation sur robots collaboratifs en environnement contrôlé. Les prochaines étapes logiques incluent des tests sur des plateformes comme les robots Universal Robots ou Franka, et une intégration potentielle avec des systèmes LIMS existants dans les laboratoires pharmaceutiques.

RechercheOpinion
1 source
Système d'exploitation de tubes spatiotemporels sous contraintes d'entrée pour la navigation sûre de systèmes Euler-Lagrange inconnus en environnements dynamiques
4arXiv cs.RO 

Système d'exploitation de tubes spatiotemporels sous contraintes d'entrée pour la navigation sûre de systèmes Euler-Lagrange inconnus en environnements dynamiques

Une équipe de chercheurs propose un nouveau cadre de contrôle en temps réel permettant à des robots dont la dynamique est inconnue de naviguer en sécurité dans des environnements changeants, tout en respectant les limites physiques de leurs actionneurs. Publiés sur arXiv (2607.08189v1), ces travaux étendent le cadre des « spatiotemporal tubes » (STT), une technique qui définit des corridors de trajectoires garantissant qu'un système atteint une zone cible, évite les obstacles et s'y maintient dans un temps fini, propriété désignée par les auteurs sous l'acronyme FT-RAS (finite-time reach-avoid-stay). La nouveauté consiste à intégrer explicitement les contraintes d'entrée, c'est-à-dire la puissance ou le couple maximal disponible sur les actionneurs, directement dans la conception du contrôleur, avec des conditions de faisabilité vérifiables hors ligne. L'approche a été validée par simulation sur trois types de systèmes Euler-Lagrange, un robot mobile, un quadrotor et un engin spatial, ainsi que par des expériences matérielles sur un robot mobile réel. L'enjeu dépasse la démonstration académique. La plupart des méthodes de navigation sûre reposent soit sur un modèle dynamique précis du robot, rarement disponible en conditions réelles, soit sur une optimisation résolue en continu pendant le mouvement, coûteuse en calcul et difficile à certifier en temps réel. En s'affranchissant de ces deux contraintes, ce cadre dit « approximation-free » vise les cas concrets où les robots opèrent dans des environnements dynamiques avec une puissance d'actionnement limitée, un enjeu direct pour les intégrateurs déployant des AMR ou des drones en entrepôt, où sous-estimer les limites moteur peut compromettre les garanties de sécurité formulées en amont. Le papier se positionne comme une extension du cadre STT existant, en réponse à une limite connue des méthodes de contrôle sûr comparables, comme les fonctions barrières de contrôle ou la commande prédictive, qui exigent généralement soit un modèle fiable soit une résolution d'optimisation embarquée. Il s'agit ici d'un résultat de recherche théorique et expérimentale à petite échelle, sans annonce de déploiement industriel ni de partenaire commercial identifié à ce stade.

RecherchePaper
1 source