Aller au contenu principal
RecherchearXiv cs.RO 

LT-Mem : une mémoire spatio-temporelle sensible à la volatilité pour la compréhension de scènes à long terme

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv, sous la référence 2608.19059v1, LT-Mem, un système de mémoire spatio-temporelle pour robots opérant sur la durée dans des environnements changeants. L'objectif est de résoudre l'amnésie temporelle : les cartographies classiques écrasent l'historique pour rester à jour, ou stockent des instantanés sémantiques sans identité d'objet stable d'une session à l'autre, empêchant par exemple de savoir où est passée une chaise verte au fil des visites. Le système combine un module SLAM multi-sessions alignant spatialement les observations par objet, un score de preuve déterministe préservant l'identité inter-sessions, et une politique de volatilité choisissant entre écraser, conserver ou garder plusieurs hypothèses, organisée en trois couches Live, Delta et Meta. Les auteurs publient aussi LT-VQA, un jeu de données et protocole d'évaluation dédié ; LT-Mem y dépasse les méthodes de référence sur toutes les métriques tout en consommant dix fois moins de jetons, un gain attribué à l'architecture plutôt qu'à la taille du modèle de langage.

Pour l'écosystème robotique, ce travail s'attaque à un verrou concret des déploiements longue durée : les robots de service ou d'entrepôt en exploitation continue doivent aujourd'hui reconstruire leur compréhension de l'environnement à chaque passage, ou faire grossir indéfiniment le contexte fourni à un modèle de langage. En montrant qu'une mémoire structurée surpasse une simple augmentation de la taille du modèle, l'étude nuance l'idée reçue selon laquelle élargir la fenêtre de contexte d'un modèle vision-langage-action suffirait à obtenir une mémoire persistante fiable, un point qui parle directement aux intégrateurs dont les flottes doivent revisiter les mêmes lieux sur la durée.

LT-Mem se positionne contre deux familles de systèmes existants : les cartographies SLAM classiques qui écrasent l'état précédent, et les mémoires sémantiques par instantanés qui perdent le fil de l'identité des objets. L'article, classé comme nouvelle soumission sur arXiv, ne précise ni la plateforme robotique testée ni le laboratoire porteur du projet, ce qui limite l'appréciation de sa transférabilité à un déploiement industriel réel. La publication conjointe du benchmark LT-VQA suggère une volonté d'en faire une référence partagée pour la communauté travaillant sur la compréhension de scène à long terme, un terrain que recoupent les efforts autour de modèles vision-langage-action comme Pi-0 ou GR00T N2.

À lire aussi

DGSG-Mind : graphes de scène gaussiens 3D dynamiques pour la compréhension et l'ancrage de scènes à long terme
1arXiv cs.RO 

DGSG-Mind : graphes de scène gaussiens 3D dynamiques pour la compréhension et l'ancrage de scènes à long terme

Des chercheurs de l'ICR Lab présentent DGSG-Mind (arXiv:2605.29879, mai 2026), un système de représentation de scènes 3D dynamiques combinant cartes de Gaussiennes 3D explicites et grille de voxels probabiliste pour permettre à un robot de comprendre et de raisonner sur son environnement sur le long terme. L'architecture fusionne deux niveaux de représentation : les Gaussiennes 3D assurent un ancrage spatial fin des instances d'objets avec suivi incrémental, tandis que la grille voxel gère la fusion cross-modale et la réinitialisation visuelle lorsqu'un objet est déplacé ou occlus. Sur cette carte d'instances, le système construit un graphe de scène hiérarchique, puis y greffe un agent de raisonnement multimodal baptisé "3D Gaussian Mind" qui intègre relations structurelles, informations spatio-sémantiques et rendus annotés des régions d'intérêt. Les expériences reportent les meilleures performances zero-shot en 3D Visual Grounding (3DVG) parmi les méthodes opérant sur des cartes auto-reconstruites, avec des résultats compétitifs en segmentation sémantique open-vocabulary et en reconstruction de scènes. Le système a été déployé sur des robots réels pour valider les capacités de mise à jour dynamique, bien que l'article ne précise pas le matériel ni les conditions exactes des essais terrain. L'enjeu central est la robustesse à long terme : la majorité des systèmes de compréhension de scènes 3D supposent un environnement statique ou s'appuient sur une géométrie ground-truth fournie hors ligne, ce qui les rend inutilisables pour une manipulation robotique en conditions réelles où les objets bougent. DGSG-Mind traite explicitement les changements topologiques au niveau objet via un mécanisme de relocalisation visuelle gaussienne et de raffinement masqué guidé par cohérence géométrique-sémantique. La composante open-vocabulary est particulièrement pertinente pour les intégrateurs : elle signifie qu'un opérateur peut interroger le robot en langage naturel ("prends la bouteille rouge à gauche du moniteur") sans ré-entraînement ni labeling préalable. La performance zero-shot sur cartes auto-reconstruites, par opposition aux benchmarks avec géométrie parfaite, est un indicateur plus honnête de la viabilité réelle du système. Le contexte technique s'inscrit dans la vague post-3DGS (3D Gaussian Splatting, Kerbl et al., 2023) qui a largement supplanté les approches NeRF pour la reconstruction temps réel. Les graphes de scènes pour la robotique sont un axe de recherche actif, avec des travaux concurrents comme ConceptGraphs, OpenMask3D ou SceneGraphFusion, dont aucun ne résout à la fois l'association d'instances robuste et les mises à jour dynamiques incrémentales. DGSG-Mind reste un preprint de recherche, non un produit expédié : le gap entre benchmark académique et déploiement industriel fiable demeure à évaluer, notamment sur la latence de mise à jour des Gaussiennes en environnement encombré. Les prochaines étapes naturelles concernent l'intégration dans des pipelines de manipulation (tâches pick-and-place longues durée) et le couplage avec des modèles VLA comme Pi-0 ou GR00T N2.

RecherchePaper
1 source
Persistance des connaissances spatio-temporelles : un graphe pour la mémoire de scène des robots dans les questions-réponses
2arXiv cs.RO 

Persistance des connaissances spatio-temporelles : un graphe pour la mémoire de scène des robots dans les questions-réponses

Des chercheurs publient VL-KnG, un framework open, sans entraînement supplémentaire ("training-free"), qui construit des graphes de connaissances spatio-temporels à partir de vidéo égocentrique monoculaire pour répondre à des questions embarquées (embodied question answering). Le système traite la vidéo par blocs (chunks) et maintient l'identité persistante des objets grâce à une association spatio-temporelle pilotée par un grand modèle de langage, baptisée STOA. Les réponses sont générées via une méthode nommée Graph-Enhanced Retrieval (GER), qui combine récupération de sous-graphes et ancrage visuel. Le framework a été évalué sur trois bancs d'essai : OpenEQA, NaVQA, et un nouveau benchmark introduit par les auteurs, WalkieKnowledge. Les auteurs annoncent une précision compétitive face aux VLM (vision-language models) de pointe, une latence de requête nettement plus faible, et un raisonnement explicable car ancré dans le graphe. Une démonstration sur robot réel est mentionnée, montrant une latence stable même quand l'historique d'observation s'allonge. Il s'agit de la troisième version (v3) d'un article déjà publié sur arXiv, donc d'un travail académique révisé, pas d'un produit commercial. L'intérêt principal ici n'est pas robotique au sens matériel, mais architectural : les VLM actuels n'ont pas de mémoire persistante, donc chaque nouvelle question oblige à retraiter toutes les frames vidéo échantillonnées, ce qui rend le coût de calcul proportionnel à la longueur de la vidéo. En découplant la latence de requête de la durée d'observation, VL-KnG répond directement à un vrai goulot d'étranglement pour les agents embarqués qui doivent accumuler de l'expérience sur de longues sessions, un problème central pour tout robot ou assistant devant raisonner sur des heures d'historique plutôt que sur un clip court. Si les chiffres de latence et de précision se confirment en dehors des bancs d'essai propriétaires des auteurs, cela offre une alternative crédible aux approches de reconstruction 3D lourdes, sans nécessiter cette reconstruction. Le papier s'inscrit dans une lignée de travaux sur la mémoire de scène persistante pour l'IA embarquée, en concurrence directe avec les approches de VLM "frontière" et les baselines à représentation persistante existantes, qu'il dit surpasser sur plusieurs configurations. Aucun acteur français ou européen n'est cité dans ce travail. Les prochaines étapes attendues concernent la généralisation à des environnements plus larges et l'intégration comme substrat mémoire pour des agents robotiques devant mettre à jour leurs connaissances en continu.

RecherchePaper
1 source
eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée
3arXiv cs.RO 

eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée

Une équipe de recherche a déposé sur arXiv (arXiv:2606.03374, juin 2026) un système de mémoire baptisé eMEM (Embodied Memory), conçu spécifiquement pour les agents incarnés opérant dans des environnements physiques. Contrairement aux architectures existantes comme Generative Agents, MemGPT ou A-MEM, qui stockent la mémoire sous forme de flux textuels ou de graphes de connaissances, eMEM propose une architecture multi-index combinant SQLite pour le stockage structuré, hnswlib pour la recherche sémantique par voisins les plus proches (ANN), et un R-tree pour les requêtes spatiales, le tout unifié derrière un modèle de graphe unique. Un pipeline de consolidation par niveaux transforme les observations perceptuelles brutes en résumés compressés, en s'inspirant explicitement de la consolidation hippocampo-néocorticale observée chez les mammifères. Dix outils de rappel, exposés en natif au LLM, couvrent des primitives comme la résolution concept-vers-localisation ou le rappel inter-couches. Le système tourne entièrement en mémoire vive, en co-processus avec l'agent. Sur eMEM-Bench v1, un benchmark construit sur les scènes ProcTHOR-10K autour de huit paradigmes de psychologie cognitive (leurres DRM, séparation de patterns, complétion de patterns, surveillance de source, récupération dépendante du contexte, interférence à long horizon, position sérielle, courbe de rétention augmentée par des distracteurs), eMEM atteint un score pondéré moyen de 80,8 sur 988 sondes, avec une courbe de rétention plate au plafond de 1 heure à 1 an de délai simulé sur des objets uniques par pièce. Ce résultat est significatif parce qu'il isole deux problèmes structurels des approches purement RAG : une baseline flat_rag perd 30 points sur la récupération dépendante du contexte et 29 points sur le rejet des leurres DRM, ce qui valide respectivement la contribution du stockage multi-couches et du pipeline de consolidation. Pour les intégrateurs qui déploient des agents dans des environnements industriels ou domestiques complexes, cela met en évidence un angle mort majeur : un robot ou un agent LLM utilisant une récupération sémantique plate ne peut pas distinguer "le tiroir où j'ai vu les pinces hier dans cette pièce" de "les pinces en général". L'indexation spatiale couplée à la consolidation temporelle est ce qui permet à eMEM de maintenir des performances constantes sur de longues fenêtres simulées, là où les systèmes actuels dégradent. Le choix de benchmarker sur des paradigmes issus de la psychologie cognitive humaine est méthodologiquement solide : il rend les résultats comparables à la littérature sur la mémoire biologique, ce que des benchmarks surfaciques comme LoCoMo ou OpenEQA ne permettent pas. eMEM s'inscrit dans une vague de travaux sur la mémoire à long terme pour agents LLM, portée notamment par Generative Agents (Park et al., 2023) et MemGPT (Packer et al., 2023), qui ont posé les bases mais restent aveugles à la dimension spatiale, critique pour les robots physiques. L'environnement ProcTHOR-10K offre des scènes intérieures procédurales variées, mais les performances en transfert vers des environnements réels restent entièrement à démontrer : le sim-to-real gap s'applique autant aux systèmes de mémoire qu'aux politiques motrices. Le code du système et du benchmark est rendu public, ouvrant la voie à des évaluations indépendantes. Aucun partenariat industriel ni déploiement terrain n'est mentionné : c'est une contribution académique, pas un produit. Les étapes suivantes naturelles seraient de valider eMEM sur des plateformes embarquées à mémoire contrainte et de tester sa robustesse dans des scènes dynamiques où les objets se déplacent entre deux requêtes.

RecherchePaper
1 source
Extension de la mémoire à court terme des politiques visuomotrices pour les tâches à long horizon
4arXiv cs.RO 

Extension de la mémoire à court terme des politiques visuomotrices pour les tâches à long horizon

Des chercheurs ont soumis le 16 juin 2026 sur arXiv (2606.16178) une architecture transformer nommée PRISM, conçue pour doter les politiques visuomotrices entraînées par imitation learning d'une mémoire à court terme effective. Le système combine deux mécanismes : une attention filtrée (gated attention) qui supprime les corrélations parasites entre l'historique sensoriel et la prédiction d'action, et une architecture hiérarchique qui compresse les informations locales en tokens compacts pour capturer des dépendances temporelles étendues. PRISM maintient ainsi une mémoire opérationnelle sur environ deux minutes. Ses performances : 5 à 12 % de gains absolus sur les baselines les plus solides, et 11 à 15 % de mieux que sa variante sans mémoire sur RoboCasa et LIBERO, dépassant des modèles VLA fine-tunés comme GR00T-N1-3B (NVIDIA) et OpenVLA, sans aucun pré-entraînement à grande échelle. Les auteurs publient aussi ReMemBench, un benchmark de huit tâches de manipulation domestique couvrant quatre catégories mémorielles. La quasi-totalité des politiques visuomotrices actuelles n'exploitent que l'entrée sensorielle instantanée, les rendant incapables de gérer des tâches impliquant des objets temporairement occultés ou des actions à déclencher après un délai défini. PRISM démontre qu'une architecture mémoire soigneusement conçue peut surpasser des VLA massivement pré-entraînés, remettant en question l'hypothèse dominante selon laquelle la taille du corpus de pré-entraînement prime sur les choix architecturaux. Pour les intégrateurs et les décideurs industriels, ce résultat ouvre la voie à des politiques de manipulation longue séquence plus accessibles en calcul. PRISM s'inscrit dans un débat actif entre approches récurrentes (LSTM, Mamba) et architectures transformer pour les politiques de manipulation robotique. Les benchmarks RoboCasa et LIBERO font référence en simulation pour ce type de tâches, et des modèles comme GR00T-N1 de NVIDIA (3B paramètres) ou OpenVLA ont misé sur un pré-entraînement multimodal massif pour y performer. PRISM se positionne comme une alternative architecturale plus légère et sans pré-entraînement. Il faut toutefois souligner que tous les résultats sont obtenus en simulation : aucun transfert sim-to-real ni déploiement physique n'est annoncé, laissant ouverte la question de la robustesse sur robot réel.

RechercheOpinion
1 source