Aller au contenu principal
LT-Mem : une mémoire spatio-temporelle sensible à la volatilité pour la compréhension de scènes à long termeIllustration générée par IA
RecherchearXiv cs.RO 

LT-Mem : une mémoire spatio-temporelle sensible à la volatilité pour la compréhension de scènes à long terme

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche publie sur arXiv, sous la référence 2608.19059v1, LT-Mem, un système de mémoire spatio-temporelle pour robots opérant sur la durée dans des environnements changeants. L'objectif est de résoudre l'amnésie temporelle : les cartographies classiques écrasent l'historique pour rester à jour, ou stockent des instantanés sémantiques sans identité d'objet stable d'une session à l'autre, empêchant par exemple de savoir où est passée une chaise verte au fil des visites. Le système combine un module SLAM multi-sessions alignant spatialement les observations par objet, un score de preuve déterministe préservant l'identité inter-sessions, et une politique de volatilité choisissant entre écraser, conserver ou garder plusieurs hypothèses, organisée en trois couches Live, Delta et Meta. Les auteurs publient aussi LT-VQA, un jeu de données et protocole d'évaluation dédié ; LT-Mem y dépasse les méthodes de référence sur toutes les métriques tout en consommant dix fois moins de jetons, un gain attribué à l'architecture plutôt qu'à la taille du modèle de langage.

Pour l'écosystème robotique, ce travail s'attaque à un verrou concret des déploiements longue durée : les robots de service ou d'entrepôt en exploitation continue doivent aujourd'hui reconstruire leur compréhension de l'environnement à chaque passage, ou faire grossir indéfiniment le contexte fourni à un modèle de langage. En montrant qu'une mémoire structurée surpasse une simple augmentation de la taille du modèle, l'étude nuance l'idée reçue selon laquelle élargir la fenêtre de contexte d'un modèle vision-langage-action suffirait à obtenir une mémoire persistante fiable, un point qui parle directement aux intégrateurs dont les flottes doivent revisiter les mêmes lieux sur la durée.

LT-Mem se positionne contre deux familles de systèmes existants : les cartographies SLAM classiques qui écrasent l'état précédent, et les mémoires sémantiques par instantanés qui perdent le fil de l'identité des objets. L'article, classé comme nouvelle soumission sur arXiv, ne précise ni la plateforme robotique testée ni le laboratoire porteur du projet, ce qui limite l'appréciation de sa transférabilité à un déploiement industriel réel. La publication conjointe du benchmark LT-VQA suggère une volonté d'en faire une référence partagée pour la communauté travaillant sur la compréhension de scène à long terme, un terrain que recoupent les efforts autour de modèles vision-langage-action comme Pi-0 ou GR00T N2.

À lire aussi

Mémoire épisodique gaussienne pour le raisonnement spatio-temporel à long terme
Illustration générée par IA
1arXiv cs.RO 

Mémoire épisodique gaussienne pour le raisonnement spatio-temporel à long terme

GEMS (Gaussian Episodic Memory for Spatiotemporal reasoning) est un framework de mémoire pour robots, décrit dans un preprint arXiv (2610.33158v1). Il associe une carte persistante 3D Gaussian Splatting (3DGS) à un pipeline de raisonnement agentique. La carte est reconstruite une seule fois, puis mise à jour uniquement dans les zones où la scène change, et seules ces modifications sont stockées, ce qui préserve le détail visuel dans le temps. Le pipeline agentique exploite cette carte pour générer des vues inédites à la demande, accumule des indices de façon itérative, répond à des questions spatio-temporelles et localise des objets à partir de requêtes en langage naturel. Les auteurs publient aussi GEMS-Bench, un benchmark de questions-réponses spatio-temporelles pour environnements semi-statiques : 3 environnements réels, 12 synthétiques et 473 paires question-réponse. L'évaluation couvre la qualité de synthèse de vues entre mises à jour, le grounding d'objets 3D, la réponse aux questions spatio-temporelles et l'efficacité de stockage. Selon les auteurs, GEMS dépasse les méthodes de référence récentes en grounding 3D et en question-réponse, avec une qualité de rendu comparable aux méthodes dédiées à la mise à jour de scènes. L'enjeu touche un point faible des robots de service et de logistique : les environnements réels changent en continu, par petites touches (un objet déplacé, une palette remplacée, un meuble réorganisé), sans être totalement dynamiques. Les mémoires existantes se heurtent à deux limites. Les représentations structurées, comme les graphes de scène, ne connaissent que les entités et attributs prévus à leur construction. Les mémoires à base d'images ne peuvent reconstituer que les points de vue déjà observés. Rendre des vues nouvelles à la demande lève la seconde limite et permet à un agent de « revenir regarder » un endroit sous un angle jamais capturé, à un instant passé. Pour un intégrateur, la mise à jour différentielle compte aussi : stocker seulement les changements limite l'empreinte mémoire d'un robot qui opère des mois dans le même site. Il faut toutefois rester prudent : c'est un travail de recherche, sans déploiement ni test sur robot en production. Le benchmark est modeste (473 questions, 3 scènes réelles seulement), et la tenue du système sur de grands sites, avec des changements fréquents et un éclairage variable, reste à démontrer. Ce travail s'inscrit dans la montée du 3DGS comme alternative aux nuages de points et aux NeRF pour la cartographie robotique, et dans l'essor des agents fondés sur des modèles vision-langage qui interrogent une mémoire plutôt que de tout garder en contexte. Il se place face aux approches de mémoire sémantique à base de graphes de scène et aux mémoires épisodiques d'images, ainsi qu'aux méthodes de mise à jour de scènes 3DGS, avec lesquelles les auteurs revendiquent une qualité de rendu équivalente. Le code et les données sont annoncés en accès public sur la page du projet, ce qui permettra à d'autres équipes de reproduire les résultats. La suite logique serait une validation sur robot mobile en conditions réelles et sur des durées longues, seule à même de mesurer le coût de calcul, la latence du rendu à la demande et la robustesse du suivi de pose.

RecherchePaper
1 source
DGSG-Mind : graphes de scène gaussiens 3D dynamiques pour la compréhension et l'ancrage de scènes à long terme
Illustration générée par IA
2arXiv cs.RO 

DGSG-Mind : graphes de scène gaussiens 3D dynamiques pour la compréhension et l'ancrage de scènes à long terme

Des chercheurs de l'ICR Lab présentent DGSG-Mind (arXiv:2605.29879, mai 2026), un système de représentation de scènes 3D dynamiques combinant cartes de Gaussiennes 3D explicites et grille de voxels probabiliste pour permettre à un robot de comprendre et de raisonner sur son environnement sur le long terme. L'architecture fusionne deux niveaux de représentation : les Gaussiennes 3D assurent un ancrage spatial fin des instances d'objets avec suivi incrémental, tandis que la grille voxel gère la fusion cross-modale et la réinitialisation visuelle lorsqu'un objet est déplacé ou occlus. Sur cette carte d'instances, le système construit un graphe de scène hiérarchique, puis y greffe un agent de raisonnement multimodal baptisé "3D Gaussian Mind" qui intègre relations structurelles, informations spatio-sémantiques et rendus annotés des régions d'intérêt. Les expériences reportent les meilleures performances zero-shot en 3D Visual Grounding (3DVG) parmi les méthodes opérant sur des cartes auto-reconstruites, avec des résultats compétitifs en segmentation sémantique open-vocabulary et en reconstruction de scènes. Le système a été déployé sur des robots réels pour valider les capacités de mise à jour dynamique, bien que l'article ne précise pas le matériel ni les conditions exactes des essais terrain. L'enjeu central est la robustesse à long terme : la majorité des systèmes de compréhension de scènes 3D supposent un environnement statique ou s'appuient sur une géométrie ground-truth fournie hors ligne, ce qui les rend inutilisables pour une manipulation robotique en conditions réelles où les objets bougent. DGSG-Mind traite explicitement les changements topologiques au niveau objet via un mécanisme de relocalisation visuelle gaussienne et de raffinement masqué guidé par cohérence géométrique-sémantique. La composante open-vocabulary est particulièrement pertinente pour les intégrateurs : elle signifie qu'un opérateur peut interroger le robot en langage naturel ("prends la bouteille rouge à gauche du moniteur") sans ré-entraînement ni labeling préalable. La performance zero-shot sur cartes auto-reconstruites, par opposition aux benchmarks avec géométrie parfaite, est un indicateur plus honnête de la viabilité réelle du système. Le contexte technique s'inscrit dans la vague post-3DGS (3D Gaussian Splatting, Kerbl et al., 2023) qui a largement supplanté les approches NeRF pour la reconstruction temps réel. Les graphes de scènes pour la robotique sont un axe de recherche actif, avec des travaux concurrents comme ConceptGraphs, OpenMask3D ou SceneGraphFusion, dont aucun ne résout à la fois l'association d'instances robuste et les mises à jour dynamiques incrémentales. DGSG-Mind reste un preprint de recherche, non un produit expédié : le gap entre benchmark académique et déploiement industriel fiable demeure à évaluer, notamment sur la latence de mise à jour des Gaussiennes en environnement encombré. Les prochaines étapes naturelles concernent l'intégration dans des pipelines de manipulation (tâches pick-and-place longues durée) et le couplage avec des modèles VLA comme Pi-0 ou GR00T N2.

RecherchePaper
1 source
Persistance des connaissances spatio-temporelles : un graphe pour la mémoire de scène des robots dans les questions-réponses
Illustration générée par IA
3arXiv cs.RO 

Persistance des connaissances spatio-temporelles : un graphe pour la mémoire de scène des robots dans les questions-réponses

Des chercheurs publient VL-KnG, un framework open, sans entraînement supplémentaire ("training-free"), qui construit des graphes de connaissances spatio-temporels à partir de vidéo égocentrique monoculaire pour répondre à des questions embarquées (embodied question answering). Le système traite la vidéo par blocs (chunks) et maintient l'identité persistante des objets grâce à une association spatio-temporelle pilotée par un grand modèle de langage, baptisée STOA. Les réponses sont générées via une méthode nommée Graph-Enhanced Retrieval (GER), qui combine récupération de sous-graphes et ancrage visuel. Le framework a été évalué sur trois bancs d'essai : OpenEQA, NaVQA, et un nouveau benchmark introduit par les auteurs, WalkieKnowledge. Les auteurs annoncent une précision compétitive face aux VLM (vision-language models) de pointe, une latence de requête nettement plus faible, et un raisonnement explicable car ancré dans le graphe. Une démonstration sur robot réel est mentionnée, montrant une latence stable même quand l'historique d'observation s'allonge. Il s'agit de la troisième version (v3) d'un article déjà publié sur arXiv, donc d'un travail académique révisé, pas d'un produit commercial. L'intérêt principal ici n'est pas robotique au sens matériel, mais architectural : les VLM actuels n'ont pas de mémoire persistante, donc chaque nouvelle question oblige à retraiter toutes les frames vidéo échantillonnées, ce qui rend le coût de calcul proportionnel à la longueur de la vidéo. En découplant la latence de requête de la durée d'observation, VL-KnG répond directement à un vrai goulot d'étranglement pour les agents embarqués qui doivent accumuler de l'expérience sur de longues sessions, un problème central pour tout robot ou assistant devant raisonner sur des heures d'historique plutôt que sur un clip court. Si les chiffres de latence et de précision se confirment en dehors des bancs d'essai propriétaires des auteurs, cela offre une alternative crédible aux approches de reconstruction 3D lourdes, sans nécessiter cette reconstruction. Le papier s'inscrit dans une lignée de travaux sur la mémoire de scène persistante pour l'IA embarquée, en concurrence directe avec les approches de VLM "frontière" et les baselines à représentation persistante existantes, qu'il dit surpasser sur plusieurs configurations. Aucun acteur français ou européen n'est cité dans ce travail. Les prochaines étapes attendues concernent la généralisation à des environnements plus larges et l'intégration comme substrat mémoire pour des agents robotiques devant mettre à jour leurs connaissances en continu.

RecherchePaper
1 source
eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée
Illustration générée par IA
4arXiv cs.RO 

eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée

Une équipe de recherche a déposé sur arXiv (arXiv:2606.03374, juin 2026) un système de mémoire baptisé eMEM (Embodied Memory), conçu spécifiquement pour les agents incarnés opérant dans des environnements physiques. Contrairement aux architectures existantes comme Generative Agents, MemGPT ou A-MEM, qui stockent la mémoire sous forme de flux textuels ou de graphes de connaissances, eMEM propose une architecture multi-index combinant SQLite pour le stockage structuré, hnswlib pour la recherche sémantique par voisins les plus proches (ANN), et un R-tree pour les requêtes spatiales, le tout unifié derrière un modèle de graphe unique. Un pipeline de consolidation par niveaux transforme les observations perceptuelles brutes en résumés compressés, en s'inspirant explicitement de la consolidation hippocampo-néocorticale observée chez les mammifères. Dix outils de rappel, exposés en natif au LLM, couvrent des primitives comme la résolution concept-vers-localisation ou le rappel inter-couches. Le système tourne entièrement en mémoire vive, en co-processus avec l'agent. Sur eMEM-Bench v1, un benchmark construit sur les scènes ProcTHOR-10K autour de huit paradigmes de psychologie cognitive (leurres DRM, séparation de patterns, complétion de patterns, surveillance de source, récupération dépendante du contexte, interférence à long horizon, position sérielle, courbe de rétention augmentée par des distracteurs), eMEM atteint un score pondéré moyen de 80,8 sur 988 sondes, avec une courbe de rétention plate au plafond de 1 heure à 1 an de délai simulé sur des objets uniques par pièce. Ce résultat est significatif parce qu'il isole deux problèmes structurels des approches purement RAG : une baseline flat_rag perd 30 points sur la récupération dépendante du contexte et 29 points sur le rejet des leurres DRM, ce qui valide respectivement la contribution du stockage multi-couches et du pipeline de consolidation. Pour les intégrateurs qui déploient des agents dans des environnements industriels ou domestiques complexes, cela met en évidence un angle mort majeur : un robot ou un agent LLM utilisant une récupération sémantique plate ne peut pas distinguer "le tiroir où j'ai vu les pinces hier dans cette pièce" de "les pinces en général". L'indexation spatiale couplée à la consolidation temporelle est ce qui permet à eMEM de maintenir des performances constantes sur de longues fenêtres simulées, là où les systèmes actuels dégradent. Le choix de benchmarker sur des paradigmes issus de la psychologie cognitive humaine est méthodologiquement solide : il rend les résultats comparables à la littérature sur la mémoire biologique, ce que des benchmarks surfaciques comme LoCoMo ou OpenEQA ne permettent pas. eMEM s'inscrit dans une vague de travaux sur la mémoire à long terme pour agents LLM, portée notamment par Generative Agents (Park et al., 2023) et MemGPT (Packer et al., 2023), qui ont posé les bases mais restent aveugles à la dimension spatiale, critique pour les robots physiques. L'environnement ProcTHOR-10K offre des scènes intérieures procédurales variées, mais les performances en transfert vers des environnements réels restent entièrement à démontrer : le sim-to-real gap s'applique autant aux systèmes de mémoire qu'aux politiques motrices. Le code du système et du benchmark est rendu public, ouvrant la voie à des évaluations indépendantes. Aucun partenariat industriel ni déploiement terrain n'est mentionné : c'est une contribution académique, pas un produit. Les étapes suivantes naturelles seraient de valider eMEM sur des plateformes embarquées à mémoire contrainte et de tester sa robustesse dans des scènes dynamiques où les objets se déplacent entre deux requêtes.

RecherchePaper
1 source