Aller au contenu principal
Se souvenir intelligemment : compresseur d'historique visuel et espace d'expérience hyperbolique pour la mémoire robotiqueIllustration générée par IA
RecherchearXiv cs.RO 

Se souvenir intelligemment : compresseur d'historique visuel et espace d'expérience hyperbolique pour la mémoire robotique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont publié en août 2026 sur arXiv (référence 2608.15269) un module nommé Remember Smarter (RS), une brique plug-and-play qui donne aux politiques robotiques vision-langage-action (VLA) une mémoire compacte pour les tâches longues sans agrandir leur fenêtre de contexte. Sa branche visuelle compresse l'historique de patches multi-vues via des réseaux Mamba spatial et temporel, puis l'injecte par cross-attention résiduelle dans les états cachés liés à l'action, sans toucher au flux de tokens visuels du modèle vision-langage. Sa branche "expérience" stocke dans un espace hyperbolique de Poincaré les états du VLM issus des épisodes réussis, les organise hiérarchiquement et les réinjecte en tokens de prompt géodésiques de manière asynchrone, sans ralentir l'inférence. Appliqué au modèle Pi-0, RS fait passer le taux de réussite total sur le benchmark LIBERO-Plus de 53,6% à 70,6%, avec des gains également rapportés lors d'expériences complémentaires sur robot réel.

Ce résultat cible un goulot d'étranglement connu des VLA à grande échelle : allonger l'horizon d'une tâche oblige souvent à choisir entre oublier le contexte récent, au prix de la précision, ou étendre la fenêtre de contexte, au prix du calcul et de la latence. En séparant une mémoire courte réutilisable d'une mémoire longue d'expérience, sans alourdir le flux principal du modèle vision-langage, RS vise un gain de fiabilité sans surcoût d'inférence, un compromis clé pour qui cherche à déployer des VLA à cadence élevée sur du matériel embarqué. Le saut de près de 17 points sur LIBERO-Plus, un benchmark conçu pour stresser la généralisation des politiques robotiques, suggère que la mémoire à long terme reste un frein réel à la fiabilité des VLA plutôt qu'un simple détail d'ingénierie, même si ces résultats restent pour l'instant valides en simulation et sur un nombre limité d'essais en robot réel, sans déploiement industriel annoncé.

Ce travail s'inscrit dans une vague de recherches visant à doter les VLA d'une mémoire structurée, alors que des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI ont déjà prouvé la viabilité de l'architecture vision-langage-action tout en butant sur les tâches longues et répétitives typiques de l'usine ou de l'entrepôt. Le recours aux réseaux Mamba, une architecture séquentielle moins coûteuse que les transformers sur le temporel long, et à un espace hyperbolique de Poincaré pour organiser l'expérience passée, reflète des tendances récentes en représentation hiérarchique. Le choix de Pi-0 comme base d'évaluation positionne RS comme un module complémentaire plutôt que concurrent des grands modèles de fondation robotique existants. À ce stade, il s'agit d'une publication de recherche et non d'un produit livré ni d'un pilote industriel : aucune feuille de route commerciale ni partenariat avec un fabricant de robots n'est mentionné.

À lire aussi

Se souvenir de ses actions : mémoire de l'historique d'actions et débruitage à double expert pour les politiques VLA à long horizon
Illustration générée par IA
1arXiv cs.RO 

Se souvenir de ses actions : mémoire de l'historique d'actions et débruitage à double expert pour les politiques VLA à long horizon

Des chercheurs proposent ActMem-VLA, une architecture qui ajoute une mémoire de l'historique des actions à un modèle vision-langage-action (VLA) déjà entraîné, sans le ré-entraîner. Le système greffe sur une politique de base figée (fine-tunée puis gelée) un plugin composé d'un module mémoire basé sur Mamba, un modèle à espace d'états, et d'un expert léger baptisé PreAction Expert (PAE). Mamba encode les actions déjà exécutées, et cette mémoire conditionne le PAE avec le contexte courant. Pendant les premières étapes de débruitage, à fort bruit, le PAE oriente la progression de la tâche. Il transmet ensuite l'action partiellement débruitée à l'Action Expert (AE) figé, qui affine les détails sur les étapes restantes à faible bruit. Seuls Mamba et le PAE sont optimisés. Sur le benchmark LIBERO-Mem, ActMem-VLA atteint 80,8 % de réussite moyenne sur les dix tâches, contre 65,2 % pour π0.5 et 49,5 % pour MemoryVLA, pour seulement 3,45 % de paramètres supplémentaires. Sur quatre tâches réelles, le gain moyen sur π0.5 est de 28,8 %. L'article ne précise pas s'il s'agit de points de pourcentage ou d'un gain relatif. L'enjeu est le « perceptual aliasing » : à deux étapes différentes d'une tâche longue, l'observation et l'état du robot peuvent être quasi identiques, alors que l'action correcte diffère. Sans accès à l'historique, la politique hésite ou répète une étape déjà faite. Le résultat compte pour les intégrateurs, car la mémoire est ici un module ajouté à un VLA existant, sans repartir d'un entraînement complet. Un modèle de base validé en production pourrait ainsi gagner en fiabilité sur les séquences longues (assemblage multi-étapes, kitting, tri) pour un surcoût de calcul modeste. Le score de 80,8 % montre aussi qu'il reste près d'une tentative sur cinq en échec. LIBERO-Mem est de plus un benchmark de simulation conçu pour tester la mémoire, et l'évaluation réelle ne porte que sur quatre tâches, sans détail public dans le résumé sur le nombre d'essais. Le travail s'inscrit dans une série de méthodes qui injectent des indices temporels ou de progression dans les VLA, par conditionnement de features, modification de l'a priori d'action ou guidage de l'échantillonnage. MemoryVLA, comparé ici, fait partie de cette famille. Le coût de ces approches, qui entraînent conjointement la mémoire et le VLA de base, motive la séparation choisie par les auteurs entre pilotage conditionné par l'historique et raffinement par la politique figée. Le point de comparaison principal reste π0.5 de Physical Intelligence. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs. Aucun déploiement industriel ni code n'est mentionné dans le résumé, et les prochaines étapes probables sont une validation sur d'autres bases VLA et sur des tâches réelles plus longues.

RecherchePaper
1 source
HyperDCM : rejeu dynamique de mémoire par clusters en espace hyperbolique pour la navigation robotique continue à travers différentes scènes
Illustration générée par IA
2arXiv cs.RO 

HyperDCM : rejeu dynamique de mémoire par clusters en espace hyperbolique pour la navigation robotique continue à travers différentes scènes

Des chercheurs proposent HyperDCM (Hyperbolic Dynamic Cluster Memory), un mécanisme de mémoire destiné à la navigation robotique en apprentissage continu, décrit dans une prépublication arXiv (2607.16267v1) parue fin juillet 2026. Le système s'attache à résoudre l'oubli catastrophique, ce phénomène par lequel un robot perd sa capacité à naviguer dans des environnements déjà appris lorsqu'il en découvre de nouveaux. HyperDCM combine plusieurs briques : des modèles de vision-langage extraient des triplets sémantiques (objets, relations spatiales) à partir d'images RGB, un réseau de convolution sur graphes relationnels (R-GCN) encode ces scènes sous forme de graphes, puis ces représentations sont projetées dans un espace hyperbolique plutôt qu'euclidien pour mieux préserver la structure hiérarchique des scènes. Une stratégie de clustering dynamique sélectionne ensuite les exemples les plus représentatifs à rejouer en mémoire, plutôt que de stocker l'ensemble des trajectoires passées. Le tout s'intègre à des politiques de navigation par diffusion, testées sur des jeux de données multi-scènes en intérieur et en extérieur, où HyperDCM affiche une meilleure rétention des compétences acquises et une meilleure généralisation que les méthodes de continual learning de référence adaptées à ce cadre. Pour l'industrie robotique, ce type de travail répond à un vrai point de friction commercial : un robot mobile ou humanoïde déployé sur plusieurs sites clients doit s'adapter à chaque nouvel entrepôt ou bâtiment sans effacer ses acquis précédents, faute de quoi chaque déploiement nécessite un réentraînement coûteux. Une mémoire structurée et compacte, capable de conserver l'essentiel sans stocker toutes les données brutes, va dans le sens d'une navigation véritablement continue et scalable, un prérequis pour les flottes d'AMR ou de robots humanoïdes opérant chez plusieurs intégrateurs. Le travail s'inscrit dans la lignée des recherches sur les politiques de diffusion appliquées à la navigation et sur l'apprentissage continu en robotique, un domaine où la plupart des méthodes existantes proviennent de la vision par ordinateur classique et s'adaptent mal aux contraintes spatiales de la navigation. À ce stade, HyperDCM reste un résultat de recherche validé sur benchmarks académiques, sans annonce de déploiement industriel ni de partenariat commercial ; la suite logique serait une validation sur des plateformes robotiques réelles et une comparaison directe avec les architectures de mémoire utilisées par les grands modèles VLA du secteur.

RecherchePaper
1 source
NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon
Illustration générée par IA
3arXiv cs.RO 

NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon

Des chercheurs présentent, dans un preprint publié sur arXiv début juillet 2026, NativeMEM, une politique Vision-Language-Action (VLA) dotée d'une mémoire longue durée mise à jour en temps réel. Le cœur du système, baptisé Native Memory Compression, réutilise l'encodeur visuel du VLA lui-même pour compresser chaque image historique de chaque caméra en un unique token, ajouté à la séquence d'entrée du modèle. Cette approche permet au VLA préentraîné d'exploiter un historique long avec un surcoût de latence négligeable, sans planificateur externe ni module mémoire réinitialisé à part. L'entraînement se fait en deux temps : d'abord un tokenizer de mémoire générique, entraîné sous la supervision d'un VLA gelé sur des données exigeantes en mémoire, puis un dégel complet du modèle pour un fine-tuning spécifique à la tâche. Les résultats annoncés sont marqués : le taux de réussite passe de 32,4% à 84,0% en simulation, et grimpe jusqu'à 98,7% sur robots réels, avec une latence d'inférence et une consommation GPU maîtrisées. Le système atteint aussi des performances comparables aux méthodes précédentes en n'utilisant que 20% des données d'entraînement. L'enjeu adressé est concret pour la manipulation robotique longue horizon, un point dur reconnu du secteur : les VLA préentraînés peinent à retenir un historique visuel étendu à haute fréquence de mise à jour sans sacrifier leur réactivité, et les solutions de gestion mémoire externe existantes limitent soit l'horizon temporel, soit la vitesse de réaction. Que la compression tienne dans l'encodeur visuel déjà présent, sans architecture séparée, va à l'encontre de l'hypothèse répandue qu'une mémoire longue nécessite un module dédié coûteux à entraîner. Le saut de performance observé, notamment sur robots réels et non seulement en simulation, est le signal à surveiller pour les intégrateurs qui cherchent à dépasser les tâches courtes et réactives. Ce travail s'inscrit dans la vague de recherche actuelle sur les architectures VLA à mémoire pour la manipulation robotique, un axe activement exploré en parallèle des efforts de robots humanoïdes commerciaux. Le papier n'ayant pas encore été relu par les pairs, ses chiffres restent à confirmer par des évaluations indépendantes ; les prochaines étapes attendues concernent la généralisation à davantage de plateformes robotiques et de tâches multi-étapes en conditions réelles.

RechercheActu
1 source
Apprentissage par l'expérience physique : adaptation dans l'espace de contexte pour la manipulation robotique
Illustration générée par IA
4arXiv cs.RO 

Apprentissage par l'expérience physique : adaptation dans l'espace de contexte pour la manipulation robotique

Des chercheurs proposent LEXP, un cadre logiciel qui permet à un modèle de fondation généraliste de s'améliorer en manipulation robotique à partir de l'expérience physique, sans toucher à ses poids ni à son interface d'action. L'étude, publiée sur arXiv, part d'un constat obtenu sur plusieurs tâches réelles de manipulation: ChatGPT-6-Astra, un modèle de raisonnement généraliste, peut servir de politique de manipulation directement exploitable, avec une manipulation fine et un raisonnement spatial corrects. LEXP associe une planification au niveau de la tâche à un module d'expérience. Celui-ci interprète les traces d'exécution, en tire des leçons assorties de conditions d'applicabilité, les conserve, puis les réinjecte sous forme de retours contextuels pour les actions suivantes. Sur 12 tâches réelles, avec 36 essais évalués, LEXP réussit 23 essais (63,9 %), contre 19 (52,8 %) pour une simple mémoire et 2 (5,6 %) pour Astra brut. Sur trois tâches (transfert de pain, tri de déchets et produits de toilette, récupération dans un tiroir), retirer la planification fait passer le succès de 7/9 à 4/9, et retirer l'expérience retenue le ramène à 3/9. L'intérêt tient à la méthode: l'adaptation se fait dans l'espace du contexte, pas dans celui des poids. Pour un intégrateur, cela évite le réentraînement ou le fine-tuning d'une politique VLA (vision-langage-action) pour chaque cellule ou variante de tâche. Le robot accumule des consignes réutilisables d'un épisode à l'autre, par exemple une stratégie d'inspection que les traces montrent réemployée. L'écart entre 5,6 % et 63,9 % suggère qu'un modèle généraliste capable sur le papier échoue souvent faute de retours structurés, et pas seulement faute de capacité brute. Les ablations indiquent aussi que la planification et la mémoire d'expérience contribuent chacune. Les limites sont nettes. Les échantillons sont petits: 36 essais sur 12 tâches, soit trois par tâche, et 9 essais par tâche pour les ablations, ce qui rend les écarts fragiles statistiquement. Un taux de 63,9 % reste loin du seuil industriel, et le papier ne donne pas, dans ce résumé, de temps de cycle, de plateforme matérielle ni de comparaison avec des politiques entraînées comme Pi-0 ou GR00T. Il s'agit d'un résultat de recherche, sans produit ni déploiement. Ce travail s'inscrit dans la tendance des agents à mémoire et des harnais autour de grands modèles, en concurrence avec l'approche dominante des VLA affinés sur données de téléopération. La suite logique sera de valider LEXP sur davantage d'essais, d'autres modèles et des tâches plus longues.

RecherchePaper
1 source