Aller au contenu principal
NativeMEM : compression native de la mémoire pour la manipulation robotique long horizonIllustration générée par IA
RecherchearXiv cs.RO 

NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent, dans un preprint publié sur arXiv début juillet 2026, NativeMEM, une politique Vision-Language-Action (VLA) dotée d'une mémoire longue durée mise à jour en temps réel. Le cœur du système, baptisé Native Memory Compression, réutilise l'encodeur visuel du VLA lui-même pour compresser chaque image historique de chaque caméra en un unique token, ajouté à la séquence d'entrée du modèle. Cette approche permet au VLA préentraîné d'exploiter un historique long avec un surcoût de latence négligeable, sans planificateur externe ni module mémoire réinitialisé à part. L'entraînement se fait en deux temps : d'abord un tokenizer de mémoire générique, entraîné sous la supervision d'un VLA gelé sur des données exigeantes en mémoire, puis un dégel complet du modèle pour un fine-tuning spécifique à la tâche. Les résultats annoncés sont marqués : le taux de réussite passe de 32,4% à 84,0% en simulation, et grimpe jusqu'à 98,7% sur robots réels, avec une latence d'inférence et une consommation GPU maîtrisées. Le système atteint aussi des performances comparables aux méthodes précédentes en n'utilisant que 20% des données d'entraînement.

L'enjeu adressé est concret pour la manipulation robotique longue horizon, un point dur reconnu du secteur : les VLA préentraînés peinent à retenir un historique visuel étendu à haute fréquence de mise à jour sans sacrifier leur réactivité, et les solutions de gestion mémoire externe existantes limitent soit l'horizon temporel, soit la vitesse de réaction. Que la compression tienne dans l'encodeur visuel déjà présent, sans architecture séparée, va à l'encontre de l'hypothèse répandue qu'une mémoire longue nécessite un module dédié coûteux à entraîner. Le saut de performance observé, notamment sur robots réels et non seulement en simulation, est le signal à surveiller pour les intégrateurs qui cherchent à dépasser les tâches courtes et réactives.

Ce travail s'inscrit dans la vague de recherche actuelle sur les architectures VLA à mémoire pour la manipulation robotique, un axe activement exploré en parallèle des efforts de robots humanoïdes commerciaux. Le papier n'ayant pas encore été relu par les pairs, ses chiffres restent à confirmer par des évaluations indépendantes ; les prochaines étapes attendues concernent la généralisation à davantage de plateformes robotiques et de tâches multi-étapes en conditions réelles.

À lire aussi

Mem4Act : apprendre une mémoire latente efficace pour la manipulation robotique à long horizon
Illustration générée par IA
1arXiv cs.RO 

Mem4Act : apprendre une mémoire latente efficace pour la manipulation robotique à long horizon

Des chercheurs proposent Mem4Act, un cadre d'apprentissage d'une mémoire latente de taille fixe, optimisée pour la manipulation robotique à long horizon. Le travail, publié sur arXiv (2610.22323v1), part d'un constat : les approches existantes conservent soit les observations brutes, soit des tokens visuels compressés, soit des résumés en langage naturel. Les premières exposent la politique d'action à des historiques de plus en plus longs. Les autres risquent de perdre des informations temporelles, sémantiques ou perceptives utiles. Mem4Act s'appuie sur trois mécanismes. Une agrégation temporelle multi-granularité couvre efficacement l'historique. Deux supervisions complémentaires fixent le contenu de la mémoire : des questions-réponses pour l'état de la tâche, et la reconstruction de features DINO sur des images clés pour le détail perceptif.

RecherchePaper
1 source
GaussMemory : mémoire de scène en gaussiennes 3D pilotée par la tâche pour la manipulation robotique à long horizon
Illustration générée par IA
2arXiv cs.RO 

GaussMemory : mémoire de scène en gaussiennes 3D pilotée par la tâche pour la manipulation robotique à long horizon

Un article de recherche publie sur arXiv le 18 aout 2026 (référence 2608.14986v1) présente GaussMemory, un système de mémoire spatiale pour la manipulation robotique a long horizon, construit sur le 3D Gaussian Splatting comme substrat géométrique persistant. A la différence des mémoires 3D existantes, qui enregistrent les observations selon des règles fixes en traitant chaque élément de la scene avec la même importance, GaussMemory apprend de bout en bout quels objets suivre précisément, a quelle fréquence les mettre a jour et quoi oublier.

RechercheActu
1 source
Grana : modélisation compositionnelle de la récompense pour la manipulation robotique à long horizon
Illustration générée par IA
3arXiv cs.RO 

Grana : modélisation compositionnelle de la récompense pour la manipulation robotique à long horizon

Des chercheurs publient sur arXiv (v1, novembre 2026) Grana, un modèle de récompense vision-langage conçu pour évaluer la progression de robots sur des tâches de manipulation longues. Le modèle est conditionné par des descriptions de sous-tâches en vocabulaire ouvert : il identifie la sous-tâche encore inachevée, estime sa progression continue, puis la combine avec le crédit accordé aux sous-tâches déjà accomplies pour calculer une progression globale. Il est pré-entraîné sur 200 tâches de manipulation variées, majoritairement courtes, puis adapté à cinq tâches longues de plusieurs minutes. Les auteurs annoncent une prédiction de récompense zero-shot sur des tâches inédites, une meilleure estimation de la progression après adaptation, et de meilleures performances des politiques entraînées en aval.

RecherchePaper
1 source
RM-WAM : modèles d'action du monde à mémoire augmentée et fiables pour la manipulation robotique à long horizon
Illustration générée par IA
4arXiv cs.RO 

RM-WAM : modèles d'action du monde à mémoire augmentée et fiables pour la manipulation robotique à long horizon

Des chercheurs proposent RM-WAM, un « World Action Model » (WAM) à mémoire augmentée, décrit dans un préprint arXiv (2610.15305, v2). Les WAM prédisent conjointement les états visuels futurs et les actions du robot, mais la plupart décident à partir de la seule observation courante. Pour contourner cette limite, RM-WAM combine deux mémoires complémentaires. La première est une mémoire d'état visuel à court terme, qui capte la dynamique récente de l'interaction. La seconde est une mémoire d'événements latents, qui encode les transitions d'état sur un horizon plus long. Un schéma d'apprentissage contrefactuel fait varier l'historique accessible tout en gardant fixes les entrées courantes et les cibles de prédiction.

RecherchePaper
1 source