RecherchearXiv cs.RO 16 octobre 2026

Mem4Act : apprendre une mémoire latente efficace pour la manipulation robotique à long horizon

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent Mem4Act, un cadre d'apprentissage d'une mémoire latente de taille fixe, optimisée pour la manipulation robotique à long horizon. Le travail, publié sur arXiv (2610.22323v1), part d'un constat : les approches existantes conservent soit les observations brutes, soit des tokens visuels compressés, soit des résumés en langage naturel. Les premières exposent la politique d'action à des historiques de plus en plus longs. Les autres risquent de perdre des informations temporelles, sémantiques ou perceptives utiles. Mem4Act s'appuie sur trois mécanismes. Une agrégation temporelle multi-granularité couvre efficacement l'historique. Deux supervisions complémentaires fixent le contenu de la mémoire : des questions-réponses pour l'état de la tâche, et la reconstruction de features DINO sur des images clés pour le détail perceptif. Enfin, un entraînement en deux étapes « mémoire d'abord » pousse la politique à s'appuyer réellement sur cette mémoire. Les taux de succès annoncés sont de 49,88 % sur RoboMME, 61,0 % sur RMBench et 81,5 % sur quatre tâches réelles, des résultats que les auteurs présentent comme l'état de l'art sur le contrôle dépendant de la mémoire.

L'enjeu est concret pour les intégrateurs. Les politiques VLA actuelles décident surtout à partir de l'observation courante ou d'une courte fenêtre. Elles échouent donc dès qu'une tâche exige de se souvenir de ce qui a été fait ou vu plusieurs étapes plus tôt, comme un objet déplacé, un compteur d'actions ou un élément désormais caché. Une mémoire de taille bornée garde le coût d'inférence constant quelle que soit la durée de l'épisode, une contrainte décisive pour un déploiement embarqué. Les chiffres appellent toutefois de la prudence. Un score de 49,88 % sur RoboMME montre que ces benchmarks restent loin d'être résolus. Les 81,5 % sur quatre tâches réelles reposent sur un échantillon étroit, sans précision publique sur le matériel, le nombre d'essais ou la variabilité des scènes. L'écart entre benchmark et atelier reste donc à documenter. Les ablations indiquent que l'agrégation temporelle, la supervision complémentaire et l'entraînement mémoire d'abord contribuent chacun aux gains, ce qui suggère que le simple allongement du contexte ne suffit pas.

Ce travail s'inscrit dans un champ de recherche qui s'est structuré autour de la mémoire pour les politiques robotiques. Il y a d'abord la conservation d'images passées ou de tokens compressés, puis les résumés en langage utilisés par des agents à base de modèles de langage. Les benchmarks dédiés comme RoboMME et RMBench servent désormais à comparer ces approches. Mem4Act se positionne face à ces deux familles en proposant une représentation apprise de bout en bout. L'article ne fournit pas de calendrier de déploiement ni de partenaire industriel. Il s'agit d'une préversion de recherche, sans produit ni pilote annoncé. La suite à surveiller : une validation sur davantage de plateformes et de tâches longues, une évaluation face aux grands modèles VLA du marché, et la publication éventuelle du code et des poids, qui permettrait une reproduction indépendante.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon

Des chercheurs présentent, dans un preprint publié sur arXiv début juillet 2026, NativeMEM, une politique Vision-Language-Action (VLA) dotée d'une mémoire longue durée mise à jour en temps réel. Le cœur du système, baptisé Native Memory Compression, réutilise l'encodeur visuel du VLA lui-même pour compresser chaque image historique de chaque caméra en un unique token, ajouté à la séquence d'entrée du modèle. Cette approche permet au VLA préentraîné d'exploiter un historique long avec un surcoût de latence négligeable, sans planificateur externe ni module mémoire réinitialisé à part. L'entraînement se fait en deux temps : d'abord un tokenizer de mémoire générique, entraîné sous la supervision d'un VLA gelé sur des données exigeantes en mémoire, puis un dégel complet du modèle pour un fine-tuning spécifique à la tâche. Les résultats annoncés sont marqués : le taux de réussite passe de 32,4% à 84,0% en simulation, et grimpe jusqu'à 98,7% sur robots réels, avec une latence d'inférence et une consommation GPU maîtrisées. Le système atteint aussi des performances comparables aux méthodes précédentes en n'utilisant que 20% des données d'entraînement. L'enjeu adressé est concret pour la manipulation robotique longue horizon, un point dur reconnu du secteur : les VLA préentraînés peinent à retenir un historique visuel étendu à haute fréquence de mise à jour sans sacrifier leur réactivité, et les solutions de gestion mémoire externe existantes limitent soit l'horizon temporel, soit la vitesse de réaction. Que la compression tienne dans l'encodeur visuel déjà présent, sans architecture séparée, va à l'encontre de l'hypothèse répandue qu'une mémoire longue nécessite un module dédié coûteux à entraîner. Le saut de performance observé, notamment sur robots réels et non seulement en simulation, est le signal à surveiller pour les intégrateurs qui cherchent à dépasser les tâches courtes et réactives. Ce travail s'inscrit dans la vague de recherche actuelle sur les architectures VLA à mémoire pour la manipulation robotique, un axe activement exploré en parallèle des efforts de robots humanoïdes commerciaux. Le papier n'ayant pas encore été relu par les pairs, ses chiffres restent à confirmer par des évaluations indépendantes ; les prochaines étapes attendues concernent la généralisation à davantage de plateformes robotiques et de tâches multi-étapes en conditions réelles.

RechercheActu

1 source

2arXiv cs.RO

RM-WAM : modèles d'action du monde à mémoire augmentée et fiables pour la manipulation robotique à long horizon

Des chercheurs proposent RM-WAM, un « World Action Model » (WAM) à mémoire augmentée, décrit dans un préprint arXiv (2610.15305, v2). Les WAM prédisent conjointement les états visuels futurs et les actions du robot, mais la plupart décident à partir de la seule observation courante. Pour contourner cette limite, RM-WAM combine deux mémoires complémentaires. La première est une mémoire d'état visuel à court terme, qui capte la dynamique récente de l'interaction. La seconde est une mémoire d'événements latents, qui encode les transitions d'état sur un horizon plus long. Un schéma d'apprentissage contrefactuel fait varier l'historique accessible tout en gardant fixes les entrées courantes et les cibles de prédiction. Le modèle apprend ainsi à estimer l'utilité de la mémoire selon le contexte. Un mécanisme de « gating » sensible à cette utilité décide ensuite, au cas par cas, quelle part de l'historique injecter dans le backbone qui prédit monde et actions. Le résumé ne donne aucun chiffre (taux de succès, tâches, robots, jeux de données), et il faut donc attendre le texte complet pour juger de l'ampleur des gains. L'enjeu touche à un point faible connu des politiques de manipulation, la fiabilité sur les tâches longues. Dans un assemblage ou un kitting multi-étapes, deux scènes visuellement identiques peuvent correspondre à des étapes différentes de la tâche. Une politique sans mémoire hésite alors ou répète une action déjà faite. L'approche naïve consiste à empiler les observations passées, mais les auteurs soulignent qu'elle peut injecter des informations périmées, désalignées avec l'étape en cours ou contaminées par des erreurs. Ces défauts faussent la prédiction du monde et font s'accumuler les erreurs en boucle fermée. Leur thèse est que la mémoire doit être traitée comme une ressource prédictive sélective, pas comme un contexte toujours bénéfique. Pour les intégrateurs, cela rappelle que la robustesse en production dépend moins de la taille du contexte que de la qualité de sa sélection. Il faut toutefois rester prudent : sans benchmarks publiés dans le résumé, rien ne dit que la méthode fonctionne sur du matériel réel ni qu'elle surpasse nettement les bases de comparaison. Ces travaux s'inscrivent dans la montée des modèles du monde appliqués à la robotique. Ceux-ci prolongent les politiques vision-langage-action (VLA) de type Pi-0 ou GR00T en y ajoutant la prédiction vidéo du futur. Le problème de la mémoire longue reste ouvert pour toute cette famille, et plusieurs équipes testent des fenêtres d'historique, des tokens de mémoire ou des représentations d'événements. RM-WAM se distingue par son estimation d'utilité apprise par contrefactuel, au lieu d'une mémoire appliquée uniformément. Il s'agit d'une publication académique, sans produit ni déploiement annoncé. Sa valeur dépendra de la reproduction des résultats, de la publication éventuelle du code et de tests sur des tâches longues réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

T$^2$Mem : apprendre une mémoire au moment du test pour la robotique

Des chercheurs présentent sur arXiv T²Mem, un cadre qui donne une mémoire à une politique vision-langage-action (VLA) pré-entraînée qui n'en avait pas. La méthode repose sur l'entraînement au moment du test (test-time training). Le système ne retraite pas tout l'historique à chaque décision. Il encode les observations passées dans des « poids rapides » compacts, mis à jour en ligne par apprentissage auto-supervisé. Une interface ancrée dans les observations extrait l'information vision-langage qui alimente la mémoire, puis renvoie le contexte récupéré à l'action expert de la politique. L'entraînement alterne entre mémoire et politique, chacune restant figée pendant l'optimisation de l'autre. Sur les 16 tâches du benchmark RoboMME, le taux de succès moyen passe de 17,93 % à 56,83 % par rapport à la politique de base. T²Mem dépasse aussi les méthodes à mémoire récurrente rapportées dans ce benchmark. Les auteurs annoncent une inférence au moins trois fois plus rapide que les méthodes explicites, mesurée par profilage contrôlé. Ce travail s'attaque à une faiblesse structurelle des VLA. Ils décident surtout à partir de l'observation courante, alors que de nombreuses tâches de manipulation dépendent d'informations qui ne sont plus visibles, comme un objet masqué ou une étape déjà exécutée. Point notable : la mémoire est apprise à partir des seules démonstrations d'actions, sans modèle de raisonnement externe ni annotations dédiées. Cela réduit le coût de données et la complexité d'intégration. Le gain de latence compte pour les boucles de contrôle temps réel. Plusieurs réserves s'imposent. Il s'agit d'un préprint évalué sur benchmark, et le résumé ne mentionne ni validation sur robot physique ni déploiement. L'accélération est mesurée par les auteurs eux-mêmes. Enfin, 56,83 % de réussite moyenne reste loin d'une fiabilité industrielle. Le contexte est celui de politiques généralistes qui ont progressé en dextérité mais restent largement sans état. Les approches de mémoire existantes reposent sur des historiques explicites, des modules de raisonnement externes ou des mémoires récurrentes, d'où la comparaison menée ici avec ces dernières. Le résumé ne nomme pas la politique de base utilisée, ce qui limite pour l'instant la lecture de la portée du gain. Un site projet est annoncé. Les prochaines étapes à surveiller sont la reproduction sur d'autres politiques de base, les essais sur robots réels et une éventuelle reprise du principe dans les modèles de fondation robotiques commerciaux.

RecherchePaper

1 source

4arXiv cs.RO

GaussMemory : mémoire de scène en gaussiennes 3D pilotée par la tâche pour la manipulation robotique à long horizon

Un article de recherche publie sur arXiv le 18 aout 2026 (référence 2608.14986v1) présente GaussMemory, un système de mémoire spatiale pour la manipulation robotique a long horizon, construit sur le 3D Gaussian Splatting comme substrat géométrique persistant. A la différence des mémoires 3D existantes, qui enregistrent les observations selon des règles fixes en traitant chaque élément de la scene avec la même importance, GaussMemory apprend de bout en bout quels objets suivre précisément, a quelle fréquence les mettre a jour et quoi oublier. Sur les bancs d'essai LIBERO et VLABench, il depasse le système MemoryVLA sur les taches Goal et Long-10, et surpasse le modèle π0-FAST de 5,2 points sur la piste 1 et de 6,0 points sur la piste 6. Le problème vise est bien connu du secteur: les architectures vision-langage-action mémorisent généralement l'environnement de façon passive, sans distinguer ce qui compte pour la tache en cours, ce qui dégradé les performances des que les séquences de manipulation s'allongent. En unifiant mise a jour et lecture de la mémoire dans un seul mécanisme appris plutôt que des heuristiques écrites a la main, GaussMemory s'inscrit dans une tendance de fond visant a faire passer les VLA de démonstrations courtes en laboratoire vers des taches multi-étapes plus proches des besoins industriels réels. Pour les intégrateurs qui évaluent des piles VLA, des gains chiffres sur des benchmarks standardises comme LIBERO et VLABench offrent un point de comparaison plus solide qu'une simple vidéo de démonstration. Le travail se positionne explicitement face a deux références du domaine, MemoryVLA et π0-FAST, ce dernier dérivé du modèle π0 de Physical Intelligence, citées comme bases de comparaison directes plutôt que comme simples antécédents. Il s'inscrit dans la lignée des travaux sur le 3D Gaussian Splatting, technique de représentation de scènes issue de la vision par ordinateur, de plus en plus réutilisée comme mémoire de travail pour des agents robotiques. A ce stade, il s'agit d'une publication de recherche évaluée uniquement en simulation, sans déploiement matériel annonce ni partenaire industriel cite, et sans calendrier donne pour un transfert vers des robots physiques, ce qui distingue clairement cette contribution d'une annonce produit ou d'un pilote commercial.

RechercheActu

1 source