Aller au contenu principal
Mémoire intégrée et compétences réutilisables : un cadre centré sur la mémoire pour les modèles vision-langage-action (VLA)Illustration générée par IA
RecherchearXiv cs.RO 

Mémoire intégrée et compétences réutilisables : un cadre centré sur la mémoire pour les modèles vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent Optimus-R, un cadre de type VLA (Vision-Language-Action) centré sur la mémoire, qui traite l'adaptation d'un robot à une nouvelle tâche comme un réglage explicite d'une mémoire requête-compétence, plutôt que comme un réentraînement des paramètres du modèle. Le dispositif repose sur trois briques. Une interface de mémoire « en ligne » insère des tokens de mémoire apprenables dans le flux de préfixe du VLA, ce qui permet au backbone d'extraire des représentations de requête et de compétence liées au contrôle, dans son circuit natif de conditionnement de l'action. Une banque de mémoire requête-compétence externalise ensuite ces compétences : des prototypes de requêtes décident quoi récupérer, des valeurs de compétence précisent comment agir. Enfin, un mécanisme léger « Bridge-and-Adapt » aligne les requêtes et compétences du domaine cible sur l'espace mémoire existant, via un adaptateur et des mises à jour résiduelles. Les auteurs rapportent des expériences en adaptation intra-domaine, inter-domaines et en apprentissage continu. Leur conclusion est un apprentissage de compétences économe en données, avec un oubli catastrophique atténué. Le résumé ne fournit ni taux de réussite, ni nom de robot, ni taille de modèle, ni benchmark. Il s'agit d'un travail de recherche publié sur arXiv, sans produit ni déploiement associé.

L'enjeu est très concret pour qui veut déployer des VLA en production. Aujourd'hui, adapter un modèle généraliste à un nouveau poste, une nouvelle pièce ou un nouvel effecteur passe le plus souvent par du fine-tuning. Celui-ci coûte du calcul et des démonstrations, et il peut dégrader les tâches déjà maîtrisées. Pour un intégrateur qui maintient plusieurs cellules, ce risque de régression oblige à revalider l'existant à chaque mise à jour. Déplacer l'apprentissage vers une mémoire externe, extensible avec peu de paramètres modifiés, irait vers une logique plus modulaire, où l'on ajoute une compétence sans toucher au reste. L'approche reste cependant à démontrer. Faute de chiffres dans le résumé, on ignore l'ampleur du gain, la nature des domaines testés (simulation ou matériel réel) et la façon dont la banque se comporte quand le nombre de compétences croît. L'écart entre résultats de laboratoire et exploitation industrielle reste donc entier.

Ce travail s'inscrit dans un courant de recherche sur l'apprentissage continu pour les politiques robotiques et l'adaptation efficiente en paramètres, déjà exploré par des méthodes de type adaptateurs ou LoRA appliquées aux VLA. Il rejoint aussi l'intérêt croissant pour les mémoires externes et la récupération de compétences dans les modèles de fondation. Les acteurs industriels comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) travaillent sur des modèles généralistes, mais leurs méthodes d'adaptation propres ne sont pas détaillées publiquement dans ce cadre. La suite logique est la publication du code et des détails expérimentaux, puis une comparaison avec ces approches sur des benchmarks communs et sur robot réel. Tant que ces éléments manquent, Optimus-R relève d'une piste de recherche prometteuse et non d'une solution éprouvée.

À lire aussi

NestedVLA : apprendre à consolider et à générer des compétences pour les modèles vision-langage-action (VLA)
Illustration générée par IA
1arXiv cs.RO 

NestedVLA : apprendre à consolider et à générer des compétences pour les modèles vision-langage-action (VLA)

NestedVLA, proposé par le groupe WanyuGroup et soumis à NeurIPS 2026 (preprint arXiv 2610.23271), s'attaque à un problème précis des modèles vision-langage-action (VLA) : consolider des compétences apprises séparément sur des tâches et des plateformes hétérogènes. Plutôt que d'agréger des paramètres, la méthode les génère. Un hypernetwork imbriqué, conditionné par la tâche cible, synthétise les paramètres d'un « action expert » adapté à cette tâche, qui se combine avec un VLA de base gelé. Les résidus du modèle vision-langage, compressés et propres à chaque tâche, sont conservés à part. Sur trois benchmarks d'apprentissage par renforcement (MetaWorld, ManiSkill, CALVIN), les auteurs annoncent un gain moyen de 41 points de pourcentage face à la meilleure méthode de fusion de modèles. Sur ManiSkill, l'écart avec un fine-tuning dédié à chaque tâche tombe à 1 point, et il se réduit nettement sur CALVIN. Le code est publié sur GitHub. L'intérêt tient à la façon dont le problème est posé. Aujourd'hui, les données robotiques sont éclatées entre plateformes, l'entraînement multitâche conjoint souffre d'interférences entre tâches, et la fusion de modèles crée des conflits de paramètres ou exige de modifier l'architecture. Pour un intégrateur qui accumule des compétences par site ou par client, la perspective d'apprendre chaque skill de son côté puis de les consolider après coup, sans réentraîner l'ensemble, est séduisante, d'autant que les auteurs mettent en avant un coût de stockage réduit par rapport à la conservation d'un modèle complet par tâche. Il faut toutefois rester prudent. Les résultats proviennent uniquement de benchmarks simulés, sans validation sur robot réel, et l'écart sur CALVIN n'est pas comblé. Le chiffre de 41 points est mesuré contre le meilleur baseline de fusion, pas contre un entraînement multitâche conjoint. Rien ne dit encore que la méthode tient à l'échelle de VLA de production, ni quel est le surcoût d'inférence lié à la génération des paramètres. Ce travail s'inscrit dans la course aux VLA généralistes, avec des références comme Pi-0, GR00T ou Helix, qui misent surtout sur de grands jeux de données agrégés et un entraînement conjoint. L'approche post hoc par hypernetwork rejoint les recherches sur la fusion de modèles et les adaptateurs légers de type LoRA, qu'elle cherche à dépasser sur le plan des conflits de paramètres. Il s'agit d'un preprint soumis à relecture, sans calendrier de déploiement industriel. Les prochaines étapes à surveiller sont des tests sur robots physiques, des comparaisons avec des VLA de grande taille et la reproduction indépendante des résultats à partir du code publié.

RecherchePaper
1 source
LTM : mémoire en contexte fondée sur les transitions latentes pour les modèles vision-langage-action (VLA)
Illustration générée par IA
2arXiv cs.RO 

LTM : mémoire en contexte fondée sur les transitions latentes pour les modèles vision-langage-action (VLA)

Des chercheurs proposent Latent Transition Memory (LTM), une méthode qui donne une mémoire à court et moyen terme aux modèles vision-langage-action (VLA) en stockant l'historique sous forme de transitions latentes compactes entre observations consécutives. Appliquée à π0.5 sous le nom LTM-π, elle combine un encodeur d'actions latentes gelé, un adaptateur léger et un cache KV causal pour une inférence incrémentale, sans annotations sémantiques propres à la mémoire ni appel à un modèle de raisonnement externe. Avec des transitions issues de DreamDojo, LTM-π atteint 58,54 % de réussite sur le benchmark RoboMME et 80,5 % sur LIBERO-Mem, le meilleur score parmi les méthodes comparables sans raisonneur externe ni annotations dédiées. Multiplier par dix le nombre de démonstrations RoboMME fait passer le taux de 57,67 % à 87,50 %. Avec un budget mémoire plafonné à 200 tokens, il reste à 84,00 %. Sur robot réel, le succès d'une tâche de comptage passe de 11,25 % à 82,50 %. L'intérêt tient à un défaut connu des VLA actuels, qui décident surtout à partir de l'observation courante et échouent dès qu'une tâche dépend d'interactions qui ne sont plus visibles : compter des objets déplacés, suivre un gobelet permuté, reprendre une séquence interrompue. Ici, la mémoire ne s'appuie ni sur des annotations coûteuses ni sur un LLM appelé en parallèle, ce qui limite la latence et la complexité de déploiement, deux critères décisifs pour les intégrateurs. Le résultat sur la compression (84 % contre 87,5 % sans) suggère qu'un contexte borné suffit, condition d'un fonctionnement en continu sur de longues tâches. Il faut toutefois nuancer : le gain le plus spectaculaire, de 11,25 % à 82,50 %, porte sur une seule tâche de comptage en réel, sans indication sur le nombre d'essais ni sur la diversité des scènes. Le test « Cup Swap » montre en outre que la composition temporelle dépend encore d'une supervision du processus, et que la performance suit fortement le volume de données. Ces travaux s'inscrivent dans la course à la mémoire pour les politiques généralistes, où les approches reposent soit sur des modèles de raisonnement externes qui produisent des sous-buts ou des résumés textuels, soit sur des historiques d'images coûteux en tokens. π0.5, de Physical Intelligence, sert de base, et l'usage de transitions de type DreamDojo rapproche la méthode des modèles du monde et des actions latentes. Les benchmarks RoboMME et LIBERO-Mem restent en grande partie simulés, et la validation réelle est pour l'instant limitée. Les suites probables sont des tests sur des tâches plus longues et plus variées, une comparaison directe avec les mémoires à raisonnement explicite, et l'intégration à d'autres VLA. Rien n'indique à ce stade un calendrier de déploiement industriel.

RecherchePaper
1 source
UniMem : mémoire et contrôle multimodaux unifiés pour les modèles vision-langage-action
Illustration générée par IA
3arXiv cs.RO 

UniMem : mémoire et contrôle multimodaux unifiés pour les modèles vision-langage-action

UniMem, un framework qui unifie mémoire multimodale de haut niveau et contrôle bas niveau dans une seule architecture pour les modèles Vision-Language-Action (VLA), est décrit dans une preprint arXiv publiée fin aout 2026 (arXiv:2608.22869v1). Le système combine trois composants: un classificateur d'événements qui déclenche les mises a jour mémoire, un encodeur de keyframes pour construire une mémoire spatiale dense, et une technique de mise en cache des keyframes destinée a limiter la surcharge de calcul pendant l'exécution des politiques. Les auteurs ont teste UniMem sur neuf taches au total, cinq en simulation et quatre sur matériel physique, toutes conçues pour solliciter la mémoire séquentielle et spatiale du robot. Les résultats annonces montrent un taux de réussite de 93,4% contre 68,2% pour une base de référence a échantillonnage d'images a intervalles fixes en simulation, et 80,0% contre 43,5% face a une architecture hiérarchique classique sur matériel réel, avec en prime une inférence plus rapide. Ce travail cible un point de friction reconnu dans le déploiement de VLA sur des taches longues et non markoviennes, celles ou l'action a prendre dépend d'événements passes et pas seulement de l'observation courante. Les approches existantes ajoutent généralement un second modèle vision-langage charge de gérer la mémoire long terme en amont du VLA, ce qui créé un goulot d'étranglement et un pipeline d'entrainement fragmente en deux étapes distinctes. Conditionner le modèle sur plusieurs images historiques choisies a intervalles arbitraires dégradé aussi souvent la performance. En proposant un backbone unique entrainable de bout en bout, UniMem promet une adoption plus simple pour les intégrateurs et laboratoires qui construisent des politiques robotiques a long horizon, sans empiler des modules de mémoire externes couteux en latence. Le problème de la mémoire dans les VLA s'inscrit dans la même trajectoire de recherche que des systèmes généralistes comme Pi-0, GR00T N2 ou Helix, qui ont déjà démontre la capacité des architectures VLA a généraliser sur des taches manipulatoires variées mais restent généralement limites a des comportements réactifs de courte durée. UniMem se positionne explicitement contre les architectures hiérarchiques a deux modèles, qu'il compare directement dans ses benchmarks matériels, avec seulement quatre taches physiques testées et des chiffres qui restent auto-rapportes par les auteurs. Le site du projet (losterberg3.github.io/unimem-vla) met a disposition les démonstrations vidéo associées; aucun calendrier de mise en open source du code ni partenariat industriel n'est communique a ce stade, le travail restant au niveau de la publication de recherche.

RechercheActu
1 source
StateMem : mémoire résiduelle à état unique et inférence adaptative pour les modèles vision-langage-action
Illustration générée par IA
4arXiv cs.RO 

StateMem : mémoire résiduelle à état unique et inférence adaptative pour les modèles vision-langage-action

Publié le 22 septembre 2026 sur arXiv sous la référence 2609.22684, StateMem est un nouveau framework de mémoire pour les politiques vision-langage-action (VLA) utilisées en manipulation robotique. Plutôt que de s'appuyer sur des banques de mémoire externes comme celles de MemoryVLA, il maintient un unique token de mémoire persistant mis à jour par résidus de faible rang et route de façon adaptative les préfixes mis en cache, avec un contrôleur sans entraînement ajustant le seuil en ligne et une correction rapide compensant la dérive des données en cache. Sur le benchmark LIBERO, StateMem atteint 97,6% de réussite moyenne tout en réduisant de 20,25% la fréquence de rafraîchissement complet du préfixe du modèle vision-langage. Sur RoboMemArena, catégorie Occlusion, il devance les autres méthodes VLA isolées avec 21,8% de taux de succès par tâche et 44,3% de taux de succès cumulé, et gagne 21 points de réussite moyenne sur six tâches de manipulation réelle. L'enjeu est concret pour l'industrie: la manipulation robotique dépendante de la mémoire, où une action tardive doit exploiter une information vue plus tôt, comme un objet temporairement caché, reste un point faible des VLA qui ne regardent que l'observation courante. En évitant le stockage et la récupération explicites d'une mémoire externe, StateMem allège le pipeline d'inférence et réduit le calcul redondant, un critère décisif pour la latence et le coût de calcul embarqué en déploiement temps réel. Les gains en environnement d'occlusion sont particulièrement significatifs car ils ciblent l'écart entre démonstrations de laboratoire et conditions réelles d'usine ou d'entrepôt, où l'occlusion visuelle est fréquente. Le travail s'inscrit dans la lignée des politiques VLA qui cherchent à dépasser la réaction à l'instant présent pour intégrer un raisonnement temporel, en se positionnant comme alternative plus légère aux architectures à mémoire externe explicite telles que MemoryVLA. Les auteurs valident leur approche sur trois terrains complémentaires, la suite standardisée LIBERO, le benchmark récent RoboMemArena axé sur mémoire et occlusion, et des tâches réelles sur robot physique, limitant le risque de sur-optimisation à un seul environnement simulé. Déposé en pré-publication sans mention de licence commerciale ni de partenariat industriel, StateMem reste à ce stade une contribution de recherche dont l'adoption en production dépendra de sa reproduction indépendante.

RechercheActu
1 source