Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

StateMem : mémoire résiduelle à état unique et inférence adaptative pour les modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Publié le 22 septembre 2026 sur arXiv sous la référence 2609.22684, StateMem est un nouveau framework de mémoire pour les politiques vision-langage-action (VLA) utilisées en manipulation robotique. Plutôt que de s'appuyer sur des banques de mémoire externes comme celles de MemoryVLA, il maintient un unique token de mémoire persistant mis à jour par résidus de faible rang et route de façon adaptative les préfixes mis en cache, avec un contrôleur sans entraînement ajustant le seuil en ligne et une correction rapide compensant la dérive des données en cache. Sur le benchmark LIBERO, StateMem atteint 97,6% de réussite moyenne tout en réduisant de 20,25% la fréquence de rafraîchissement complet du préfixe du modèle vision-langage. Sur RoboMemArena, catégorie Occlusion, il devance les autres méthodes VLA isolées avec 21,8% de taux de succès par tâche et 44,3% de taux de succès cumulé, et gagne 21 points de réussite moyenne sur six tâches de manipulation réelle.

L'enjeu est concret pour l'industrie: la manipulation robotique dépendante de la mémoire, où une action tardive doit exploiter une information vue plus tôt, comme un objet temporairement caché, reste un point faible des VLA qui ne regardent que l'observation courante. En évitant le stockage et la récupération explicites d'une mémoire externe, StateMem allège le pipeline d'inférence et réduit le calcul redondant, un critère décisif pour la latence et le coût de calcul embarqué en déploiement temps réel. Les gains en environnement d'occlusion sont particulièrement significatifs car ils ciblent l'écart entre démonstrations de laboratoire et conditions réelles d'usine ou d'entrepôt, où l'occlusion visuelle est fréquente.

Le travail s'inscrit dans la lignée des politiques VLA qui cherchent à dépasser la réaction à l'instant présent pour intégrer un raisonnement temporel, en se positionnant comme alternative plus légère aux architectures à mémoire externe explicite telles que MemoryVLA. Les auteurs valident leur approche sur trois terrains complémentaires, la suite standardisée LIBERO, le benchmark récent RoboMemArena axé sur mémoire et occlusion, et des tâches réelles sur robot physique, limitant le risque de sur-optimisation à un seul environnement simulé. Déposé en pré-publication sans mention de licence commerciale ni de partenariat industriel, StateMem reste à ce stade une contribution de recherche dont l'adoption en production dépendra de sa reproduction indépendante.

Dans nos dossiers

IA physique & VLAManipulation robotiquearXiv cs.RO

À lire aussi

rMuscle : mémoire musculaire robotique pour une inférence efficace des modèles vision-langage-action
1arXiv cs.RO 

rMuscle : mémoire musculaire robotique pour une inférence efficace des modèles vision-langage-action

Un preprint arXiv (2609.19104v1, septembre 2026) présente rMuscle, un framework d'inférence en temps réel pour les modèles Vision-Language-Action (VLA) qui pilotent des robots. Le système part d'un constat : dans un poste de travail structuré, les exécutions robotiques répétées montrent une forte similarité, non seulement dans les observations et les trajectoires d'action, mais aussi dans les états internes du modèle. rMuscle exploite cette redondance via un cache à double phase inspiré de la mémoire musculaire humaine : un Context Cache qui réutilise les tokens visuels déjà calculés, et un Action Cache qui réutilise les motifs d'activation des neurones pour réduire les accès aux poids du modèle, son coût restant limité par recalcul en ligne et récupération par fenêtre glissante. Testé sur GPU RTX 4090 et cartes embarquées Jetson Thor, sur les benchmarks de simulation LIBERO et RoboTwin ainsi que sur des tâches de manipulation physique réelle, il affiche une accélération de 1,29 à 1,42 fois sans dégrader les taux de réussite du modèle original. L'enjeu est concret : la latence d'inférence détermine directement la réactivité et la fluidité des mouvements d'un robot, un facteur critique alors que les VLA s'imposent comme le paradigme dominant du contrôle robotique en usine. Les frameworks d'inférence généralistes ignorent pourtant la répétitivité propre aux tâches industrielles structurées, un angle mort que rMuscle attaque directement plutôt que de viser une accélération générique du calcul, ce qui concerne au premier chef les intégrateurs qui déploient des VLA sur du matériel embarqué à ressources limitées comme le Jetson Thor. Le point le plus significatif pour le secteur est que ce gain de vitesse ne dégrade pas le taux de réussite sur robot réel, une réponse directe au doute récurrent sur l'écart entre démonstrations en simulation et performance en conditions réelles. Il s'agit néanmoins d'un résultat de recherche publié en preprint, sans validation par les pairs ni intégration annoncée dans un produit commercial identifié. Ce travail s'inscrit dans la course actuelle à l'optimisation de l'inférence des VLA, devenus le paradigme dominant à mesure que les tâches manuelles répétitives en usine s'imposent comme le scénario de déploiement le plus rentable pour l'IA incarnée. rMuscle se distingue des méthodes génériques de compression ou de quantification de modèles en misant sur la structure même du travail industriel répété poste par poste, sans que les auteurs précisent quels VLA spécifiques ont servi de base expérimentale ni de calendrier de publication du code. La suite logique, non confirmée par l'article, serait une adoption par des frameworks d'inférence robotique plus larges ou des tests sur d'autres plateformes matérielles au-delà du RTX 4090 et du Jetson Thor.

RechercheActu
1 source
Entraînement au moment de l'inférence pour les modèles vision-langage-action à prévision visuelle (VLA)
2arXiv cs.RO 

Entraînement au moment de l'inférence pour les modèles vision-langage-action à prévision visuelle (VLA)

Des chercheurs proposent T³VF (Test-Time Training Visual Foresight VLA), une méthode d'adaptation à l'inférence publiée sur arXiv en mai 2025 (réf. 2605.08215). Les architectures Visual Foresight VLA, qui figurent parmi les plus performantes pour le contrôle de robots manipulateurs, fonctionnent en deux temps : elles prédisent d'abord une image future représentant l'état visuel attendu après l'action, puis génèrent la commande motrice à partir de cette prédiction. Cette dépendance en cascade crée une vulnérabilité double aux situations hors-distribution (OOD) : une prédiction visuelle dégradée corrompt directement la décision motrice en aval. T³VF exploite l'écart entre l'image future prédite et l'observation réellement reçue comme signal de supervision naturel, permettant au modèle de s'ajuster en continu pendant l'exécution, sans modification architecturale ni modules auxiliaires. Un mécanisme de filtrage adaptatif sélectionne les mises à jour pertinentes pour éviter la dérive par accumulation d'erreurs indiscriminée. Pour les équipes de déploiement, l'enjeu est direct : les VLA sont benchmarkés en laboratoire mais confrontés en production à des variations de scène (éclairage, textures, disposition des objets) rarement couvertes par les données d'entraînement. T³VF propose une adaptation sans annotation humaine ni nouvelle session d'entraînement, le robot se corrigeant à partir de ses propres observations, avec un surcoût d'inférence qualifié de modeste par les auteurs, une affirmation à vérifier selon les environnements cibles. Si les résultats se confirment à plus grande échelle, la méthode pourrait réduire les cycles de re-fine-tuning lors du passage en production, un poste de coût opérationnel significatif pour les intégrateurs industriels. Les VLA s'imposent depuis 2023 comme architecture dominante en manipulation robotique, portés par des modèles comme RT-2 (Google DeepMind), OpenVLA ou Pi-0 de Physical Intelligence. Les variantes Visual Foresight, qui ajoutent une prédiction d'état futur avant l'action, ont montré des gains sur les tâches de précision, mais leur fragilité face aux shifts de distribution restait peu adressée dans la littérature. Ce travail s'inscrit dans un courant croissant de Test-Time Training (TTT) appliqué à la robotique, distinct du fine-tuning classique en ce qu'il n'exige aucune supervision externe. Aucun partenariat industriel ni timeline de transfert technologique n'est mentionné : ce pré-print académique ne décrit pas de produit ou de déploiement commercialisé associé.

RechercheOpinion
1 source
UniMem : mémoire et contrôle multimodaux unifiés pour les modèles vision-langage-action
3arXiv cs.RO 

UniMem : mémoire et contrôle multimodaux unifiés pour les modèles vision-langage-action

UniMem, un framework qui unifie mémoire multimodale de haut niveau et contrôle bas niveau dans une seule architecture pour les modèles Vision-Language-Action (VLA), est décrit dans une preprint arXiv publiée fin aout 2026 (arXiv:2608.22869v1). Le système combine trois composants: un classificateur d'événements qui déclenche les mises a jour mémoire, un encodeur de keyframes pour construire une mémoire spatiale dense, et une technique de mise en cache des keyframes destinée a limiter la surcharge de calcul pendant l'exécution des politiques. Les auteurs ont teste UniMem sur neuf taches au total, cinq en simulation et quatre sur matériel physique, toutes conçues pour solliciter la mémoire séquentielle et spatiale du robot. Les résultats annonces montrent un taux de réussite de 93,4% contre 68,2% pour une base de référence a échantillonnage d'images a intervalles fixes en simulation, et 80,0% contre 43,5% face a une architecture hiérarchique classique sur matériel réel, avec en prime une inférence plus rapide. Ce travail cible un point de friction reconnu dans le déploiement de VLA sur des taches longues et non markoviennes, celles ou l'action a prendre dépend d'événements passes et pas seulement de l'observation courante. Les approches existantes ajoutent généralement un second modèle vision-langage charge de gérer la mémoire long terme en amont du VLA, ce qui créé un goulot d'étranglement et un pipeline d'entrainement fragmente en deux étapes distinctes. Conditionner le modèle sur plusieurs images historiques choisies a intervalles arbitraires dégradé aussi souvent la performance. En proposant un backbone unique entrainable de bout en bout, UniMem promet une adoption plus simple pour les intégrateurs et laboratoires qui construisent des politiques robotiques a long horizon, sans empiler des modules de mémoire externes couteux en latence. Le problème de la mémoire dans les VLA s'inscrit dans la même trajectoire de recherche que des systèmes généralistes comme Pi-0, GR00T N2 ou Helix, qui ont déjà démontre la capacité des architectures VLA a généraliser sur des taches manipulatoires variées mais restent généralement limites a des comportements réactifs de courte durée. UniMem se positionne explicitement contre les architectures hiérarchiques a deux modèles, qu'il compare directement dans ses benchmarks matériels, avec seulement quatre taches physiques testées et des chiffres qui restent auto-rapportes par les auteurs. Le site du projet (losterberg3.github.io/unimem-vla) met a disposition les démonstrations vidéo associées; aucun calendrier de mise en open source du code ni partenariat industriel n'est communique a ce stade, le travail restant au niveau de la publication de recherche.

RechercheActu
1 source
RA-VLA : adaptation d'un modèle vision-langage-action par récupération augmentée au moment de l'inférence
4arXiv cs.RO 

RA-VLA : adaptation d'un modèle vision-langage-action par récupération augmentée au moment de l'inférence

RA-VLA (arXiv 2608.25585v1) est un nouveau framework de type Vision-Language-Action (VLA) augmenté par récupération, conçu pour l'adaptation à l'exécution sans réentraînement. Les auteurs partent du constat que les modèles VLA, bien qu'utilisés comme socle généraliste pour la manipulation robotique, restent fragiles face à des distributions de tâches inédites. L'apprentissage par imitation en contexte (ICIL), approche existante ne nécessitant pas d'entraînement supplémentaire, souffre selon eux d'un goulot d'étranglement : des mécanismes de récupération superficiels et une forme d'inertie comportementale qui maintient la politique ancrée sur ses biais pré-entraînés. RA-VLA propose de corriger cela en combinant une récupération de contexte alignée sur le comportement recherché avec un pipeline d'exécution ancré dans des indices fonctionnels concrets. Le système a été évalué sur le benchmark LIBERO, référence standard pour la manipulation robotique en simulation, ainsi que sur un environnement réel utilisant un bras UR5e. Le résumé revendique des taux de réussite supérieurs et une meilleure efficacité de calcul par rapport aux méthodes existantes, sans toutefois fournir de chiffre précis (pourcentage de réussite, temps de cycle, latence) permettant de quantifier l'écart. Cette publication touche un point sensible du secteur : la capacité réelle des modèles VLA à généraliser au-delà de leurs données d'entraînement, alors que des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) présentent leurs modèles comme des socles universels prêts à s'adapter à de nouvelles tâches. En proposant une adaptation purement par récupération de contexte au moment de l'inférence, sans réentraînement, RA-VLA illustre une voie alternative au fine-tuning lourd, potentiellement utile pour des intégrateurs devant déployer des bras robotiques sur des tâches changeantes sans budget de réentraînement récurrent. Pour les décideurs B2B, ce travail rappelle surtout que le fossé entre démonstration et robustesse en conditions réelles reste un sujet de recherche actif, même pour les architectures VLA les plus médiatisées. Le papier s'inscrit dans la lignée des travaux sur l'apprentissage en contexte appliqué à la robotique, alternative au fine-tuning classique de modèles VLA de type RT-2 ou OpenVLA. Il ne mentionne aucun partenaire industriel ni aucun site de déploiement : il s'agit d'une contribution académique évaluée en simulation et sur un unique bras UR5e en laboratoire, sans code source public ni calendrier de suite indiqués. La compétition dans ce domaine reste dominée par les laboratoires et start-up développant des modèles fondation généralistes, tels que Physical Intelligence, NVIDIA, Google DeepMind ou Figure, pour lesquels la robustesse à l'adaptation en test reste un argument de différenciation central. RA-VLA se positionne comme une brique méthodologique susceptible d'être intégrée à ces architectures existantes plutôt que comme un produit ou un modèle concurrent autonome.

RechercheOpinion
1 source