Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
WeaveLA : mémoire latente inter-sous-tâches pilotée par événements pour la manipulation robotique répétitive
RecherchearXiv cs.RO 

WeaveLA : mémoire latente inter-sous-tâches pilotée par événements pour la manipulation robotique répétitive

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié WeaveLA (Weave Latent Memory for Vision-Language-Action Policies) sur arXiv (identifiant 2606.17463v1), un module de mémoire inter-sous-tâches qui se greffe sur un backbone VLA gelé, en l'occurrence π₀.₅ de Physical Intelligence, sans modifier ses poids. À chaque franchissement d'un sous-objectif, WeaveLA compresse le segment d'actions accompli en tokens latents via attention pooling guidé par requêtes, puis injecte ces tokens dans le chemin de génération d'actions du sous-objectif suivant. Évalué sur le benchmark RoboMME, le résultat le plus saillant porte sur la tranche "SwingXtimes" à N=3 répétitions : le taux de succès passe de 0 % à 47,8 %, tandis que les épisodes à exécution unique restent inchangés, confirmant que les gains sont strictement confinés aux tâches causalement dépendantes entre sous-objectifs.

Ce résultat pointe une limite structurelle précise des VLA à fenêtre courte : l'absence d'un canal explicite pour propager l'état entre sous-tâches. Les architectures actuelles, qu'il s'agisse de π₀, OpenVLA ou des variantes à mémoire existantes, gèrent bien la manipulation pas-à-pas, mais peinent dès que la réussite d'une étape conditionne la suivante. WeaveLA montre qu'un module léger, déclenché uniquement sur les événements de complétion de sous-objectifs, suffit à corriger cette fragilité sans régression sur les tâches simples. C'est un signal favorable pour les intégrateurs industriels qui cherchent à déployer des politiques génériques sur des workflows multi-étapes sans réentraîner l'intégralité du modèle.

Le backbone π₀.₅ utilisé est celui de Physical Intelligence, startup fondée à San Francisco en 2023 et ayant levé environ 400 millions de dollars, devenue référence de facto en manipulation généraliste. WeaveLA s'inscrit dans un courant visant à augmenter les VLA par des modules de mémoire externe plutôt que de les remplacer, une direction concurrente aux travaux de Google DeepMind (RT-2, RT-X), NVIDIA (GR00T N2) et Figure AI (Helix). Étant un preprint non relu par les pairs, le travail ne s'accompagne d'aucun calendrier de déploiement ni de partenariat annoncé, et ses résultats, obtenus en environnement simulé, restent à valider sur des plateformes réelles.

Dans nos dossiers

FigureNVIDIA GR00TPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

EventSync : mises à jour de la mémoire pilotées par les événements pour la manipulation dépendante de l'historique
1arXiv cs.RO 

EventSync : mises à jour de la mémoire pilotées par les événements pour la manipulation dépendante de l'historique

EventSync est un cadre hiérarchique de manipulation robotique, présenté sur arXiv (2610.27917), qui vise les tâches dites dépendantes de l'historique, c'est-à-dire celles où l'observation courante ne suffit pas à déterminer la prochaine action. Un modèle vision-langage (VLM) génère les sous-objectifs à partir du plan de tâche et de l'historique d'interaction, tandis qu'un modèle vision-langage-action (VLA) les exécute. Un « Event Monitor » léger, qui combine les observations visuelles et les trajectoires de l'effecteur terminal, détermine si le sous-objectif en cours est achevé. Ce n'est qu'à cette condition que le système l'inscrit dans l'historique des sous-objectifs accomplis et déclenche le raisonnement suivant. Avec un historique visuel côté exécuteur, EventSync atteint 64,5 % de succès global sur le benchmark RoboMME, soit 20,0 points de pourcentage de plus que la meilleure référence publiée dans ce benchmark. Les auteurs ajoutent des expériences sur quatre tâches réelles aux exigences de mémoire différentes. Le nombre de robots, les plateformes et les temps de cycle ne sont pas précisés dans le résumé. L'enjeu concerne un point faible connu des architectures VLM plus VLA : la fiabilité de la mémoire de tâche. Deux phases d'exécution distinctes peuvent produire des images quasi identiques, et un sous-objectif enregistré comme terminé trop tôt fausse tout le raisonnement qui suit, avec des erreurs qui s'accumulent sur les séquences longues. En conditionnant la mise à jour de la mémoire à une preuve d'achèvement, plutôt qu'à un simple pas de temps ou à une impression visuelle, EventSync traite une cause d'échec très concrète pour les intégrateurs qui visent des enchaînements multi-étapes (assemblage, kitting, manipulation d'objets avec état caché). Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, le gain de 20 points est mesuré sur un seul benchmark, et quatre tâches réelles ne disent rien de la robustesse en production, ni de la sensibilité du moniteur à de nouveaux gripers ou environnements. Ce travail s'inscrit dans la montée des architectures hiérarchiques, où un modèle de raisonnement de haut niveau pilote une politique bas niveau, sur le modèle de systèmes comme Helix chez Figure, Pi-0 chez Physical Intelligence ou GR00T chez NVIDIA. RoboMME, qui évalue les capacités de mémoire en manipulation, sert de terrain de comparaison pour ces approches, et les politiques sans mémoire explicite y restent limitées. Les prochaines étapes probables sont des tests sur davantage de plateformes, une publication du code et des comparaisons directes avec des VLA dotés d'une mémoire longue native. Le résumé ne mentionne aucun pilote industriel ni calendrier de déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
GaussMemory : mémoire de scène en gaussiennes 3D pilotée par la tâche pour la manipulation robotique à long horizon
2arXiv cs.RO 

GaussMemory : mémoire de scène en gaussiennes 3D pilotée par la tâche pour la manipulation robotique à long horizon

Un article de recherche publie sur arXiv le 18 aout 2026 (référence 2608.14986v1) présente GaussMemory, un système de mémoire spatiale pour la manipulation robotique a long horizon, construit sur le 3D Gaussian Splatting comme substrat géométrique persistant. A la différence des mémoires 3D existantes, qui enregistrent les observations selon des règles fixes en traitant chaque élément de la scene avec la même importance, GaussMemory apprend de bout en bout quels objets suivre précisément, a quelle fréquence les mettre a jour et quoi oublier. Sur les bancs d'essai LIBERO et VLABench, il depasse le système MemoryVLA sur les taches Goal et Long-10, et surpasse le modèle π0-FAST de 5,2 points sur la piste 1 et de 6,0 points sur la piste 6. Le problème vise est bien connu du secteur: les architectures vision-langage-action mémorisent généralement l'environnement de façon passive, sans distinguer ce qui compte pour la tache en cours, ce qui dégradé les performances des que les séquences de manipulation s'allongent. En unifiant mise a jour et lecture de la mémoire dans un seul mécanisme appris plutôt que des heuristiques écrites a la main, GaussMemory s'inscrit dans une tendance de fond visant a faire passer les VLA de démonstrations courtes en laboratoire vers des taches multi-étapes plus proches des besoins industriels réels. Pour les intégrateurs qui évaluent des piles VLA, des gains chiffres sur des benchmarks standardises comme LIBERO et VLABench offrent un point de comparaison plus solide qu'une simple vidéo de démonstration. Le travail se positionne explicitement face a deux références du domaine, MemoryVLA et π0-FAST, ce dernier dérivé du modèle π0 de Physical Intelligence, citées comme bases de comparaison directes plutôt que comme simples antécédents. Il s'inscrit dans la lignée des travaux sur le 3D Gaussian Splatting, technique de représentation de scènes issue de la vision par ordinateur, de plus en plus réutilisée comme mémoire de travail pour des agents robotiques. A ce stade, il s'agit d'une publication de recherche évaluée uniquement en simulation, sans déploiement matériel annonce ni partenaire industriel cite, et sans calendrier donne pour un transfert vers des robots physiques, ce qui distingue clairement cette contribution d'une annonce produit ou d'un pilote commercial.

RechercheActu
1 source
Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique
3arXiv cs.RO 

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique

Des chercheurs ont publié le 7 juillet 2026 sur arXiv (arXiv:2607.07608v1) un nouveau framework baptisé LaMem-VLA, conçu pour doter les modèles Vision-Language-Action (VLA) d'une mémoire native directement intégrée à leur espace latent de raisonnement. Aujourd'hui, la plupart des VLA prédisent une action à partir de la seule observation courante sous hypothèse markovienne, ce qui les rend peu efficaces sur les tâches longues et dépendantes du temps. LaMem-VLA repose sur quatre composants coordonnés: un "curator" qui organise l'expérience passée en deux coffres mémoire, court terme et long terme; un "seeker" qui interroge ces coffres via la cognition multimodale pour en extraire les preuves pertinentes au contexte; un "condenser" qui reconstruit ces preuves en tokens de mémoire latente compacts; et un "weaver" qui injecte ces tokens avec l'observation et l'instruction courantes dans une seule séquence d'embedding continue. Les auteurs rapportent une supériorité de leur approche sur les benchmarks SimplerEnv et LIBERO, deux références standard pour évaluer la manipulation robotique pilotée par VLA. L'enjeu dépasse la simple performance sur benchmark. Les VLA actuels, qu'ils s'appuient sur des architectures type Pi-0, GR00T N2 ou Helix, butent tous sur une mémoire de travail limitée à la fenêtre d'observation courante, ce qui les fragilise dès qu'une tâche exige de se souvenir d'une action antérieure, par exemple qu'un tiroir a déjà été ouvert. Les solutions existantes, élargir la fenêtre d'observation ou interroger une banque mémoire externe comme contexte auxiliaire, laissent cette mémoire hors de l'espace latent natif du modèle, limitant son intégration au raisonnement multimodal. En rendant la mémoire nativement latente, LaMem-VLA vise à réduire l'écart entre démonstrations courtes réussies en laboratoire et déploiements réels où les séquences de tâches s'étirent, un critère que surveillent de près les intégrateurs industriels évaluant la fiabilité des VLA au delà du simple "pick and place". Ce travail s'inscrit dans une vague de recherche sur la mémoire des VLA, alors que le secteur de la robotique humanoïde et généraliste, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix, cherche à dépasser les tâches courtes démontrées en vidéo pour viser des chaînes d'actions plus longues et industriellement exploitables. Classé "Announce Type: new" sur arXiv et non encore relu par les pairs, le papier ne mentionne aucun déploiement matériel ni partenariat industriel: il s'agit pour l'instant d'une contribution académique validée uniquement en simulation. Les suites attendues, classiques pour ce type de travaux, seraient une validation sur robot physique et une comparaison directe avec les architectures mémoire déjà explorées par les grands laboratoires de robotique généraliste.

RechercheActu
1 source
WorldLine : simulation visuelle pilotée par les actions pour la manipulation robotique
4arXiv cs.RO 

WorldLine : simulation visuelle pilotée par les actions pour la manipulation robotique

WorldLine, un simulateur visuel piloté par l'action, est présenté dans un preprint arXiv (2609.38059) pour la manipulation robotique. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé. Le système apprend la dynamique de manipulation à partir de plus de 10 000 heures de vidéos de robots sans annotation d'actions. Il l'ancre ensuite dans le contrôle avec plus de 2 000 heures de trajectoires actionnées, réparties sur plus de dix morphologies de robots. Une représentation des actions dans l'espace image sert d'interface de contrôle commune, ce qui évite de traduire entre espaces de commande incompatibles. L'entraînement combine plusieurs points de vue, des trajectoires d'échec et une régularisation relationnelle pour mieux prédire les interactions. Une distillation en quelques étapes centrée sur le robot permet un déroulé causal rapide, en conservant les mouvements utiles à l'action. Sur des trajectoires échouées, le score d'IoU des masques du robot gagne 0,1626 face à la meilleure référence. La réussite d'une trajectoire est prédite avec 74 % de précision moyenne sur RoboTwin et AgiBot, soit un point de plus que la meilleure base de comparaison. Sans entraînement ni adaptation sur RoboTwin, les déroulés du simulateur améliorent le taux de succès de tâche jusqu'à 21,4 points par rapport à l'exécution directe de la politique. L'enjeu est le coût de l'évaluation et de la collecte d'expérience sur robot réel, principal frein à l'apprentissage en conditions réelles. Un simulateur capable de prédire l'issue d'une action avant son exécution permet de trier des politiques ou de planifier sans mobiliser de matériel. Le résultat le plus parlant concerne les échecs : les modèles vidéo génératifs tendent à produire des scènes plausibles mais peu fidèles à l'action commandée, et à «réussir» visuellement des gestes ratés. Or un simulateur inutilisable pour détecter l'échec ne sert pas à l'évaluation. Il faut toutefois relativiser : 74 % de précision sur la réussite reste modeste pour de la validation avant déploiement, et l'avance sur la meilleure référence n'est que d'un point. Le gain de 21,4 points est un maximum, non une moyenne, et les benchmarks (RoboTwin est surtout simulé) ne garantissent pas la robustesse en atelier. L'approche montre néanmoins qu'un jeu de données vidéo massif sans actions peut compenser la rareté des données actionnées. Ces travaux s'inscrivent dans la vague des modèles du monde et des simulateurs vidéo pour la robotique, qui visent à réduire la dépendance aux données téléopérées, coûteuses et propres à chaque robot. Leur point de friction est l'hétérogénéité des espaces d'action entre plateformes, que WorldLine traite par sa représentation image partagée. Il se place face aux modèles vidéo généralistes et aux simulateurs conditionnés par l'action, limités par des données rares. La suite logique passe par la validation sur robots physiques, la mesure de la corrélation entre succès prédit et succès réel, et l'intégration à des boucles de planification ou d'évaluation de politiques. Une page projet publie des résultats supplémentaires, mais aucune date de publication du code ou des modèles n'est mentionnée.

RecherchePaper
1 source