RecherchearXiv cs.RO 21 octobre 2026

EventSync : mises à jour de la mémoire pilotées par les événements pour la manipulation dépendante de l'historique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

EventSync est un cadre hiérarchique de manipulation robotique, présenté sur arXiv (2610.27917), qui vise les tâches dites dépendantes de l'historique, c'est-à-dire celles où l'observation courante ne suffit pas à déterminer la prochaine action. Un modèle vision-langage (VLM) génère les sous-objectifs à partir du plan de tâche et de l'historique d'interaction, tandis qu'un modèle vision-langage-action (VLA) les exécute. Un « Event Monitor » léger, qui combine les observations visuelles et les trajectoires de l'effecteur terminal, détermine si le sous-objectif en cours est achevé. Ce n'est qu'à cette condition que le système l'inscrit dans l'historique des sous-objectifs accomplis et déclenche le raisonnement suivant. Avec un historique visuel côté exécuteur, EventSync atteint 64,5 % de succès global sur le benchmark RoboMME, soit 20,0 points de pourcentage de plus que la meilleure référence publiée dans ce benchmark. Les auteurs ajoutent des expériences sur quatre tâches réelles aux exigences de mémoire différentes. Le nombre de robots, les plateformes et les temps de cycle ne sont pas précisés dans le résumé.

L'enjeu concerne un point faible connu des architectures VLM plus VLA : la fiabilité de la mémoire de tâche. Deux phases d'exécution distinctes peuvent produire des images quasi identiques, et un sous-objectif enregistré comme terminé trop tôt fausse tout le raisonnement qui suit, avec des erreurs qui s'accumulent sur les séquences longues. En conditionnant la mise à jour de la mémoire à une preuve d'achèvement, plutôt qu'à un simple pas de temps ou à une impression visuelle, EventSync traite une cause d'échec très concrète pour les intégrateurs qui visent des enchaînements multi-étapes (assemblage, kitting, manipulation d'objets avec état caché). Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, le gain de 20 points est mesuré sur un seul benchmark, et quatre tâches réelles ne disent rien de la robustesse en production, ni de la sensibilité du moniteur à de nouveaux gripers ou environnements.

Ce travail s'inscrit dans la montée des architectures hiérarchiques, où un modèle de raisonnement de haut niveau pilote une politique bas niveau, sur le modèle de systèmes comme Helix chez Figure, Pi-0 chez Physical Intelligence ou GR00T chez NVIDIA. RoboMME, qui évalue les capacités de mémoire en manipulation, sert de terrain de comparaison pour ces approches, et les politiques sans mémoire explicite y restent limitées. Les prochaines étapes probables sont des tests sur davantage de plateformes, une publication du code et des comparaisons directes avec des VLA dotés d'une mémoire longue native. Le résumé ne mentionne aucun pilote industriel ni calendrier de déploiement.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique

À lire aussi

1arXiv cs.RO

WeaveLA : mémoire latente inter-sous-tâches pilotée par événements pour la manipulation robotique répétitive

Des chercheurs ont publié WeaveLA (Weave Latent Memory for Vision-Language-Action Policies) sur arXiv (identifiant 2606.17463v1), un module de mémoire inter-sous-tâches qui se greffe sur un backbone VLA gelé, en l'occurrence π₀.₅ de Physical Intelligence, sans modifier ses poids. À chaque franchissement d'un sous-objectif, WeaveLA compresse le segment d'actions accompli en tokens latents via attention pooling guidé par requêtes, puis injecte ces tokens dans le chemin de génération d'actions du sous-objectif suivant. Évalué sur le benchmark RoboMME, le résultat le plus saillant porte sur la tranche "SwingXtimes" à N=3 répétitions : le taux de succès passe de 0 % à 47,8 %, tandis que les épisodes à exécution unique restent inchangés, confirmant que les gains sont strictement confinés aux tâches causalement dépendantes entre sous-objectifs. Ce résultat pointe une limite structurelle précise des VLA à fenêtre courte : l'absence d'un canal explicite pour propager l'état entre sous-tâches. Les architectures actuelles, qu'il s'agisse de π₀, OpenVLA ou des variantes à mémoire existantes, gèrent bien la manipulation pas-à-pas, mais peinent dès que la réussite d'une étape conditionne la suivante. WeaveLA montre qu'un module léger, déclenché uniquement sur les événements de complétion de sous-objectifs, suffit à corriger cette fragilité sans régression sur les tâches simples. C'est un signal favorable pour les intégrateurs industriels qui cherchent à déployer des politiques génériques sur des workflows multi-étapes sans réentraîner l'intégralité du modèle. Le backbone π₀.₅ utilisé est celui de Physical Intelligence, startup fondée à San Francisco en 2023 et ayant levé environ 400 millions de dollars, devenue référence de facto en manipulation généraliste. WeaveLA s'inscrit dans un courant visant à augmenter les VLA par des modules de mémoire externe plutôt que de les remplacer, une direction concurrente aux travaux de Google DeepMind (RT-2, RT-X), NVIDIA (GR00T N2) et Figure AI (Helix). Étant un preprint non relu par les pairs, le travail ne s'accompagne d'aucun calendrier de déploiement ni de partenariat annoncé, et ses résultats, obtenus en environnement simulé, restent à valider sur des plateformes réelles.

RechercheOpinion

1 source

2arXiv cs.RO

Un VLM de pointe peut-il servir de politique robotique pour la manipulation dépendant de la mémoire ?

Des chercheurs ont utilisé GPT-6-Astra, un modèle vision-langage de pointe laissé gelé, comme politique de contrôle directe sur RoboMME, un benchmark de 16 tâches de manipulation qui exigent de la mémoire temporelle, spatiale, d'objet ou procédurale. Le modèle garde tout l'épisode en contexte et produit lui-même chaque waypoint de l'effecteur ainsi que chaque commande de pince, sans aucun entraînement spécifique à RoboMME. Sur les 800 épisodes de test, il réussit 92,1 % des cas. Le score humain publié auparavant est de 90,5 %, mais il a été obtenu avec une interface de compétences fournie par un oracle. Le meilleur résultat du classement atteint 60,8 %, et un système hiérarchique associant le même modèle à une politique entraînée sur RoboMME plafonne à 79,1 %. Le modèle égale ou dépasse le score humain sur 13 des 16 tâches. Ses 63 échecs se concentrent sur deux tâches et sont surtout des fins d'épisode déclarées trop tôt et des appuis sur bouton mal chronométrés ou involontaires. Code, prompts et journaux de tous les épisodes sont publiés. Ce résultat remet en cause la découpe habituelle entre planification long terme, mémoire et contrôle de l'effecteur, que la plupart des architectures robotiques traitent dans des modules distincts. Ici, un modèle généraliste sans entraînement spécifique bat à la fois les approches spécialisées et l'hybride, ce qui suggère que le goulot d'étranglement sur ces tâches tenait moins à l'absence de politique entraînée qu'à la capacité de raisonnement sur un contexte long. Pour un intégrateur, la leçon est prudente : la comparaison avec l'humain n'est pas équivalente, puisque le score de référence passe par une interface de compétences. L'extrait ne donne ni latence, ni coût par épisode, ni test sur matériel réel, des critères décisifs pour tout déploiement industriel. Il s'agit en outre d'un préprint évalué par ses propres auteurs. Ce travail prolonge la ligne des modèles vision-langage-action comme Pi-0, GR00T N2 ou Helix, qui entraînent des politiques dédiées sur de grands jeux de données de téléopération. Il adopte le chemin inverse : exploiter un modèle frontière généraliste tel quel. Les benchmarks de mémoire comme RoboMME servent justement à tester ce que les politiques réactives ne savent pas faire. La suite logique est de vérifier la reproductibilité par des tiers, de mesurer la tenue sur robots physiques et d'évaluer si cette approche tient dans les budgets de latence des cadences de production.

RecherchePaper

1 source

3arXiv cs.RO

Compétences en poids, mémoire en code : apprentissage hybride pour la manipulation robotique dépendante de la mémoire

Une équipe de recherche a publié le 11 août 2026 sur arXiv (référence 2608.09410) un article intitulé "Skills in Weights, Memory in Code", présentant HyMeS, un framework hybride destiné à la manipulation robotique dépendant de la mémoire à long terme. Le système associe une politique vision-langage-action (VLA) markovienne, qui apprend les compétences motrices de bas niveau par imitation learning basée sur le gradient, à un agent de codage chargé de la gestion de la mémoire de haut niveau. Cet agent apprend par heuristique, en mettant à jour de façon itérative un système de règles exécutables à partir des retours d'essais (rollouts). Une vérification multimodale de l'achèvement des étapes, combinant signaux proprioceptifs et jugements d'un modèle vision-langage sur plusieurs images, permet de rafraîchir la mémoire en boucle fermée. Sur le benchmark RoboMemArena, HyMeS fait grimper le taux de succès cumulé moyen de 52,5% à 66,2% et le taux de succès par tâche de 41,3% à 60,1% par rapport au modèle de référence pi0.5, tout en dépassant le système concurrent PrediMem de 4,5 points en succès cumulé et 14,5 points en succès par tâche. L'enjeu dépasse la simple performance chiffrée: la plupart des politiques VLA actuelles génèrent chaque action à partir de l'observation courante ou d'un historique court et fixe, ce qui les rend inadaptées aux tâches non markoviennes où le robot doit se souvenir d'informations glanées bien plus tôt dans la séquence. En séparant les compétences motrices, apprises par imitation et figées dans les poids du réseau, de la logique de mémoire, gérée en code exécutable et adaptable sans nouvelles démonstrations, HyMeS promet une généralisation compositionnelle plus économe en données: seules les compétences motrices réutilisables nécessitent des démonstrations, pas chaque configuration de tâche dépendante de l'historique. Pour les intégrateurs et laboratoires travaillant sur des tâches industrielles multi-étapes (tri, assemblage séquentiel), c'est un argument direct contre le coût prohibitif de collecte de données propre aux approches VLA de bout en bout. Le travail s'inscrit dans la lignée des modèles VLA généralistes tels que pi0.5 (Physical Intelligence), utilisé ici comme référence, et se positionne face à d'autres approches de mémoire augmentée comme PrediMem. Il s'agit à ce stade d'un préprint arXiv validé uniquement sur le benchmark RoboMemArena, sans validation annoncée sur robot physique ni pilote industriel.

RecherchePaper

1 source

4arXiv cs.RO

GaussMemory : mémoire de scène en gaussiennes 3D pilotée par la tâche pour la manipulation robotique à long horizon

Un article de recherche publie sur arXiv le 18 aout 2026 (référence 2608.14986v1) présente GaussMemory, un système de mémoire spatiale pour la manipulation robotique a long horizon, construit sur le 3D Gaussian Splatting comme substrat géométrique persistant. A la différence des mémoires 3D existantes, qui enregistrent les observations selon des règles fixes en traitant chaque élément de la scene avec la même importance, GaussMemory apprend de bout en bout quels objets suivre précisément, a quelle fréquence les mettre a jour et quoi oublier. Sur les bancs d'essai LIBERO et VLABench, il depasse le système MemoryVLA sur les taches Goal et Long-10, et surpasse le modèle π0-FAST de 5,2 points sur la piste 1 et de 6,0 points sur la piste 6. Le problème vise est bien connu du secteur: les architectures vision-langage-action mémorisent généralement l'environnement de façon passive, sans distinguer ce qui compte pour la tache en cours, ce qui dégradé les performances des que les séquences de manipulation s'allongent. En unifiant mise a jour et lecture de la mémoire dans un seul mécanisme appris plutôt que des heuristiques écrites a la main, GaussMemory s'inscrit dans une tendance de fond visant a faire passer les VLA de démonstrations courtes en laboratoire vers des taches multi-étapes plus proches des besoins industriels réels. Pour les intégrateurs qui évaluent des piles VLA, des gains chiffres sur des benchmarks standardises comme LIBERO et VLABench offrent un point de comparaison plus solide qu'une simple vidéo de démonstration. Le travail se positionne explicitement face a deux références du domaine, MemoryVLA et π0-FAST, ce dernier dérivé du modèle π0 de Physical Intelligence, citées comme bases de comparaison directes plutôt que comme simples antécédents. Il s'inscrit dans la lignée des travaux sur le 3D Gaussian Splatting, technique de représentation de scènes issue de la vision par ordinateur, de plus en plus réutilisée comme mémoire de travail pour des agents robotiques. A ce stade, il s'agit d'une publication de recherche évaluée uniquement en simulation, sans déploiement matériel annonce ni partenaire industriel cite, et sans calendrier donne pour un transfert vers des robots physiques, ce qui distingue clairement cette contribution d'une annonce produit ou d'un pilote commercial.

RechercheActu

1 source