RecherchearXiv cs.RO 22 octobre 2026

Des planificateurs VLM aux agents robotiques : des harnais auto-évolutifs pour la manipulation dépendante de l'historique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent SERA (Self-Evolving Robotic Agent), un cadre qui transforme le modèle vision-langage (VLM) chargé de la planification de haut niveau en véritable agent robotique, piloté par un « harnais » éditable. Ce harnais conserve le contexte de la tâche, met à jour cette mémoire à partir des observations et des retours d'exécution, puis s'en sert pour guider les décisions suivantes. L'exécution de bas niveau reste confiée à un modèle vision-langage-action (VLA) fixe, c'est-à-dire un modèle qui convertit directement images et instructions en commandes moteur. Le mécanisme d'auto-évolution s'appuie sur des déroulements en environnement pour proposer et évaluer des révisions du harnais. La configuration retenue est figée avant les tests sur données mises de côté. Sur le benchmark RoboMME, SERA atteint 51,38 % de succès global avec sélection autonome, contre 44,38 % sans auto-évolution, soit un gain de 7 points. Il s'agit d'un travail de recherche (prépublication arXiv), sans déploiement industriel ni produit associé.

L'enjeu porte sur une limite connue des VLA : les tâches longues dépendent souvent de l'historique, car il faut se rappeler l'avancement, le résultat des interactions passées, et composer avec l'observabilité partielle et l'accumulation des erreurs d'exécution. Ces dépendances dites non markoviennes mettent en difficulté les politiques qui ne regardent que l'état courant. Les résultats suggèrent qu'améliorer le contexte et la logique du planificateur, sans réentraîner le contrôleur bas niveau, peut apporter un gain mesurable. Pour un intégrateur, c'est une piste intéressante, car ajuster un harnais est moins coûteux que réentraîner un VLA. Il faut toutefois rester prudent : un taux de succès d'environ 51 % reste loin d'une fiabilité exploitable en production, la comparaison porte sur un seul benchmark, et le gain dépend de la qualité de l'exécuteur figé. Les auteurs parlent d'une direction prometteuse, pas d'un problème résolu.

Ce travail s'inscrit dans deux lignes de recherche déjà engagées : l'ajout de mémoire aux politiques fondées sur des modèles de fondation, et les architectures hiérarchiques qui séparent planification de haut niveau et exécution de bas niveau, comme celles que l'on trouve dans plusieurs systèmes de VLA récents. La nouveauté revendiquée tient à la manière de traiter le VLM comme un agent, avec un harnais qui évolue à partir de l'expérience d'exécution, sur le modèle des agents logiciels auto-améliorants. Le résumé ne précise ni le VLA utilisé, ni les modes d'échec restants, ni le coût de l'étape d'évolution en nombre de rollouts. Ces points seront à vérifier dans l'article complet, tout comme une éventuelle validation sur robot réel, absente de l'abstract.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

RoboEvolve : co-évolution planificateur-simulateur pour la manipulation robotique avec peu de données

RoboEvolve est un framework de recherche publié en preprint arXiv (réf. 2605.13775, mai 2025) dont l'objectif est de résoudre la rareté des données d'interaction physique alignées sur les tâches de manipulation robotique. Le système couple un planificateur basé sur un modèle vision-langage (VLM) et un simulateur basé sur un modèle de génération vidéo (VGM) dans une boucle co-évolutive auto-renforçante, opérant à partir de seulement 500 images non annotées, soit une réduction de 50x par rapport aux baselines entièrement supervisées. Le mécanisme alterne une phase d'exploration diurne, qui génère des trajectoires ancrées physiquement via une récompense multi-granulaire à contrôle sémantique, et une phase de consolidation nocturne, qui exploite les échecs "near-miss" pour stabiliser l'optimisation de politique. Les résultats publiés indiquent une amélioration de 30 points absolus sur les planificateurs de base, une hausse de 48 % du taux de succès des simulateurs, et un apprentissage continu robuste sans oubli catastrophique. Ces chiffres adressent directement le principal verrou économique des pipelines de manipulation à grande échelle : la collecte de données téléopérées, qui freine aujourd'hui des systèmes commerciaux comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). La co-évolution VLM-VGM contourne deux limitations bien documentées : les VLM seuls souffrent d'un désalignement sémantique-spatial (compréhension correcte de la tâche mais imprécision dans le positionnement 3D), tandis que les VGM seuls produisent des hallucinations physiques (vidéos synthétiques qui violent les contraintes physiques réelles). Un curriculum progressif automatique fait évoluer le système d'actions atomiques simples vers des tâches composites complexes, approche concrète au problème de généralisation hiérarchique encore non résolu à l'échelle commerciale. Ce travail s'inscrit dans une tendance émergente visant à substituer la génération synthétique de données à la collecte terrain coûteuse, tendance accélérée depuis Diffusion Policy (2023) et l'essor des modèles VLA (vision-language-action). Le résumé disponible ne précise ni affiliation institutionnelle des auteurs ni plateforme matérielle de validation, une limite importante avant tout transfert industriel. Aucun déploiement physique ni partenariat constructeur n'est annoncé : RoboEvolve reste à ce stade une contribution académique dont la transposition sim-to-real sur hardware réel reste entièrement à démontrer.

RechercheOpinion

1 source

2arXiv cs.RO

EventSync : mises à jour de la mémoire pilotées par les événements pour la manipulation dépendante de l'historique

EventSync est un cadre hiérarchique de manipulation robotique, présenté sur arXiv (2610.27917), qui vise les tâches dites dépendantes de l'historique, c'est-à-dire celles où l'observation courante ne suffit pas à déterminer la prochaine action. Un modèle vision-langage (VLM) génère les sous-objectifs à partir du plan de tâche et de l'historique d'interaction, tandis qu'un modèle vision-langage-action (VLA) les exécute. Un « Event Monitor » léger, qui combine les observations visuelles et les trajectoires de l'effecteur terminal, détermine si le sous-objectif en cours est achevé. Ce n'est qu'à cette condition que le système l'inscrit dans l'historique des sous-objectifs accomplis et déclenche le raisonnement suivant. Avec un historique visuel côté exécuteur, EventSync atteint 64,5 % de succès global sur le benchmark RoboMME, soit 20,0 points de pourcentage de plus que la meilleure référence publiée dans ce benchmark. Les auteurs ajoutent des expériences sur quatre tâches réelles aux exigences de mémoire différentes. Le nombre de robots, les plateformes et les temps de cycle ne sont pas précisés dans le résumé. L'enjeu concerne un point faible connu des architectures VLM plus VLA : la fiabilité de la mémoire de tâche. Deux phases d'exécution distinctes peuvent produire des images quasi identiques, et un sous-objectif enregistré comme terminé trop tôt fausse tout le raisonnement qui suit, avec des erreurs qui s'accumulent sur les séquences longues. En conditionnant la mise à jour de la mémoire à une preuve d'achèvement, plutôt qu'à un simple pas de temps ou à une impression visuelle, EventSync traite une cause d'échec très concrète pour les intégrateurs qui visent des enchaînements multi-étapes (assemblage, kitting, manipulation d'objets avec état caché). Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, le gain de 20 points est mesuré sur un seul benchmark, et quatre tâches réelles ne disent rien de la robustesse en production, ni de la sensibilité du moniteur à de nouveaux gripers ou environnements. Ce travail s'inscrit dans la montée des architectures hiérarchiques, où un modèle de raisonnement de haut niveau pilote une politique bas niveau, sur le modèle de systèmes comme Helix chez Figure, Pi-0 chez Physical Intelligence ou GR00T chez NVIDIA. RoboMME, qui évalue les capacités de mémoire en manipulation, sert de terrain de comparaison pour ces approches, et les politiques sans mémoire explicite y restent limitées. Les prochaines étapes probables sont des tests sur davantage de plateformes, une publication du code et des comparaisons directes avec des VLA dotés d'une mémoire longue native. Le résumé ne mentionne aucun pilote industriel ni calendrier de déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Gondola : planification vision-langage ancrée pour la manipulation robotique

Gondola, un modèle de planification vision-langage « ancré », est présenté dans une nouvelle version (v2) d'un article arXiv. Il vise à séparer la planification de haut niveau du contrôle bas niveau en manipulation robotique. À partir d'observations multi-vues et de l'historique de planification, Gondola prédit l'étape suivante sous forme d'instructions textuelles entrelacées avec des masques de segmentation multi-vues. Ces masques désignent au niveau du pixel les objets cibles et les emplacements d'arrivée. Ce plan est ensuite exécuté par une politique de contrôle fondée sur la 3D. Pour l'entraîner, les auteurs ont construit des jeux de données synthétiques qui supervisent trois compétences : la planification ancrée à court horizon, les expressions référentielles multi-vues et le raisonnement compositionnel à long horizon. Le système affirme atteindre l'état de l'art sur le benchmark GemBench et montre un transfert « prometteur » vers des robots réels. Le résumé ne donne ni score chiffré, ni description du matériel, ni nombre de tâches réelles testées. L'approche répond à une faiblesse connue des modèles vision-langage-action (VLA). Lorsqu'ils associent directement pixels et instructions à des actions bas niveau, ils restent difficiles à interpréter et perdent en robustesse sur les tâches longues et complexes. Ici, le plan intermédiaire est lisible, et l'on peut voir quel objet le robot a ciblé avant qu'il n'agisse. Pour un intégrateur, cela facilite le diagnostic des échecs, car on distingue une erreur de raisonnement d'une erreur d'exécution. Les ablations indiquent que l'ancrage au pixel près et la supervision orientée planification pèsent réellement dans les performances. Cela plaide pour des architectures modulaires face aux VLA de bout en bout. Deux réserves s'imposent. GemBench est un benchmark en simulation, et une démonstration robotique réelle décrite comme « prometteuse » ne prouve pas une fiabilité industrielle. L'entraînement sur données synthétiques laisse aussi ouverte la question de l'écart simulation-réalité. Le travail s'inscrit dans un mouvement plus large de découplage entre un « cerveau » de haut niveau et un contrôleur d'exécution. Les architectures à deux systèmes de type Helix en sont un exemple, et les VLA généralistes comme Pi-0 misent au contraire sur le bout en bout. La page du projet est hébergée sur cshizhe.github.io, ce qui suggère un cadre académique, sans annonce de produit, de partenaire industriel ni de calendrier de déploiement. L'article étant une révision (v2), l'évaluation a pu évoluer depuis la première version. La suite dépendra de la publication du code et des modèles, de résultats chiffrés sur des robots physiques et de comparaisons directes avec les VLA de bout en bout sur des tâches longues.

RecherchePaper

1 source

4arXiv cs.RO

Un VLM de pointe peut-il servir de politique robotique pour la manipulation dépendant de la mémoire ?

Des chercheurs ont utilisé GPT-6-Astra, un modèle vision-langage de pointe laissé gelé, comme politique de contrôle directe sur RoboMME, un benchmark de 16 tâches de manipulation qui exigent de la mémoire temporelle, spatiale, d'objet ou procédurale. Le modèle garde tout l'épisode en contexte et produit lui-même chaque waypoint de l'effecteur ainsi que chaque commande de pince, sans aucun entraînement spécifique à RoboMME. Sur les 800 épisodes de test, il réussit 92,1 % des cas. Le score humain publié auparavant est de 90,5 %, mais il a été obtenu avec une interface de compétences fournie par un oracle. Le meilleur résultat du classement atteint 60,8 %, et un système hiérarchique associant le même modèle à une politique entraînée sur RoboMME plafonne à 79,1 %. Le modèle égale ou dépasse le score humain sur 13 des 16 tâches. Ses 63 échecs se concentrent sur deux tâches et sont surtout des fins d'épisode déclarées trop tôt et des appuis sur bouton mal chronométrés ou involontaires. Code, prompts et journaux de tous les épisodes sont publiés. Ce résultat remet en cause la découpe habituelle entre planification long terme, mémoire et contrôle de l'effecteur, que la plupart des architectures robotiques traitent dans des modules distincts. Ici, un modèle généraliste sans entraînement spécifique bat à la fois les approches spécialisées et l'hybride, ce qui suggère que le goulot d'étranglement sur ces tâches tenait moins à l'absence de politique entraînée qu'à la capacité de raisonnement sur un contexte long. Pour un intégrateur, la leçon est prudente : la comparaison avec l'humain n'est pas équivalente, puisque le score de référence passe par une interface de compétences. L'extrait ne donne ni latence, ni coût par épisode, ni test sur matériel réel, des critères décisifs pour tout déploiement industriel. Il s'agit en outre d'un préprint évalué par ses propres auteurs. Ce travail prolonge la ligne des modèles vision-langage-action comme Pi-0, GR00T N2 ou Helix, qui entraînent des politiques dédiées sur de grands jeux de données de téléopération. Il adopte le chemin inverse : exploiter un modèle frontière généraliste tel quel. Les benchmarks de mémoire comme RoboMME servent justement à tester ce que les politiques réactives ne savent pas faire. La suite logique est de vérifier la reproductibilité par des tiers, de mesurer la tenue sur robots physiques et d'évaluer si cette approche tient dans les budgets de latence des cadences de production.

RecherchePaper

1 source