RecherchearXiv cs.RO 14 mai 2026

RoboEvolve : co-évolution planificateur-simulateur pour la manipulation robotique avec peu de données

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

RoboEvolve est un framework de recherche publié en preprint arXiv (réf. 2605.13775, mai 2025) dont l'objectif est de résoudre la rareté des données d'interaction physique alignées sur les tâches de manipulation robotique. Le système couple un planificateur basé sur un modèle vision-langage (VLM) et un simulateur basé sur un modèle de génération vidéo (VGM) dans une boucle co-évolutive auto-renforçante, opérant à partir de seulement 500 images non annotées, soit une réduction de 50x par rapport aux baselines entièrement supervisées. Le mécanisme alterne une phase d'exploration diurne, qui génère des trajectoires ancrées physiquement via une récompense multi-granulaire à contrôle sémantique, et une phase de consolidation nocturne, qui exploite les échecs "near-miss" pour stabiliser l'optimisation de politique. Les résultats publiés indiquent une amélioration de 30 points absolus sur les planificateurs de base, une hausse de 48 % du taux de succès des simulateurs, et un apprentissage continu robuste sans oubli catastrophique.

Ces chiffres adressent directement le principal verrou économique des pipelines de manipulation à grande échelle : la collecte de données téléopérées, qui freine aujourd'hui des systèmes commerciaux comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). La co-évolution VLM-VGM contourne deux limitations bien documentées : les VLM seuls souffrent d'un désalignement sémantique-spatial (compréhension correcte de la tâche mais imprécision dans le positionnement 3D), tandis que les VGM seuls produisent des hallucinations physiques (vidéos synthétiques qui violent les contraintes physiques réelles). Un curriculum progressif automatique fait évoluer le système d'actions atomiques simples vers des tâches composites complexes, approche concrète au problème de généralisation hiérarchique encore non résolu à l'échelle commerciale.

Ce travail s'inscrit dans une tendance émergente visant à substituer la génération synthétique de données à la collecte terrain coûteuse, tendance accélérée depuis Diffusion Policy (2023) et l'essor des modèles VLA (vision-language-action). Le résumé disponible ne précise ni affiliation institutionnelle des auteurs ni plateforme matérielle de validation, une limite importante avant tout transfert industriel. Aucun déploiement physique ni partenariat constructeur n'est annoncé : RoboEvolve reste à ce stade une contribution académique dont la transposition sim-to-real sur hardware réel reste entièrement à démontrer.

Dans nos dossiers

Figure NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique

À lire aussi

1arXiv cs.RO

AXIS : un moteur de données communautaire évolutif pour la manipulation robotique à grande échelle

Des chercheurs ont présenté AXIS, un moteur de données communautaire et évolutif pour l'apprentissage de la manipulation robotique, décrit dans un article déposé sur arXiv le 24 juillet 2026. Le système permet de collecter des démonstrations à grande échelle via téléopération directement dans le navigateur, sans matériel spécialisé ni opérateurs centralisés, et génère puis valide automatiquement de nouvelles tâches de manipulation. Un pipeline automatisé filtre la qualité des trajectoires, les lisse et applique des augmentations visuelles et physiques pour produire des données prêtes à l'entraînement. Le jeu de données AXIS compte actuellement 207 tâches diverses et plus de 50 000 trajectoires, organisées en "task snapshots" évalués selon un protocole strict à données retenues (held-out). Ce travail cible un goulot d'étranglement bien identifié du secteur : la difficulté à faire grandir les jeux de démonstrations utilisés pour entraîner les politiques vision-langage-action (VLA), jusqu'ici souvent limités par du matériel dédié ou des catalogues de tâches figés. Les auteurs montrent que le pré-entraînement continu sur AXIS améliore le taux de réussite global du modèle π0.5 de 5,8 points, et dépasse de 37,3 points un modèle pré-entraîné sur RoboCasa365, avec des gains qui s'accentuent à mesure que le volume de données augmente. Les progrès les plus nets apparaissent sous perturbations de disposition, de bruit capteur et de point de vue caméra, un signal utile pour les intégrateurs cherchant des politiques robustes hors laboratoire plutôt que de simples démonstrations réussies en conditions idéales. Le projet s'inscrit dans une tendance émergente consistant à traiter la collecte de données robotiques comme un problème d'échelle communautaire, à l'image de ce que le crowdsourcing a permis pour les grands modèles de langage. Il se positionne explicitement face à RoboCasa365, utilisé comme référence de comparaison, et s'appuie sur des politiques VLA existantes telles que π0.5 pour évaluer l'apport réel des données AXIS. Il s'agit à ce stade d'un article de recherche déposé en preprint, dont les résultats n'ont pas encore été validés par relecture par les pairs ni reproduits par des équipes tierces.

RecherchePaper

1 source

2arXiv cs.RO

Des planificateurs VLM aux agents robotiques : des harnais auto-évolutifs pour la manipulation dépendante de l'historique

Des chercheurs proposent SERA (Self-Evolving Robotic Agent), un cadre qui transforme le modèle vision-langage (VLM) chargé de la planification de haut niveau en véritable agent robotique, piloté par un « harnais » éditable. Ce harnais conserve le contexte de la tâche, met à jour cette mémoire à partir des observations et des retours d'exécution, puis s'en sert pour guider les décisions suivantes. L'exécution de bas niveau reste confiée à un modèle vision-langage-action (VLA) fixe, c'est-à-dire un modèle qui convertit directement images et instructions en commandes moteur. Le mécanisme d'auto-évolution s'appuie sur des déroulements en environnement pour proposer et évaluer des révisions du harnais. La configuration retenue est figée avant les tests sur données mises de côté. Sur le benchmark RoboMME, SERA atteint 51,38 % de succès global avec sélection autonome, contre 44,38 % sans auto-évolution, soit un gain de 7 points. Il s'agit d'un travail de recherche (prépublication arXiv), sans déploiement industriel ni produit associé. L'enjeu porte sur une limite connue des VLA : les tâches longues dépendent souvent de l'historique, car il faut se rappeler l'avancement, le résultat des interactions passées, et composer avec l'observabilité partielle et l'accumulation des erreurs d'exécution. Ces dépendances dites non markoviennes mettent en difficulté les politiques qui ne regardent que l'état courant. Les résultats suggèrent qu'améliorer le contexte et la logique du planificateur, sans réentraîner le contrôleur bas niveau, peut apporter un gain mesurable. Pour un intégrateur, c'est une piste intéressante, car ajuster un harnais est moins coûteux que réentraîner un VLA. Il faut toutefois rester prudent : un taux de succès d'environ 51 % reste loin d'une fiabilité exploitable en production, la comparaison porte sur un seul benchmark, et le gain dépend de la qualité de l'exécuteur figé. Les auteurs parlent d'une direction prometteuse, pas d'un problème résolu. Ce travail s'inscrit dans deux lignes de recherche déjà engagées : l'ajout de mémoire aux politiques fondées sur des modèles de fondation, et les architectures hiérarchiques qui séparent planification de haut niveau et exécution de bas niveau, comme celles que l'on trouve dans plusieurs systèmes de VLA récents. La nouveauté revendiquée tient à la manière de traiter le VLM comme un agent, avec un harnais qui évolue à partir de l'expérience d'exécution, sur le modèle des agents logiciels auto-améliorants. Le résumé ne précise ni le VLA utilisé, ni les modes d'échec restants, ni le coût de l'étape d'évolution en nombre de rollouts. Ces points seront à vérifier dans l'article complet, tout comme une éventuelle validation sur robot réel, absente de l'abstract.

RecherchePaper

1 source

3arXiv cs.RO

DUET-DINO : modélisation simultanée du monde multi-vue pour la planification latente en manipulation robotique

Des chercheurs affiliés au laboratoire UTN-AIR publient DUET-DINO, un modèle de monde latent conditionné par l'action, décrit dans une prépublication arXiv du 10 septembre 2026 (arXiv:2609.10506). Le système apprend simultanément à partir de deux flux vidéo, une caméra statique de scène et une caméra montée sur le poignet du bras robotique, en les faisant se conditionner mutuellement, pour prédire les conséquences visuelles d'une action sur l'ensemble des 7 degrés de liberté (DOF) d'un effecteur terminal. Entraîné à partir de zéro sur les jeux de données DROID et RoboArena, il atteint 92% de réussite sur des tâches d'atteinte spatiale (reach), 72,5% sur des tâches d'atteinte avec orientation fine (angled-reach) et 60,0% sur des tâches de préhension et levage d'objet (grasp-and-lift), surpassant des versions à vue unique ou à double vue non couplée. Les auteurs comparent aussi deux briques de vision : les prédictions du modèle V-JEPA 2 sur la vue poignet sous-estiment la dynamique visuelle induite par des actions fines, tandis que DINOv3 capture mieux ces changements et améliore la planification en aval. Le code et les poids seront publiés en open source, mais ne le sont pas encore à ce stade. L'enjeu technique visé est concret : les modèles de monde latents existants échouent souvent sur les actions spatiales et rotationnelles fines, ce qui limite leur usage pour un contrôle précis en 7 DOF, indispensable à des tâches d'insertion, de saisie orientée ou de manipulation fine en usine. En couplant vue globale de scène et vue centrée sur la pince, DUET-DINO cherche à combler cet écart pour permettre une planification zero-shot conditionnée par objectif, sans réentraînement spécifique à chaque tâche. Pour les intégrateurs et décideurs robotique, le résultat le plus utile n'est pas tant les scores de réussite, encore modestes sur des tâches de préhension complexes, que l'indication empirique que le choix du backbone visuel (DINOv3 plutôt que V-JEPA 2) conditionne directement la qualité de la planification en aval, un signal utile pour quiconque construit des architectures VLA ou de modèles de monde. Ce travail s'inscrit dans la lignée des modèles de monde auto-supervisés type V-JEPA de Meta et des familles DINOv2/DINOv3, plutôt que dans celle des politiques VLA de bout en bout comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui apprennent directement une politique d'action plutôt qu'un modèle prédictif séparé. DUET-DINO reste à ce stade une publication de recherche évaluée sur des bancs d'essai contrôlés, sans déploiement industriel annoncé ; les auteurs promettent la publication du code et des checkpoints ainsi qu'une page projet dédiée, mais aucun calendrier de mise à disposition n'est précisé.

RecherchePaper

1 source

4arXiv cs.RO

Gondola : planification vision-langage ancrée pour la manipulation robotique

Gondola, un modèle de planification vision-langage « ancré », est présenté dans une nouvelle version (v2) d'un article arXiv. Il vise à séparer la planification de haut niveau du contrôle bas niveau en manipulation robotique. À partir d'observations multi-vues et de l'historique de planification, Gondola prédit l'étape suivante sous forme d'instructions textuelles entrelacées avec des masques de segmentation multi-vues. Ces masques désignent au niveau du pixel les objets cibles et les emplacements d'arrivée. Ce plan est ensuite exécuté par une politique de contrôle fondée sur la 3D. Pour l'entraîner, les auteurs ont construit des jeux de données synthétiques qui supervisent trois compétences : la planification ancrée à court horizon, les expressions référentielles multi-vues et le raisonnement compositionnel à long horizon. Le système affirme atteindre l'état de l'art sur le benchmark GemBench et montre un transfert « prometteur » vers des robots réels. Le résumé ne donne ni score chiffré, ni description du matériel, ni nombre de tâches réelles testées. L'approche répond à une faiblesse connue des modèles vision-langage-action (VLA). Lorsqu'ils associent directement pixels et instructions à des actions bas niveau, ils restent difficiles à interpréter et perdent en robustesse sur les tâches longues et complexes. Ici, le plan intermédiaire est lisible, et l'on peut voir quel objet le robot a ciblé avant qu'il n'agisse. Pour un intégrateur, cela facilite le diagnostic des échecs, car on distingue une erreur de raisonnement d'une erreur d'exécution. Les ablations indiquent que l'ancrage au pixel près et la supervision orientée planification pèsent réellement dans les performances. Cela plaide pour des architectures modulaires face aux VLA de bout en bout. Deux réserves s'imposent. GemBench est un benchmark en simulation, et une démonstration robotique réelle décrite comme « prometteuse » ne prouve pas une fiabilité industrielle. L'entraînement sur données synthétiques laisse aussi ouverte la question de l'écart simulation-réalité. Le travail s'inscrit dans un mouvement plus large de découplage entre un « cerveau » de haut niveau et un contrôleur d'exécution. Les architectures à deux systèmes de type Helix en sont un exemple, et les VLA généralistes comme Pi-0 misent au contraire sur le bout en bout. La page du projet est hébergée sur cshizhe.github.io, ce qui suggère un cadre académique, sans annonce de produit, de partenaire industriel ni de calendrier de déploiement. L'article étant une révision (v2), l'évaluation a pu évoluer depuis la première version. La suite dépendra de la publication du code et des modèles, de résultats chiffrés sur des robots physiques et de comparaisons directes avec les VLA de bout en bout sur des tâches longues.

RecherchePaper

1 source