Explorateurs, communicatifs et déployables : des…

1arXiv cs.RO

LaGEA : des agents incarnés guidés par le langage pour la manipulation robotique

Des chercheurs présentent LaGEA (Language Guided Embodied Agents), une architecture combinant un modèle vision-langage (VLM) et l'apprentissage par renforcement (RL) pour la manipulation robotique, décrite dans une version mise a jour (v3) d'un article arXiv (2509.23155). Apres chaque tentative, le système résume l'épisode en langage naturel, localise les instants décisifs de la trajectoire, aligne ce retour avec l'état visuel dans une représentation partagée, puis transforme la progression vers l'objectif en récompenses bornées appliquées pas a pas. Un coefficient adaptatif, sensible aux échecs, rend ce signal dense en début d'exploration puis l'atténué avec la montée en compétence de l'agent. Sur les bancs d'essai simules Meta-World MT10 (dix taches de manipulation) et Robotic Fetch, LaGEA améliore le taux de réussite moyen de 9,0% sur des objectifs aléatoires, 5,3% sur des objectifs fixes et 17% sur les taches Fetch par rapport aux méthodes de référence, avec une convergence plus rapide. Le travail s'attaque a un problème classique du RL, la conception manuelle des fonctions de récompense, souvent couteuse et peu généralisable a de nouvelles taches. En montrant qu'un retour en langage naturel, structure et ancre temporellement, peut remplacer une partie de cette ingénierie, LaGEA nuance le narratif dominant autour des modèles vision-langage-action (VLA) de type Pi-0, GR00T N2 ou Helix, conçus pour piloter directement une politique de bout en bout : ici, le langage sert de superviseur d'apprentissage plutôt que de commande directe. Les gains rapportes restent obtenus en simulation, non sur du matériel réel, et demandent une confirmation sur des taches de manipulation physique. LaGEA prolonge les travaux exploitant les grands modèles vision-langage comme source de récompense ou de critique pour le RL, un axe de recherche actif depuis l'essor des modèles de fondation capables de décrire des objectifs et d'évaluer des trajectoires. Meta-World MT10 et Robotic Fetch sont des bancs d'essai standards de la communauté robotique, ce qui permet une comparaison directe avec l'état de l'art. S'agissant d'une version corrigée d'un article déjà publie, la contribution reste académique : aucun partenaire industriel, date de déploiement ou intégration produit n'est annonce a ce stade, la prochaine étape logique étant une validation sim-to-real sur robot physique.

RecherchePaper

1 source

2arXiv cs.RO

VOMMI : collecte et exploitation de démonstrations portables pour la manipulation mobile

Des chercheurs présentent VOMMI (Visual-Odometry-Conditioned Mobile Manipulation Interface), un cadre de collecte de démonstrations portables et d'apprentissage pour la manipulation mobile, publié sur arXiv. Le système synchronise une vue « corps » et une vue « main » en RGB pour capturer à la fois le contexte de navigation et les interactions locales avec les objets, sans calibration de correspondance cinématique entre humain et robot. Deux briques techniques le composent. R2-VO affine hors ligne les trajectoires de démonstration à partir d'ancres géométriques parcimonieuses, puis produit des tokens de mouvement local causaux sur plusieurs horizons de prédiction. Un adaptateur résiduel par groupes d'actions injecte ces tokens uniquement dans la branche de base mobile du modèle vision-langage-action (VLA). Les expériences reposent sur 500 trajectoires portables par tâche, dont 75 réservées à l'évaluation RGB-VO, et sur 200 démonstrations robot servant de référence. La politique post-entraînée uniquement sur données portables affiche une erreur de vitesse de base inférieure de 18,2 % à celle d'une politique entraînée sur démonstrations robot, avec une précision de translation de l'effecteur comparable. La reconstruction hors ligne réduit l'erreur de trajectoire absolue de 24,6 % en moyenne pour les flux corps et main, par rapport au meilleur point de comparaison évalué pour chaque flux. Sur trois tâches réelles, le système complet gagne 8,3 points de succès moyen face à OpenPI 0.5. Pour les intégrateurs et les équipes data, l'enjeu est le coût de collecte. La téléopération et les dispositifs spécialisés bardés de capteurs restent le goulot d'étranglement des politiques de manipulation mobile, et une capture portable, sans robot et avec une simple caméra RGB, élargirait fortement le volume de démonstrations accessible. Le résultat le plus parlant est l'erreur de vitesse de base : la navigation est précisément la dimension où l'odométrie visuelle brute dérive et où l'on pouvait craindre que des données humaines transfèrent mal. Ici, elles font mieux que les données robot sur cette métrique, ce qui suggère que le conditionnement par mouvement visuel compense le défaut de supervision. Il faut toutefois rester prudent : le gain de 8,3 points sur OpenPI 0.5 est modeste, mesuré sur seulement trois tâches, et les travaux ne précisent pas la nature des tâches ni les intervalles de confiance dans ce résumé. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. Le contexte est celui de la pénurie de données pour l'intelligence incarnée. Des interfaces portables comme UMI ont montré qu'on pouvait collecter des démonstrations de manipulation sans robot, mais elles se limitent surtout à la manipulation de table, sans la composante de déplacement de la base. VOMMI étend cette logique à la manipulation mobile, en s'appuyant sur la famille de politiques OpenPI (basée sur Pi-0) comme référence. Les acteurs concurrents du côté des VLA, dont Physical Intelligence, Figure avec Helix ou Nvidia avec GR00T, misent eux aussi sur des corpus massifs mêlant vidéo humaine et données robot. Les suites logiques seraient une validation sur davantage de tâches et de morphologies de robots, ainsi qu'une mesure du compromis entre volume de données portables et qualité de reconstruction hors ligne.

RecherchePaper

1 source

3arXiv cs.RO

Mondes en une seule démo : un moteur de données synthétiques pour la manipulation mobile en monde ouvert

Des chercheurs présentent WANDA (learning open-World mobile mANipulation from one Demonstration via a synthetic DAta engine), un moteur de génération de données synthétiques permettant d'entraîner des politiques de manipulation mobile à partir d'une seule démonstration humaine. Décrit dans un preprint arXiv publié mi-juillet 2026 (arXiv:2607.13154), le système reconstruit d'abord une scène sous forme de Gaussian splats et extrait les trajectoires d'interaction robot-objet à partir d'observations RGBD. Ces segments d'interaction riches en contacts sont ensuite réagencés dans de multiples configurations spatiales grâce à une planification de mouvement corps entier, qui les enchaîne en nouvelles trajectoires. Une méthode nommée Corrective State Expansion augmente la diversité des états du robot et des objets à chaque étape de la tâche. Pour généraliser au-delà d'un seul environnement, WANDA synthétise aussi des trajectoires sur des mondes 3D générés à partir de simples photos du quotidien, puis compose des rendus photoréalistes en combinant meshes de robot et d'objets avec des fonds en Gaussian splatting. Les auteurs valident l'approche sur des tâches simulées et réelles dans des scènes variées, et démontrent un transfert zero-shot vers un second manipulateur mobile de morphologie différente, sans réentraînement. L'enjeu central est le goulot d'étranglement des données pour les politiques de manipulation mobile en monde ouvert : la téléopération et les interfaces type UMI (Universal Manipulation Interface) exigent un effort humain considérable et ne passent pas à l'échelle. En démontrant qu'une seule démonstration réelle peut être démultipliée en un jeu de données couvrant robustesse long-horizon, généralisation spatiale et généralisation inter-environnements, WANDA s'attaque directement à l'hypothèse dominante du secteur selon laquelle les politiques VLA (vision-language-action) nécessitent des milliers d'heures de téléopération pour généraliser. Le support natif du cross-embodiment, illustré par un déploiement zero-shot sur un manipulateur différent, intéresse particulièrement les intégrateurs qui cherchent à réutiliser des données d'entraînement entre plusieurs plateformes robotiques plutôt que de recollecter pour chaque nouveau châssis. Ce travail s'inscrit dans une vague de recherches sur la donnée synthétique en robotique, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui explorent chacune des voies différentes pour réduire la dépendance à la téléopération massive. À la différence de ces systèmes déjà déployés commercialement, WANDA reste à ce stade un preprint arXiv de juillet 2026, sans affiliation industrielle mentionnée dans l'abstract, et ses résultats n'ont pas encore été validés par une revue par les pairs ni testés en conditions de production. Les auteurs ne précisent ni le nombre de tâches évaluées ni de chiffres de performance quantifiés, ce qui invite à la prudence avant d'extrapoler ces résultats à un contexte industriel. Les prochaines étapes attendues incluent une publication en conférence et des comparaisons plus poussées face aux méthodes de collecte existantes.

RecherchePaper

1 source

4arXiv cs.RO

Combiner supervision manuelle et par téléopération pour la manipulation riche en contacts via des experts guidés par l'état

Une équipe de chercheurs publie sur arXiv (réf. 2606.26603) une méthode hybride de collecte de données pour la manipulation robotique en contact, baptisée BRIDGE (Bi-modal Routing for Imitation Data via Gated Experts). L'approche combine deux modalités d'apprentissage par imitation: les systèmes portables de type UMI (Universal Manipulation Interface), qui permettent une collecte à grande échelle mais ne capturent que des "actions observées" depuis le démonstrateur humain, et la téléopération, qui fournit des "actions désirées" directement exploitables par le contrôleur robot, mais dont la collecte est coûteuse en temps. Sur trois tâches de manipulation riche en contacts, BRIDGE améliore le taux de succès jusqu'à 36,7% par rapport à une politique entraînée uniquement sur données portables. L'architecture repose sur un mélange d'experts en diffusion policy, routés dynamiquement selon la phase de tâche courante détectée à partir de l'état du robot. Le résultat le plus contre-intuitif mérite attention: mélanger naïvement des données portables et des démonstrations de téléopération dégrade les performances par rapport aux données portables seules. Ce n'est qu'en ségréguant explicitement les deux sources via un routeur conditionné sur l'état robot que le gain émerge. Pour les ingénieurs et intégrateurs en robotique industrielle, cela pointe une réalité souvent ignorée: la qualité de la supervision varie selon la phase de tâche, et une augmentation de données mal calibrée peut nuire à la politique apprise. En phase libre, les trajectoires portables sont valides; en phase de contact, le suivi de trajectoires observées à haute rigidité génère des forces de contact importantes et potentiellement dangereuses. BRIDGE résout ce mismatch sans exiger une téléopération complète de la tâche, réduisant significativement le coût de collecte tout en ciblant les segments réellement critiques. Le système UMI, issu des travaux de Cheng Chi et al. (Stanford/Columbia), s'est imposé comme référence pour la collecte scalable en manipulation; les diffusion policies, popularisées par ces mêmes travaux en 2023, forment le socle algorithmique de BRIDGE. Dans le panorama actuel de l'imitation learning, cette recherche se positionne face à des approches à grande échelle comme les VLA (pi-0 de Physical Intelligence, OpenVLA, GR00T N2 de NVIDIA), qui misent sur des volumes massifs de données hétérogènes. BRIDGE fait un pari différent: la qualité ciblée plutôt que l'échelle brute. Il s'agit d'une prépublication arXiv, non encore évaluée par les pairs, et les trois tâches testées restent des benchmarks de laboratoire. La généralisation à des environnements industriels réels, avec variabilité de pièces et contraintes de cycle time, reste entièrement à démontrer.

RecherchePaper

1 source

Explorateurs, communicatifs et déployables : des agents incarnés guidés par la vision pour la manipulation mobile en monde ouvert

À lire aussi

LaGEA : des agents incarnés guidés par le langage pour la manipulation robotique

VOMMI : collecte et exploitation de démonstrations portables pour la manipulation mobile

Mondes en une seule démo : un moteur de données synthétiques pour la manipulation mobile en monde ouvert

Combiner supervision manuelle et par téléopération pour la manipulation riche en contacts via des experts guidés par l'état