RecherchearXiv cs.RO 25 septembre 2026

RAPID : programmation à base d'agents pour robots à partir de démonstrations

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente RAPID (Robot Agentic Programming from Demonstrations) dans un preprint publié sur arXiv le 25 septembre 2026 (arXiv:2609.30249) : un système qui génère, vérifie et affine automatiquement un programme robotique complet à partir d'une seule démonstration visuelle humaine, sans corpus d'entraînement massif. La boucle agentique itérative infère elle-même, depuis cette démonstration, trois ingrédients clés : une spécification de tâche testable, des primitives d'action exécutables par le robot, et un environnement interactif pour exécuter et vérifier le programme. Pour rendre le résultat réutilisable au-delà du contexte filmé, RAPID exprime les primitives comme des programmes d'optimisation de trajectoire reproduisant l'effet de mouvement au niveau de l'objet, assemblés par des contraintes relationnelles qui capturent la géométrie de la scène au moment de l'exécution. Les chercheurs ont testé le système en simulation sur huit tâches de manipulation non préhensile riches en contacts (pousser, pivoter, basculer des objets) et sur des tâches préhensiles classiques du benchmark LIBERO-Pro, puis l'ont déployé sur un bras robotique Franka réel pour l'ensemble des huit tâches non préhensiles ; le projet est documenté sur yuyaoliu.me/projects/rapid.

L'intérêt de RAPID tient à la difficulté qu'il attaque : transformer une démonstration unique en un programme réutilisable et généralisable, là où les politiques d'apprentissage par imitation ou les modèles vision-langage-action (VLA) exigent généralement des corpus de démonstrations massifs. En appliquant à la manipulation robotique la logique des agents de codage logiciel, capables d'itérer, tester et corriger leur propre production, RAPID parie que la synthèse de programmes symboliques explicites généralise mieux que des politiques paramétriques apprises, en particulier sur les tâches non préhensiles où la dynamique de contact et le frottement rendent la généralisation notoirement difficile. Les auteurs revendiquent une généralisation à la pose, la forme, le matériau et l'environnement des objets, une affirmation émanant pour l'instant d'une seule équipe sur un périmètre de tâches limité et non validée indépendamment ; le déploiement réel se cantonne d'ailleurs à un unique bras Franka et aux tâches non préhensiles, les tâches préhensiles de LIBERO-Pro n'ayant été testées qu'en simulation. Il s'agit donc d'un résultat de recherche prometteur mais encore au stade du preprint, pas d'un produit ou d'un pipeline prêt pour l'intégration industrielle.

Le travail s'inscrit dans un mouvement plus large visant à transposer aux robots le paradigme des agents de codage popularisé en génie logiciel, plutôt que d'empiler les données pour entraîner des politiques de bout en bout. Il se positionne ainsi en alternative aux approches VLA dominantes du secteur, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui apprennent des politiques directement à partir de grands ensembles de démonstrations plutôt que de synthétiser un programme symbolique explicite à partir d'un seul exemple ; aucun acteur français ou européen n'apparaît dans cette publication. À ce stade, RAPID reste un résultat académique diffusé via un preprint arXiv et un site de projet présentant des matériaux complémentaires, sans partenariat industriel, pilote de déploiement ni calendrier de commercialisation annoncés par les auteurs.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique

À lire aussi

1arXiv cs.RO

Encore : découverte à base d'agents de stratégies de manipulation à partir de quelques démonstrations

Des chercheurs présentent ENCORE, un système où un agent de programmation apprend des stratégies de manipulation robotique à partir de quelques démonstrations, non pas comme données d'entraînement mais comme éléments à lire et analyser. Un « builder » déterministe transforme chaque démonstration en un dossier regroupant des images clés multi-vues, les événements du gripper, des bandes d'images et la trajectoire complète. L'agent étudie ce dossier, écrit un programme de politique de contrôle s'appuyant sur une API fixe de perception et d'action, l'affine sur quelques essais de développement, puis le fige avant une évaluation scellée qui ne révèle jamais le signal de succès. Sur LIBERO-PRO, le premier programme produit par l'agent réussit déjà la moitié des tâches perturbées lorsqu'il dispose de démonstrations, contre une seule tâche sans elles. Une fois figés, les programmes atteignent 96,3 % de réussite, contre 89,3 % pour le meilleur système agentique antérieur utilisant le même modèle de langage. Sur RoboDojo, dont les consignes ne précisent pas le but, aucun programme ne réussit sans démonstrations. Le système fonctionne aussi sur un robot bimanuel réel, qui apprend le passage de cube d'une main à l'autre et le retournement de tasse à partir de cinq démonstrations chacune. L'intérêt tient à ce que ce travail déplace le problème. Les agents de code savent écrire et déboguer des programmes, mais une consigne en une phrase ne dit rien de la prise, de l'ordre des contacts ou de l'état final attendu, et l'agent en est réduit à l'essai-erreur. Les résultats sur RoboDojo montrent que ces informations ne se devinent pas : sans démonstration, le taux de réussite est nul. L'approche produit des politiques sous forme de code, donc lisibles et modifiables, ce qui attire les intégrateurs qui redoutent l'opacité des VLA. Le protocole d'évaluation scellé répond aussi à une critique fréquente sur les benchmarks agentiques, où le signal de succès peut fuiter vers l'agent. Il faut toutefois rester prudent : LIBERO-PRO est un banc de test simulé, l'écart de 7 points porte sur un seul modèle de langage, et la validation réelle se limite à deux tâches simples sur un seul robot. Ce travail s'inscrit dans deux courants. D'un côté, les modèles VLA comme Pi-0 ou GR00T apprennent des politiques de bout en bout à partir de grands volumes de données. De l'autre, les systèmes agentiques qui génèrent du code de contrôle à partir de modèles de langage, dont ENCORE dépasse le meilleur représentant testé. La question qui reste ouverte est celle du passage à l'échelle : des tâches longues, des objets déformables, des scènes non structurées. L'article, publié sur arXiv (2609.37359), ne mentionne ni déploiement industriel ni calendrier de pilote.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Passage à l'échelle de l'exploration en ligne pour les robots à base d'agents

RAX (Robot Agent eXploration), un framework open source présenté sur arXiv (2610.22496), propose de remplacer l'apprentissage par démonstrations par l'exploration en ligne. Un agent de code généraliste y écrit directement le code de contrôle du robot, sans données de démonstration d'actions, sans primitives d'action conçues à la main et sans guidage par fonction de valeur. En explorant, l'agent identifie les séquences de décisions qui atteignent l'objectif, puis les compile en programmes modulaires couvrant toute la boucle perception, planification et contrôle. Les auteurs ont mené une étude multi-embodiment sur des tâches de précision et de manipulation longue durée, avec des bras uniques, des systèmes bimanuels, des mains dextres, des robots mobiles et des humanoïdes, en simulation et sur robots réels. En simulation, RAX dépasse les meilleurs modèles de référence de 37,4 % en moyenne. Sur robots réels, il apprend sans démonstration humaine des tâches dépendant de la mémoire, articulées, de haute précision, déformables et de manipulation mobile longue durée. Les nouvelles compétences sont composées à partir de compétences vérifiées lors de sessions d'exploration précédentes. L'enjeu pour l'industrie tient au coût d'intégration. Aujourd'hui, chaque nouvelle morphologie ou nouvelle tâche exige un corpus de téléopération dédié, ce qui limite le passage à l'échelle des modèles vision-langage-action (VLA) et enferme les politiques dans la distribution de leurs imitations. Ici, un nouveau robot s'intègre uniquement via ses API, sans collecte téléopérée ni entraînement de politique. Pour un intégrateur, cela déplace le goulot d'étranglement de la donnée vers l'exploration en ligne et la vérification des programmes produits. Les auteurs rapportent que la généralisation sur environnements inédits progresse de façon régulière avec le volume d'exploration, et que des comportements émergent : perception active, récupération d'erreurs, garde-fous de sécurité et collaboration homme-robot. Il faut toutefois rester prudent : le résumé ne donne ni temps de cycle, ni taux de réussite absolus, ni coût en calcul ou en appels au modèle de langage, ni durée réelle des explorations. La comparaison de +37,4 % porte sur des simulations dont le détail n'est pas précisé. Ce travail s'inscrit dans le courant des robots pilotés par agents de code, qui prolonge les approches de planification par modèles de langage générant des programmes, en opposition à la voie dominante des VLA entraînés sur de vastes corpus de démonstrations. Il s'agit ici d'un résultat de recherche publié en préprint, non d'un produit livré ni d'un déploiement industriel, et il n'a pas encore été évalué par des pairs. La publication du code ouvre la voie à une reproduction par la communauté, étape décisive pour juger de la robustesse hors des environnements des auteurs. Les prochains indicateurs à surveiller sont la fiabilité sur de longues séries d'essais, le coût de l'exploration et la sécurité lors de l'exploration sur machines réelles.

RecherchePaper

1 source

3arXiv cs.RO

WorldMirror : génération réel-vers-simulation à base d'agents de mondes interactifs à partir de démonstrations de robots en conditions réelles

WorldMirror, un framework décrit dans l'article arXiv 2610.31834, vise à transformer des démonstrations robotiques « in the wild » en jumeaux numériques interactifs, sans construction manuelle de scènes. Le principe consiste à formuler la reconstruction real-to-sim comme le raffinement itératif d'un « programme de monde » exécutable. Un agent de code décompose la scène observée, planifie les étapes de reconstruction et orchestre des outils spécialisés de génération d'images et de 3D, puis corrige son programme à partir de retours de vérification. La scène est organisée par une représentation ancrée sur la pose de caméra, qui sépare le contexte visuel statique, la géométrie de support et les assets interactifs éditables, tout en conservant les relations spatiales entre scène, objets et robot. Les expériences portent sur le jeu de données DROID, et les auteurs affirment obtenir des mondes visuellement fidèles et géométriquement cohérents, qui préservent la validité physique des trajectoires enregistrées et permettent leur rejeu. L'enjeu est le goulot d'étranglement de la simulation pour l'apprentissage robotique. Construire les scènes et spécifier les tâches à la main limite la diversité des données et le passage à l'échelle de l'entraînement. Si l'approche tient ses promesses, les démonstrations déjà collectées, souvent réalisées dans des environnements variés et non contrôlés, deviendraient une source d'environnements de simulation exploitables pour l'entraînement et l'évaluation de politiques, notamment de modèles vision-langage-action (VLA). Elle illustre aussi une tendance : combiner la capacité de raisonnement spatial d'agents généralistes avec la fidélité de modèles génératifs spécialisés, plutôt que de s'en remettre à une seule méthode de reconstruction. Des réserves s'imposent toutefois. Il s'agit d'un préprint, évalué sur un seul jeu de données, et le résumé ne chiffre ni taux de succès, ni coût de calcul, ni temps de reconstruction par scène. Le rejeu de trajectoires valides ne prouve pas non plus que des politiques entraînées dans ces mondes se transfèrent mieux au réel. Ces travaux s'inscrivent dans un courant plus large de real-to-sim, où la reconstruction de scènes (par exemple par Gaussian splatting) sert à bâtir des bancs d'essai et des environnements d'entraînement, face à des alternatives comme les modèles de monde génératifs ou les scènes simulées créées à la main. DROID, grand jeu de données de manipulation collecté dans de nombreux environnements réels, constitue ici un terrain d'essai naturel. Le résumé n'annonce ni code, ni pilote industriel, ni calendrier. Les prochaines étapes à surveiller sont donc la publication éventuelle du code, des évaluations sur d'autres jeux de données, et surtout des résultats montrant un gain mesuré de performance de politiques entraînées ou évaluées dans ces jumeaux numériques.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Auto-apprentissage à partir de démonstrations générées automatiquement pour la manipulation robotique visuelle

Un preprint publie sur arXiv le 11 aout 2026 (2608.07553) décrit une méthode d'apprentissage auto-supervise pour la manipulation robotique visuelle, dans laquelle le robot génère lui-même ses démonstrations autour d'une pose cible au lieu de dépendre d'une téléopération humaine ou d'un enseignement kinesthésique. Le pipeline, base sur ROS 2 et le simulateur Isaac Sim, produit des paires image-pose étiquetées sans calibration extrinsèque explicite entre camera et robot, avec deux jeux de données distincts, l'un pour l'affinage planaire, l'autre pour l'approche grossière en trois dimensions. Un réseau convolutif régressé la translation et la rotation relatives a partir d'une seule image RGB montee au poignet, et pilote un contrôleur grossier-vers-fin qui approche d'abord l'objet puis affine l'alignement final. Teste en simulation et sur un bras collaboratif réel UR5e équipe d'une pince et d'une camera monoculaire, le système réduit la dispersion planaire finale de 9,69 mm a 5,38 mm en simulation, et atteint en conditions réelles des taux de réussite de préhension de 66,6% et 63,6% sur deux des trois objets testes sans rotation, avec une robustesse partielle en cas de rotation. Cette approche cible un goulot d'étranglement connu de l'industrie: la plupart des pipelines de manipulation exigent une programmation spécifique a l'objet, une annotation manuelle ou une calibration camera-robot précise, ce qui freine le déploiement chez les intégrateurs. En générant ses propres démonstrations en simulation avant transfert vers le réel, la méthode réduit l'effort de mise en place, un argument qui parle directement aux intégrateurs voulant éviter des phases de téléopération couteuses. Les résultats restent toutefois modestes, avec des taux de réussite de 63 a 67% sur seulement trois objets, et les auteurs reconnaissent eux-mêmes des difficultés persistantes en prédiction de profondeur et en généralisation. Le travail se positionne ainsi en contrepoint des modèles de fondation VLA massifs de type GR00T N2 ou Pi-0: une alternative plus légère, ciblée sur une tache étroite, sans la promesse de généralisation zero-shot de ces derniers. Le papier s'inscrit dans une lignée académique de recherches sur le transfert sim-to-real et la génération automatique de données d'entrainement, sans affiliation industrielle mise en avant ni partenariat commercial annonce. Aucun pilote ni calendrier de déploiement n'est mentionne: les auteurs présentent ces travaux comme une preuve de concept, les prochaines étapes évoquées portant sur l'amélioration de l'estimation de profondeur et l'extension a un plus grand nombre d'objets avant d'envisager une application industrielle plus large.

RecherchePaper

1 source