Aller au contenu principal
Encore : découverte à base d'agents de stratégies de manipulation à partir de quelques démonstrationsIllustration générée par IA
RecherchearXiv cs.RO 

Encore : découverte à base d'agents de stratégies de manipulation à partir de quelques démonstrations

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent ENCORE, un système où un agent de programmation apprend des stratégies de manipulation robotique à partir de quelques démonstrations, non pas comme données d'entraînement mais comme éléments à lire et analyser. Un « builder » déterministe transforme chaque démonstration en un dossier regroupant des images clés multi-vues, les événements du gripper, des bandes d'images et la trajectoire complète. L'agent étudie ce dossier, écrit un programme de politique de contrôle s'appuyant sur une API fixe de perception et d'action, l'affine sur quelques essais de développement, puis le fige avant une évaluation scellée qui ne révèle jamais le signal de succès. Sur LIBERO-PRO, le premier programme produit par l'agent réussit déjà la moitié des tâches perturbées lorsqu'il dispose de démonstrations, contre une seule tâche sans elles. Une fois figés, les programmes atteignent 96,3 % de réussite, contre 89,3 % pour le meilleur système agentique antérieur utilisant le même modèle de langage. Sur RoboDojo, dont les consignes ne précisent pas le but, aucun programme ne réussit sans démonstrations. Le système fonctionne aussi sur un robot bimanuel réel, qui apprend le passage de cube d'une main à l'autre et le retournement de tasse à partir de cinq démonstrations chacune.

L'intérêt tient à ce que ce travail déplace le problème. Les agents de code savent écrire et déboguer des programmes, mais une consigne en une phrase ne dit rien de la prise, de l'ordre des contacts ou de l'état final attendu, et l'agent en est réduit à l'essai-erreur. Les résultats sur RoboDojo montrent que ces informations ne se devinent pas : sans démonstration, le taux de réussite est nul. L'approche produit des politiques sous forme de code, donc lisibles et modifiables, ce qui attire les intégrateurs qui redoutent l'opacité des VLA. Le protocole d'évaluation scellé répond aussi à une critique fréquente sur les benchmarks agentiques, où le signal de succès peut fuiter vers l'agent. Il faut toutefois rester prudent : LIBERO-PRO est un banc de test simulé, l'écart de 7 points porte sur un seul modèle de langage, et la validation réelle se limite à deux tâches simples sur un seul robot.

Ce travail s'inscrit dans deux courants. D'un côté, les modèles VLA comme Pi-0 ou GR00T apprennent des politiques de bout en bout à partir de grands volumes de données. De l'autre, les systèmes agentiques qui génèrent du code de contrôle à partir de modèles de langage, dont ENCORE dépasse le meilleur représentant testé. La question qui reste ouverte est celle du passage à l'échelle : des tâches longues, des objets déformables, des scènes non structurées. L'article, publié sur arXiv (2609.37359), ne mentionne ni déploiement industriel ni calendrier de pilote.

À lire aussi

RAPID : programmation à base d'agents pour robots à partir de démonstrations
Illustration générée par IA
1arXiv cs.RO 

RAPID : programmation à base d'agents pour robots à partir de démonstrations

Une équipe de recherche présente RAPID (Robot Agentic Programming from Demonstrations) dans un preprint publié sur arXiv le 25 septembre 2026 (arXiv:2609.30249) : un système qui génère, vérifie et affine automatiquement un programme robotique complet à partir d'une seule démonstration visuelle humaine, sans corpus d'entraînement massif. La boucle agentique itérative infère elle-même, depuis cette démonstration, trois ingrédients clés : une spécification de tâche testable, des primitives d'action exécutables par le robot, et un environnement interactif pour exécuter et vérifier le programme.

RecherchePaper
1 source
À propos des politiques de manipulation à base d'agents
Illustration générée par IA
2arXiv cs.RO 

À propos des politiques de manipulation à base d'agents

Des chercheurs proposent une alternative aux modèles VLA (vision-language-action) et WAM (world-action models) pour la manipulation robotique : les « agentic manipulation policies » (AMP), où un modèle d'IA généraliste pilote directement le manipulateur et adapte ses actions au fil de la tâche. Le papier (arXiv 2611.09892) présente AMP1, un harnais de référence qui fonctionne sans modification sur bras unique, bimanuel et manipulation mobile. Sans démonstration ni entraînement spécifique à la tâche, AMP1 atteint 85,6 % de réussite en zéro-shot sur le benchmark RoboLab-120, contre 49,2 % pour la meilleure politique VLA et 42,9 % pour la meilleure politique WAM.

RecherchePaper
1 source
UniManip : manipulation robotique en monde ouvert grâce à des graphes opérationnels à base d'agents
Illustration générée par IA
3arXiv cs.RO 

UniManip : manipulation robotique en monde ouvert grâce à des graphes opérationnels à base d'agents

UniManip est un cadre de manipulation robotique présenté sur arXiv (février 2026, version 2 révisée) par une équipe académique, avec une page de projet open source. Son noyau est un « Agentic Operational Graph » (AOG), un graphe qui orchestre les tâches, suit l'état du monde, vérifie l'exécution et déclenche la récupération en cas d'échec. Une couche « Agentique » de haut niveau planifie, tandis qu'une couche « Scène » maintient un graphe de scène centré sur les objets, construit à partir de perceptions non structurées. Ce graphe fournit des affordances géométriques, des paramètres d'interaction tenant compte des contacts et des trajectoires sans collision, générées par un planificateur local orienté sécurité.

RecherchePaper
1 source
WorldMirror : génération réel-vers-simulation à base d'agents de mondes interactifs à partir de démonstrations de robots en conditions réelles
Illustration générée par IA
4arXiv cs.RO 

WorldMirror : génération réel-vers-simulation à base d'agents de mondes interactifs à partir de démonstrations de robots en conditions réelles

WorldMirror, un framework décrit dans l'article arXiv 2610.31834, vise à transformer des démonstrations robotiques « in the wild » en jumeaux numériques interactifs, sans construction manuelle de scènes. Le principe consiste à formuler la reconstruction real-to-sim comme le raffinement itératif d'un « programme de monde » exécutable. Un agent de code décompose la scène observée, planifie les étapes de reconstruction et orchestre des outils spécialisés de génération d'images et de 3D, puis corrige son programme à partir de retours de vérification. La scène est organisée par une représentation ancrée sur la pose de caméra, qui sépare le contexte visuel statique, la géométrie de support et les assets interactifs éditables, tout en conservant les relations spatiales entre scène, objets et robot.

RecherchePaper
1 source