RecherchearXiv cs.RO 9 novembre 2026

À propos des politiques de manipulation à base d'agents

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent une alternative aux modèles VLA (vision-language-action) et WAM (world-action models) pour la manipulation robotique : les « agentic manipulation policies » (AMP), où un modèle d'IA généraliste pilote directement le manipulateur et adapte ses actions au fil de la tâche. Le papier (arXiv 2611.09892) présente AMP1, un harnais de référence qui fonctionne sans modification sur bras unique, bimanuel et manipulation mobile. Sans démonstration ni entraînement spécifique à la tâche, AMP1 atteint 85,6 % de réussite en zéro-shot sur le benchmark RoboLab-120, contre 49,2 % pour la meilleure politique VLA et 42,9 % pour la meilleure politique WAM. En conditions réelles, l'agent réussit 104 essais sur 108, répartis sur douze tâches et trois instances de robots, ce qui correspond à des taux d'échec 20 fois inférieurs à ceux d'une base VLA solide et 15 fois inférieurs à ceux d'une base WAM. AMP1 obtient aussi l'état de l'art sur CaP-Gym. Le harnais de base ne fournit aucune compétence de saisie, de poussée ou de placement : l'agent élabore ses propres stratégies, par exemple chercher un objet caché, utiliser un objet comme outil ou calibrer ses caméras.

Ces résultats remettent en cause l'idée dominante selon laquelle la manipulation généraliste passe par des politiques spécialisées, entraînées sur de grands volumes de démonstrations téléopérées. Si l'approche se confirme, le coût de collecte de données, principal goulot d'étranglement des VLA, perdrait de son poids pour les intégrateurs, au profit de l'ingénierie du harnais autour d'un modèle généraliste. Une variante dotée d'une mémoire persistante, conservée d'un épisode à l'autre, réduit le taux d'échec d'un facteur 4,6 sur les tâches bimanuelles de RoboDojo par rapport au déploiement zéro-shot. Cela suggère une amélioration par l'expérience sans réentraînement des poids. Les réserves sont nombreuses : l'article ne chiffre pas ici la latence ni le temps de cycle, des points décisifs pour les cadences industrielles, et les 108 essais réels portent sur un jeu de tâches choisi par les auteurs. Les benchmarks sont en outre conçus par la communauté et peuvent favoriser certains types de raisonnement. Il s'agit d'une préimpression, non évaluée par les pairs, et non d'un produit ni d'un déploiement.

Le travail s'inscrit dans la trajectoire récente des VLA, de Pi-0 à GR00T ou Helix, qui ont misé sur l'entraînement massif sur des démonstrations, et des WAM, qui prédisent l'évolution du monde pour guider l'action. Les AMP prolongent aussi les approches où un grand modèle génère du code ou des appels d'outils pour contrôler un robot, que la référence CaP-Gym évalue. Le principal point à surveiller est la reproductibilité : disponibilité du code d'AMP1, identité du modèle généraliste utilisé, coût d'inférence par tâche et robustesse hors des benchmarks. Les prochaines étapes probables sont des comparaisons indépendantes avec les VLA du commerce, et des tests sur des tâches contraintes en temps ou en sécurité, où une boucle agentique lente pourrait peiner.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Politiques de scène à base d'agents

Des chercheurs du laboratoire Robotics and Embodied AI de Montréal (Mila, page projet montrealrobotics.ca) publient la deuxième version d'Agentic Scene Policies (ASP), un cadre de contrôle robotique qui vise la généralisation zéro-shot, c'est-à-dire l'exécution d'instructions en langage naturel sur des objets jamais vus, sans entraînement spécifique. ASP unifie, dans un seul espace d'actions « agentique », la localisation des objets et les compétences du robot, via une interface d'outils exposée à un agent. La représentation de la scène en 3D repose sur un modèle vision-langage (VLM), et les compétences s'appuient sur des affordances au niveau des parties d'objets, comme la poignée d'un tiroir ou la fiche d'un chargeur. Cela permet des interactions zéro-shot telles que débrancher un chargeur ou ouvrir un tiroir. Les auteurs affirment que ASP surpasse systématiquement les principaux modèles VLA (vision-langage-action) en zéro-shot lors d'expériences réelles, et présentent une version mobile du cadre pour répondre à des requêtes à l'échelle d'une pièce. Le résumé ne donne ni chiffres de taux de réussite, ni noms des VLA comparés, ni détails sur le robot utilisé. Ces éléments sont à chercher dans le papier complet. L'intérêt tient au débat entre deux architectures. Les VLA détournent un VLM pour produire des actions de bout en bout, mais leur généralisation à de nouvelles instructions et à de nouveaux objets reste fragile. Les politiques modulaires, qui combinent représentation de scène, planification de mouvement et VLM, sont plus interprétables et donnent de bons résultats zéro-shot. Elles souffrent toutefois de deux faiblesses : une recherche d'objets purement sémantique, sans raisonnement spatial explicite, et des compétences limitées à la saisie et à la navigation de base. ASP s'attaque aux deux. Si l'avantage sur les VLA se confirme sur des protocoles indépendants, cela plaide pour des architectures hybrides, où un agent de langage orchestre des primitives géométriques robustes plutôt que de tout apprendre de bout en bout. Pour les intégrateurs, l'attrait est concret : un système modulaire se diagnostique, se corrige et s'étend en ajoutant des outils, sans réentraîner un modèle de plusieurs milliards de paramètres. Il faut cependant rester prudent. Il s'agit d'un travail académique, non d'un produit, et la comparaison dépend du choix des VLA de référence, de leur réglage et des tâches retenues. Les cadences, la fiabilité sur de longues séries et les modes de défaillance ne sont pas documentés dans le résumé. Ce travail s'inscrit dans la lignée des approches qui font piloter des robots par des VLM et des LLM, avec des cartes sémantiques 3D et des outils de saisie issus de la vision. En face, les VLA généralistes tels que Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure ont gagné en visibilité, avec une promesse de généralisation encore peu vérifiée hors des environnements d'entraînement. La publication de cette version 2 (une révision d'un papier d'abord soumis en septembre 2025) suggère un travail affiné après relecture. Les prochaines étapes probables sont des tests sur davantage d'objets et de scènes, des comparaisons plus larges avec les VLA récents et une extension de la version mobile à des tâches de longue durée.

RecherchePaper

1 source

2arXiv cs.RO

Retour sur la tâche de manipulation « Push-T » avec la robotique à base d'agents

Un article publié le 20 août 2026 sur arXiv (référence 2608.18227v1) revisite Push-T, benchmark de référence pour l'apprentissage de politiques de manipulation par démonstration humaine, dans lequel un robot doit pousser un bloc en forme de T jusqu'à une pose cible en n'utilisant qu'un seul point de contact. Les auteurs ont chargé un agent de codage LLM, Claude Code associé au modèle Fable 5, de produire une solution algorithmique sans aucune donnée de démonstration. L'agent a retrouvé de lui-même la simulation 2D Gym du benchmark en ligne, mené des expériences simulées pour apprendre la mécanique de poussée, puis optimisé itérativement son code jusqu'à atteindre 100% de réussite avec 46% d'étapes en moins que la meilleure politique de diffusion entraînée sur 200 démonstrations humaines. Il a ensuite étendu la tâche à tout l'alphabet, de Push-A à Push-Z, via un curriculum auto-généré, et produit des simulations 3D avec retour visuel pour les bras robotiques Franka et UR5. Vidéos, politiques et détails complets doivent encore être publiés en ligne. Ce résultat interroge une hypothèse centrale du secteur, selon laquelle la manipulation robotique fine passe nécessairement par l'apprentissage par imitation ou par des modèles vision-langage-action entraînés sur de vastes jeux de démonstrations, à l'image de Pi-0, GR00T N2 ou Helix. Ici, un agent de codage génère un contrôle explicite et interprétable qui surpasse une politique de diffusion apprise, sans collecte de données préalable, ce qui intéresse directement les intégrateurs et équipes de R&D cherchant à réduire le coût et le délai de déploiement sur des tâches bien spécifiées. Le succès reste toutefois circonscrit à un benchmark 2D très étudié : l'extension à des simulations 3D avec Franka et UR5 constitue un pas vers la généralisation, mais aucune validation sur robot physique réel n'est rapportée, ce qui limite la portée immédiate pour la production. Push-T tire son origine des travaux sur la Diffusion Policy, qui en avaient fait un banc d'essai standard pour comparer les politiques de manipulation apprises. Ce court article se positionne dans le champ émergent de la « robotique agentique », où des agents de codage basés sur des LLM, comme Claude Code, sont testés comme alternative aux pipelines d'apprentissage par imitation qui dominent aujourd'hui la robotique humanoïde et les bras manipulateurs. Aucun laboratoire ni entreprise autre qu'Anthropic, via son modèle Fable 5, n'est cité dans le résumé, et aucune date de publication des vidéos et politiques associées n'est encore précisée. L'étude reste à ce stade une preuve de concept en simulation, sans pilote industriel ni déploiement matériel confirmé.

RecherchePaper

1 source

3arXiv cs.RO

UniManip : manipulation robotique en monde ouvert grâce à des graphes opérationnels à base d'agents

UniManip est un cadre de manipulation robotique présenté sur arXiv (février 2026, version 2 révisée) par une équipe académique, avec une page de projet open source. Son noyau est un « Agentic Operational Graph » (AOG), un graphe qui orchestre les tâches, suit l'état du monde, vérifie l'exécution et déclenche la récupération en cas d'échec. Une couche « Agentique » de haut niveau planifie, tandis qu'une couche « Scène » maintient un graphe de scène centré sur les objets, construit à partir de perceptions non structurées. Ce graphe fournit des affordances géométriques, des paramètres d'interaction tenant compte des contacts et des trajectoires sans collision, générées par un planificateur local orienté sécurité. Une mémoire structurée sert à diagnostiquer les erreurs et à relancer l'action. Les auteurs annoncent le meilleur résultat publié sur le benchmark LIBERO-Pro. En conditions réelles, le système généraliserait en zéro-shot à plusieurs tâches, plusieurs embodiments et plusieurs mains dextres. Il devancerait de 22,5 points de taux de réussite les meilleurs modèles VLA (Vision-Language-Action) et de 25,0 points les approches hiérarchiques de référence. L'intérêt tient à la position de l'approche dans un débat central de la robotique généraliste. Les VLA de bout en bout manquent souvent de précision sur les tâches à long horizon, alors que les planificateurs hiérarchiques classiques se montrent trop rigides sémantiquement dès que l'environnement sort du cadre prévu. UniManip suggère qu'une architecture explicite et inspectable, avec vérification et reprise sur erreur intégrées, peut combler l'écart sans réentraîner un modèle massif. Pour les intégrateurs, cela compte : une logique traçable et auditable est plus facile à certifier et à déboguer qu'une politique neuronale opaque. L'indépendance vis-à-vis du robot et de la main est aussi un argument de déploiement. Il faut toutefois rester prudent : les écarts de 22,5 et 25 points sont rapportés par les auteurs eux-mêmes, sans que le résumé précise le nombre d'essais, la nature des tâches ni les VLA comparés. Il s'agit d'un travail de recherche, pas d'un produit livré, et aucun déploiement industriel n'est mentionné. Le travail s'inscrit dans la tendance des systèmes « agentiques » qui combinent modèles de fondation et modules géométriques classiques, en réaction aux limites de la généralisation des VLA, ce qu'illustre la création de LIBERO-Pro, variante plus exigeante de LIBERO pour tester la robustesse. Il se positionne face aux VLA généralistes comme Pi-0 ou GR00T, et face aux pipelines de planification hiérarchique fondés sur des LLM. La suite logique, pour valider l'approche, passerait par des évaluations indépendantes, des tests sur des cadences et des durées proches de la production, et la publication du code et des données. Aucun calendrier de pilote n'a été annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Encore : découverte à base d'agents de stratégies de manipulation à partir de quelques démonstrations

Des chercheurs présentent ENCORE, un système où un agent de programmation apprend des stratégies de manipulation robotique à partir de quelques démonstrations, non pas comme données d'entraînement mais comme éléments à lire et analyser. Un « builder » déterministe transforme chaque démonstration en un dossier regroupant des images clés multi-vues, les événements du gripper, des bandes d'images et la trajectoire complète. L'agent étudie ce dossier, écrit un programme de politique de contrôle s'appuyant sur une API fixe de perception et d'action, l'affine sur quelques essais de développement, puis le fige avant une évaluation scellée qui ne révèle jamais le signal de succès. Sur LIBERO-PRO, le premier programme produit par l'agent réussit déjà la moitié des tâches perturbées lorsqu'il dispose de démonstrations, contre une seule tâche sans elles. Une fois figés, les programmes atteignent 96,3 % de réussite, contre 89,3 % pour le meilleur système agentique antérieur utilisant le même modèle de langage. Sur RoboDojo, dont les consignes ne précisent pas le but, aucun programme ne réussit sans démonstrations. Le système fonctionne aussi sur un robot bimanuel réel, qui apprend le passage de cube d'une main à l'autre et le retournement de tasse à partir de cinq démonstrations chacune. L'intérêt tient à ce que ce travail déplace le problème. Les agents de code savent écrire et déboguer des programmes, mais une consigne en une phrase ne dit rien de la prise, de l'ordre des contacts ou de l'état final attendu, et l'agent en est réduit à l'essai-erreur. Les résultats sur RoboDojo montrent que ces informations ne se devinent pas : sans démonstration, le taux de réussite est nul. L'approche produit des politiques sous forme de code, donc lisibles et modifiables, ce qui attire les intégrateurs qui redoutent l'opacité des VLA. Le protocole d'évaluation scellé répond aussi à une critique fréquente sur les benchmarks agentiques, où le signal de succès peut fuiter vers l'agent. Il faut toutefois rester prudent : LIBERO-PRO est un banc de test simulé, l'écart de 7 points porte sur un seul modèle de langage, et la validation réelle se limite à deux tâches simples sur un seul robot. Ce travail s'inscrit dans deux courants. D'un côté, les modèles VLA comme Pi-0 ou GR00T apprennent des politiques de bout en bout à partir de grands volumes de données. De l'autre, les systèmes agentiques qui génèrent du code de contrôle à partir de modèles de langage, dont ENCORE dépasse le meilleur représentant testé. La question qui reste ouverte est celle du passage à l'échelle : des tâches longues, des objets déformables, des scènes non structurées. L'article, publié sur arXiv (2609.37359), ne mentionne ni déploiement industriel ni calendrier de pilote.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source