Aller au contenu principal
Retour sur la tâche de manipulation « Push-T » avec la robotique à base d'agentsIllustration générée par IA
RecherchearXiv cs.RO 

Retour sur la tâche de manipulation « Push-T » avec la robotique à base d'agents

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Un article publié le 20 août 2026 sur arXiv (référence 2608.18227v1) revisite Push-T, benchmark de référence pour l'apprentissage de politiques de manipulation par démonstration humaine, dans lequel un robot doit pousser un bloc en forme de T jusqu'à une pose cible en n'utilisant qu'un seul point de contact. Les auteurs ont chargé un agent de codage LLM, Claude Code associé au modèle Fable 5, de produire une solution algorithmique sans aucune donnée de démonstration. L'agent a retrouvé de lui-même la simulation 2D Gym du benchmark en ligne, mené des expériences simulées pour apprendre la mécanique de poussée, puis optimisé itérativement son code jusqu'à atteindre 100% de réussite avec 46% d'étapes en moins que la meilleure politique de diffusion entraînée sur 200 démonstrations humaines. Il a ensuite étendu la tâche à tout l'alphabet, de Push-A à Push-Z, via un curriculum auto-généré, et produit des simulations 3D avec retour visuel pour les bras robotiques Franka et UR5. Vidéos, politiques et détails complets doivent encore être publiés en ligne.

Ce résultat interroge une hypothèse centrale du secteur, selon laquelle la manipulation robotique fine passe nécessairement par l'apprentissage par imitation ou par des modèles vision-langage-action entraînés sur de vastes jeux de démonstrations, à l'image de Pi-0, GR00T N2 ou Helix. Ici, un agent de codage génère un contrôle explicite et interprétable qui surpasse une politique de diffusion apprise, sans collecte de données préalable, ce qui intéresse directement les intégrateurs et équipes de R&D cherchant à réduire le coût et le délai de déploiement sur des tâches bien spécifiées. Le succès reste toutefois circonscrit à un benchmark 2D très étudié : l'extension à des simulations 3D avec Franka et UR5 constitue un pas vers la généralisation, mais aucune validation sur robot physique réel n'est rapportée, ce qui limite la portée immédiate pour la production.

Push-T tire son origine des travaux sur la Diffusion Policy, qui en avaient fait un banc d'essai standard pour comparer les politiques de manipulation apprises. Ce court article se positionne dans le champ émergent de la « robotique agentique », où des agents de codage basés sur des LLM, comme Claude Code, sont testés comme alternative aux pipelines d'apprentissage par imitation qui dominent aujourd'hui la robotique humanoïde et les bras manipulateurs. Aucun laboratoire ni entreprise autre qu'Anthropic, via son modèle Fable 5, n'est cité dans le résumé, et aucune date de publication des vidéos et politiques associées n'est encore précisée. L'étude reste à ce stade une preuve de concept en simulation, sans pilote industriel ni déploiement matériel confirmé.

À lire aussi

Adaptation cinématique basée sur la force et le couple pour les tâches de manipulation robotique
Illustration générée par IA
1arXiv cs.RO 

Adaptation cinématique basée sur la force et le couple pour les tâches de manipulation robotique

Publié sur arXiv le 21 août 2026 (arXiv:2608.21592v1), l'article présente une méthode d'adaptation cinématique en ligne pour la manipulation robotique en contact riche, où la relation entre les articulations d'un robot et l'outil qu'il tient change à chaque prise, parfois presque instantanément lors des changements de mode de contact, notamment pour les mains multi-doigts dont les points de contact ne sont pas fixés à l'avance. Les auteurs dérivent une loi de mise à jour dont la stabilité est démontrée mathématiquement: elle identifie la cinématique d'un outil inconnu à partir des seules mesures articulaires et d'un capteur de force/couple monté au poignet, sans aucune mesure extéroceptive de la pointe de l'outil, aussi bien en rigide qu'avec un contrôleur de compliance en boucle interne. L'identification ne porte que sur les directions excitées par le mouvement: la longueur d'un outil reste inobservable lors d'une insertion rigide en ligne droite, mais devient partiellement observable via le relâchement passif d'une boucle compliante. Une formulation alternative en programme quadratique reproduit le terme de prédiction de cette loi mais échoue à reproduire son terme de suivi. La validation reste, pour l'instant, une simulation d'insertion cheville-trou. Ce travail cible un verrou concret pour l'industrie: la plupart des systèmes de manipulation supposent une cinématique outil-effecteur fixe et connue, ce qui impose de recalibrer le robot à chaque changement d'outil ou de préhenseur, un frein à la polyvalence recherchée par les intégrateurs et les concepteurs de mains robotiques multi-doigts. En rendant l'estimation purement proprioceptive, sans caméra ni capteur tactile dédié, l'approche réduit l'instrumentation nécessaire pour des tâches de prise pleine main où les points de contact varient à chaque saisie. Elle s'inscrit aussi dans un débat plus large de la recherche en robotique: découpler l'apprentissage de la politique de tâche, par exemple via apprentissage par renforcement, de l'adaptation aux spécificités physiques d'un robot, d'une main ou d'un outil donné, dans l'idée de faciliter le transfert de politiques apprises vers d'autres configurations matérielles sans réentraînement complet. Les auteurs présentent ce travail comme une première étape d'un programme de recherche plus large, et non comme une solution aboutie: aucune validation sur robot physique n'est rapportée, seulement une simulation simple d'insertion, ce qui laisse ouverte la question du passage à l'échelle sur des prises complexes et sur du matériel réel. Le résumé public n'identifie ni laboratoire ni entreprise, et aucun lien n'est établi avec des plateformes commerciales comme Figure ou Tesla Optimus, ni avec des modèles vision-langage-action tels que Pi-0 ou GR00T N2. La démarche s'inscrit dans la lignée des recherches sur la manipulation dextre adaptative et l'estimation en ligne de paramètres physiques, un axe exploré en parallèle par plusieurs laboratoires de robotique pour réduire la dépendance des politiques de manipulation à une calibration extéroceptive précise.

RecherchePaper
1 source
À propos des politiques de manipulation à base d'agents
Illustration générée par IA
2arXiv cs.RO 

À propos des politiques de manipulation à base d'agents

Des chercheurs proposent une alternative aux modèles VLA (vision-language-action) et WAM (world-action models) pour la manipulation robotique : les « agentic manipulation policies » (AMP), où un modèle d'IA généraliste pilote directement le manipulateur et adapte ses actions au fil de la tâche. Le papier (arXiv 2611.09892) présente AMP1, un harnais de référence qui fonctionne sans modification sur bras unique, bimanuel et manipulation mobile. Sans démonstration ni entraînement spécifique à la tâche, AMP1 atteint 85,6 % de réussite en zéro-shot sur le benchmark RoboLab-120, contre 49,2 % pour la meilleure politique VLA et 42,9 % pour la meilleure politique WAM. En conditions réelles, l'agent réussit 104 essais sur 108, répartis sur douze tâches et trois instances de robots, ce qui correspond à des taux d'échec 20 fois inférieurs à ceux d'une base VLA solide et 15 fois inférieurs à ceux d'une base WAM. AMP1 obtient aussi l'état de l'art sur CaP-Gym. Le harnais de base ne fournit aucune compétence de saisie, de poussée ou de placement : l'agent élabore ses propres stratégies, par exemple chercher un objet caché, utiliser un objet comme outil ou calibrer ses caméras. Ces résultats remettent en cause l'idée dominante selon laquelle la manipulation généraliste passe par des politiques spécialisées, entraînées sur de grands volumes de démonstrations téléopérées. Si l'approche se confirme, le coût de collecte de données, principal goulot d'étranglement des VLA, perdrait de son poids pour les intégrateurs, au profit de l'ingénierie du harnais autour d'un modèle généraliste. Une variante dotée d'une mémoire persistante, conservée d'un épisode à l'autre, réduit le taux d'échec d'un facteur 4,6 sur les tâches bimanuelles de RoboDojo par rapport au déploiement zéro-shot. Cela suggère une amélioration par l'expérience sans réentraînement des poids. Les réserves sont nombreuses : l'article ne chiffre pas ici la latence ni le temps de cycle, des points décisifs pour les cadences industrielles, et les 108 essais réels portent sur un jeu de tâches choisi par les auteurs. Les benchmarks sont en outre conçus par la communauté et peuvent favoriser certains types de raisonnement. Il s'agit d'une préimpression, non évaluée par les pairs, et non d'un produit ni d'un déploiement. Le travail s'inscrit dans la trajectoire récente des VLA, de Pi-0 à GR00T ou Helix, qui ont misé sur l'entraînement massif sur des démonstrations, et des WAM, qui prédisent l'évolution du monde pour guider l'action. Les AMP prolongent aussi les approches où un grand modèle génère du code ou des appels d'outils pour contrôler un robot, que la référence CaP-Gym évalue. Le principal point à surveiller est la reproductibilité : disponibilité du code d'AMP1, identité du modèle généraliste utilisé, coût d'inférence par tâche et robustesse hors des benchmarks. Les prochaines étapes probables sont des comparaisons indépendantes avec les VLA du commerce, et des tests sur des tâches contraintes en temps ou en sécurité, où une boucle agentique lente pourrait peiner.

RecherchePaper
1 source
TEAR : routage d'autorité par preuves de tâche pour la manipulation robotique
Illustration générée par IA
3arXiv cs.RO 

TEAR : routage d'autorité par preuves de tâche pour la manipulation robotique

Des chercheurs proposent TEAR (Task-Evidence Authority Routing), un cadre logiciel déployable en périphérie (edge) qui décide, directement sur le robot, de la source de contrôle à qui confier la manipulation: téléopération humaine ou autonomie locale. L'arbitrage repose sur deux types d'indices. Les premiers portent sur l'état du réseau, qui conditionne la fiabilité de la téléopération. Les seconds portent sur la sémantique de la tâche, c'est-à-dire la cohérence de l'exécution autonome avec ce qui est demandé. Un arbitre temporel léger reçoit ces deux flux, l'état du robot et l'autorité en cours, puis déclenche les transferts de contrôle. Testé en simulation et en conditions réelles avec un réseau dynamique, TEAR atteint des taux de réussite proches de la téléopération pure, tout en limitant l'intervention humaine à 19,8-27,4 % des pas de contrôle. Il améliore le taux de succès de 30 à 40 % par rapport à l'autonomie seule, dans les configurations testées. L'étude, publiée sur arXiv (v1), ne précise pas dans son résumé les plateformes robotiques ni les tâches utilisées. L'intérêt tient à une question que les déploiements terrain rencontrent déjà: le choix n'est pas binaire entre « tout autonome » et « tout téléopéré ». La téléopération gère bien les contacts complexes et les situations ambiguës, mais elle dépend d'une liaison stable. L'autonomie locale fonctionne sans lien continu, mais décroche face à l'ambiguïté sémantique, à la dérive sur les longs horizons ou aux imprévus. Traiter cette complémentarité comme un problème de routage d'autorité, exécuté côté robot, évite de dépendre d'un opérateur qui surveille en permanence. Pour un intégrateur ou un exploitant, le chiffre clé est le ratio: environ un quart des pas seulement sous contrôle humain peut rendre un opérateur capable de superviser plusieurs machines, à condition que ces résultats tiennent hors laboratoire. Une réserve s'impose: les gains de 30 à 40 % sont mesurés face à une autonomie seule dont la force n'est pas détaillée, et les conditions d'essai restent « dans nos réglages ». Ce travail s'inscrit dans la montée des politiques de type VLA (vision-langage-action) et des modèles généralistes, dont la fiabilité reste insuffisante pour une autonomie totale, ce qui pousse les acteurs vers des schémas hybrides où l'humain intervient en exception, plutôt que vers un remplacement complet. Plusieurs entreprises de robotique humanoïde et de logistique pratiquent déjà une téléopération d'appoint, souvent de façon manuelle et peu documentée. TEAR cherche à formaliser et automatiser ce basculement. Les suites à surveiller sont une validation sur des politiques VLA récentes, des mesures de latence de transfert et de sécurité lors des changements d'autorité, ainsi qu'une évaluation sur des sites réels avec des réseaux dégradés. Aucun pilote industriel ni calendrier de déploiement n'est annoncé à ce stade.

RecherchePaper
1 source
Recova : récupération sur échec guidée par des agents pour la manipulation robotique autonome
Illustration générée par IA
4arXiv cs.RO 

Recova : récupération sur échec guidée par des agents pour la manipulation robotique autonome

Des chercheurs présentent sur arXiv Recova, un cadre logiciel piloté par un agent qui traite les échecs de manipulation robotique, ces situations où la scène se retrouve dans un état dont la politique de tâche ne peut plus sortir. Le système développe conjointement l'exécution de la tâche et la récupération dans un jumeau numérique reconstruit de la scène. L'agent y diagnostique les pannes, teste des programmes correctifs et collecte des trajectoires réussies, pour la tâche comme pour la récupération, destinées à entraîner deux politiques distinctes. En déploiement, il surveille la progression, déclenche une récupération apprise ou programmée, vérifie que la scène est restaurée, puis reprend la tâche. Si aucune récupération adaptée n'existe, une démonstration humaine règle le cas et alimente la boucle d'apprentissage. Les essais réels et les démonstrations sont routés vers la politique concernée pour un entraînement DAgger. Sur six configurations LIBERO-Pro et quatre catégories MolmoSpaces, Recova atteint 78,8 % et 64,9 % de succès moyen, contre 71,7 % et 38,0 % pour les meilleures méthodes de référence. Sur quatre postes robotisés réels collectant en parallèle, le fine-tuning DAgger fait passer le succès moyen de 23,8 % à 77,5 %, et les compétences de récupération le portent à 87,5 %. Sur une tâche donnée, l'intervention humaine observée tombe de 87,5 % à 0 % en quatre cycles de collecte. L'enjeu dépasse la robustesse brute. La plupart des politiques VLA et des pipelines d'imitation sont évalués sur des trajectoires nominales, alors que le coût opérationnel d'un robot en production tient largement à ce qui se passe après l'échec : objet tombé, scène désordonnée, nécessité d'un opérateur. Recova propose de transformer chaque panne en capacité réutilisable et de réduire progressivement la supervision humaine, ce qui répond directement à la question du coût de téléopération et d'assistance à distance pour les intégrateurs et les exploitants. Le résultat le plus parlant est l'écart sur MolmoSpaces (64,9 % contre 38,0 %), plus marqué que sur LIBERO-Pro. Des réserves s'imposent toutefois : l'évaluation réelle repose sur peu de postes et de tâches, la baisse de l'intervention à 0 % ne concerne qu'une seule tâche, et rien n'est dit sur les temps de cycle, les coûts de reconstruction du jumeau numérique ou la généralisation à des scènes très différentes. Il s'agit d'un travail de recherche, sans produit livré ni déploiement industriel. Le travail s'inscrit dans la convergence entre agents LLM de planification, jumeaux numériques pour la génération de données et apprentissage par correction de type DAgger, une voie explorée pour limiter la dépendance à la collecte massive de démonstrations. Il se positionne face aux approches de fine-tuning de VLA et de simulation à grande échelle que poursuivent des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix), qui misent surtout sur davantage de données plutôt que sur une récupération explicite des échecs. LIBERO-Pro et MolmoSpaces servent ici de bancs d'essai standardisés. La suite logique serait de valider l'approche sur davantage de tâches, de postes et de durées d'exploitation, et de mesurer ses gains en conditions de production, ce que la page projet de l'équipe, liuisabella.com/Recova, ne détaille pas à ce stade.

RecherchePaper
1 source