Aller au contenu principal
Ne lâchez pas BATON : manipulation robotique étendue, sous-tâches exploratoires à base d'agents, mémoire des transitionsIllustration générée par IA
RecherchearXiv cs.RO 

Ne lâchez pas BATON : manipulation robotique étendue, sous-tâches exploratoires à base d'agents, mémoire des transitions

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv (arXiv:2608.16889v1) une méthode nommée BATON pour la manipulation robotique "long-horizon", ces taches multi-étapes qui enchainent plusieurs compétences a contact physique. Le problème identifie: les modèles vision-langage-action (VLA) maitrisent de mieux en mieux des compétences isolées, mais les erreurs s'accumulent quand on les chaine, et une approche existante qui fige le VLA et confie la planification a un agent LLM voit son cout d'exploration exploser en T^K épisodes pour K étapes, sans pouvoir dire a quelle étape imputer un échec. BATON explore chaque sous-tache séparément en régime court, stocke sa solution en mémoire, puis compose la trajectoire complète a partir de ces briques, ramenant le cout a une forme additive T*K et permettant d'attribuer chaque échec a une étape précise. Un agent vérificateur contrôle via la camera de poignet le moment d'invoquer le VLA, tandis que des transitions de passation et d'anticipation assurent la cohérence entre sous-taches, sans aucune mise a jour de paramètres. Sur le benchmark RoboMemArena, BATON améliore le taux de réussite des taches de 11,6% et le taux de réussite cumulée de 14,9% par rapport a l'état de l'art.

Ce résultat cible le problème qui freine le déploiement industriel des robots manipulateurs sur des taches réelles: réussir des compétences isolées ne garantit pas la réussite d'une chaine complète, le fosse classique entre démonstration et déploiement effectif. En rendant le cout d'exploration additif plutôt que multiplicatif, BATON rend potentiellement viable l'apprentissage autonome de séquences longues sans explosion du nombre d'essais nécessaires, un frein pratique pour qui cherche a automatiser des taches d'assemblage ou de logistique complexes. L'approche souligne surtout que la gestion des transitions entre étapes, et non la seule qualité du VLA, reste souvent l'angle mort des annonces commerciales, qui privilégient des vidéos sélectionnées a des taux de réussite mesures sur benchmark reproductible.

Le travail prolonge les architectures combinant un VLA fige et un agent LLM planificateur, une piste déjà jugée prometteuse mais jusque-la bridée par le cout d'exploration sur les taches longues. A la différence des méthodes qui reentrainent ou affinent le VLA, BATON ne met a jour aucun paramètre et repose entièrement sur la mémoire et la composition de sous-solutions apprises séparément. Publie en aout 2026 sous forme de preprint arXiv et évalué uniquement sur le benchmark RoboMemArena, il reste a ce stade un résultat de recherche: aucun code public, aucun partenariat industriel ni déploiement pilote n'est mentionne.

À lire aussi

StageGuard : apprentissage des transitions d'étapes pour tâches robotiques longues par distillation à base d'agents
Illustration générée par IA
1arXiv cs.RO 

StageGuard : apprentissage des transitions d'étapes pour tâches robotiques longues par distillation à base d'agents

Une équipe de recherche a publié le 18 septembre 2026 sur arXiv (référence 2609.20791v1) StageGuard, un framework baptisé "distillation agentique" destiné à résoudre un problème précis des architectures robotiques hiérarchiques : déterminer à quel moment une compétence de contrôle doit s'arrêter pour laisser place à la suivante dans une tâche longue composée de plusieurs sous-étapes. La méthode combine le raisonnement d'un grand modèle vision-langage "enseignant", nourri de trajectoires de démonstration, pour produire des explications structurées sur la complétion d'une sous-tâche et le déclenchement du changement de politique. Ces explications servent ensuite à entraîner par apprentissage supervisé un modèle vision-langage "élève" beaucoup plus léger, capable de générer ses propres explications compactes pour décider en temps réel du passage d'une étape à l'autre. Les auteurs évaluent la prédiction de transition sur des trajectoires issues de deux benchmarks, testent le comportement en boucle fermée en intégrant StageGuard dans un système de contrôle hiérarchique sur BEHAVIOR-1K, et complètent la validation par des essais sur robots physiques. L'enjeu dépasse le détail technique : dans les architectures VLA (vision-language-action) hiérarchiques qui empilent plusieurs politiques de contrôle spécialisées, à la manière des approches derrière Pi-0, GR00T N2 ou Helix, la fiabilité de l'enchaînement des compétences conditionne directement la capacité à transformer une démonstration isolée en système autonome exploitable. Les solutions existantes s'appuient soit sur des vérificateurs de complétion codés à la main, difficiles à généraliser hors laboratoire, soit sur de gros modèles vision-langage déportés dans le cloud, dont la latence de raisonnement interdit un monitoring en temps réel et dont les critères de décision ne correspondent pas toujours à la vraie fin d'une sous-tâche. En démontrant qu'un modèle allégé, entraîné par distillation, peut approcher la qualité de décision d'un modèle massif tout en tournant localement, StageGuard s'attaque à un verrou concret pour les intégrateurs qui cherchent à déployer des piles de contrôle hiérarchiques sans dépendre d'une inférence cloud coûteuse et lente. Le papier s'inscrit dans la lignée des travaux sur les architectures hiérarchiques combinant plusieurs politiques de contrôle robotique, un axe de recherche actif depuis l'essor des modèles VLA génériques. Aucun partenaire industriel ni acteur français ou européen n'est cité dans l'abstract, et il s'agit à ce stade d'une contribution de recherche évaluée en simulation et en tests robots réels limités, non d'un produit commercialisé ni d'un déploiement à grande échelle.

RecherchePaper
1 source
Retour sur la tâche de manipulation « Push-T » avec la robotique à base d'agents
Illustration générée par IA
2arXiv cs.RO 

Retour sur la tâche de manipulation « Push-T » avec la robotique à base d'agents

Un article publié le 20 août 2026 sur arXiv (référence 2608.18227v1) revisite Push-T, benchmark de référence pour l'apprentissage de politiques de manipulation par démonstration humaine, dans lequel un robot doit pousser un bloc en forme de T jusqu'à une pose cible en n'utilisant qu'un seul point de contact. Les auteurs ont chargé un agent de codage LLM, Claude Code associé au modèle Fable 5, de produire une solution algorithmique sans aucune donnée de démonstration. L'agent a retrouvé de lui-même la simulation 2D Gym du benchmark en ligne, mené des expériences simulées pour apprendre la mécanique de poussée, puis optimisé itérativement son code jusqu'à atteindre 100% de réussite avec 46% d'étapes en moins que la meilleure politique de diffusion entraînée sur 200 démonstrations humaines. Il a ensuite étendu la tâche à tout l'alphabet, de Push-A à Push-Z, via un curriculum auto-généré, et produit des simulations 3D avec retour visuel pour les bras robotiques Franka et UR5. Vidéos, politiques et détails complets doivent encore être publiés en ligne. Ce résultat interroge une hypothèse centrale du secteur, selon laquelle la manipulation robotique fine passe nécessairement par l'apprentissage par imitation ou par des modèles vision-langage-action entraînés sur de vastes jeux de démonstrations, à l'image de Pi-0, GR00T N2 ou Helix. Ici, un agent de codage génère un contrôle explicite et interprétable qui surpasse une politique de diffusion apprise, sans collecte de données préalable, ce qui intéresse directement les intégrateurs et équipes de R&D cherchant à réduire le coût et le délai de déploiement sur des tâches bien spécifiées. Le succès reste toutefois circonscrit à un benchmark 2D très étudié : l'extension à des simulations 3D avec Franka et UR5 constitue un pas vers la généralisation, mais aucune validation sur robot physique réel n'est rapportée, ce qui limite la portée immédiate pour la production. Push-T tire son origine des travaux sur la Diffusion Policy, qui en avaient fait un banc d'essai standard pour comparer les politiques de manipulation apprises. Ce court article se positionne dans le champ émergent de la « robotique agentique », où des agents de codage basés sur des LLM, comme Claude Code, sont testés comme alternative aux pipelines d'apprentissage par imitation qui dominent aujourd'hui la robotique humanoïde et les bras manipulateurs. Aucun laboratoire ni entreprise autre qu'Anthropic, via son modèle Fable 5, n'est cité dans le résumé, et aucune date de publication des vidéos et politiques associées n'est encore précisée. L'étude reste à ce stade une preuve de concept en simulation, sans pilote industriel ni déploiement matériel confirmé.

RecherchePaper
1 source
Résoudre la manipulation mobile : du diagnostic des échecs à un système robotique à base d'agents
Illustration générée par IA
3arXiv cs.RO 

Résoudre la manipulation mobile : du diagnostic des échecs à un système robotique à base d'agents

Des chercheurs du laboratoire PKU-VaLuE de l'université de Pékin publient une étude sur l'écart entre manipulation locale et manipulation mobile à long horizon. Un VLA (vision-language-action) pré-entraîné, spécialisé par sous-tâche, atteint 80 % de réussite sur des tâches de manipulation atomiques, mais seulement 19 % lorsque ces compétences sont enchaînées dans des tâches de manipulation mobile. Les auteurs diagnostiquent systématiquement les échecs et en isolent trois régimes dominants : la planification de tâche, la navigation avec positionnement de la base, et la manipulation locale. Ils construisent ensuite une intervention « agentique » guidée par ces échecs, qui ajoute à un VLA figé quatre modules : un guidage de planification par démonstrations, une mémoire visuelle adaptative, un ajustement de la base tenant compte de l'accessibilité, et un ajustement local de l'effecteur. Sur le benchmark RoboCasa365, le taux de réussite passe progressivement de 19 % à 47 %, et le système final atteint 49 % sur des épisodes tenus à l'écart, contre 18 % pour la référence. Sur BEHAVIOR-1K, le score passe de 14 % à 37 %, et sur robot réel de 5 sur 20 à 13 sur 20 tâches réussies. Ces résultats remettent en cause l'idée que la réussite d'une politique sur des tâches locales se transfère mécaniquement aux tâches longues. Un écart de 80 % à 19 % montre que l'erreur se compose sur la chaîne d'exécution (planification, déplacement, placement du bras), et que les benchmarks de manipulation isolée surestiment la préparation au déploiement. Pour les intégrateurs et les décideurs, le message est pragmatique : plutôt que de miser uniquement sur des politiques plus grandes ou davantage de données, on peut gagner beaucoup en traitant le goulot d'étranglement du moment avec des modules d'orchestration autour d'un VLA existant. Il faut toutefois relativiser : un taux de 49 % en simulation reste loin de la fiabilité exigée en production, et l'évaluation réelle ne porte que sur 20 tâches, un échantillon trop petit pour des conclusions statistiques solides. Le fait que l'on passe de 5 à 13 réussites sur 20 est encourageant, sans être une preuve de robustesse. Ce travail s'inscrit dans la course aux modèles généralistes de type Pi-0, GR00T ou Helix, dont les démonstrations portent souvent sur des séquences courtes ou soigneusement choisies. Il rejoint une tendance vers des architectures hybrides combinant un planificateur de haut niveau, de la mémoire et des contrôleurs spécialisés, plutôt qu'une politique de bout en bout unique. RoboCasa365 et BEHAVIOR-1K, deux benchmarks de tâches domestiques en simulation, servent ici de références comparables. Il s'agit d'une prépublication arXiv, non évaluée par des pairs, dont le code est annoncé sur GitHub mais pas encore publié. La suite dépendra de sa disponibilité, de sa reproduction par d'autres équipes et de son test sur d'autres plateformes mobiles.

RecherchePaper
1 source
Passage à l'échelle de l'exploration en ligne pour les robots à base d'agents
Illustration générée par IA
4arXiv cs.RO 

Passage à l'échelle de l'exploration en ligne pour les robots à base d'agents

RAX (Robot Agent eXploration), un framework open source présenté sur arXiv (2610.22496), propose de remplacer l'apprentissage par démonstrations par l'exploration en ligne. Un agent de code généraliste y écrit directement le code de contrôle du robot, sans données de démonstration d'actions, sans primitives d'action conçues à la main et sans guidage par fonction de valeur. En explorant, l'agent identifie les séquences de décisions qui atteignent l'objectif, puis les compile en programmes modulaires couvrant toute la boucle perception, planification et contrôle. Les auteurs ont mené une étude multi-embodiment sur des tâches de précision et de manipulation longue durée, avec des bras uniques, des systèmes bimanuels, des mains dextres, des robots mobiles et des humanoïdes, en simulation et sur robots réels. En simulation, RAX dépasse les meilleurs modèles de référence de 37,4 % en moyenne. Sur robots réels, il apprend sans démonstration humaine des tâches dépendant de la mémoire, articulées, de haute précision, déformables et de manipulation mobile longue durée. Les nouvelles compétences sont composées à partir de compétences vérifiées lors de sessions d'exploration précédentes. L'enjeu pour l'industrie tient au coût d'intégration. Aujourd'hui, chaque nouvelle morphologie ou nouvelle tâche exige un corpus de téléopération dédié, ce qui limite le passage à l'échelle des modèles vision-langage-action (VLA) et enferme les politiques dans la distribution de leurs imitations. Ici, un nouveau robot s'intègre uniquement via ses API, sans collecte téléopérée ni entraînement de politique. Pour un intégrateur, cela déplace le goulot d'étranglement de la donnée vers l'exploration en ligne et la vérification des programmes produits. Les auteurs rapportent que la généralisation sur environnements inédits progresse de façon régulière avec le volume d'exploration, et que des comportements émergent : perception active, récupération d'erreurs, garde-fous de sécurité et collaboration homme-robot. Il faut toutefois rester prudent : le résumé ne donne ni temps de cycle, ni taux de réussite absolus, ni coût en calcul ou en appels au modèle de langage, ni durée réelle des explorations. La comparaison de +37,4 % porte sur des simulations dont le détail n'est pas précisé. Ce travail s'inscrit dans le courant des robots pilotés par agents de code, qui prolonge les approches de planification par modèles de langage générant des programmes, en opposition à la voie dominante des VLA entraînés sur de vastes corpus de démonstrations. Il s'agit ici d'un résultat de recherche publié en préprint, non d'un produit livré ni d'un déploiement industriel, et il n'a pas encore été évalué par des pairs. La publication du code ouvre la voie à une reproduction par la communauté, étape décisive pour juger de la robustesse hors des environnements des auteurs. Les prochains indicateurs à surveiller sont la fiabilité sur de longues séries d'essais, le coût de l'exploration et la sécurité lors de l'exploration sur machines réelles.

RecherchePaper
1 source