De la réaction à l'anticipation : un graphe de…

1arXiv cs.RO

Retour sur la tâche de manipulation « Push-T » avec la robotique à base d'agents

Un article publié le 20 août 2026 sur arXiv (référence 2608.18227v1) revisite Push-T, benchmark de référence pour l'apprentissage de politiques de manipulation par démonstration humaine, dans lequel un robot doit pousser un bloc en forme de T jusqu'à une pose cible en n'utilisant qu'un seul point de contact. Les auteurs ont chargé un agent de codage LLM, Claude Code associé au modèle Fable 5, de produire une solution algorithmique sans aucune donnée de démonstration. L'agent a retrouvé de lui-même la simulation 2D Gym du benchmark en ligne, mené des expériences simulées pour apprendre la mécanique de poussée, puis optimisé itérativement son code jusqu'à atteindre 100% de réussite avec 46% d'étapes en moins que la meilleure politique de diffusion entraînée sur 200 démonstrations humaines. Il a ensuite étendu la tâche à tout l'alphabet, de Push-A à Push-Z, via un curriculum auto-généré, et produit des simulations 3D avec retour visuel pour les bras robotiques Franka et UR5. Vidéos, politiques et détails complets doivent encore être publiés en ligne. Ce résultat interroge une hypothèse centrale du secteur, selon laquelle la manipulation robotique fine passe nécessairement par l'apprentissage par imitation ou par des modèles vision-langage-action entraînés sur de vastes jeux de démonstrations, à l'image de Pi-0, GR00T N2 ou Helix. Ici, un agent de codage génère un contrôle explicite et interprétable qui surpasse une politique de diffusion apprise, sans collecte de données préalable, ce qui intéresse directement les intégrateurs et équipes de R&D cherchant à réduire le coût et le délai de déploiement sur des tâches bien spécifiées. Le succès reste toutefois circonscrit à un benchmark 2D très étudié : l'extension à des simulations 3D avec Franka et UR5 constitue un pas vers la généralisation, mais aucune validation sur robot physique réel n'est rapportée, ce qui limite la portée immédiate pour la production. Push-T tire son origine des travaux sur la Diffusion Policy, qui en avaient fait un banc d'essai standard pour comparer les politiques de manipulation apprises. Ce court article se positionne dans le champ émergent de la « robotique agentique », où des agents de codage basés sur des LLM, comme Claude Code, sont testés comme alternative aux pipelines d'apprentissage par imitation qui dominent aujourd'hui la robotique humanoïde et les bras manipulateurs. Aucun laboratoire ni entreprise autre qu'Anthropic, via son modèle Fable 5, n'est cité dans le résumé, et aucune date de publication des vidéos et politiques associées n'est encore précisée. L'étude reste à ce stade une preuve de concept en simulation, sans pilote industriel ni déploiement matériel confirmé.

RecherchePaper

1 source

2arXiv cs.RO

UniManip : manipulation robotique en monde ouvert grâce à des graphes opérationnels à base d'agents

UniManip est un cadre de manipulation robotique présenté sur arXiv (février 2026, version 2 révisée) par une équipe académique, avec une page de projet open source. Son noyau est un « Agentic Operational Graph » (AOG), un graphe qui orchestre les tâches, suit l'état du monde, vérifie l'exécution et déclenche la récupération en cas d'échec. Une couche « Agentique » de haut niveau planifie, tandis qu'une couche « Scène » maintient un graphe de scène centré sur les objets, construit à partir de perceptions non structurées. Ce graphe fournit des affordances géométriques, des paramètres d'interaction tenant compte des contacts et des trajectoires sans collision, générées par un planificateur local orienté sécurité. Une mémoire structurée sert à diagnostiquer les erreurs et à relancer l'action. Les auteurs annoncent le meilleur résultat publié sur le benchmark LIBERO-Pro. En conditions réelles, le système généraliserait en zéro-shot à plusieurs tâches, plusieurs embodiments et plusieurs mains dextres. Il devancerait de 22,5 points de taux de réussite les meilleurs modèles VLA (Vision-Language-Action) et de 25,0 points les approches hiérarchiques de référence. L'intérêt tient à la position de l'approche dans un débat central de la robotique généraliste. Les VLA de bout en bout manquent souvent de précision sur les tâches à long horizon, alors que les planificateurs hiérarchiques classiques se montrent trop rigides sémantiquement dès que l'environnement sort du cadre prévu. UniManip suggère qu'une architecture explicite et inspectable, avec vérification et reprise sur erreur intégrées, peut combler l'écart sans réentraîner un modèle massif. Pour les intégrateurs, cela compte : une logique traçable et auditable est plus facile à certifier et à déboguer qu'une politique neuronale opaque. L'indépendance vis-à-vis du robot et de la main est aussi un argument de déploiement. Il faut toutefois rester prudent : les écarts de 22,5 et 25 points sont rapportés par les auteurs eux-mêmes, sans que le résumé précise le nombre d'essais, la nature des tâches ni les VLA comparés. Il s'agit d'un travail de recherche, pas d'un produit livré, et aucun déploiement industriel n'est mentionné. Le travail s'inscrit dans la tendance des systèmes « agentiques » qui combinent modèles de fondation et modules géométriques classiques, en réaction aux limites de la généralisation des VLA, ce qu'illustre la création de LIBERO-Pro, variante plus exigeante de LIBERO pour tester la robustesse. Il se positionne face aux VLA généralistes comme Pi-0 ou GR00T, et face aux pipelines de planification hiérarchique fondés sur des LLM. La suite logique, pour valider l'approche, passerait par des évaluations indépendantes, des tests sur des cadences et des durées proches de la production, et la publication du code et des données. Aucun calendrier de pilote n'a été annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

FORCA : un agent de code sensible à la force pour la manipulation robotique riche en contacts

FORCA, un agent de code décrit dans l'article arXiv 2610.31841, prend en entrée des observations visuelles et les mesures du capteur force/couple (F/T) monté au poignet du robot, puis écrit des programmes Python pour sonder le contact et produire des mouvements réactifs à la force. Entre deux exécutions, l'agent examine les enregistrements de force en parallèle des résultats visuels, diagnostique la cause de l'échec et révise à la fois la trajectoire et la logique de retour d'effort. Le système ne requiert ni démonstrations, ni entraînement spécifique à la tâche, ni simulation. Les auteurs l'ont testé sur cinq tâches avec un robot réel, couvrant trois formes de manipulation riche en contact : l'amélioration de la précision (notamment de saisie), l'adaptation à des changements de propriétés d'objet ou de surface, et la régulation du contact face à des variations de surface ou à un objet en mouvement. Face à une variante de l'agent limitée à la vision, FORCA améliore la précision de saisie et le taux de réussite, et réduit les pertes de contact lors d'essais d'essuyage et d'épluchage. Le résumé ne donne ni chiffres de gain, ni modèle de langage utilisé, ni modèle de robot. L'intérêt tient à la voie suivie : au lieu d'entraîner une politique VLA (vision-langage-action) sur des démonstrations téléopérées, coûteuses à collecter, la logique de contrôle est générée comme du code lisible, puis corrigée par essais successifs. Pour un intégrateur, cela rend le comportement inspectable et modifiable, et laisse espérer une mise en service plus rapide sur des tâches de contact (essuyage, épluchage, insertion) que les modèles purement visuels traitent mal, faute de perception de la force. La comparaison avec la variante vision seule suggère que le capteur F/T apporte un gain réel, mais elle ne prouve rien sur la fiabilité industrielle. Cinq tâches de laboratoire, sans taux publiés dans le résumé, sans temps de cycle ni nombre d'itérations de raffinement nécessaires, laissent ouverte la question de la robustesse, de la sécurité des essais physiques menés par un agent, et du coût de ces boucles d'essai-erreur sur du matériel réel. Ce travail s'inscrit dans la montée des agents de code pour la robotique, qui traduisent le langage en programmes, et dans l'effort pour doter les modèles fondation d'une perception tactile et de force, que les VLA actuels exploitent peu. Il rejoint les approches de politiques apprises comme Pi-0 ou GR00T, qui misent sur les données, avec un compromis différent : moins de données, mais plus d'ingénierie de la boucle de diagnostic. Il s'agit d'un préprint en première version (v1), non évalué par les pairs. Les suites naturelles seraient une validation sur davantage de plateformes et de tâches, des comparaisons directes avec des politiques apprises, et l'ouverture du code.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Représentation Alignée pour l'Ancrage Tactile en Manipulation Robotique à Contact Riche

Le capteur tactile reste le parent pauvre des politiques vision-langage-action (VLA) pour la manipulation robotique, alors que les phases de contact critiques (préhension, insertion, glissement) échappent souvent à la caméra. Une équipe de recherche propose dans un article publié sur arXiv (2607.14609) une méthode pour mieux exploiter le toucher: au lieu de prédire directement le signal tactile brut, souvent bruité, le système apprend à anticiper de futurs états tactiles à partir des représentations internes du modèle. Par une analyse en sonde linéaire (linear probe), les chercheurs montrent que ce sont les caractéristiques intermédiaires de l'expert en action, la partie du réseau qui traduit une décision en mouvement, qui prédisent le mieux l'état tactile futur, bien mieux que les couches de perception vision-langage ou que l'état d'action final. Sur cette base, ils introduisent le Latent Tactile Predictor (LTP), un module léger qui prédit des embeddings tactiles compacts à partir de cette couche intermédiaire plutôt que le signal tactile brut. Des expériences sur des tâches de manipulation réelles à fort contact confirment que cet alignement représentationnel surpasse les approches de prédiction tactile moins ciblées ou multi-interfaces. Cette contribution touche à un point sensible du secteur robotique: la plupart des politiques VLA actuelles (Pi-0, GR00T N2, Helix) reposent presque exclusivement sur la vision et le langage, avec un toucher traité comme un canal secondaire greffé après coup. Montrer qu'il existe un endroit précis, dans l'architecture, où la supervision tactile est réellement utile change la manière de concevoir ces modèles multimodaux: cela suggère que brancher un capteur tactile n'importe où dans le réseau, sans réflexion sur l'alignement des représentations, gaspille l'information. Pour les intégrateurs travaillant sur des tâches à contact fin, assemblage, insertion de connecteurs, manipulation d'objets déformables, c'est un signal que la robustesse ne viendra pas seulement de plus de données mais d'une meilleure architecture de fusion des modalités. Le travail s'inscrit dans la lignée des VLA tactiles apparus ces deux dernières années pour combler l'angle mort de la seule vision. L'article ne détaille pas de déploiement industriel ni de partenariat avec un fabricant de robots, il s'agit d'une contribution de recherche fondamentale destinée à orienter la conception des futures générations de politiques VLA plutôt qu'un produit prêt à l'emploi.

RechercheActu

1 source

De la réaction à l'anticipation : un graphe de tâches à base d'agents pour la reprise proactive en manipulation robotique

À lire aussi

Retour sur la tâche de manipulation « Push-T » avec la robotique à base d'agents

UniManip : manipulation robotique en monde ouvert grâce à des graphes opérationnels à base d'agents

FORCA : un agent de code sensible à la force pour la manipulation robotique riche en contacts

Représentation Alignée pour l'Ancrage Tactile en Manipulation Robotique à Contact Riche