RecherchearXiv cs.RO 27 octobre 2026

UniManip : manipulation robotique en monde ouvert grâce à des graphes opérationnels à base d'agents

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

UniManip est un cadre de manipulation robotique présenté sur arXiv (février 2026, version 2 révisée) par une équipe académique, avec une page de projet open source. Son noyau est un « Agentic Operational Graph » (AOG), un graphe qui orchestre les tâches, suit l'état du monde, vérifie l'exécution et déclenche la récupération en cas d'échec. Une couche « Agentique » de haut niveau planifie, tandis qu'une couche « Scène » maintient un graphe de scène centré sur les objets, construit à partir de perceptions non structurées. Ce graphe fournit des affordances géométriques, des paramètres d'interaction tenant compte des contacts et des trajectoires sans collision, générées par un planificateur local orienté sécurité. Une mémoire structurée sert à diagnostiquer les erreurs et à relancer l'action. Les auteurs annoncent le meilleur résultat publié sur le benchmark LIBERO-Pro. En conditions réelles, le système généraliserait en zéro-shot à plusieurs tâches, plusieurs embodiments et plusieurs mains dextres. Il devancerait de 22,5 points de taux de réussite les meilleurs modèles VLA (Vision-Language-Action) et de 25,0 points les approches hiérarchiques de référence.

L'intérêt tient à la position de l'approche dans un débat central de la robotique généraliste. Les VLA de bout en bout manquent souvent de précision sur les tâches à long horizon, alors que les planificateurs hiérarchiques classiques se montrent trop rigides sémantiquement dès que l'environnement sort du cadre prévu. UniManip suggère qu'une architecture explicite et inspectable, avec vérification et reprise sur erreur intégrées, peut combler l'écart sans réentraîner un modèle massif. Pour les intégrateurs, cela compte : une logique traçable et auditable est plus facile à certifier et à déboguer qu'une politique neuronale opaque. L'indépendance vis-à-vis du robot et de la main est aussi un argument de déploiement. Il faut toutefois rester prudent : les écarts de 22,5 et 25 points sont rapportés par les auteurs eux-mêmes, sans que le résumé précise le nombre d'essais, la nature des tâches ni les VLA comparés. Il s'agit d'un travail de recherche, pas d'un produit livré, et aucun déploiement industriel n'est mentionné.

Le travail s'inscrit dans la tendance des systèmes « agentiques » qui combinent modèles de fondation et modules géométriques classiques, en réaction aux limites de la généralisation des VLA, ce qu'illustre la création de LIBERO-Pro, variante plus exigeante de LIBERO pour tester la robustesse. Il se positionne face aux VLA généralistes comme Pi-0 ou GR00T, et face aux pipelines de planification hiérarchique fondés sur des LLM. La suite logique, pour valider l'approche, passerait par des évaluations indépendantes, des tests sur des cadences et des durées proches de la production, et la publication du code et des données. Aucun calendrier de pilote n'a été annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

De la réaction à l'anticipation : un graphe de tâches à base d'agents pour la reprise proactive en manipulation robotique

Une équipe de recherche a publié en mai 2025 sur arXiv (identifiant 2605.11951) AgentChord, un système multi-agents qui anticipe les pannes de manipulation robotique avant l'exécution plutôt qu'en les traitant de manière réactive. L'architecture repose sur un graphe de tâches dirigé enrichi, en amont de toute exécution, de branches de récupération pré-compilées et contextualisées selon chaque étape critique. Trois agents spécialisés structurent ce pipeline : un "composer" modélise la tâche nominale, un "arranger" greffe les branches de récupération anticipées, et un "conductor" orchestre les transitions via des moniteurs à faible latence. Les expériences portent sur des tâches de manipulation bimanuelle à horizon long ; les auteurs rapportent une amélioration "substantielle" des taux de succès sans publier de métriques chiffrées précises dans l'abstract disponible. Le principal apport est d'éliminer la latence inhérente au pipeline classique "détecter-raisonner-récupérer", dans lequel chaque échec déclenche un nouvel appel à un LLM ou à un planificateur symbolique. En pré-compilant les correctifs avant le début de la tâche, AgentChord permet une réponse immédiate sans re-planification dès qu'un moniteur détecte une déviation. Pour les intégrateurs industriels qui automatisent des opérations en cellule non structurée, cette architecture de graphe anticipatif pourrait réduire les arrêts imprévus liés aux échecs de manipulation. L'approche présente néanmoins une limite structurelle : les branches pré-compilées ne couvrent que les pannes anticipées, non les défaillances inédites ou hors-modèle. La robustesse de la manipulation en conditions réelles reste l'un des goulots d'étranglement centraux de la robotique commerciale, que ce soit pour les bras industriels ou les humanoïdes en phase de déploiement comme Optimus de Tesla ou les robots de Figure AI. AgentChord s'inscrit dans un courant qui exploite les LLMs comme orchestrateurs de logique de haut niveau, en complément de politiques d'action de bas niveau. Des approches concurrentes comme les VLA Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA intègrent la récupération de manière implicite dans le réseau de politique, là où AgentChord opte pour une représentation explicite en graphe, plus transparente mais potentiellement moins générique face à la variabilité du monde réel. La page projet est accessible sur shengxu.net/AgentChord ; la validation hors banc de test académique reste la prochaine frontière.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage d'une exécution robuste en manipulation robotique par apprentissage par renforcement à base d'agents

Traduction en cours. Ce papier de recherche s'attaque à un problème central de la manipulation robotique : la fragilité d'exécution face à l'incertitude et aux tâches longues, où une petite déviation peut faire échouer toute une séquence d'actions. Les modèles vision-langage-action (VLA) actuels, malgré leurs bonnes capacités de généralisation, manquent de mécanismes explicites pour détecter qu'une exécution dérape et pour s'en remettre. Les auteurs proposent deux contributions complémentaires : des métriques permettant d'évaluer en temps réel la qualité de l'exécution, et un cadre d'apprentissage par renforcement dit "agentique", où une politique de haut niveau observe l'historique récent d'exécution et choisit parmi un petit ensemble de modes d'exécution pour réguler le comportement du robot. Plutôt que de réapprendre directement les actions bas niveau, cette politique déclenche des mécanismes de récupération qui ramènent le robot vers des états nominaux déjà visités, permettant à la tâche de reprendre son cours. Testée sur le benchmark LIBERO, la méthode améliore le taux de réussite jusqu'à 13,7% en conditions standards, et jusqu'à 39,2% en conditions perturbées. L'enjeu dépasse la simple performance chiffrée : c'est une réponse directe à l'écart entre démonstration et réalité qui pénalise l'industrie humanoïde et les intégrateurs. Un modèle VLA capable d'enchaîner des tâches en laboratoire s'effondre souvent dès qu'un objet glisse, qu'un capteur bruite, ou qu'une perturbation externe survient sur une ligne réelle. En ajoutant une couche de supervision qui détecte la dérive et enclenche une correction plutôt que de laisser le modèle bas niveau tenter d'improviser, cette approche s'attaque directement à la robustesse, le principal frein à la mise en production de bras manipulateurs et d'humanoïdes en environnement industriel non contrôlé. Le gain nettement plus marqué en conditions perturbées (39,2%) qu'en conditions standards (13,7%) suggère que le bénéfice réel se manifeste précisément là où les décideurs B2B en ont besoin: en présence d'aléas, pas en démo scriptée. Ce travail s'inscrit dans la lignée des recherches récentes sur les modèles VLA généralistes (dans la veine de Pi-0 ou GR00T N2), qui ont démontré une capacité de généralisation impressionnante mais restent critiqués pour leur manque de garanties d'exécution en conditions réelles. En séparant la décision de haut niveau (quel mode d'exécution adopter) de l'apprentissage bas niveau des actions, les auteurs évitent de devoir réentraîner l'ensemble du modèle VLA pour gagner en robustesse, une approche modulaire qui pourrait s'intégrer à des piles existantes plutôt que les remplacer. Reste à voir si cette architecture agentique se transpose au-delà du benchmark simulé LIBERO vers des déploiements physiques réels, où la latence de décision et la diversité des modes de défaillance sont bien plus complexes qu'en simulation.

RecherchePaper

1 source

3arXiv cs.RO

Résoudre la manipulation mobile : du diagnostic des échecs à un système robotique à base d'agents

Des chercheurs du laboratoire PKU-VaLuE de l'université de Pékin publient une étude sur l'écart entre manipulation locale et manipulation mobile à long horizon. Un VLA (vision-language-action) pré-entraîné, spécialisé par sous-tâche, atteint 80 % de réussite sur des tâches de manipulation atomiques, mais seulement 19 % lorsque ces compétences sont enchaînées dans des tâches de manipulation mobile. Les auteurs diagnostiquent systématiquement les échecs et en isolent trois régimes dominants : la planification de tâche, la navigation avec positionnement de la base, et la manipulation locale. Ils construisent ensuite une intervention « agentique » guidée par ces échecs, qui ajoute à un VLA figé quatre modules : un guidage de planification par démonstrations, une mémoire visuelle adaptative, un ajustement de la base tenant compte de l'accessibilité, et un ajustement local de l'effecteur. Sur le benchmark RoboCasa365, le taux de réussite passe progressivement de 19 % à 47 %, et le système final atteint 49 % sur des épisodes tenus à l'écart, contre 18 % pour la référence. Sur BEHAVIOR-1K, le score passe de 14 % à 37 %, et sur robot réel de 5 sur 20 à 13 sur 20 tâches réussies. Ces résultats remettent en cause l'idée que la réussite d'une politique sur des tâches locales se transfère mécaniquement aux tâches longues. Un écart de 80 % à 19 % montre que l'erreur se compose sur la chaîne d'exécution (planification, déplacement, placement du bras), et que les benchmarks de manipulation isolée surestiment la préparation au déploiement. Pour les intégrateurs et les décideurs, le message est pragmatique : plutôt que de miser uniquement sur des politiques plus grandes ou davantage de données, on peut gagner beaucoup en traitant le goulot d'étranglement du moment avec des modules d'orchestration autour d'un VLA existant. Il faut toutefois relativiser : un taux de 49 % en simulation reste loin de la fiabilité exigée en production, et l'évaluation réelle ne porte que sur 20 tâches, un échantillon trop petit pour des conclusions statistiques solides. Le fait que l'on passe de 5 à 13 réussites sur 20 est encourageant, sans être une preuve de robustesse. Ce travail s'inscrit dans la course aux modèles généralistes de type Pi-0, GR00T ou Helix, dont les démonstrations portent souvent sur des séquences courtes ou soigneusement choisies. Il rejoint une tendance vers des architectures hybrides combinant un planificateur de haut niveau, de la mémoire et des contrôleurs spécialisés, plutôt qu'une politique de bout en bout unique. RoboCasa365 et BEHAVIOR-1K, deux benchmarks de tâches domestiques en simulation, servent ici de références comparables. Il s'agit d'une prépublication arXiv, non évaluée par des pairs, dont le code est annoncé sur GitHub mais pas encore publié. La suite dépendra de sa disponibilité, de sa reproduction par d'autres équipes et de son test sur d'autres plateformes mobiles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Retour sur la tâche de manipulation « Push-T » avec la robotique à base d'agents

Un article publié le 20 août 2026 sur arXiv (référence 2608.18227v1) revisite Push-T, benchmark de référence pour l'apprentissage de politiques de manipulation par démonstration humaine, dans lequel un robot doit pousser un bloc en forme de T jusqu'à une pose cible en n'utilisant qu'un seul point de contact. Les auteurs ont chargé un agent de codage LLM, Claude Code associé au modèle Fable 5, de produire une solution algorithmique sans aucune donnée de démonstration. L'agent a retrouvé de lui-même la simulation 2D Gym du benchmark en ligne, mené des expériences simulées pour apprendre la mécanique de poussée, puis optimisé itérativement son code jusqu'à atteindre 100% de réussite avec 46% d'étapes en moins que la meilleure politique de diffusion entraînée sur 200 démonstrations humaines. Il a ensuite étendu la tâche à tout l'alphabet, de Push-A à Push-Z, via un curriculum auto-généré, et produit des simulations 3D avec retour visuel pour les bras robotiques Franka et UR5. Vidéos, politiques et détails complets doivent encore être publiés en ligne. Ce résultat interroge une hypothèse centrale du secteur, selon laquelle la manipulation robotique fine passe nécessairement par l'apprentissage par imitation ou par des modèles vision-langage-action entraînés sur de vastes jeux de démonstrations, à l'image de Pi-0, GR00T N2 ou Helix. Ici, un agent de codage génère un contrôle explicite et interprétable qui surpasse une politique de diffusion apprise, sans collecte de données préalable, ce qui intéresse directement les intégrateurs et équipes de R&D cherchant à réduire le coût et le délai de déploiement sur des tâches bien spécifiées. Le succès reste toutefois circonscrit à un benchmark 2D très étudié : l'extension à des simulations 3D avec Franka et UR5 constitue un pas vers la généralisation, mais aucune validation sur robot physique réel n'est rapportée, ce qui limite la portée immédiate pour la production. Push-T tire son origine des travaux sur la Diffusion Policy, qui en avaient fait un banc d'essai standard pour comparer les politiques de manipulation apprises. Ce court article se positionne dans le champ émergent de la « robotique agentique », où des agents de codage basés sur des LLM, comme Claude Code, sont testés comme alternative aux pipelines d'apprentissage par imitation qui dominent aujourd'hui la robotique humanoïde et les bras manipulateurs. Aucun laboratoire ni entreprise autre qu'Anthropic, via son modèle Fable 5, n'est cité dans le résumé, et aucune date de publication des vidéos et politiques associées n'est encore précisée. L'étude reste à ce stade une preuve de concept en simulation, sans pilote industriel ni déploiement matériel confirmé.

RecherchePaper

1 source