Aller au contenu principal
« À base d'agents » ou pas, ce titre parle de synthèse de politiques robotiques guidées par le langage
RecherchearXiv cs.RO 

« À base d'agents » ou pas, ce titre parle de synthèse de politiques robotiques guidées par le langage

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Traduction et résumé français de l'article ARCHITECT :

Une équipe de recherche présente ARCHITECT, un framework qui reformule l'apprentissage de politiques robotiques comme une tâche de synthèse de programme interactive plutôt que comme un modèle de bout en bout. Contrairement aux modèles vision-langage-action (VLA) qui produisent des politiques opaques et difficiles à corriger, ARCHITECT s'appuie sur des agents de codage basés sur des LLM pour générer des programmes robotiques modulaires exploitant une bibliothèque d'outils de perception et de contrôle. Un superviseur humain peut intervenir par des corrections en langage naturel, que le système relie directement au code de la politique grâce aux traces d'exécution du programme, puis distille dans une bibliothèque de compétences persistante, une forme d'apprentissage en contexte à long terme. Sur un benchmark utilisant un bras robotique Franka Panda, ARCHITECT surpasse à la fois les modèles VLA de référence et les méthodes de synthèse de programme concurrentes sur des tâches longues et complexes, dont la manipulation d'objets articulés et le pliage de tissu.

L'intérêt principal réside dans la réponse apportée à un problème récurrent du secteur : le décalage entre les démonstrations impressionnantes des modèles VLA et leur fragilité en conditions réelles, où un changement de distribution provoque des échecs en cascade difficiles à diagnostiquer. En rendant chaque politique modulaire et traçable, ARCHITECT permet d'isoler précisément l'origine d'un échec et de corriger uniquement le module fautif, plutôt que de réentraîner un modèle entier. Pour les intégrateurs et décideurs industriels, cela ouvre la voie à des systèmes plus auditables et moins gourmands en données d'entraînement, un argument clé face au coût et à l'opacité des grands modèles de fondation robotiques.

Ce travail s'inscrit dans un mouvement de recherche cherchant des alternatives aux VLA monolithiques, en misant sur les capacités de raisonnement des LLM pour écrire et corriger du code robotique plutôt que d'apprendre des politiques end-to-end. La bibliothèque de compétences accumulée permettrait au système de transférer ses acquis vers des tâches nouvelles avec une intervention humaine décroissante, un axe que les auteurs présentent comme une alternative data-efficiente et pilotable à l'apprentissage robotique en boîte noire. Il s'agit pour l'instant d'un résultat de recherche évalué en laboratoire, sans indication de déploiement industriel.

Dans nos dossiers

À lire aussi

IA à base d'agents, pilotée par LLM : synthèse d'actions robotiques à partir de la parole, des gestes et de la musique
1arXiv cs.RO 

IA à base d'agents, pilotée par LLM : synthèse d'actions robotiques à partir de la parole, des gestes et de la musique

Des chercheurs publient sur arXiv (arXiv:2606.31158, soumission nouvelle non encore validée par les pairs) un framework qui utilise un grand modèle de langage (LLM) pour générer des actions robotiques à partir d'entrées humaines multimodales combinant parole naturelle, gestes de la main et musique ou rythme sonore. L'architecture assemble trois briques : un module de transcription vocale, un module de reconnaissance de gestes, et un pipeline de traitement du signal dédié à la détection de battements musicaux. Ces flux sont contextualisés via des templates de prompts, puis transmis à un LLM qui, informé d'un espace d'actions robotiques prédéfini, raisonne sur l'ensemble pour produire une séquence d'actions cohérente. Cette séquence alimente une file d'exécution pilotée via ROS (Robot Operating System) sur un robot quadrupède. L'abstract ne précise ni le modèle de LLM utilisé, ni de métriques de performance chiffrées, ni le nom commercial du robot testé : à ce stade, il s'agit d'une preuve de concept méthodologique documentée dans un preprint, pas d'un produit ou d'un déploiement. L'intérêt tient à la fusion de trois canaux hétérogènes dans un seul raisonnement : commandes sémantiques issues de la parole, information déictique (pointage, direction) issue des gestes, et cues rythmiques issues de la musique. Cela dépasse les systèmes de commande rigides et pré-programmés qui dominent encore l'interaction homme-robot (HRI), et s'inscrit dans la tendance plus large consistant à confier aux LLM le rôle de "cerveau de raisonnement" pour des comportements robotiques créatifs et contextuels, plutôt que pour la seule manipulation d'objets. Ce type d'approche vise davantage les robots d'accueil, de divertissement ou compagnons sociaux que l'industrie lourde, le quadrupède servant ici de plateforme de démonstration générique. Le travail s'inscrit dans la vague récente de recherches associant LLM et VLA (vision-language-action) à la robotique, aux côtés d'efforts comme GR00T N2 ou Pi-0 orientés manipulation. Ce papier se distingue en ciblant spécifiquement l'interaction créative multimodale plutôt que la tâche industrielle. L'abstract ne mentionne ni affiliation ni auteurs identifiables, ni calendrier de suite ; les prochaines étapes attendues pour ce type de travail restent une évaluation utilisateur et l'extension à d'autres morphologies de robots.

RecherchePaper
1 source
You Don't Restez Pas dans la Boucle : une Boucle Robotique à Base d'Agents pour Améliorer les Politiques Robotiques
2arXiv cs.RO 

You Don't Restez Pas dans la Boucle : une Boucle Robotique à Base d'Agents pour Améliorer les Politiques Robotiques

Un article de recherche publié sur arXiv (arXiv:2608.07555v1, intitulé "You Don't Need To Stay in The Loop: An Agentic Robotics Loop for Robot-Policy Improvement") présente AgenticRobotics, une architecture de contrôle indépendante du backend pour automatiser l'amélioration des politiques robotiques. Le système transpose à la robotique l'architecture des agents de codage type Claude Code ou Codex, où un agent principal pilote la boucle pendant que des sous-agents exécutent les tâches via des outils. Ici, un contrôleur LLM dirige des workers jetables à travers des transactions entraîner-évaluer-améliorer, avec cinq briques: un objectif immuable, une mesure détenue par le contrôleur, une récupération après crash indexée par commit, une bibliothèque de compétences graduée par preuves, et un registre d'outils à surface d'appel standardisée et enregistrée. Sur la lignée testée par les auteurs, le taux de fausse promotion tombe à 0,001 par run en version durcie contre 0,005 à 0,021 en version de base, les décisions restent valides à tout moment sous arrêt optionnel, aucun effet n'est perdu ou dupliqué sous injection de pannes, et un vérificateur signé détecte les six classes de falsification d'artefacts testées. Le point de départ est que les outils robotiques (politiques entraînées, pipelines d'entraînement, collecte de données) échouent régulièrement, contrairement aux outils logiciels des agents de codage: AgenticRobotics mesure donc et enregistre la qualité de chaque outil à chaque appel, et l'expire dès que l'artefact sous-jacent change. Les auteurs précisent que le titre est une revendication opérationnelle et non une revendication de performance: l'opérateur humain peut quitter la boucle parce que la promotion des candidats est conditionnée à des preuves et que l'état du système est récupérable, pas parce que la boucle sélectionne de meilleurs checkpoints qu'un humain. Sur la lignée testée, ce n'est d'ailleurs pas le cas. Pour les intégrateurs et responsables R&D en robotique, l'intérêt n'est donc pas un gain de performance des politiques mais une réduction mesurable du risque opérationnel lors de cycles d'amélioration continue à grande échelle, une distinction utile face aux discours qui assimilent automatisation de la supervision et automatisation de la décision de qualité. Le travail prolonge explicitement les architectures d'agents de codage popularisées par Claude Code (Anthropic) et Codex (OpenAI), adaptées ici au contexte des politiques robotiques apprenantes, où les pipelines d'entraînement produisent des artefacts instables et coûteux à valider. En présentant AgenticRobotics comme un plan de contrôle indépendant du backend, les auteurs visent une architecture générique plutôt que liée à un fournisseur ou une pile logicielle unique. L'article ne mentionne ni déploiement industriel ni partenariat commercial: il s'agit d'une contribution de recherche évaluée sur une seule lignée expérimentale de politique, ce qui limite pour l'instant la portée des résultats. Les suites logiques, non détaillées dans cette publication, porteraient sur l'extension à davantage de lignées de politiques et de backends robotiques afin de confirmer la généralité des garanties de sécurité et de traçabilité mises en avant.

RecherchePaper
1 source
LaGEA : des agents incarnés guidés par le langage pour la manipulation robotique
3arXiv cs.RO 

LaGEA : des agents incarnés guidés par le langage pour la manipulation robotique

Des chercheurs présentent LaGEA (Language Guided Embodied Agents), une architecture combinant un modèle vision-langage (VLM) et l'apprentissage par renforcement (RL) pour la manipulation robotique, décrite dans une version mise a jour (v3) d'un article arXiv (2509.23155). Apres chaque tentative, le système résume l'épisode en langage naturel, localise les instants décisifs de la trajectoire, aligne ce retour avec l'état visuel dans une représentation partagée, puis transforme la progression vers l'objectif en récompenses bornées appliquées pas a pas. Un coefficient adaptatif, sensible aux échecs, rend ce signal dense en début d'exploration puis l'atténué avec la montée en compétence de l'agent. Sur les bancs d'essai simules Meta-World MT10 (dix taches de manipulation) et Robotic Fetch, LaGEA améliore le taux de réussite moyen de 9,0% sur des objectifs aléatoires, 5,3% sur des objectifs fixes et 17% sur les taches Fetch par rapport aux méthodes de référence, avec une convergence plus rapide. Le travail s'attaque a un problème classique du RL, la conception manuelle des fonctions de récompense, souvent couteuse et peu généralisable a de nouvelles taches. En montrant qu'un retour en langage naturel, structure et ancre temporellement, peut remplacer une partie de cette ingénierie, LaGEA nuance le narratif dominant autour des modèles vision-langage-action (VLA) de type Pi-0, GR00T N2 ou Helix, conçus pour piloter directement une politique de bout en bout : ici, le langage sert de superviseur d'apprentissage plutôt que de commande directe. Les gains rapportes restent obtenus en simulation, non sur du matériel réel, et demandent une confirmation sur des taches de manipulation physique. LaGEA prolonge les travaux exploitant les grands modèles vision-langage comme source de récompense ou de critique pour le RL, un axe de recherche actif depuis l'essor des modèles de fondation capables de décrire des objectifs et d'évaluer des trajectoires. Meta-World MT10 et Robotic Fetch sont des bancs d'essai standards de la communauté robotique, ce qui permet une comparaison directe avec l'état de l'art. S'agissant d'une version corrigée d'un article déjà publie, la contribution reste académique : aucun partenaire industriel, date de déploiement ou intégration produit n'est annonce a ce stade, la prochaine étape logique étant une validation sim-to-real sur robot physique.

RecherchePaper
1 source
ASPIRE : découverte de compétences à base d'agents pour la robotique
4arXiv cs.RO 

ASPIRE : découverte de compétences à base d'agents pour la robotique

ASPIRE (Agentic Skill Programming through Iterative Robot Exploration) est un nouveau système d'apprentissage continu pour la robotique, décrit dans un article publié sur arXiv (2607.00272) début juillet 2026. Contrairement à la programmation robotique traditionnelle, qui impose de coder manuellement la perception multimodale, la gestion des contacts physiques et la diversité des échecs d'exécution, ASPIRE écrit et corrige lui-même ses programmes de contrôle selon le paradigme "code-as-policy", puis capitalise chaque correction validée dans une bibliothèque de compétences réutilisables. Le système s'appuie sur trois briques : un moteur d'exécution en boucle fermée qui expose des traces multimodales fines pour diagnostiquer les échecs et synthétiser des réparations ; une bibliothèque de compétences qui s'enrichit en continu de correctifs transférables ; et une recherche évolutionnaire qui génère des séquences de tâches et des programmes de contrôle variés, au-delà du simple raffinement trajectoire par trajectoire. Sur les bancs d'essai simulés, ASPIRE dépasse les méthodes précédentes de 77% sur les manipulations perturbées de LIBERO-Pro, 72% sur les transferts bimanuels de Robosuite, et 32% sur les tâches ménagères longues de BEHAVIOR-1K. Ce travail s'attaque directement à un point de friction connu du secteur : la difficulté à faire generaliser des politiques de contrôle robotique au-delà de la tâche pour laquelle elles ont été conçues, sans réentraînement lourd à chaque nouvelle configuration. La bibliothèque cumulative d'ASPIRE permet une généralisation zero-shot à des tâches longues jamais vues : 31% de réussite sur LIBERO-Pro Long, contre seulement 4% pour les meilleures méthodes concurrentes, qui pourtant s'appuient sur du raisonnement et des tentatives répétées au moment de l'exécution. Pour les intégrateurs et décideurs robotique, c'est un signal encourageant sur la viabilité de bibliothèques de compétences auto-construites plutôt que de politiques VLA monolithiques entraînées une fois pour toutes, mais les auteurs restent prudents : ils ne parlent que de "premières preuves" de transfert simulation-vers-réel, pas d'un problème résolu. Ce résultat s'inscrit dans la lignée des travaux récents sur les politiques de contrôle générées ou affinées par des grands modèles de langage, où l'enjeu principal est de dépasser le stade de la démonstration isolée pour atteindre une robustesse répétable en conditions réelles. Contrairement aux approches par apprentissage par renforcement pur ou aux VLA entraînés de bout en bout (type Pi-0 ou GR00T), ASPIRE mise sur l'exploration itérative et la mémoire de compétences pour réduire l'effort de programmation à chaque nouvel embodiment ou API robotique. Les auteurs annoncent vouloir approfondir la validation du transfert sim-to-real sur des plateformes physiques variées, une étape encore à venir puisque l'article ne documente pour l'instant que des résultats en simulation.

RecherchePaper
1 source