Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

AGM : une mémoire ancrée dans la réussite pour agents en boucle fermée à politique VLA figée

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un preprint arXiv (2608.29537v1) présente AGM, pour Achievement-Grounded Memory, un framework léger pour politiques vision-langage-action (VLA) figées qui exécutent des blocs d'action en boucle ouverte sans suivre la progression de la tache. AGM découpe chaque tache en sous-objectifs relies a un pointeur de progression, qui n'avance que lorsque le sous-objectif courant est vérifie par une preuve physique. Cette vérification, pilotée par une seule tête de 2,43 millions de paramètres issue de modèles de fondation figes, combine indices proprioceptifs, suivi de points et comparaison cross-vue conditionnée par le langage. Sur le benchmark RoboMME Counting (taches PickXTimes et BinFill), AGM dépasse la meilleure base mémoire concurrente sans que le résume public ne chiffre précisément l'écart, et des essais complémentaires sur un robot physique confirment des gains similaires.

Le problème cible est connu du secteur : une politique VLA figée ne peut ni confirmer qu'une sous-tache a réussi ni décider s'il faut réessayer ou continuer, et une mémoire externe mal conçue risque de confondre tentative et réussite, transformant une erreur locale en erreur d'état persistante. En n'autorisant la mise a jour de la mémoire qu'après vérification physique, AGM s'attaque directement a l'écart, souvent souligne dans l'industrie, entre démonstrations contrôlées et fiabilité réelle des VLA sur des taches longues. Pour les intégrateurs, l'intérêt pratique tient au fait que la politique reste figée, sans reentrainement ni inférence d'un grand modèle au moment du test, ce qui limite cout de calcul et latence en usage industriel.

Ces travaux s'inscrivent dans la montée des politiques VLA figées comme couche de base pour la manipulation et l'humanoïde, a l'image de Pi-0, GR00T N2 ou Helix, saluées pour leurs compétences mais critiquées pour leur difficulté a suivre une tache longue. Le résume public de l'article ne nomme aucun laboratoire ni entreprise porteurs et reste au stade de preprint arXiv publie fin aout 2026, sans partenaire industriel ni calendrier de déploiement annonces. Les preuves apportées se limitent a un benchmark de comptage de taches et a des essais sur un robot physique dont la plateforme n'est pas précisée, ce qui invite a la prudence avant toute généralisation.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

You Don't Restez Pas dans la Boucle : une Boucle Robotique à Base d'Agents pour Améliorer les Politiques Robotiques
1arXiv cs.RO 

You Don't Restez Pas dans la Boucle : une Boucle Robotique à Base d'Agents pour Améliorer les Politiques Robotiques

Un article de recherche publié sur arXiv (arXiv:2608.07555v1, intitulé "You Don't Need To Stay in The Loop: An Agentic Robotics Loop for Robot-Policy Improvement") présente AgenticRobotics, une architecture de contrôle indépendante du backend pour automatiser l'amélioration des politiques robotiques. Le système transpose à la robotique l'architecture des agents de codage type Claude Code ou Codex, où un agent principal pilote la boucle pendant que des sous-agents exécutent les tâches via des outils. Ici, un contrôleur LLM dirige des workers jetables à travers des transactions entraîner-évaluer-améliorer, avec cinq briques: un objectif immuable, une mesure détenue par le contrôleur, une récupération après crash indexée par commit, une bibliothèque de compétences graduée par preuves, et un registre d'outils à surface d'appel standardisée et enregistrée. Sur la lignée testée par les auteurs, le taux de fausse promotion tombe à 0,001 par run en version durcie contre 0,005 à 0,021 en version de base, les décisions restent valides à tout moment sous arrêt optionnel, aucun effet n'est perdu ou dupliqué sous injection de pannes, et un vérificateur signé détecte les six classes de falsification d'artefacts testées. Le point de départ est que les outils robotiques (politiques entraînées, pipelines d'entraînement, collecte de données) échouent régulièrement, contrairement aux outils logiciels des agents de codage: AgenticRobotics mesure donc et enregistre la qualité de chaque outil à chaque appel, et l'expire dès que l'artefact sous-jacent change. Les auteurs précisent que le titre est une revendication opérationnelle et non une revendication de performance: l'opérateur humain peut quitter la boucle parce que la promotion des candidats est conditionnée à des preuves et que l'état du système est récupérable, pas parce que la boucle sélectionne de meilleurs checkpoints qu'un humain. Sur la lignée testée, ce n'est d'ailleurs pas le cas. Pour les intégrateurs et responsables R&D en robotique, l'intérêt n'est donc pas un gain de performance des politiques mais une réduction mesurable du risque opérationnel lors de cycles d'amélioration continue à grande échelle, une distinction utile face aux discours qui assimilent automatisation de la supervision et automatisation de la décision de qualité. Le travail prolonge explicitement les architectures d'agents de codage popularisées par Claude Code (Anthropic) et Codex (OpenAI), adaptées ici au contexte des politiques robotiques apprenantes, où les pipelines d'entraînement produisent des artefacts instables et coûteux à valider. En présentant AgenticRobotics comme un plan de contrôle indépendant du backend, les auteurs visent une architecture générique plutôt que liée à un fournisseur ou une pile logicielle unique. L'article ne mentionne ni déploiement industriel ni partenariat commercial: il s'agit d'une contribution de recherche évaluée sur une seule lignée expérimentale de politique, ce qui limite pour l'instant la portée des résultats. Les suites logiques, non détaillées dans cette publication, porteraient sur l'extension à davantage de lignées de politiques et de backends robotiques afin de confirmer la généralité des garanties de sécurité et de traçabilité mises en avant.

RecherchePaper
1 source
PiL-World : un modèle du monde par segments pour l'évaluation VLA en boucle fermée
2arXiv cs.RO 

PiL-World : un modèle du monde par segments pour l'évaluation VLA en boucle fermée

Des chercheurs ont publié PiL-World (arXiv:2606.05773), un modèle de monde (world model) en boucle fermée conçu pour évaluer les politiques VLA (Vision-Language-Action) sans exécution physique continue. Le système fonctionne par blocs d'actions (action chunks) : à chaque itération, la politique VLA génère une séquence d'actions, PiL-World simule les observations multi-vues résultantes, et ces observations alimentent le cycle d'inférence suivant. Évalué sur trois tâches de manipulation bimanuelle réelles, PiL-World réduit l'écart entre le taux de succès mesuré sur robot physique et celui estimé en simulation boucle fermée de 63,2 % à 12,0 % par rapport à la baseline, soit plus de cinq fois moins d'erreur d'évaluation. Le modèle conditionne la génération vidéo sur le mouvement du robot en vue de tête et sur un historique latent encodant le contexte d'exécution de la tâche, et apprend à la fois sur des démonstrations téléopérées réussies et sur des trajectoires d'échec. L'évaluation des politiques VLA en boucle fermée est un goulot d'étranglement critique dans le développement robotique : chaque cycle de test sur hardware coûte du temps, de l'usure mécanique et une supervision humaine. Un écart de 63,2 % entre simulation et réalité rend une baseline en boucle ouverte essentiellement inexploitable pour prédire les performances terrain. Ramené à 12,0 %, ce delta commence à être utilisable pour screener des politiques avant validation physique. Le fait que PiL-World apprenne aussi sur des rollouts d'échec est notable : cela corrige un biais classique des world models entraînés uniquement sur démonstrations positives, et rapproche la distribution simulée de celle des exécutions politiques réelles, qui incluent naturellement des tentatives ratées. La demande pour des boucles d'évaluation sans robot s'intensifie depuis que les VLA, notamment Pi-0 de Physical Intelligence, OpenVLA, ou GR00T N2 de NVIDIA, sont devenues les architectures de référence pour la manipulation généraliste. Les simulateurs physiques classiques comme Isaac Lab ou MuJoCo souffrent du sim-to-real gap pour les tâches de contact fin, d'où l'intérêt croissant pour les world models appris directement sur données réelles. PiL-World rejoint une tendance émergente aux côtés de travaux comme UniSim ou IRASim, qui visent à remplacer partiellement l'exécution physique par des modèles génératifs vidéo conditionnés sur les actions. Les résultats sur trois tâches bimanuelles restent limités en diversité de scènes et de morphologies robotiques, et aucun déploiement industriel ni partenariat n'est annoncé à ce stade, ce qui positionne PiL-World comme une contribution de recherche prometteuse plutôt qu'un outil prêt pour l'intégration.

RechercheOpinion
1 source
Mémoire à long terme pour agents VLA dans l'exécution de tâches en environnement ouvert
3arXiv cs.RO 

Mémoire à long terme pour agents VLA dans l'exécution de tâches en environnement ouvert

Une équipe de chercheurs a publié le 22 avril 2026 sur arXiv (ref. 2504.15671) les résultats de ChemBot, un système robotique conçu pour automatiser des protocoles d'expérimentation chimique complexes en laboratoire. ChemBot repose sur une architecture à deux couches couplant un agent IA planificateur à un modèle Vision-Language-Action (VLA) baptisé Skill-VLA, capable de décomposer hiérarchiquement des tâches longues, typiquement des protocoles multi-étapes, puis de les exécuter sur des robots collaboratifs. Le système intègre une mémoire persistante à double niveau qui archive les trajectoires réussies sous forme d'assets réutilisables, et s'appuie sur un serveur Model Context Protocol (MCP) pour orchestrer les sous-agents et les outils. Un mécanisme d'inférence asynchrone basé sur la prédiction d'états futurs est également implémenté pour réduire les discontinuités de trajectoire, un défaut récurrent des VLA standards. Les expériences rapportées montrent des taux de succès et une précision opérationnelle supérieurs aux baselines VLA existantes sur des scénarios longs et multi-étapes. Ce travail adresse une limite structurelle bien documentée des modèles VLA : leur incapacité à capitaliser sur les expériences passées, ce qui force le système à recommencer par tâtonnements à chaque nouvelle session. En intégrant une mémoire persistante récupérable, ChemBot réduit concrètement le "trial-and-error gap" dans des environnements à longue horizon de planification, un problème critique pour l'automatisation de laboratoire où une erreur en milieu de protocole peut invalider toute une expérience. C'est également une démonstration applicative du sim-to-real dans un domaine non industriel, le laboratoire chimique, traditionnellement peu couvert par les benchmarks robotiques. Pour les intégrateurs B2B dans le pharma ou la recherche chimique, cela constitue un signal concret vers des robots de laboratoire autonomes capables de gérer des workflows non déterministes. Les modèles VLA ont connu une montée en puissance rapide depuis 2023 avec des travaux comme RT-2 (Google DeepMind), OpenVLA et Pi-0 (Physical Intelligence), mais la majorité des déploiements restent limités à des tâches courtes et répétitives. ChemBot se positionne dans le segment émergent des "long-horizon VLA", aux côtés de travaux comme SayCan ou des architectures hiérarchiques de Carnegie Mellon. Aucun déploiement industriel n'est annoncé à ce stade, il s'agit d'une publication académique avec validation sur robots collaboratifs en environnement contrôlé. Les prochaines étapes logiques incluent des tests sur des plateformes comme les robots Universal Robots ou Franka, et une intégration potentielle avec des systèmes LIMS existants dans les laboratoires pharmaceutiques.

RechercheOpinion
1 source
Politique de carte d'action : apprentissage de la manipulation 3D en boucle fermée par classification de pixels
4arXiv cs.RO 

Politique de carte d'action : apprentissage de la manipulation 3D en boucle fermée par classification de pixels

Des chercheurs viennent de publier sur arXiv (2607.10706, 14 juillet 2026) un nouveau cadre baptisé Action Map Policy (AMP), qui reformule l'apprentissage de politiques de manipulation robotique en boucle fermée comme un problème de classification dans l'espace image plutôt que comme une régression continue. L'idée centrale consiste à projeter les actions 3D du bras robotique sur le plan de la caméra et à traiter chaque pixel comme une classe discrète à prédire, ce qui limite l'explosion combinatoire du vocabulaire tout en conservant une précision de l'ordre du millimètre. Contrairement aux approches par diffusion, qui nécessitent un débruitage itératif coûteux en temps de calcul, AMP prédit l'intégralité d'un segment d'actions en une seule passe avant, ce qui accélère nettement l'inférence. Les auteurs rapportent des taux de réussite supérieurs à plusieurs méthodes de référence sur diverses tâches de manipulation, ainsi qu'un raisonnement spatial amélioré. Le choix de la représentation d'action reste l'un des obstacles majeurs des politiques robotiques modernes, notamment pour les modèles vision-langage-action (VLA) qui cherchent à généraliser au-delà des tâches d'entraînement. La classification par pixels s'inspire du succès des modèles génératifs de langage, où la prédiction du prochain token a supplanté les approches par régression directe. En robotique, cette analogie est plus délicate car l'espace d'action est continu et de haute dimension, avec des solutions optimales souvent multimodales. En résolvant le compromis entre discrétisation fine et vocabulaire gérable, AMP répond directement à une limite pratique des politiques par diffusion, jugées précises mais lentes, un frein pour les applications nécessitant un contrôle réactif en temps réel. Il s'agit pour l'instant d'un travail de recherche académique, sans lien annoncé avec un produit commercial ou un déploiement industriel. AMP s'inscrit dans une lignée d'alternatives aux politiques par diffusion (popularisées par Diffusion Policy) et aux approches autorégressives de type VLA (Pi-0, GR00T N2, OpenVLA). Les prochaines étapes attendues incluent une validation sur robots physiques au-delà des expériences en simulation ou banc de test décrites dans l'article, ainsi qu'un examen par les pairs.

RecherchePaper
1 source