Aller au contenu principal
ESI : un cycle d'auto-amélioration incarnée pour les agents LLM-VLAIllustration générée par IA
RecherchearXiv cs.RO 

ESI : un cycle d'auto-amélioration incarnée pour les agents LLM-VLA

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent ESI (Embodied Self-Improvement), un cadre de post-entraînement automatisé pour les agents robotiques qui combinent un grand modèle de langage (LLM) et une politique vision-langage-action (VLA). Le principe est celui d'un « volant d'inertie » : l'agent modulaire, pris comme un tout, interagit avec l'environnement, puis trois éléments sont affinés en boucle avant d'être redéployés ensemble. Il s'agit des prompts qui guident le LLM, de l'interface de compétences partagée qui exprime son intention, et des paramètres du VLA qui l'exécutent. Sur dix tâches sélectionnées du benchmark RoboDojo, ESI atteint un score moyen de 62,03 et un taux de réussite moyen de 49,41 %, sans que le LLM génère de code de contrôle spécifique à chaque tâche. Ces résultats dépassent les références publiées de tous les agents hybrides, dont le système GO-3 Nano Preview (agent associé à un modèle d'action du monde, ou WAM), à 47,27 de score et 36,60 % de réussite, ainsi que toutes les méthodes à base de code comparées. Il s'agit d'un travail académique évalué en simulation, sans déploiement physique annoncé.

L'intérêt tient au problème ciblé, bien connu des intégrateurs qui assemblent des briques d'IA préentraînées séparément. Relier un LLM planificateur à un VLA exécutant ne produit pas automatiquement un comportement coordonné : le VLA peut dériver de la sous-tâche voulue et, une fois la main rendue après une correction du LLM, défaire l'état favorable qui venait d'être rétabli. ESI traite cette friction comme un problème d'interface plutôt que de capacité brute. Les décisions de sous-tâches du LLM fournissent une supervision sémantique, tandis que ses corrections efficaces et les reprises qui suivent fournissent une supervision au niveau de l'action pour la récupération et le passage de relais. Le VLA apprend aussi de ses propres exécutions utiles, y compris dans des épisodes globalement ratés, ce qui valorise des données habituellement jetées. Pour un décideur, cela suggère que l'amélioration d'une architecture hybride peut se faire sans réécrire du code par tâche, et que le gain vient de la co-adaptation des modules. Une réserve s'impose : un taux de réussite proche de 50 % sur dix tâches choisies reste loin d'une fiabilité industrielle, et la comparaison repose sur des résultats publiés par d'autres équipes.

Ce travail s'inscrit dans la tendance des architectures agentiques où un LLM orchestre des politiques d'action, en concurrence avec les approches par génération de code de contrôle et avec les systèmes couplant agent et modèle d'action du monde, dont GO-3 Nano Preview est ici la référence hybride à battre. Il prolonge aussi l'idée d'une boucle d'auto-amélioration par interaction, qui réduit la dépendance à la collecte de démonstrations humaines. Les prochaines étapes à surveiller sont la validation sur robots réels, l'extension au-delà des dix tâches retenues et la reproductibilité sur d'autres benchmarks. Le choix de ces tâches limite pour l'instant la portée de la comparaison, et rien n'indique à ce stade de pilote industriel ni de calendrier de commercialisation.

Dans nos dossiers

À lire aussi

AdaRSI : auto-amélioration récursive à la demande pour les agents incarnés
Illustration générée par IA
1arXiv cs.RO 

AdaRSI : auto-amélioration récursive à la demande pour les agents incarnés

Des chercheurs proposent AdaRSI, un cadre d'auto-amélioration récursive (RSI) « à la demande » pour agents incarnés, décrit dans un preprint arXiv (2610.20474). Le point de départ est connu: les modèles vision-langage-action (VLA) préentraînés échouent souvent en cours de route sur des tâches longues et inédites. Un agent de codage commence par améliorer les compétences et le « harnais » (le code qui orchestre l'exécuteur). Il attribue ensuite les échecs persistants en rejouant les sous-étapes défaillantes depuis des états sauvegardés. Il n'affine alors que les sous-étapes qui restent peu fiables, avec des démonstrations qu'il collecte lui-même et l'expérience accumulée sur les tâches précédentes. Testé sur les 50 tâches cibles de RoboCasa365, avec GR00T N1.5 comme exécuteur et sans aucune démonstration humaine, AdaRSI améliore le VLA sur les trois suites. Le taux de réussite sur les tâches composites inédites passe de 4,6 % à 13,8 %. Face à un affinage systématique de toutes les sous-étapes, il obtient un succès légèrement supérieur avec 28 % du temps GPU et 22 % des démonstrations auto-collectées. L'affinage sans harnais utilise davantage de données pour un gain bien moindre. L'intérêt tient à la question posée: à quel moment un système qui s'améliore seul doit-il toucher aux poids de son exécuteur? Les méthodes existantes tranchent par principe. Soit elles ne retouchent que le harnais et ne peuvent donc pas ajouter un mouvement manquant. Soit elles entraînent sur chaque échec sans distinguer un mauvais appel d'une vraie limite de capacité. Séparer ces deux causes réduit nettement le coût d'adaptation, ce qui compte pour tout intégrateur qui devrait spécialiser un VLA sur un site sans équipe de téléopération. Il faut toutefois relativiser. 13,8 % de réussite reste très bas pour un usage industriel. Le résultat est obtenu en simulation, sur un benchmark de cuisines domestiques, et rien n'indique encore un transfert vers le monde réel. Le gain en efficacité (28 % du GPU, 22 % des données) est en revanche le résultat le plus solide, car il est mesuré face à une base de comparaison directe. Le texte ne précise pas la variance entre tâches ni le coût de l'agent de codage lui-même. Ce travail s'inscrit dans la vague de l'auto-amélioration récursive appliquée à la robotique, qui transpose aux corps physiques ce que les agents de codage font déjà pour le logiciel. Il s'appuie sur GR00T N1.5, le modèle de fondation de NVIDIA pour humanoïdes, et sur RoboCasa, benchmark de manipulation domestique en simulation. Les approches concurrentes cherchent à réduire la dépendance aux démonstrations humaines, que ce soit par données synthétiques, apprentissage par renforcement ou boucles de correction autonomes. Il s'agit d'un preprint, sans revue par les pairs, et aucun code ni déploiement physique n'est annoncé dans le résumé. La suite logique serait une validation sur robot réel et sur des exécuteurs plus récents, comme GR00T N2 ou Pi-0, pour vérifier que l'attribution des échecs tient hors simulation.

RecherchePaper
1 source
VISTA : exploration active pour l'auto-amélioration des agents incarnés
Illustration générée par IA
2arXiv cs.RO 

VISTA : exploration active pour l'auto-amélioration des agents incarnés

VISTA, un framework de méta-agent publié sur arXiv (2610.35051), s'attaque à l'amélioration autonome des systèmes d'IA incarnée. Les auteurs partent d'un constat: un agent robotique ne repose pas seulement sur un modèle de fondation pré-entraîné, mais aussi sur son « harness », c'est-à-dire l'échafaudage logiciel qui l'entoure (prompts, outils, logique de reprise sur erreur, orchestration). VISTA maintient un « graphe de harness » qui trace la lignée des versions proposées. Le méta-agent peut ainsi retrouver d'anciennes hypothèses, s'appuyer sur les mécanismes qui ont fonctionné et éviter de réexplorer les impasses. À chaque itération, il part d'une version retenue et de ses traces d'exécution. Il ne se contente pas de les relire: il génère de nouveaux rollouts, sonde les échecs et les comportements de récupération, modifie le harness, puis évalue la version raffinée à neuf avant de l'ajouter au graphe. Les tests portent sur trois benchmarks de simulation, LIBERO-Pro, RoboCasa et RoboTwin. Les auteurs affirment que le taux de succès progresse au fil des itérations, avec moins de rollouts simulés que la réflexion statique. L'intérêt tient au déplacement du levier d'amélioration. Plutôt que de réentraîner une politique de bout en bout, ce qui coûte cher en données et en calcul, on optimise la couche logicielle qui encadre un modèle figé. Pour un intégrateur, c'est une piste plus accessible: elle peut améliorer un système déployé sans nouvelle collecte de démonstrations. L'efficacité en rollouts compte aussi, car chaque essai, même simulé, a un coût, et sur robot réel il use le matériel et mobilise des opérateurs. Il faut toutefois rester prudent. Les résultats sont uniquement en simulation, donc l'écart sim-to-real n'est pas abordé. Le résumé ne chiffre ni les gains ni le nombre de rollouts économisés. Il ne précise pas non plus les modèles sous-jacents ni les baselines. Il s'agit d'un preprint, sans revue par les pairs ni déploiement industriel. Ce travail s'inscrit dans la vague des agents qui s'auto-améliorent et de la réflexion post-hoc sur trajectoires, déjà explorée pour les agents logiciels et le code, que VISTA transpose à la manipulation robotique. Il se place en alternative aux approches centrées sur l'entraînement de VLA (vision-language-action) comme Pi-0 ou GR00T, et aux méthodes qui analysent les logs sans retester leurs corrections. Les benchmarks choisis, LIBERO-Pro pour la robustesse, RoboCasa pour les tâches domestiques et RoboTwin pour la manipulation bimanuelle, restent des références académiques, loin des contraintes d'une ligne de production. Les prochaines étapes naturelles seraient une validation sur robot physique, une quantification précise des économies de rollouts et une comparaison directe avec l'apprentissage par renforcement ou l'affinage de politiques.

RecherchePaper
1 source
ReSight : une mémoire auto-améliorante, guidée par la tâche, pour les agents incarnés
Illustration générée par IA
3arXiv cs.RO 

ReSight : une mémoire auto-améliorante, guidée par la tâche, pour les agents incarnés

ReSight est un système de mémoire pour agents incarnés décrit dans un preprint arXiv (2610.33487). Il conserve des images clés et leurs associations spatio-temporelles, en séparant les observations brutes de champs dérivés extensibles. Les observations stockées peuvent ainsi être retraitées quand un nouveau besoin apparaît. Deux agents se partagent cette mémoire par des interfaces distinctes. L'agent d'exécution appelle des outils enregistrés dans un budget en ligne borné. L'agent de code dispose d'un espace de travail programmable et d'un budget d'exploration plus large, pour inspecter les preuves, écrire des programmes et acquérir des modèles. Le mécanisme Explore-Distill-Mount (EDM) repère les lacunes de capacité à partir des traces d'exécution et d'exploration, sans réponses de référence. Il transforme ensuite les solutions trouvées en constructeurs de mémoire, outils de requête et compétences réutilisables. Sur trois benchmarks publics, avec modèle d'exécution et budget en ligne fixes, l'erreur de position moyenne sur OC-NaVQA passe de 33,10 m à 24,72 m. Le succès de haut niveau sur FindingDory passe de 38,3 % à 63,8 %. Avec outils et compétences gelés, le gain reste de 28,3 points sur des épisodes exclus de l'exploration et de la distillation. Des essais sur des mémoires de patrouille de robots réels montrent aussi une réutilisation de ces capacités, avec en moyenne moins d'appels d'outils en ligne. L'intérêt tient au déplacement du problème. Pour les robots qui accumulent des heures d'images en environnement familier, le verrou n'est pas toujours la donnée, mais la capacité à l'interroger selon des opérations que personne n'avait prévues. Les résultats suggèrent qu'une partie des échecs vient de l'accès à la mémoire plus que de son contenu. Le gain mesuré hors des épisodes d'entraînement indique aussi que les outils distillés se généralisent un peu. Pour un intégrateur de robots d'inspection ou de patrouille, cela ouvre la voie à une extension de la mémoire sans réingénierie manuelle. Plusieurs réserves s'imposent. L'erreur de 24,72 m reste importante. Le coût de l'exploration hors ligne par l'agent de code n'est pas chiffré dans le résumé. Les essais sur robot réel sont décrits sans métriques précises. Le travail s'inscrit dans les approches de mémoire pour la navigation et le question-réponse visuel en environnement réel, qui reposent surtout sur des index et des mécanismes de récupération fixes. ReSight cherche à les rendre évolutifs. Il s'agit d'un preprint non évalué par les pairs, sans produit, déploiement commercial ni calendrier annoncés. La suite logique serait une validation sur des flottes réelles, avec un coût d'exploration mesuré.

RecherchePaper
1 source
Vers un cadre pour les agents incarnés
Illustration générée par IA
4arXiv cs.RO 

Vers un cadre pour les agents incarnés

Un article de recherche mis en ligne le 13 aout 2026 sur arXiv (2608.11246) présente Thea, un "harness", c'est a dire une architecture d'orchestration logicielle, destine aux agents robotiques et conçu selon le principe des agents de codage: la performance dépend moins du modèle que de l'infrastructure qui l'entoure. Thea fait tourner une boucle agentique qui invoque les capacités du robot, chacune encapsulée comme un outil appelable. Les auteurs pointent deux fonctions que le monde physique refuse, contrairement au monde logiciel: lire l'état du monde et juger le résultat d'une action. Pour y remédier, le système introduit le Scene Graph as Context, une représentation symbolique persistante de l'environnement servant de contexte au modèle, et l'Evaluation as Exit Codes, un module qui détecte la fin d'une action, évalué sa réussite et diagnostique la cause d'un échec. Cette approche cible directement l'écart, souvent dénonce dans le secteur, entre démonstrations impressionnantes en environnement contrôle et exécution fiable de taches longues en conditions réelles. En fermant la boucle entre perception, action et évaluation, Thea cherche a faire émerger des comportements complexes par simple composition d'outils, sans reentrainement du modèle pour chaque nouvelle tache. L'article ne fournit toutefois aucune métrique chiffrée, ni taux de réussite ni benchmark, dans son résume: il s'agit a ce stade d'une contribution architecturale, pas d'une validation empirique a grande échelle ni d'un produit déployé. Pour les intégrateurs, l'intérêt tient a la proposition méthodologique: traiter l'agent robotique comme un agent logiciel dote d'un accès symbolique au monde plutôt que comme un modèle entraine de bout en bout. Thea prolonge directement la lignée des harnais d'agents de codage, dont le succès récent a impose ce paradigme d'infrastructure au delà du monde logiciel, et rejoint les recherches en cours sur les modèles vision-langage-action cherchant a leur adjoindre une mémoire structurée du monde plutôt qu'une politique entraînée par imitation. Le document ne précise ni l'affiliation institutionnelle des auteurs ni de calendrier de déploiement pilote. Il se presente comme une contribution académique destinée a être discutée et reproduite par la communauté, la prochaine étape logique étant une évaluation quantitative sur des taches longues en environnement réel.

RecherchePaper
1 source