RecherchearXiv cs.RO 27 octobre 2026

ReSight : une mémoire auto-améliorante, guidée par la tâche, pour les agents incarnés

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

ReSight est un système de mémoire pour agents incarnés décrit dans un preprint arXiv (2610.33487). Il conserve des images clés et leurs associations spatio-temporelles, en séparant les observations brutes de champs dérivés extensibles. Les observations stockées peuvent ainsi être retraitées quand un nouveau besoin apparaît. Deux agents se partagent cette mémoire par des interfaces distinctes. L'agent d'exécution appelle des outils enregistrés dans un budget en ligne borné. L'agent de code dispose d'un espace de travail programmable et d'un budget d'exploration plus large, pour inspecter les preuves, écrire des programmes et acquérir des modèles. Le mécanisme Explore-Distill-Mount (EDM) repère les lacunes de capacité à partir des traces d'exécution et d'exploration, sans réponses de référence. Il transforme ensuite les solutions trouvées en constructeurs de mémoire, outils de requête et compétences réutilisables. Sur trois benchmarks publics, avec modèle d'exécution et budget en ligne fixes, l'erreur de position moyenne sur OC-NaVQA passe de 33,10 m à 24,72 m. Le succès de haut niveau sur FindingDory passe de 38,3 % à 63,8 %. Avec outils et compétences gelés, le gain reste de 28,3 points sur des épisodes exclus de l'exploration et de la distillation. Des essais sur des mémoires de patrouille de robots réels montrent aussi une réutilisation de ces capacités, avec en moyenne moins d'appels d'outils en ligne.

L'intérêt tient au déplacement du problème. Pour les robots qui accumulent des heures d'images en environnement familier, le verrou n'est pas toujours la donnée, mais la capacité à l'interroger selon des opérations que personne n'avait prévues. Les résultats suggèrent qu'une partie des échecs vient de l'accès à la mémoire plus que de son contenu. Le gain mesuré hors des épisodes d'entraînement indique aussi que les outils distillés se généralisent un peu. Pour un intégrateur de robots d'inspection ou de patrouille, cela ouvre la voie à une extension de la mémoire sans réingénierie manuelle. Plusieurs réserves s'imposent. L'erreur de 24,72 m reste importante. Le coût de l'exploration hors ligne par l'agent de code n'est pas chiffré dans le résumé. Les essais sur robot réel sont décrits sans métriques précises.

Le travail s'inscrit dans les approches de mémoire pour la navigation et le question-réponse visuel en environnement réel, qui reposent surtout sur des index et des mécanismes de récupération fixes. ReSight cherche à les rendre évolutifs. Il s'agit d'un preprint non évalué par les pairs, sans produit, déploiement commercial ni calendrier annoncés. La suite logique serait une validation sur des flottes réelles, avec un coût d'exploration mesuré.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

AdaRSI : auto-amélioration récursive à la demande pour les agents incarnés

Des chercheurs proposent AdaRSI, un cadre d'auto-amélioration récursive (RSI) « à la demande » pour agents incarnés, décrit dans un preprint arXiv (2610.20474). Le point de départ est connu: les modèles vision-langage-action (VLA) préentraînés échouent souvent en cours de route sur des tâches longues et inédites. Un agent de codage commence par améliorer les compétences et le « harnais » (le code qui orchestre l'exécuteur). Il attribue ensuite les échecs persistants en rejouant les sous-étapes défaillantes depuis des états sauvegardés. Il n'affine alors que les sous-étapes qui restent peu fiables, avec des démonstrations qu'il collecte lui-même et l'expérience accumulée sur les tâches précédentes. Testé sur les 50 tâches cibles de RoboCasa365, avec GR00T N1.5 comme exécuteur et sans aucune démonstration humaine, AdaRSI améliore le VLA sur les trois suites. Le taux de réussite sur les tâches composites inédites passe de 4,6 % à 13,8 %. Face à un affinage systématique de toutes les sous-étapes, il obtient un succès légèrement supérieur avec 28 % du temps GPU et 22 % des démonstrations auto-collectées. L'affinage sans harnais utilise davantage de données pour un gain bien moindre. L'intérêt tient à la question posée: à quel moment un système qui s'améliore seul doit-il toucher aux poids de son exécuteur? Les méthodes existantes tranchent par principe. Soit elles ne retouchent que le harnais et ne peuvent donc pas ajouter un mouvement manquant. Soit elles entraînent sur chaque échec sans distinguer un mauvais appel d'une vraie limite de capacité. Séparer ces deux causes réduit nettement le coût d'adaptation, ce qui compte pour tout intégrateur qui devrait spécialiser un VLA sur un site sans équipe de téléopération. Il faut toutefois relativiser. 13,8 % de réussite reste très bas pour un usage industriel. Le résultat est obtenu en simulation, sur un benchmark de cuisines domestiques, et rien n'indique encore un transfert vers le monde réel. Le gain en efficacité (28 % du GPU, 22 % des données) est en revanche le résultat le plus solide, car il est mesuré face à une base de comparaison directe. Le texte ne précise pas la variance entre tâches ni le coût de l'agent de codage lui-même. Ce travail s'inscrit dans la vague de l'auto-amélioration récursive appliquée à la robotique, qui transpose aux corps physiques ce que les agents de codage font déjà pour le logiciel. Il s'appuie sur GR00T N1.5, le modèle de fondation de NVIDIA pour humanoïdes, et sur RoboCasa, benchmark de manipulation domestique en simulation. Les approches concurrentes cherchent à réduire la dépendance aux démonstrations humaines, que ce soit par données synthétiques, apprentissage par renforcement ou boucles de correction autonomes. Il s'agit d'un preprint, sans revue par les pairs, et aucun code ni déploiement physique n'est annoncé dans le résumé. La suite logique serait une validation sur robot réel et sur des exécuteurs plus récents, comme GR00T N2 ou Pi-0, pour vérifier que l'attribution des échecs tient hors simulation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Reconstruire, s'entraîner, passer au réel : l'auto-amélioration guidée des agents incarnés

Des chercheurs proposent Reconstruct, Practice, Go Real (RPG), un cadre d'amélioration autonome des systèmes d'exécution robotique qui ne touche à aucun poids de modèle. À partir d'un jeu de données hors ligne, RPG identifie les capacités de manipulation présentes et construit en simulation des tâches d'entraînement apparentées. Pendant cette phase de pratique, le système exploite les retours d'exécution, l'état privilégié du simulateur et les vidéos disponibles du jeu de données pour diagnostiquer les échecs. Il en tire de nouvelles compétences symboliques réutilisables, affine les compétences existantes et réécrit le prompt système. Chaque modification candidate, seule ou fusionnée avec d'autres, est testée sur plusieurs tâches avant d'être conservée. Au déploiement, un LLM multimodal s'appuie sur ce prompt et cette bibliothèque de compétences pour coordonner perception et contrôle. Sur 22 tâches de manipulation, avec des initialisations non vues, le taux de réussite passe de 28,6 % après le premier cycle de pratique à 95,0 % après 15 cycles. Les références testées sont dépassées : ASPIRE atteint 75,5 % et CaP-Agent0, piloté par GPT-6 Astra Pro, 60,0 %. Après une calibration et une adaptation matérielle communes, le système figé réussit les 30 essais physiques, soit dix essais sur chacune de trois tâches. L'intérêt tient à l'approche : l'amélioration passe par du code, des compétences et des prompts, pas par du réentraînement. Pour un intégrateur, cela rend le processus plus auditable et plus facile à versionner, puisque chaque compétence ajoutée est lisible et validée en simulation avant d'être retenue. Cela s'attaque directement au coût humain de la mise au point des compétences, des fonctions de récompense et de l'intégration perception-contrôle. La progression de 28,6 % à 95,0 % suggère aussi que le goulot d'étranglement des agents pilotés par LLM se situe moins dans le modèle que dans la qualité des compétences et des instructions qui l'entourent. Il faut toutefois relativiser. Les 30 essais réels, sur trois tâches seulement, forment un échantillon très mince comparé aux 22 tâches simulées. Ils interviennent après une phase de calibration et d'adaptation matérielle dont le coût n'est pas détaillé dans le résumé. Le transfert sim-to-real reste donc plus plausible que démontré à l'échelle. Ces travaux s'inscrivent dans la lignée des approches « code as policies », où un LLM compose des primitives de contrôle, et des méthodes d'auto-amélioration par bibliothèque de compétences, dont ASPIRE est ici le meilleur concurrent évalué. Ils se distinguent des modèles vision-langage-action (VLA) de type Pi-0 ou GR00T, qui font évoluer l'ensemble par réentraînement de poids. Les auteurs n'annoncent ni produit ni partenaire industriel. Les prochaines étapes à surveiller sont une validation sur davantage de tâches physiques, sur des manipulations plus riches et sur d'autres plateformes. La comparaison avec des VLA entraînés sur les mêmes données serait aussi utile. Le site du projet, rpg-robot.github.io, sert de point d'entrée pour vérifier les résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

VISTA : exploration active pour l'auto-amélioration des agents incarnés

VISTA, un framework de méta-agent publié sur arXiv (2610.35051), s'attaque à l'amélioration autonome des systèmes d'IA incarnée. Les auteurs partent d'un constat: un agent robotique ne repose pas seulement sur un modèle de fondation pré-entraîné, mais aussi sur son « harness », c'est-à-dire l'échafaudage logiciel qui l'entoure (prompts, outils, logique de reprise sur erreur, orchestration). VISTA maintient un « graphe de harness » qui trace la lignée des versions proposées. Le méta-agent peut ainsi retrouver d'anciennes hypothèses, s'appuyer sur les mécanismes qui ont fonctionné et éviter de réexplorer les impasses. À chaque itération, il part d'une version retenue et de ses traces d'exécution. Il ne se contente pas de les relire: il génère de nouveaux rollouts, sonde les échecs et les comportements de récupération, modifie le harness, puis évalue la version raffinée à neuf avant de l'ajouter au graphe. Les tests portent sur trois benchmarks de simulation, LIBERO-Pro, RoboCasa et RoboTwin. Les auteurs affirment que le taux de succès progresse au fil des itérations, avec moins de rollouts simulés que la réflexion statique. L'intérêt tient au déplacement du levier d'amélioration. Plutôt que de réentraîner une politique de bout en bout, ce qui coûte cher en données et en calcul, on optimise la couche logicielle qui encadre un modèle figé. Pour un intégrateur, c'est une piste plus accessible: elle peut améliorer un système déployé sans nouvelle collecte de démonstrations. L'efficacité en rollouts compte aussi, car chaque essai, même simulé, a un coût, et sur robot réel il use le matériel et mobilise des opérateurs. Il faut toutefois rester prudent. Les résultats sont uniquement en simulation, donc l'écart sim-to-real n'est pas abordé. Le résumé ne chiffre ni les gains ni le nombre de rollouts économisés. Il ne précise pas non plus les modèles sous-jacents ni les baselines. Il s'agit d'un preprint, sans revue par les pairs ni déploiement industriel. Ce travail s'inscrit dans la vague des agents qui s'auto-améliorent et de la réflexion post-hoc sur trajectoires, déjà explorée pour les agents logiciels et le code, que VISTA transpose à la manipulation robotique. Il se place en alternative aux approches centrées sur l'entraînement de VLA (vision-language-action) comme Pi-0 ou GR00T, et aux méthodes qui analysent les logs sans retester leurs corrections. Les benchmarks choisis, LIBERO-Pro pour la robustesse, RoboCasa pour les tâches domestiques et RoboTwin pour la manipulation bimanuelle, restent des références académiques, loin des contraintes d'une ligne de production. Les prochaines étapes naturelles seraient une validation sur robot physique, une quantification précise des économies de rollouts et une comparaison directe avec l'apprentissage par renforcement ou l'affinage de politiques.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

LaGEA : des agents incarnés guidés par le langage pour la manipulation robotique

Des chercheurs présentent LaGEA (Language Guided Embodied Agents), une architecture combinant un modèle vision-langage (VLM) et l'apprentissage par renforcement (RL) pour la manipulation robotique, décrite dans une version mise a jour (v3) d'un article arXiv (2509.23155). Apres chaque tentative, le système résume l'épisode en langage naturel, localise les instants décisifs de la trajectoire, aligne ce retour avec l'état visuel dans une représentation partagée, puis transforme la progression vers l'objectif en récompenses bornées appliquées pas a pas. Un coefficient adaptatif, sensible aux échecs, rend ce signal dense en début d'exploration puis l'atténué avec la montée en compétence de l'agent. Sur les bancs d'essai simules Meta-World MT10 (dix taches de manipulation) et Robotic Fetch, LaGEA améliore le taux de réussite moyen de 9,0% sur des objectifs aléatoires, 5,3% sur des objectifs fixes et 17% sur les taches Fetch par rapport aux méthodes de référence, avec une convergence plus rapide. Le travail s'attaque a un problème classique du RL, la conception manuelle des fonctions de récompense, souvent couteuse et peu généralisable a de nouvelles taches. En montrant qu'un retour en langage naturel, structure et ancre temporellement, peut remplacer une partie de cette ingénierie, LaGEA nuance le narratif dominant autour des modèles vision-langage-action (VLA) de type Pi-0, GR00T N2 ou Helix, conçus pour piloter directement une politique de bout en bout : ici, le langage sert de superviseur d'apprentissage plutôt que de commande directe. Les gains rapportes restent obtenus en simulation, non sur du matériel réel, et demandent une confirmation sur des taches de manipulation physique. LaGEA prolonge les travaux exploitant les grands modèles vision-langage comme source de récompense ou de critique pour le RL, un axe de recherche actif depuis l'essor des modèles de fondation capables de décrire des objectifs et d'évaluer des trajectoires. Meta-World MT10 et Robotic Fetch sont des bancs d'essai standards de la communauté robotique, ce qui permet une comparaison directe avec l'état de l'art. S'agissant d'une version corrigée d'un article déjà publie, la contribution reste académique : aucun partenaire industriel, date de déploiement ou intégration produit n'est annonce a ce stade, la prochaine étape logique étant une validation sim-to-real sur robot physique.

RecherchePaper

1 source