Aller au contenu principal
ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnéeIllustration générée par IA
RecherchearXiv cs.RO 

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient ASENA, un système d'agent incarné qui relie des agents de codage généralistes aux capteurs, au calcul, à l'exécution supervisée et à une mémoire persistante d'un robot. L'agent écrit et exécute des programmes, relit les résultats enregistrés, corrige ses échecs et réutilise des notes et des compétences exécutables, le tout sans modifier les poids du modèle. Le système s'accompagne d'ASENA-VLN, une politique de navigation monoculaire de 4 milliards de paramètres, proposée comme outil optionnel. Elle prédit des trajectoires dans le repère du corps, pour des itinéraires longs comme pour des comportements à court horizon, grâce à un décodeur vision-langage unique. Celui-ci est entraîné sur des instructions de parcours, des questions-réponses visuelles et un nouveau jeu de tâches de navigation « atomiques » dérivées de la géométrie. Seule, la politique atteint 68,7 % de succès sur R2R et 70,2 % sur RxR, ce que les auteurs présentent comme l'état de l'art. Couplée à l'agent de codage, elle ajoute 11 points de succès sur les deux benchmarks agentiques tout en réduisant le temps d'exécution. Dix passes sur des sous-ensembles récurrents de 100 tâches, avec retour du simulateur, font passer le succès de 72 % à 98 % sur R2R et de 65 % à 89 % sur RxR. En question-réponse incarnée, ASENA annonce aussi la meilleure précision, avec moins d'étapes d'interaction. Des démonstrations réelles sur un Unitree G1 combinent recherche, inspection visuelle, raisonnement spatial et gestes synthétisés, sans carte préalable.

L'intérêt tient moins au score de navigation qu'à l'architecture. Ici, l'amélioration ne passe pas par un réentraînement : elle vient de la mémoire de l'agent (notes, scripts, compétences), ce qui rapproche le robot d'un logiciel qu'on débogue que d'un modèle qu'on affine. Pour un intégrateur, cela ouvre la voie à une adaptation d'un site à l'autre sans cycle de collecte de données ni de fine-tuning. Il faut toutefois lire les gains avec prudence. Le passage de 72 % à 98 % est mesuré sur des sous-ensembles de 100 tâches rejouées dix fois avec retour du simulateur : cela ressemble davantage à une mémorisation de tâches récurrentes qu'à une généralisation à des environnements inédits. Les résultats chiffrés restent obtenus en simulation, et les démonstrations sur G1 sont qualitatives, sans taux de réussite, durée ni nombre d'essais publiés. L'écart entre démonstration et fiabilité en conditions réelles reste donc entier.

Ce travail s'inscrit dans deux tendances qui convergent : les politiques vision-langage-action pour la navigation, évaluées sur R2R et RxR, et les agents de codage appliqués à la robotique, où le LLM génère du code plutôt que des commandes bas niveau. En faisant de la politique apprise un simple outil parmi d'autres, ASENA se positionne à l'opposé des approches de bout en bout comme Pi-0 ou GR00T, qui concentrent tout dans un seul modèle. Le G1 de Unitree, plateforme humanoïde à bas coût largement répandue en recherche, sert de support. Il s'agit d'une prépublication arXiv (v1), non évaluée par les pairs. Le code, les jeux de données et d'éventuels tests hors simulation seront les vrais juges de la portée du système.

À lire aussi

NavGen : les modèles génératifs visuels comme moteur de données évolutif pour la navigation 3D incarnée
Illustration générée par IA
1arXiv cs.RO 

NavGen : les modèles génératifs visuels comme moteur de données évolutif pour la navigation 3D incarnée

Des chercheurs présentent NavGen dans un article publié sur arXiv (identifiant 2609.30770), un pipeline de génération de données texte-vers-vidéo destiné à l'entraînement de modèles de navigation aérienne pour drones. Le système produit des épisodes de navigation vision-langage (VLN) simulant des environnements intérieurs et extérieurs, associés à une méthode de diversification stylistique conçue pour multiplier les scénarios rares et coûteux à collecter dans la réalité. Le jeu de données résultant compte environ 400 000 épisodes de navigation. Les auteurs comparent leurs résultats à ceux obtenus avec des jeux de données UAV existants sur plusieurs métriques et constatent que les performances du modèle entraîné sur NavGen progressent avec l'échelle des données, dépassant les modèles entraînés sur les corpus concurrents. Pour vérifier le transfert vers le monde réel, l'équipe a déployé le modèle selon un paradigme dit "world-action-model" lors d'essais de vol réels, avec un taux de réussite de 75% sur des tâches et environnements de navigation variés. Cette approche s'attaque à un compromis structurel connu du secteur de la robotique aérienne : les données simulées sont générables à grande échelle mais souffrent d'un écart visuel important entre simulation et réalité, tandis que les données de vol réelles sont fidèles mais coûteuses et lentes à rassembler. En proposant les modèles génératifs vidéo comme une troisième voie, capable de produire des observations visuelles réalistes sans les contraintes logistiques du vol réel, NavGen apporte un élément de preuve empirique en faveur de l'hypothèse selon laquelle des générateurs vidéo haute fidélité peuvent servir de moteurs de données scalables pour l'IA incarnée. Le résultat intéresse directement les intégrateurs et laboratoires travaillant sur des modèles vision-langage-action : un taux de succès de 75% en conditions réelles, à nuancer selon la difficulté exacte des tâches testées et le nombre d'essais réalisés, suggère que l'écart entre démonstration et déploiement réel peut se réduire grâce à des données synthétiques mieux conçues plutôt que par la seule accumulation de vols réels. NavGen s'inscrit dans la lignée des travaux récents qui cherchent à contourner la pénurie de données d'entraînement pour la robotique incarnée, un problème déjà posé pour les bras manipulateurs et les humanoïdes et qui touche tout autant la navigation aérienne autonome. L'article ne révèle ni affiliation institutionnelle ni drone commercial associé au projet, et reste au stade de préprint scientifique : aucun partenariat industriel, pilote client ni feuille de route de déploiement n'est mentionné à ce jour. Les auteurs positionnent leur travail comme une alternative aux jeux de données UAV existants utilisés comme références dans le domaine, sans toutefois les nommer explicitement. La suite logique, non confirmée par les auteurs, serait l'extension de la méthode à d'autres classes de robots mobiles ou à des tâches de navigation plus complexes.

RechercheOpinion
1 source
VISTA : exploration active pour l'auto-amélioration des agents incarnés
Illustration générée par IA
2arXiv cs.RO 

VISTA : exploration active pour l'auto-amélioration des agents incarnés

VISTA, un framework de méta-agent publié sur arXiv (2610.35051), s'attaque à l'amélioration autonome des systèmes d'IA incarnée. Les auteurs partent d'un constat: un agent robotique ne repose pas seulement sur un modèle de fondation pré-entraîné, mais aussi sur son « harness », c'est-à-dire l'échafaudage logiciel qui l'entoure (prompts, outils, logique de reprise sur erreur, orchestration). VISTA maintient un « graphe de harness » qui trace la lignée des versions proposées. Le méta-agent peut ainsi retrouver d'anciennes hypothèses, s'appuyer sur les mécanismes qui ont fonctionné et éviter de réexplorer les impasses. À chaque itération, il part d'une version retenue et de ses traces d'exécution. Il ne se contente pas de les relire: il génère de nouveaux rollouts, sonde les échecs et les comportements de récupération, modifie le harness, puis évalue la version raffinée à neuf avant de l'ajouter au graphe. Les tests portent sur trois benchmarks de simulation, LIBERO-Pro, RoboCasa et RoboTwin. Les auteurs affirment que le taux de succès progresse au fil des itérations, avec moins de rollouts simulés que la réflexion statique. L'intérêt tient au déplacement du levier d'amélioration. Plutôt que de réentraîner une politique de bout en bout, ce qui coûte cher en données et en calcul, on optimise la couche logicielle qui encadre un modèle figé. Pour un intégrateur, c'est une piste plus accessible: elle peut améliorer un système déployé sans nouvelle collecte de démonstrations. L'efficacité en rollouts compte aussi, car chaque essai, même simulé, a un coût, et sur robot réel il use le matériel et mobilise des opérateurs. Il faut toutefois rester prudent. Les résultats sont uniquement en simulation, donc l'écart sim-to-real n'est pas abordé. Le résumé ne chiffre ni les gains ni le nombre de rollouts économisés. Il ne précise pas non plus les modèles sous-jacents ni les baselines. Il s'agit d'un preprint, sans revue par les pairs ni déploiement industriel. Ce travail s'inscrit dans la vague des agents qui s'auto-améliorent et de la réflexion post-hoc sur trajectoires, déjà explorée pour les agents logiciels et le code, que VISTA transpose à la manipulation robotique. Il se place en alternative aux approches centrées sur l'entraînement de VLA (vision-language-action) comme Pi-0 ou GR00T, et aux méthodes qui analysent les logs sans retester leurs corrections. Les benchmarks choisis, LIBERO-Pro pour la robustesse, RoboCasa pour les tâches domestiques et RoboTwin pour la manipulation bimanuelle, restent des références académiques, loin des contraintes d'une ligne de production. Les prochaines étapes naturelles seraient une validation sur robot physique, une quantification précise des économies de rollouts et une comparaison directe avec l'apprentissage par renforcement ou l'affinage de politiques.

RecherchePaper
1 source
AdaRSI : auto-amélioration récursive à la demande pour les agents incarnés
Illustration générée par IA
3arXiv cs.RO 

AdaRSI : auto-amélioration récursive à la demande pour les agents incarnés

Des chercheurs proposent AdaRSI, un cadre d'auto-amélioration récursive (RSI) « à la demande » pour agents incarnés, décrit dans un preprint arXiv (2610.20474). Le point de départ est connu: les modèles vision-langage-action (VLA) préentraînés échouent souvent en cours de route sur des tâches longues et inédites. Un agent de codage commence par améliorer les compétences et le « harnais » (le code qui orchestre l'exécuteur). Il attribue ensuite les échecs persistants en rejouant les sous-étapes défaillantes depuis des états sauvegardés. Il n'affine alors que les sous-étapes qui restent peu fiables, avec des démonstrations qu'il collecte lui-même et l'expérience accumulée sur les tâches précédentes. Testé sur les 50 tâches cibles de RoboCasa365, avec GR00T N1.5 comme exécuteur et sans aucune démonstration humaine, AdaRSI améliore le VLA sur les trois suites. Le taux de réussite sur les tâches composites inédites passe de 4,6 % à 13,8 %. Face à un affinage systématique de toutes les sous-étapes, il obtient un succès légèrement supérieur avec 28 % du temps GPU et 22 % des démonstrations auto-collectées. L'affinage sans harnais utilise davantage de données pour un gain bien moindre. L'intérêt tient à la question posée: à quel moment un système qui s'améliore seul doit-il toucher aux poids de son exécuteur? Les méthodes existantes tranchent par principe. Soit elles ne retouchent que le harnais et ne peuvent donc pas ajouter un mouvement manquant. Soit elles entraînent sur chaque échec sans distinguer un mauvais appel d'une vraie limite de capacité. Séparer ces deux causes réduit nettement le coût d'adaptation, ce qui compte pour tout intégrateur qui devrait spécialiser un VLA sur un site sans équipe de téléopération. Il faut toutefois relativiser. 13,8 % de réussite reste très bas pour un usage industriel. Le résultat est obtenu en simulation, sur un benchmark de cuisines domestiques, et rien n'indique encore un transfert vers le monde réel. Le gain en efficacité (28 % du GPU, 22 % des données) est en revanche le résultat le plus solide, car il est mesuré face à une base de comparaison directe. Le texte ne précise pas la variance entre tâches ni le coût de l'agent de codage lui-même. Ce travail s'inscrit dans la vague de l'auto-amélioration récursive appliquée à la robotique, qui transpose aux corps physiques ce que les agents de codage font déjà pour le logiciel. Il s'appuie sur GR00T N1.5, le modèle de fondation de NVIDIA pour humanoïdes, et sur RoboCasa, benchmark de manipulation domestique en simulation. Les approches concurrentes cherchent à réduire la dépendance aux démonstrations humaines, que ce soit par données synthétiques, apprentissage par renforcement ou boucles de correction autonomes. Il s'agit d'un preprint, sans revue par les pairs, et aucun code ni déploiement physique n'est annoncé dans le résumé. La suite logique serait une validation sur robot réel et sur des exécuteurs plus récents, comme GR00T N2 ou Pi-0, pour vérifier que l'attribution des échecs tient hors simulation.

RecherchePaper
1 source
ESI : un cycle d'auto-amélioration incarnée pour les agents LLM-VLA
Illustration générée par IA
4arXiv cs.RO 

ESI : un cycle d'auto-amélioration incarnée pour les agents LLM-VLA

Des chercheurs proposent ESI (Embodied Self-Improvement), un cadre de post-entraînement automatisé pour les agents robotiques qui combinent un grand modèle de langage (LLM) et une politique vision-langage-action (VLA). Le principe est celui d'un « volant d'inertie » : l'agent modulaire, pris comme un tout, interagit avec l'environnement, puis trois éléments sont affinés en boucle avant d'être redéployés ensemble. Il s'agit des prompts qui guident le LLM, de l'interface de compétences partagée qui exprime son intention, et des paramètres du VLA qui l'exécutent. Sur dix tâches sélectionnées du benchmark RoboDojo, ESI atteint un score moyen de 62,03 et un taux de réussite moyen de 49,41 %, sans que le LLM génère de code de contrôle spécifique à chaque tâche. Ces résultats dépassent les références publiées de tous les agents hybrides, dont le système GO-3 Nano Preview (agent associé à un modèle d'action du monde, ou WAM), à 47,27 de score et 36,60 % de réussite, ainsi que toutes les méthodes à base de code comparées. Il s'agit d'un travail académique évalué en simulation, sans déploiement physique annoncé. L'intérêt tient au problème ciblé, bien connu des intégrateurs qui assemblent des briques d'IA préentraînées séparément. Relier un LLM planificateur à un VLA exécutant ne produit pas automatiquement un comportement coordonné : le VLA peut dériver de la sous-tâche voulue et, une fois la main rendue après une correction du LLM, défaire l'état favorable qui venait d'être rétabli. ESI traite cette friction comme un problème d'interface plutôt que de capacité brute. Les décisions de sous-tâches du LLM fournissent une supervision sémantique, tandis que ses corrections efficaces et les reprises qui suivent fournissent une supervision au niveau de l'action pour la récupération et le passage de relais. Le VLA apprend aussi de ses propres exécutions utiles, y compris dans des épisodes globalement ratés, ce qui valorise des données habituellement jetées. Pour un décideur, cela suggère que l'amélioration d'une architecture hybride peut se faire sans réécrire du code par tâche, et que le gain vient de la co-adaptation des modules. Une réserve s'impose : un taux de réussite proche de 50 % sur dix tâches choisies reste loin d'une fiabilité industrielle, et la comparaison repose sur des résultats publiés par d'autres équipes. Ce travail s'inscrit dans la tendance des architectures agentiques où un LLM orchestre des politiques d'action, en concurrence avec les approches par génération de code de contrôle et avec les systèmes couplant agent et modèle d'action du monde, dont GO-3 Nano Preview est ici la référence hybride à battre. Il prolonge aussi l'idée d'une boucle d'auto-amélioration par interaction, qui réduit la dépendance à la collecte de démonstrations humaines. Les prochaines étapes à surveiller sont la validation sur robots réels, l'extension au-delà des dix tâches retenues et la reproductibilité sur d'autres benchmarks. Le choix de ces tâches limite pour l'instant la portée de la comparaison, et rien n'indique à ce stade de pilote industriel ni de calendrier de commercialisation.

RecherchePaper
1 source