RecherchearXiv cs.RO 19 octobre 2026

InstAgent : un système d'exploitation à base d'agents, à auto-amélioration récursive, pour la collaboration de robots hétérogènes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

InstAgent est un système d'exploitation d'agents, présenté sur arXiv (2610.23098), qui vise à faire collaborer des équipes de robots hétérogènes, c'est-à-dire des machines aux capacités complémentaires en perception, mobilité et manipulation. Le système organise le comportement de l'équipe sous forme d'arbres de comportement (behavior trees, BT) dits agentiques. Ces arbres décrivent explicitement l'attribution des capacités, les dépendances entre robots et les contrôles de passation de tâche (handoff). Un mécanisme d'auto-amélioration récursive (RSI) met à jour ces programmes de collaboration à partir des retours d'exécution et conserve les révisions réussies pour les tâches suivantes. Une mémoire spatio-temporelle multimodale partagée fournit le contexte nécessaire à la planification et à la validation des passations. Les auteurs ont testé l'ensemble sur 20 tâches multi-robots réelles, avec trois modèles de haut niveau, et rapportent des gains constants en taux de réussite, en achèvement dès la première tentative et en efficacité d'exécution. Le résumé ne donne ni chiffres précis, ni liste des robots utilisés, ni identité des trois modèles.

L'intérêt tient à trois verrous que les auteurs jugent mal traités par les systèmes existants : conserver les corrections faites pendant l'exécution comme expérience réutilisable, maintenir une mémoire de contexte fiable dans l'espace et le temps, et modéliser explicitement les dépendances entre robots. Pour un intégrateur, ce dernier point compte beaucoup. Dans un site mêlant AMR, bras fixes et robots mobiles manipulateurs, les échecs surviennent souvent aux interfaces, au moment où un robot remet un objet ou un état du monde à un autre. Traiter ces handoffs comme des conditions vérifiables dans un arbre de comportement, plutôt que comme des enchaînements implicites générés par un LLM, va dans le sens de la fiabilité exigée en production. Il faut toutefois rester prudent : 20 tâches de laboratoire restent un échantillon étroit, et sans taux absolus, sans détail sur les baselines ni sur la variété des plateformes, la portée industrielle reste à démontrer. Le choix de tester avec trois modèles suggère néanmoins que l'approche ne dépend pas d'un seul fournisseur.

Ce travail s'inscrit dans la montée des architectures où des modèles de fondation servent de planificateur de haut niveau au-dessus de compétences de bas niveau, par opposition aux politiques VLA de bout en bout. Les arbres de comportement, standards de la robotique mobile et du jeu vidéo, offrent ici un cadre lisible et auditable, ce qui les distingue de la planification purement textuelle. L'idée d'amélioration récursive, où le système réécrit ses propres programmes à partir de l'expérience, rejoint les agents à bibliothèques de compétences apparus en environnement virtuel. À ce stade, il s'agit d'une préprint de recherche, sans produit, sans déploiement client ni calendrier annoncé. La suite logique sera la publication du code, de métriques détaillées et d'essais sur des flottes plus grandes et plus longues.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

AdaRSI : auto-amélioration récursive à la demande pour les agents incarnés

Des chercheurs proposent AdaRSI, un cadre d'auto-amélioration récursive (RSI) « à la demande » pour agents incarnés, décrit dans un preprint arXiv (2610.20474). Le point de départ est connu: les modèles vision-langage-action (VLA) préentraînés échouent souvent en cours de route sur des tâches longues et inédites. Un agent de codage commence par améliorer les compétences et le « harnais » (le code qui orchestre l'exécuteur). Il attribue ensuite les échecs persistants en rejouant les sous-étapes défaillantes depuis des états sauvegardés. Il n'affine alors que les sous-étapes qui restent peu fiables, avec des démonstrations qu'il collecte lui-même et l'expérience accumulée sur les tâches précédentes. Testé sur les 50 tâches cibles de RoboCasa365, avec GR00T N1.5 comme exécuteur et sans aucune démonstration humaine, AdaRSI améliore le VLA sur les trois suites. Le taux de réussite sur les tâches composites inédites passe de 4,6 % à 13,8 %. Face à un affinage systématique de toutes les sous-étapes, il obtient un succès légèrement supérieur avec 28 % du temps GPU et 22 % des démonstrations auto-collectées. L'affinage sans harnais utilise davantage de données pour un gain bien moindre. L'intérêt tient à la question posée: à quel moment un système qui s'améliore seul doit-il toucher aux poids de son exécuteur? Les méthodes existantes tranchent par principe. Soit elles ne retouchent que le harnais et ne peuvent donc pas ajouter un mouvement manquant. Soit elles entraînent sur chaque échec sans distinguer un mauvais appel d'une vraie limite de capacité. Séparer ces deux causes réduit nettement le coût d'adaptation, ce qui compte pour tout intégrateur qui devrait spécialiser un VLA sur un site sans équipe de téléopération. Il faut toutefois relativiser. 13,8 % de réussite reste très bas pour un usage industriel. Le résultat est obtenu en simulation, sur un benchmark de cuisines domestiques, et rien n'indique encore un transfert vers le monde réel. Le gain en efficacité (28 % du GPU, 22 % des données) est en revanche le résultat le plus solide, car il est mesuré face à une base de comparaison directe. Le texte ne précise pas la variance entre tâches ni le coût de l'agent de codage lui-même. Ce travail s'inscrit dans la vague de l'auto-amélioration récursive appliquée à la robotique, qui transpose aux corps physiques ce que les agents de codage font déjà pour le logiciel. Il s'appuie sur GR00T N1.5, le modèle de fondation de NVIDIA pour humanoïdes, et sur RoboCasa, benchmark de manipulation domestique en simulation. Les approches concurrentes cherchent à réduire la dépendance aux démonstrations humaines, que ce soit par données synthétiques, apprentissage par renforcement ou boucles de correction autonomes. Il s'agit d'un preprint, sans revue par les pairs, et aucun code ni déploiement physique n'est annoncé dans le résumé. La suite logique serait une validation sur robot réel et sur des exécuteurs plus récents, comme GR00T N2 ou Pi-0, pour vérifier que l'attribution des échecs tient hors simulation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Machines de Turing incarnées : du code avec état pour l'auto-amélioration récursive des robots

Des chercheurs proposent de retirer tout modèle de la boucle de contrôle d'un robot et de confier chaque décision à du code classique. Leur papier, publié sur arXiv (2610.12369), introduit le paradigme Code-Only-as-Policy (COAP). Le code mesure et suit en continu l'état du robot, de l'environnement et de la tâche à partir des images caméra et de la proprioception, puis prend chaque décision à partir de cet état. La même bibliothèque s'applique d'un épisode à l'autre, et plusieurs tâches la partagent, sans VLA (modèle vision-langage-action) ni VLM interrogé à l'exécution. Sur RoboDojo, un banc de 42 tâches bimanuelles, la bibliothèque produite atteint 70,24 % de réussite sans aucun modèle au moment du test. Le papier ne détaille pas, dans son résumé, le matériel, les temps de cycle ni les conditions de test, et il s'agit pour l'instant d'un résultat de recherche et non d'un produit. Le cadre théorique est celui d'une « machine de Turing incarnée » : le ruban correspond à l'état du robot et de son environnement, et les règles correspondent à la politique. Si cet état est représenté avec précision, la décision peut s'écrire entièrement en code. Les auteurs mettent en avant trois avantages face aux VLA et aux « Agent Harness » (Agent-as-Policy, Harness VLA), où un VLM est sollicité en ligne. Premièrement, l'état est explicite et stockable dans le code. Deuxièmement, l'exécution est contrôlable, récupère les échecs de façon flexible et tourne vite et à bas coût. Troisièmement, les nouvelles tâches réutilisent, héritent ou étendent la bibliothèque commune, ce qui permet de cumuler les capacités. L'intérêt pour l'industrie est double. Pour un intégrateur ou un COO, une politique déterministe, auditable et sans appel à un modèle distant répond à des exigences de latence, de coût d'inférence et de traçabilité que les VLA remplissent mal. Chaque modification du code est explicite et vérifiable, à l'inverse d'un réentraînement opaque. Ensuite, le papier propose ce qu'il appelle l'auto-amélioration récursive : des agents de code développent la bibliothèque en boucle fermée. Reste à nuancer : 70,24 % signifie près de 30 % d'échecs, ce qui reste loin des seuils de production, et les auteurs admettent que le plafond dépend de la précision de l'estimation d'état et de la robustesse de la logique. La perception reste donc le goulot d'étranglement, et la généralisation hors benchmark n'est pas démontrée. Ce travail s'inscrit dans le débat entre politiques apprises de bout en bout (famille Pi-0, GR00T, Helix) et architectures d'agents où un VLM planifie à l'exécution. COAP revient à une approche proche de la robotique classique, mais avec des agents de code qui écrivent et font évoluer la bibliothèque. Les auteurs suggèrent aussi d'utiliser COAP comme moteur de génération de données pour entraîner des VLA et alimenter des Agent Harness, ce qui en ferait un complément plutôt qu'un concurrent. Aucun calendrier de déploiement ni partenaire industriel n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

EmbodiRSI : l'auto-amélioration récursive pour une adaptation des robots économe en données

Des chercheurs publient sur arXiv EmbodiRSI, un système « agentique » d'auto-amélioration récursive (RSI) pour adapter des politiques de manipulation robotique à de nouvelles tâches et environnements. Le principe repose sur une boucle « real-to-sim-to-real » : une simulation spécifique à la tâche est construite à partir du scénario de déploiement cible, puis sert d'environnement peu coûteux pour améliorer la politique par itérations avant son retour sur le robot physique. Deux mécanismes ferment la boucle. La Collaborative Error Correction génère, avec l'aide d'un agent, des trajectoires correctives à partir des états que la politique a réellement atteints. L'Adaptive Data Collection oriente la génération de démonstrations expertes vers les faiblesses actuelles de la politique. Sur trois environnements de table et 14 sous-tâches, le taux de réussite autonome en simulation, équilibré par scène, passe de 50,4 % à 83,5 % en deux mises à jour RSI. Avec 400 trajectoires simulées adaptatives et seulement dix trajectoires réelles de raffinement par sous-tâche, le système atteint 83,1 % de réussite réelle, contre 75,0 % pour une adaptation à partir de 200 démonstrations réelles par sous-tâche. L'enjeu est le coût de la donnée, principal goulot d'étranglement du déploiement de politiques de type VLA ou d'imitation chez les intégrateurs. Ici, le volume de données réelles est divisé par vingt (10 contre 200 démonstrations par sous-tâche) pour un résultat supérieur de plus de huit points. Si ce résultat se confirme, la simulation spécifique au site cesse d'être un simple banc d'essai et devient un espace de travail réutilisable pour le préchauffage, l'évaluation répétable, le diagnostic des échecs et la génération ciblée de données. Cela réduit la dépendance à la téléopération, coûteuse en main-d'œuvre. Le résultat nuance aussi l'idée que le sim-to-real exige une simulation généraliste : une simulation étroite, construite pour un seul déploiement, peut suffire. Des réserves s'imposent toutefois. Les tâches sont de la manipulation sur table, le nombre de sous-tâches est limité, la fidélité de la reconstruction de scène n'est pas détaillée dans le résumé, et aucun temps de cycle, taux de panne ni coût de construction de la simulation n'est donné. Le travail reste une prépublication, sans pilote industriel annoncé. Ce travail s'inscrit dans la poussée actuelle vers l'adaptation efficace en données des politiques généralistes, alors que le fine-tuning post-entraînement par démonstrations réelles reste la pratique dominante. Il rejoint les approches de reconstruction de scènes pour la simulation (real-to-sim), de génération de données synthétiques et de boucles d'amélioration pilotées par des agents, explorées par les grands laboratoires et les équipes derrière des modèles comme Pi-0 ou GR00T. L'originalité tient au pilotage de la collecte par les échecs observés de la politique, plutôt qu'à une génération de données uniforme. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et sur des objets déformables ou en contact riche, la réplication par des tiers, la publication du code et des benchmarks, et surtout un test en conditions industrielles, où la variabilité des scènes dépasse largement celle d'un plateau de laboratoire.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Passage à l'échelle de l'exploration en ligne pour les robots à base d'agents

RAX (Robot Agent eXploration), un framework open source présenté sur arXiv (2610.22496), propose de remplacer l'apprentissage par démonstrations par l'exploration en ligne. Un agent de code généraliste y écrit directement le code de contrôle du robot, sans données de démonstration d'actions, sans primitives d'action conçues à la main et sans guidage par fonction de valeur. En explorant, l'agent identifie les séquences de décisions qui atteignent l'objectif, puis les compile en programmes modulaires couvrant toute la boucle perception, planification et contrôle. Les auteurs ont mené une étude multi-embodiment sur des tâches de précision et de manipulation longue durée, avec des bras uniques, des systèmes bimanuels, des mains dextres, des robots mobiles et des humanoïdes, en simulation et sur robots réels. En simulation, RAX dépasse les meilleurs modèles de référence de 37,4 % en moyenne. Sur robots réels, il apprend sans démonstration humaine des tâches dépendant de la mémoire, articulées, de haute précision, déformables et de manipulation mobile longue durée. Les nouvelles compétences sont composées à partir de compétences vérifiées lors de sessions d'exploration précédentes. L'enjeu pour l'industrie tient au coût d'intégration. Aujourd'hui, chaque nouvelle morphologie ou nouvelle tâche exige un corpus de téléopération dédié, ce qui limite le passage à l'échelle des modèles vision-langage-action (VLA) et enferme les politiques dans la distribution de leurs imitations. Ici, un nouveau robot s'intègre uniquement via ses API, sans collecte téléopérée ni entraînement de politique. Pour un intégrateur, cela déplace le goulot d'étranglement de la donnée vers l'exploration en ligne et la vérification des programmes produits. Les auteurs rapportent que la généralisation sur environnements inédits progresse de façon régulière avec le volume d'exploration, et que des comportements émergent : perception active, récupération d'erreurs, garde-fous de sécurité et collaboration homme-robot. Il faut toutefois rester prudent : le résumé ne donne ni temps de cycle, ni taux de réussite absolus, ni coût en calcul ou en appels au modèle de langage, ni durée réelle des explorations. La comparaison de +37,4 % porte sur des simulations dont le détail n'est pas précisé. Ce travail s'inscrit dans le courant des robots pilotés par agents de code, qui prolonge les approches de planification par modèles de langage générant des programmes, en opposition à la voie dominante des VLA entraînés sur de vastes corpus de démonstrations. Il s'agit ici d'un résultat de recherche publié en préprint, non d'un produit livré ni d'un déploiement industriel, et il n'a pas encore été évalué par des pairs. La publication du code ouvre la voie à une reproduction par la communauté, étape décisive pour juger de la robustesse hors des environnements des auteurs. Les prochains indicateurs à surveiller sont la fiabilité sur de longues séries d'essais, le coût de l'exploration et la sécurité lors de l'exploration sur machines réelles.

RecherchePaper

1 source