RecherchearXiv cs.RO 21 juillet 2026

Système d'exploitation auto-évolutif pour agents incarnés : planification cognitive et exécution physique découplées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent PhyAgentOS, un système d'exploitation pensé spécifiquement pour les agents robotiques incarnés (embodied agents), décrit dans un preprint arXiv (2607.16636v1) publié fin juillet 2026. Le système introduit un "Session-Centered Runtime" qui traite une session complète, et non une action isolée, comme unité minimale d'ordonnancement, de vérification de compatibilité et de collecte de preuves d'exécution. La couche cognitive (planification) est séparée de la couche physique (exécution) via un protocole appelé State-as-a-File, qui matérialise l'état du système sous forme de fichiers Markdown/YAML lisibles et versionnables, sans dépendance de code entre les deux couches. Un module SessionVerifier distingue la fin d'exécution d'une tâche de sa réussite sémantique réelle, avec trois verdicts possibles : succès, échec ou replanification. Les résultats vérifiés alimentent une mémoire épistémique qui capitalise l'expérience sous forme de leçons réutilisables, sans réentraînement du modèle. PhyAgentOS a été testé sur les bancs d'essai Optimus-67, StarDojo et DST-Dojo, validé sur plus de 19 corps robotiques simulés et physiques, et montre des gains de performance sur les benchmarks LIBERO, Calvin et RoboCasa365 avec plusieurs modèles VLA (vision-language-action) différents.

L'enjeu dépasse la prouesse technique isolée : les modèles VLA, les modèles du monde et les planificateurs agentiques progressent chacun de leur côté, mais sans abstraction d'exécution commune ni état partagé, ce qui rend leur composition fragile dès qu'on sort du laboratoire. En distinguant explicitement la terminaison d'une action de sa réussite réelle, PhyAgentOS s'attaque directement à l'écart bien documenté entre démonstration et fiabilité en conditions réelles, un problème central pour les intégrateurs qui déploient des flottes de robots en usine ou en entrepôt. Pour un décideur B2B, la promesse n'est pas un nouveau modèle plus performant mais une couche d'infrastructure capable de faire cohabiter différents modèles VLA, de vérifier objectivement leurs sorties et de capitaliser les échecs sans réentraînement coûteux, un point clé pour la maintenabilité à long terme de déploiements robotiques hétérogènes.

Cette proposition s'inscrit dans la vague actuelle de modèles VLA généralistes tels que Figure 03, Optimus Gen 3, Pi-0 ou GR00T N2, qui ont démontré des capacités de manipulation impressionnantes en démo mais restent difficiles à orchestrer, vérifier et faire évoluer une fois déployés sur du matériel réel. PhyAgentOS se positionne comme une couche d'infrastructure sous ces modèles plutôt que comme un concurrent direct, avec une architecture de sécurité en couches (préflight, ponts d'action, SafetyGuard, surveillance par heartbeat) et une validation progressive allant des jeux virtuels à la simulation puis au robot physique, en gardant la couche cognitive constante pour isoler les variables. Publié comme preprint arXiv avec le statut "Announce Type: new", ce travail reste à ce stade une contribution de recherche académique plutôt qu'un produit commercial ; les auteurs ne précisent ni calendrier de mise en production ni partenariat industriel à ce jour.

Dans nos dossiers

Figure Tesla Optimus NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Explorer, exécuter, évoluer : une boucle d'acquisition et de réutilisation de compétences pour agents incarnés

Des chercheurs proposent RoboSkill, un cadre logiciel qui permet à un agent multimodal généraliste de piloter un robot en accumulant puis en réutilisant des compétences, plutôt qu'en repartant de zéro à chaque tâche. Le principe tient en une boucle « Explorer, Exécuter, Évoluer ». L'agent explore pour collecter les informations utiles à la tâche, exécute en s'adaptant aux retours de l'environnement, puis fait évoluer une bibliothèque de compétences à partir de ses traces d'exécution. Ces compétences guident ensuite l'exploration et l'exécution du cycle suivant. Deux ajouts visent l'efficacité : un retour tactile qui complète la vision pour lever les ambiguïtés lors des contacts, et du code réutilisable qui vient enrichir les consignes textuelles pour réduire le raisonnement nécessaire à la réutilisation. Sur le benchmark de simulation LIBERO-10, avec quatre agents différents, le taux de réussite dès le premier épisode progresse de 12,5 à 25,0 points de pourcentage et le temps d'exécution moyen baisse de 7,6 à 72,4 %. Sur robots réels, le gain de réussite est de 8,3 points, avec une réduction du temps moyen des essais réussis d'au moins 14,4 %. L'intérêt tient au coût d'exécution, un point faible des agents généralistes en zero-shot. Les modèles vision-langage-action (VLA) et les modèles monde-action montrent de fortes capacités, mais généralisent mal aux tâches inédites. Les agents multimodaux à usage général comblent en partie ce manque, au prix d'un raisonnement et d'une exploration physique répétés à chaque tentative, donc de latence et de coût. RoboSkill suggère qu'une mémoire procédurale exécutable (du code, pas seulement du texte) peut transformer ce coût récurrent en investissement amorti. Pour un intégrateur, l'enjeu est de savoir si un agent apprend d'un déploiement à l'autre sans réentraînement. Des réserves s'imposent toutefois : le gain de 8,3 points sur robot réel est modeste, l'écart entre simulation et réel reste visible, et la taille des essais physiques, les tâches et la nature des capteurs tactiles ne sont pas détaillées dans le résumé. L'amplitude très large des réductions de temps (jusqu'à 72,4 %) dépend fortement de l'agent de base. Ce travail s'inscrit dans la tendance des agents « à bibliothèque de compétences », déjà explorée dans les agents de jeu et de code, ici transposée à la manipulation physique. Il se positionne en complément, et non en concurrent, des VLA et des modèles monde-action, qui restent la voie dominante pour la commande bas niveau. Il s'agit d'une prépublication arXiv (v1), non évaluée par les pairs, sans annonce de produit ni de déploiement industriel. Les suites logiques sont la validation sur des tâches longues et variées, la mesure de la robustesse de la bibliothèque de compétences dans le temps et la démonstration d'un transfert d'un robot à un autre.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Découpler planification et contrôle pour des agents instructibles

Une équipe de recherche publie sur arXiv (2608.26788v1) l'article « Decoupling Planning and Control for Instructable Agents », qui présente le système Instruct-to-Act. L'architecture associe un modèle vision-langage (VLM) pré-entraîné, chargé de traduire instructions et observations en plans de haut niveau peu fréquents, à un contrôleur de type « world model » entraîné pour agir en autonomie à haute fréquence à partir de ces instructions. Pour le rendre instructable, les chercheurs relabellisent des trajectoires du contrôleur avec des instructions synthétiques et optimisent conjointement clonage de comportement, récompense et modélisation du monde. Le système est testé sur sept environnements simulés, dont trois multi-agents où des planificateurs VLM coordonnent par le langage pendant que les contrôleurs entraînés agissent comme actionneurs. Ce travail répond à une limite bien identifiée dans le secteur : les VLM planifient bien à partir d'instructions et d'observations, mais peinent à transformer ces plans en actions fiables et rapides en environnement inconnu, tandis que les contrôleurs « world model » contrôlent vite mais manquent de guidage sur la tâche à accomplir. À espaces d'observation et d'action équivalents, l'approche découplée surpasse de façon constante les variantes contrôleur seul et génération d'action directe par le VLM, tout en gardant un contrôle rapide et en permettant de changer de planificateur VLM sans réentraîner le contrôleur, un atout pour des intégrateurs voulant faire évoluer le « cerveau » sans retoucher les « réflexes » du robot. Elle reste toutefois seulement compétitive, et non systématiquement supérieure, face à des références vision-langage-action (VLA) et RL multi-agent solides, sur six tâches sur sept. Il s'agit d'un article de recherche, non d'une annonce produit : le résumé ne cite aucune entreprise ni robot commercial, et les sept environnements testés sont simulés, sans déploiement sur matériel réel évoqué. La démarche rejoint une tendance de l'apprentissage robotique consistant à séparer un raisonnement lent de haut niveau d'un contrôle réactif rapide, déjà explorée par des systèmes industriels comme Helix chez Figure ou GR00T N2 chez Nvidia. Aucun pilote ni calendrier vers des robots physiques n'est mentionné : la contribution porte sur la méthodologie et sa capacité à généraliser entre plusieurs bancs d'essai simulés.

RechercheActu

1 source

3arXiv cs.RO

InstAgent : un système d'exploitation à base d'agents, à auto-amélioration récursive, pour la collaboration de robots hétérogènes

InstAgent est un système d'exploitation d'agents, présenté sur arXiv (2610.23098), qui vise à faire collaborer des équipes de robots hétérogènes, c'est-à-dire des machines aux capacités complémentaires en perception, mobilité et manipulation. Le système organise le comportement de l'équipe sous forme d'arbres de comportement (behavior trees, BT) dits agentiques. Ces arbres décrivent explicitement l'attribution des capacités, les dépendances entre robots et les contrôles de passation de tâche (handoff). Un mécanisme d'auto-amélioration récursive (RSI) met à jour ces programmes de collaboration à partir des retours d'exécution et conserve les révisions réussies pour les tâches suivantes. Une mémoire spatio-temporelle multimodale partagée fournit le contexte nécessaire à la planification et à la validation des passations. Les auteurs ont testé l'ensemble sur 20 tâches multi-robots réelles, avec trois modèles de haut niveau, et rapportent des gains constants en taux de réussite, en achèvement dès la première tentative et en efficacité d'exécution. Le résumé ne donne ni chiffres précis, ni liste des robots utilisés, ni identité des trois modèles. L'intérêt tient à trois verrous que les auteurs jugent mal traités par les systèmes existants : conserver les corrections faites pendant l'exécution comme expérience réutilisable, maintenir une mémoire de contexte fiable dans l'espace et le temps, et modéliser explicitement les dépendances entre robots. Pour un intégrateur, ce dernier point compte beaucoup. Dans un site mêlant AMR, bras fixes et robots mobiles manipulateurs, les échecs surviennent souvent aux interfaces, au moment où un robot remet un objet ou un état du monde à un autre. Traiter ces handoffs comme des conditions vérifiables dans un arbre de comportement, plutôt que comme des enchaînements implicites générés par un LLM, va dans le sens de la fiabilité exigée en production. Il faut toutefois rester prudent : 20 tâches de laboratoire restent un échantillon étroit, et sans taux absolus, sans détail sur les baselines ni sur la variété des plateformes, la portée industrielle reste à démontrer. Le choix de tester avec trois modèles suggère néanmoins que l'approche ne dépend pas d'un seul fournisseur. Ce travail s'inscrit dans la montée des architectures où des modèles de fondation servent de planificateur de haut niveau au-dessus de compétences de bas niveau, par opposition aux politiques VLA de bout en bout. Les arbres de comportement, standards de la robotique mobile et du jeu vidéo, offrent ici un cadre lisible et auditable, ce qui les distingue de la planification purement textuelle. L'idée d'amélioration récursive, où le système réécrit ses propres programmes à partir de l'expérience, rejoint les agents à bibliothèques de compétences apparus en environnement virtuel. À ce stade, il s'agit d'une préprint de recherche, sans produit, sans déploiement client ni calendrier annoncé. La suite logique sera la publication du code, de métriques détaillées et d'essais sur des flottes plus grandes et plus longues.

RecherchePaper

1 source

4arXiv cs.RO

PACT : alignement de sécurité physique auto-évolutif pour les politiques de diffusion en manipulation incarnée

Une équipe de chercheurs publie PACT (Physical safety Alignment for Constrained Trajectories), un cadre d'alignement post-entraînement destiné à rendre les politiques de diffusion robotique conformes à des contraintes physiques strictes, sans accéder aux données de démonstration ni aux récompenses de tâche (arXiv:2606.08414). Les politiques de diffusion, qui génèrent des trajectoires motrices par débruitage itératif, ont connu des succès notables en manipulation robotique mais peinent à satisfaire des contraintes de sécurité fermes en déploiement réel. PACT projette les politiques pré-entraînées dans des régions faisables en distillant des gradients de contrainte via un objectif KL inverse, avec supervision dense à chaque pas de temps du processus de débruitage. Un curriculum progressif resserre graduellement les contraintes tout en maintenant un écart théoriquement borné par rapport à la politique d'origine, limitant l'oubli catastrophique. Sur des benchmarks de manipulation simulée et réelle, PACT réduit les violations de sécurité de 31,0% en moyenne et améliore simultanément le taux de réussite des tâches de 30,7%. Ces résultats interpellent directement les intégrateurs : sécuriser une politique robotique impliquait jusqu'ici soit de contraindre l'entraînement dès le départ, au prix de l'expressivité, soit d'ajouter des garde-fous externes à l'inférence, nuisant à la scalabilité. PACT propose une troisième voie, post-entraînement et sans données supplémentaires, qui permettrait en théorie d'aligner n'importe quelle politique de diffusion existante. Le fait que sécurité et performance progressent conjointement contredit l'hypothèse d'un compromis structurel entre les deux, pourtant largement admise dans le secteur. À noter : l'article ne précise pas les configurations matérielles ni les volumes de données des tests réels, ce qui limite la portée des comparaisons directes. Les politiques de diffusion ont connu une montée en puissance récente, portée notamment par Pi-0 (Physical Intelligence) et d'autres architectures VLA de grands laboratoires. PACT s'inspire des techniques d'alignement post-entraînement développées pour les LLM, de type RLHF, adaptées aux contraintes physiques plutôt qu'aux préférences humaines, et se positionne face aux approches par apprentissage par renforcement contraint et aux filtres CBF (Control Barrier Functions). Aucune affiliation industrielle ni partenariat de déploiement n'est mentionné : il s'agit d'un résultat purement académique, sans pilote industriel annoncé. La validation sur des plateformes humanoïdes complètes et l'intégration dans des pipelines VLA de production restent à démontrer.

RecherchePaper

1 source