RecherchearXiv cs.RO 21 juillet 2026

Système d'exploitation auto-évolutif pour agents incarnés : planification cognitive et exécution physique découplées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent PhyAgentOS, un système d'exploitation pensé spécifiquement pour les agents robotiques incarnés (embodied agents), décrit dans un preprint arXiv (2607.16636v1) publié fin juillet 2026. Le système introduit un "Session-Centered Runtime" qui traite une session complète, et non une action isolée, comme unité minimale d'ordonnancement, de vérification de compatibilité et de collecte de preuves d'exécution. La couche cognitive (planification) est séparée de la couche physique (exécution) via un protocole appelé State-as-a-File, qui matérialise l'état du système sous forme de fichiers Markdown/YAML lisibles et versionnables, sans dépendance de code entre les deux couches. Un module SessionVerifier distingue la fin d'exécution d'une tâche de sa réussite sémantique réelle, avec trois verdicts possibles : succès, échec ou replanification. Les résultats vérifiés alimentent une mémoire épistémique qui capitalise l'expérience sous forme de leçons réutilisables, sans réentraînement du modèle. PhyAgentOS a été testé sur les bancs d'essai Optimus-67, StarDojo et DST-Dojo, validé sur plus de 19 corps robotiques simulés et physiques, et montre des gains de performance sur les benchmarks LIBERO, Calvin et RoboCasa365 avec plusieurs modèles VLA (vision-language-action) différents.

L'enjeu dépasse la prouesse technique isolée : les modèles VLA, les modèles du monde et les planificateurs agentiques progressent chacun de leur côté, mais sans abstraction d'exécution commune ni état partagé, ce qui rend leur composition fragile dès qu'on sort du laboratoire. En distinguant explicitement la terminaison d'une action de sa réussite réelle, PhyAgentOS s'attaque directement à l'écart bien documenté entre démonstration et fiabilité en conditions réelles, un problème central pour les intégrateurs qui déploient des flottes de robots en usine ou en entrepôt. Pour un décideur B2B, la promesse n'est pas un nouveau modèle plus performant mais une couche d'infrastructure capable de faire cohabiter différents modèles VLA, de vérifier objectivement leurs sorties et de capitaliser les échecs sans réentraînement coûteux, un point clé pour la maintenabilité à long terme de déploiements robotiques hétérogènes.

Cette proposition s'inscrit dans la vague actuelle de modèles VLA généralistes tels que Figure 03, Optimus Gen 3, Pi-0 ou GR00T N2, qui ont démontré des capacités de manipulation impressionnantes en démo mais restent difficiles à orchestrer, vérifier et faire évoluer une fois déployés sur du matériel réel. PhyAgentOS se positionne comme une couche d'infrastructure sous ces modèles plutôt que comme un concurrent direct, avec une architecture de sécurité en couches (préflight, ponts d'action, SafetyGuard, surveillance par heartbeat) et une validation progressive allant des jeux virtuels à la simulation puis au robot physique, en gardant la couche cognitive constante pour isoler les variables. Publié comme preprint arXiv avec le statut "Announce Type: new", ce travail reste à ce stade une contribution de recherche académique plutôt qu'un produit commercial ; les auteurs ne précisent ni calendrier de mise en production ni partenariat industriel à ce jour.

Dans nos dossiers

Figure Tesla Optimus NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Découpler planification et contrôle pour des agents instructibles

Une équipe de recherche publie sur arXiv (2608.26788v1) l'article « Decoupling Planning and Control for Instructable Agents », qui présente le système Instruct-to-Act. L'architecture associe un modèle vision-langage (VLM) pré-entraîné, chargé de traduire instructions et observations en plans de haut niveau peu fréquents, à un contrôleur de type « world model » entraîné pour agir en autonomie à haute fréquence à partir de ces instructions. Pour le rendre instructable, les chercheurs relabellisent des trajectoires du contrôleur avec des instructions synthétiques et optimisent conjointement clonage de comportement, récompense et modélisation du monde. Le système est testé sur sept environnements simulés, dont trois multi-agents où des planificateurs VLM coordonnent par le langage pendant que les contrôleurs entraînés agissent comme actionneurs. Ce travail répond à une limite bien identifiée dans le secteur : les VLM planifient bien à partir d'instructions et d'observations, mais peinent à transformer ces plans en actions fiables et rapides en environnement inconnu, tandis que les contrôleurs « world model » contrôlent vite mais manquent de guidage sur la tâche à accomplir. À espaces d'observation et d'action équivalents, l'approche découplée surpasse de façon constante les variantes contrôleur seul et génération d'action directe par le VLM, tout en gardant un contrôle rapide et en permettant de changer de planificateur VLM sans réentraîner le contrôleur, un atout pour des intégrateurs voulant faire évoluer le « cerveau » sans retoucher les « réflexes » du robot. Elle reste toutefois seulement compétitive, et non systématiquement supérieure, face à des références vision-langage-action (VLA) et RL multi-agent solides, sur six tâches sur sept. Il s'agit d'un article de recherche, non d'une annonce produit : le résumé ne cite aucune entreprise ni robot commercial, et les sept environnements testés sont simulés, sans déploiement sur matériel réel évoqué. La démarche rejoint une tendance de l'apprentissage robotique consistant à séparer un raisonnement lent de haut niveau d'un contrôle réactif rapide, déjà explorée par des systèmes industriels comme Helix chez Figure ou GR00T N2 chez Nvidia. Aucun pilote ni calendrier vers des robots physiques n'est mentionné : la contribution porte sur la méthodologie et sa capacité à généraliser entre plusieurs bancs d'essai simulés.

RechercheActu

1 source

2arXiv cs.RO

PACT : alignement de sécurité physique auto-évolutif pour les politiques de diffusion en manipulation incarnée

Une équipe de chercheurs publie PACT (Physical safety Alignment for Constrained Trajectories), un cadre d'alignement post-entraînement destiné à rendre les politiques de diffusion robotique conformes à des contraintes physiques strictes, sans accéder aux données de démonstration ni aux récompenses de tâche (arXiv:2606.08414). Les politiques de diffusion, qui génèrent des trajectoires motrices par débruitage itératif, ont connu des succès notables en manipulation robotique mais peinent à satisfaire des contraintes de sécurité fermes en déploiement réel. PACT projette les politiques pré-entraînées dans des régions faisables en distillant des gradients de contrainte via un objectif KL inverse, avec supervision dense à chaque pas de temps du processus de débruitage. Un curriculum progressif resserre graduellement les contraintes tout en maintenant un écart théoriquement borné par rapport à la politique d'origine, limitant l'oubli catastrophique. Sur des benchmarks de manipulation simulée et réelle, PACT réduit les violations de sécurité de 31,0% en moyenne et améliore simultanément le taux de réussite des tâches de 30,7%. Ces résultats interpellent directement les intégrateurs : sécuriser une politique robotique impliquait jusqu'ici soit de contraindre l'entraînement dès le départ, au prix de l'expressivité, soit d'ajouter des garde-fous externes à l'inférence, nuisant à la scalabilité. PACT propose une troisième voie, post-entraînement et sans données supplémentaires, qui permettrait en théorie d'aligner n'importe quelle politique de diffusion existante. Le fait que sécurité et performance progressent conjointement contredit l'hypothèse d'un compromis structurel entre les deux, pourtant largement admise dans le secteur. À noter : l'article ne précise pas les configurations matérielles ni les volumes de données des tests réels, ce qui limite la portée des comparaisons directes. Les politiques de diffusion ont connu une montée en puissance récente, portée notamment par Pi-0 (Physical Intelligence) et d'autres architectures VLA de grands laboratoires. PACT s'inspire des techniques d'alignement post-entraînement développées pour les LLM, de type RLHF, adaptées aux contraintes physiques plutôt qu'aux préférences humaines, et se positionne face aux approches par apprentissage par renforcement contraint et aux filtres CBF (Control Barrier Functions). Aucune affiliation industrielle ni partenariat de déploiement n'est mentionné : il s'agit d'un résultat purement académique, sans pilote industriel annoncé. La validation sur des plateformes humanoïdes complètes et l'intégration dans des pipelines VLA de production restent à démontrer.

RecherchePaper

1 source

3arXiv cs.RO

VASO : des compétences formellement vérifiables et auto-évolutives pour agents d'IA physique

Des chercheurs ont publié sur arXiv (identifiant 2606.05395) un framework nommé VASO, pour "Verification-guided Self-evolution of LLM-generated robot skill contracts", qui vise à rendre les compétences robotiques générées par des grands modèles de langage à la fois réutilisables et formellement vérifiables. L'idée centrale : chaque compétence n'est plus un simple script exécutable mais un contrat sémantique à double interface, une interface formelle qui aligne états du robot, observations et commandes de contrôle avec des propositions logiques pour le model checking, et une interface orientée planificateur qui guide la génération de comportements exécutables. Lorsqu'un plan généré échoue à la vérification, VASO traduit la trace de contre-exemple en un gradient textuel qui met à jour le contrat de compétence réutilisable, sans toucher aux poids du modèle de fondation. Sur des plateformes Clearpath Jackal et PX4 (quadrocoptère), le framework atteint 97,2 % de conformité aux spécifications temporelles formelles en moins de 100 échantillons d'optimisation, surpassant les baselines de feedback d'exécution, d'optimisation de prompt et de fine-tuning. Le problème adressé est précis et rarement traité : les boucles d'évolution de compétences existantes, retour d'exécution, tests unitaires, récompenses d'environnement, auto-critique LLM, ne fournissent que des preuves au niveau de la trace. Elles montrent qu'une compétence a fonctionné sur des exécutions échantillonnées, pas qu'elle satisfait des contrats de sécurité temporelle dans des conditions non testées. Pour un intégrateur ou un COO industriel, c'est la différence entre une démo convaincante en lab et un déploiement certifiable en production. Le fait que VASO maintienne les poids du modèle gelés est également notable sur le plan économique : pas de fine-tuning, pas de GPU dédié à la mise à jour du modèle. Ce travail s'inscrit dans la tendance des "physical AI agents" où les LLM orchestrent des comportements robotiques à long horizon depuis des instructions en langage naturel. Les compétences réutilisables sont devenues les unités de base de ces architectures, mais leur fiabilité formelle reste un angle mort notable. Des approches concurrentes comme les VLA (Vision-Language-Action models) ou les frameworks d'optimisation de prompts comme OPRO ne ferment pas cette boucle vérification-évolution. VASO affirme être le premier à le faire explicitement. Il s'agit néanmoins d'un preprint sans validation industrielle publiée, et les résultats obtenus sur deux plateformes relativement simples devront être confirmés sur des environnements plus complexes et des chaînes de compétences plus longues avant d'envisager un déploiement en conditions réelles.

RecherchePaper

1 source

4arXiv cs.RO

CoCoBench : un benchmark de coordination coopérative pour la planification de tâches multi-agents incarnés

Des chercheurs ont présenté CoCoBench, un benchmark conçu pour évaluer la coordination entre agents dans des tâches domestiques exécutables pilotées par des modèles de langage multimodaux (MLLM). L'ensemble comprend 897 instances validées par un oracle, organisées autour de quatre constructions récurrentes de coordination : l'allocation des tâches, l'ordonnancement séquentiel, l'exclusion mutuelle et la coordination des transferts (handoff) entre agents. Au-delà du taux de réussite global des tâches, CoCoBench introduit des scores par construction, qui mesurent précisément si les agents coordonnent effectivement leurs actions plutôt que de simplement atteindre l'objectif final. Les auteurs ont évalué 11 MLLM de premier plan selon différents modes de coordination, types d'observations et nombres d'agents engagés. Le papier a été publié sur arXiv fin août 2026 et s'inscrit dans le champ des agents incarnés multi-robots pour l'environnement domestique. L'apport principal de ce travail est de démontrer que les benchmarks existants, qui résument la performance multi-agent à un simple taux de réussite global, masquent des défaillances de coordination bien réelles : travail dupliqué entre agents, violations des contraintes d'ordre, conflits d'accès aux ressources partagées et désynchronisation lors des transferts de tâches. Les résultats montrent que la capacité de coordination est fortement spécifique à chaque construction : un modèle affichant un bon score global peut échouer nettement sur un type précis de coordination, comme l'exclusion mutuelle, tout en excellant sur un autre. Ce constat contredit l'hypothèse implicite de nombreux acteurs du secteur selon laquelle un haut taux de succès agrégé traduit une compétence de coordination équilibrée. Pour les intégrateurs et décideurs qui envisagent des flottes de robots collaboratifs pilotés par des architectures VLA ou MLLM, ce diagnostic granulaire signale que les métriques usuelles ne suffisent pas à qualifier la fiabilité opérationnelle en environnement partagé. Ce travail s'inscrit dans la progression rapide des systèmes d'agents fondés sur les MLLM ces dernières années, un domaine où l'évaluation a longtemps privilégié soit l'accomplissement de tâches par un agent unique, soit des métriques agrégées peu diagnostiques pour les scénarios multi-agents. CoCoBench cherche à combler ce vide en proposant une évaluation au niveau des mécanismes de coordination eux-mêmes plutôt que du seul résultat final. Les auteurs positionnent leurs conclusions comme une piste concrète pour orienter la conception de futures architectures de modèles et améliorer spécifiquement les capacités de coordination multi-agent, plutôt que d'optimiser uniquement le taux de réussite agrégé. Aucun calendrier de déploiement industriel ni partenariat commercial n'est mentionné : il s'agit à ce stade d'une contribution de recherche et d'un outil de benchmark, destiné à la communauté académique et aux équipes développant des systèmes multi-robots embodied.

RecherchePaper

1 source