RecherchearXiv cs.RO 21 juillet 2026

Système d'exploitation auto-évolutif pour agents incarnés : planification cognitive et exécution physique découplées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent PhyAgentOS, un système d'exploitation pensé spécifiquement pour les agents robotiques incarnés (embodied agents), décrit dans un preprint arXiv (2607.16636v1) publié fin juillet 2026. Le système introduit un "Session-Centered Runtime" qui traite une session complète, et non une action isolée, comme unité minimale d'ordonnancement, de vérification de compatibilité et de collecte de preuves d'exécution. La couche cognitive (planification) est séparée de la couche physique (exécution) via un protocole appelé State-as-a-File, qui matérialise l'état du système sous forme de fichiers Markdown/YAML lisibles et versionnables, sans dépendance de code entre les deux couches. Un module SessionVerifier distingue la fin d'exécution d'une tâche de sa réussite sémantique réelle, avec trois verdicts possibles : succès, échec ou replanification. Les résultats vérifiés alimentent une mémoire épistémique qui capitalise l'expérience sous forme de leçons réutilisables, sans réentraînement du modèle. PhyAgentOS a été testé sur les bancs d'essai Optimus-67, StarDojo et DST-Dojo, validé sur plus de 19 corps robotiques simulés et physiques, et montre des gains de performance sur les benchmarks LIBERO, Calvin et RoboCasa365 avec plusieurs modèles VLA (vision-language-action) différents.

L'enjeu dépasse la prouesse technique isolée : les modèles VLA, les modèles du monde et les planificateurs agentiques progressent chacun de leur côté, mais sans abstraction d'exécution commune ni état partagé, ce qui rend leur composition fragile dès qu'on sort du laboratoire. En distinguant explicitement la terminaison d'une action de sa réussite réelle, PhyAgentOS s'attaque directement à l'écart bien documenté entre démonstration et fiabilité en conditions réelles, un problème central pour les intégrateurs qui déploient des flottes de robots en usine ou en entrepôt. Pour un décideur B2B, la promesse n'est pas un nouveau modèle plus performant mais une couche d'infrastructure capable de faire cohabiter différents modèles VLA, de vérifier objectivement leurs sorties et de capitaliser les échecs sans réentraînement coûteux, un point clé pour la maintenabilité à long terme de déploiements robotiques hétérogènes.

Cette proposition s'inscrit dans la vague actuelle de modèles VLA généralistes tels que Figure 03, Optimus Gen 3, Pi-0 ou GR00T N2, qui ont démontré des capacités de manipulation impressionnantes en démo mais restent difficiles à orchestrer, vérifier et faire évoluer une fois déployés sur du matériel réel. PhyAgentOS se positionne comme une couche d'infrastructure sous ces modèles plutôt que comme un concurrent direct, avec une architecture de sécurité en couches (préflight, ponts d'action, SafetyGuard, surveillance par heartbeat) et une validation progressive allant des jeux virtuels à la simulation puis au robot physique, en gardant la couche cognitive constante pour isoler les variables. Publié comme preprint arXiv avec le statut "Announce Type: new", ce travail reste à ce stade une contribution de recherche académique plutôt qu'un produit commercial ; les auteurs ne précisent ni calendrier de mise en production ni partenariat industriel à ce jour.

Dans nos dossiers

Figure Tesla Optimus NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

PACT : alignement de sécurité physique auto-évolutif pour les politiques de diffusion en manipulation incarnée

Une équipe de chercheurs publie PACT (Physical safety Alignment for Constrained Trajectories), un cadre d'alignement post-entraînement destiné à rendre les politiques de diffusion robotique conformes à des contraintes physiques strictes, sans accéder aux données de démonstration ni aux récompenses de tâche (arXiv:2606.08414). Les politiques de diffusion, qui génèrent des trajectoires motrices par débruitage itératif, ont connu des succès notables en manipulation robotique mais peinent à satisfaire des contraintes de sécurité fermes en déploiement réel. PACT projette les politiques pré-entraînées dans des régions faisables en distillant des gradients de contrainte via un objectif KL inverse, avec supervision dense à chaque pas de temps du processus de débruitage. Un curriculum progressif resserre graduellement les contraintes tout en maintenant un écart théoriquement borné par rapport à la politique d'origine, limitant l'oubli catastrophique. Sur des benchmarks de manipulation simulée et réelle, PACT réduit les violations de sécurité de 31,0% en moyenne et améliore simultanément le taux de réussite des tâches de 30,7%. Ces résultats interpellent directement les intégrateurs : sécuriser une politique robotique impliquait jusqu'ici soit de contraindre l'entraînement dès le départ, au prix de l'expressivité, soit d'ajouter des garde-fous externes à l'inférence, nuisant à la scalabilité. PACT propose une troisième voie, post-entraînement et sans données supplémentaires, qui permettrait en théorie d'aligner n'importe quelle politique de diffusion existante. Le fait que sécurité et performance progressent conjointement contredit l'hypothèse d'un compromis structurel entre les deux, pourtant largement admise dans le secteur. À noter : l'article ne précise pas les configurations matérielles ni les volumes de données des tests réels, ce qui limite la portée des comparaisons directes. Les politiques de diffusion ont connu une montée en puissance récente, portée notamment par Pi-0 (Physical Intelligence) et d'autres architectures VLA de grands laboratoires. PACT s'inspire des techniques d'alignement post-entraînement développées pour les LLM, de type RLHF, adaptées aux contraintes physiques plutôt qu'aux préférences humaines, et se positionne face aux approches par apprentissage par renforcement contraint et aux filtres CBF (Control Barrier Functions). Aucune affiliation industrielle ni partenariat de déploiement n'est mentionné : il s'agit d'un résultat purement académique, sans pilote industriel annoncé. La validation sur des plateformes humanoïdes complètes et l'intégration dans des pipelines VLA de production restent à démontrer.

RecherchePaper

1 source

2arXiv cs.RO

VASO : des compétences formellement vérifiables et auto-évolutives pour agents d'IA physique

Des chercheurs ont publié sur arXiv (identifiant 2606.05395) un framework nommé VASO, pour "Verification-guided Self-evolution of LLM-generated robot skill contracts", qui vise à rendre les compétences robotiques générées par des grands modèles de langage à la fois réutilisables et formellement vérifiables. L'idée centrale : chaque compétence n'est plus un simple script exécutable mais un contrat sémantique à double interface, une interface formelle qui aligne états du robot, observations et commandes de contrôle avec des propositions logiques pour le model checking, et une interface orientée planificateur qui guide la génération de comportements exécutables. Lorsqu'un plan généré échoue à la vérification, VASO traduit la trace de contre-exemple en un gradient textuel qui met à jour le contrat de compétence réutilisable, sans toucher aux poids du modèle de fondation. Sur des plateformes Clearpath Jackal et PX4 (quadrocoptère), le framework atteint 97,2 % de conformité aux spécifications temporelles formelles en moins de 100 échantillons d'optimisation, surpassant les baselines de feedback d'exécution, d'optimisation de prompt et de fine-tuning. Le problème adressé est précis et rarement traité : les boucles d'évolution de compétences existantes, retour d'exécution, tests unitaires, récompenses d'environnement, auto-critique LLM, ne fournissent que des preuves au niveau de la trace. Elles montrent qu'une compétence a fonctionné sur des exécutions échantillonnées, pas qu'elle satisfait des contrats de sécurité temporelle dans des conditions non testées. Pour un intégrateur ou un COO industriel, c'est la différence entre une démo convaincante en lab et un déploiement certifiable en production. Le fait que VASO maintienne les poids du modèle gelés est également notable sur le plan économique : pas de fine-tuning, pas de GPU dédié à la mise à jour du modèle. Ce travail s'inscrit dans la tendance des "physical AI agents" où les LLM orchestrent des comportements robotiques à long horizon depuis des instructions en langage naturel. Les compétences réutilisables sont devenues les unités de base de ces architectures, mais leur fiabilité formelle reste un angle mort notable. Des approches concurrentes comme les VLA (Vision-Language-Action models) ou les frameworks d'optimisation de prompts comme OPRO ne ferment pas cette boucle vérification-évolution. VASO affirme être le premier à le faire explicitement. Il s'agit néanmoins d'un preprint sans validation industrielle publiée, et les résultats obtenus sur deux plateformes relativement simples devront être confirmés sur des environnements plus complexes et des chaînes de compétences plus longues avant d'envisager un déploiement en conditions réelles.

RecherchePaper

1 source

3arXiv cs.RO

Au-delà de la description : évaluer cognitivement l'action fine pour les agents incarnés

Des chercheurs ont publié CFG-Bench, un nouveau benchmark destiné à évaluer la capacité des grands modèles multimodaux (MLLM) à raisonner sur l'action fine dans des environnements physiques, plutôt que sur la simple planification de haut niveau ou le raisonnement spatial déjà couverts par les benchmarks existants. L'article, disponible sur arXiv (2511.18685), détaille un corpus de 1 368 vidéos annotées, associées à 19 562 paires question-réponse. Ces données couvrent trois paradigmes d'évaluation et quatre capacités cognitives distinctes : l'interaction physique, la relation temporelle-causale, la compréhension intentionnelle et le jugement évaluatif. L'objectif est de mesurer si un modèle sait traduire une observation visuelle en connaissance actionnable, au-delà de la simple reconnaissance d'objets ou de scènes. Les résultats sont significatifs pour l'écosystème des agents incarnés (embodied agents) qui s'appuient de plus en plus sur des architectures vision-langage-action (VLA) pour piloter robots et humanoïdes. Les auteurs montrent que même les MLLM les plus performants du marché peinent à produire des instructions détaillées pour des interactions physiques concrètes, et présentent des lacunes marquées dès qu'il s'agit de raisonnement d'ordre supérieur, comme inférer une intention ou juger la qualité d'une action. C'est un signal notable pour les intégrateurs et équipes de recherche qui misent sur ces modèles comme moteurs de décision : la compréhension de haut niveau ne garantit pas une exécution fine et fiable, un des points de friction identifiés dans l'écart persistant entre démonstration et déploiement réel en robotique. Point plus encourageant pour le secteur : les auteurs démontrent qu'un fine-tuning supervisé (SFT) sur les données de CFG-Bench, en apprenant explicitement au modèle à articuler des actions fines, se traduit par des gains de performance mesurables sur des benchmarks incarnés déjà établis. Cela suggère une piste d'amélioration directe et reproductible pour les futurs modèles VLA, plutôt qu'une simple mise en évidence de leurs limites. Le projet s'inscrit dans la vague de benchmarks spécialisés qui cherchent à combler les angles morts des évaluations génériques de MLLM. La page du projet et le jeu de données sont accessibles publiquement via cfg-bench.github.io, ouvrant la voie à des comparaisons futures entre laboratoires et fournisseurs de modèles.

RecherchePaper

1 source

4arXiv cs.RO

TypeGo : un runtime système pour agents incarnés

TypeGo est un nouveau runtime de type "système d'exploitation" pour agents incarnés, présenté dans un article arXiv (2607.05482v1) publié le 8 juillet 2026. Le prototype a été testé sur Kalos, un quadrupède Unitree Go2, et structure la planification par LLM en boucles asynchrones à plusieurs échelles de temps qui se chevauchent avec l'exécution physique du robot. Son composant central, le Skill Kernel, arbitre des sous-systèmes physiques typés entre plusieurs processus concurrents par tâche, tandis qu'un ordonnanceur peut préempter, reprendre ou remplacer ces processus selon leur source. Le système utilise aussi un mécanisme de "streaming" spéculatif de compétences qui masque la latence du LLM derrière le mouvement en cours, plus un chemin rapide pour la première action garantissant un retour visible en moins d'une seconde. Résultat mesuré sur la suite de tâches des chercheurs: le délai par étape chute de 50% par rapport à une planification pas-à-pas classique, et le délai avant première action baisse de 73% par rapport à une planification monolithique, avec une faible surcharge d'ordonnancement même en cas de tâches concurrentes. L'enjeu dépasse la simple optimisation de latence: TypeGo attaque un problème structurel largement ignoré par les démonstrations actuelles de robots pilotés par LLM, à savoir que traiter un modèle de langage comme un oracle requête/réponse sur le chemin critique de contrôle est incompatible avec le temps réel et la gestion de tâches concurrentes. En empruntant les principes d'un OS classique (gestion de ressources matérielles, préemption, ordonnancement) pour orchestrer un corps robotique, les auteurs proposent une réponse concrète à l'écart persistant entre les capacités de planification des VLA en démonstration et leur fiabilité en exécution réelle, sujet central pour tout intégrateur ou décideur évaluant le déploiement de robots pilotés par IA générative. Ce travail s'inscrit dans la lignée des architectures combinant LLM et contrôle robotique bas niveau, où la latence des modèles de langage reste un goulot d'étranglement majeur face aux exigences de réactivité physique. Il s'agit à ce stade d'un prototype de recherche académique, validé sur une suite de tâches restreinte avec un seul robot quadrupède, et non d'un produit commercialisé ou déployé en flotte. Les auteurs ne précisent pas de calendrier de transfert vers l'industrie, mais posent les bases conceptuelles d'un runtime générique que d'autres plateformes robotiques pourraient reprendre.

RecherchePaper

1 source