Harness Robotic OS : un runtime unifié d'agents…

EWAM : un modèle d'action du monde amélioré pour l'adaptation en ligne en boucle fermée dans l'IA incarnée

43

1arXiv cs.RO

EWAM : un modèle d'action du monde amélioré pour l'adaptation en ligne en boucle fermée dans l'IA incarnée

Une équipe de recherche publie sur arXiv (arXiv:2606.12690, juin 2026) une architecture baptisée EWAM (Enhanced World Action Model), conçue pour adapter un robot à de nouvelles configurations de tâches sans aucun jeu de démonstrations supplémentaires et sans réentraîner le réseau de base. EWAM s'appuie sur Cosmos3, le modèle fondationnel de simulation-prédiction monde développé par NVIDIA, maintenu entièrement gelé. Quatre couches neuronales légères y sont greffées : une couche mémoire d'expérience (Neural Experience Memory Layer) insérée dans les couches intermédiaires du Diffusion Transformer (DiT), qui injecte du contexte d'exécution ; une couche de détection d'anomalies (Neural Anomaly Detection Layer) placée après la tête de prédiction d'état, qui mesure en temps réel la divergence entre état prédit et état observé ; une couche de routage de politique (Neural Policy Routing Layer) qui choisit dynamiquement entre exécution directe, replanification conservative ou rollback de récupération selon la sévérité de l'anomalie ; et une couche de correction d'action (Neural Action Correction Layer) qui affine les séquences d'actions générées à partir des diagnostics d'exécution. L'ensemble est évalué exclusivement en protocole zéro-shot. Ce que montre EWAM, c'est qu'il est possible d'obtenir des gains de performance significatifs à l'inférence uniquement, sans toucher aux poids du modèle de base et sans collecter de nouvelles démonstrations spécifiques à chaque tâche. Pour un intégrateur industriel ou un COO, c'est un signal important : le coût de redéploiement sur de nouveaux layouts d'atelier, qui constitue aujourd'hui l'un des freins majeurs à la généralisation des robots mobiles et des manipulateurs apprenants, pourrait être absorbé par de l'adaptation en ligne plutôt que par des cycles coûteux de collecte de données et de fine-tuning. Le module de détection d'anomalies couplé au routage de récupération adresse directement le "demo-to-reality gap" : les modèles génératifs de type monde peuvent prédire des états plausibles mais diverger sur le terrain ; EWAM tente de corriger cette dérive en boucle fermée. La différenciabilité des modules mémoire, détection et correction dans le chemin forward de Cosmos3 distingue cette approche d'une simple fusion de features en post-processing. Cosmos3 est le modèle monde physique de NVIDIA, successeur de Cosmos1 et Cosmos2, entraîné sur des volumes massifs de vidéos de manipulation et de navigation pour prédire des trajectoires d'états futurs vraisemblables. L'architecture EWAM s'inscrit dans une vague de travaux qui cherchent à exploiter ces fondations gelées plutôt qu'à les réentraîner, une tendance que l'on retrouve aussi dans Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA Robotics) ou les approches VLA (Vision-Language-Action) basées sur des backbones pré-entraînés. Les acteurs concurrents sur ce créneau de l'adaptation légère incluent les équipes de DeepMind (RT-2, AutoRT), de Physical Intelligence et de plusieurs laboratoires universitaires américains et chinois. EWAM est pour l'instant un résultat de recherche académique non déployé en production, et les auteurs ne précisent pas de partenaires industriels ni de calendrier de transfert. Les prochaines étapes naturelles seraient une validation sur hardware réel à grande échelle et une comparaison directe en termes de coût de déploiement face aux méthodes de fine-tuning léger (LoRA, QLoRA) appliquées à ces mêmes backbones.

IA physiqueOpinion

1 source

Robotique par imitation autorégressive : un VLM incarné unifié pour l'action robotique

45

2arXiv cs.RO

Robotique par imitation autorégressive : un VLM incarné unifié pour l'action robotique

Des chercheurs présentent GenieReasoner, un modèle Vision-Langage-Action (VLA) conçu pour combler l'écart entre raisonnement sémantique et précision d'exécution motrice chez les robots généralistes. L'équipe introduit d'abord ERIQ (Embodied Reasoning Intelligence Quotient), un benchmark de plus de 6 000 paires question-réponse couvrant quatre dimensions du raisonnement incarné, qui permet d'évaluer séparément la capacité de raisonnement d'un modèle et sa capacité à agir. Cette évaluation découplée révèle une corrélation forte entre le score de raisonnement d'un modèle et sa capacité de généralisation en tâche réelle. Pour traduire ce raisonnement en gestes précis, les auteurs développent FACT, un tokenizer d'actions basé sur le flow matching, qui convertit des trajectoires de contrôle continues en séquences discrètes tout en préservant une reconstruction fidèle du mouvement. GenieReasoner, le modèle final, optimise conjointement raisonnement et action dans un espace unifié et surpasse, selon les auteurs, les approches à action continue comme les approches à action discrète existantes sur des tâches de manipulation en conditions réelles. L'enjeu dépasse la simple performance sur un jeu de tests: c'est le compromis raisonnement-précision, souvent cité comme le principal frein à la généralisation des VLA hors laboratoire, que ce travail cherche à quantifier puis à résoudre. Pour les intégrateurs et équipes R&D en robotique, disposer d'un benchmark comme ERIQ offre un outil de diagnostic pour repérer si un modèle échoue par manque de compréhension sémantique de la scène ou par imprécision motrice, deux problèmes qui appellent des solutions très différentes. Les résultats annoncés restent toutefois issus des auteurs eux-mêmes, sans validation tierce indépendante à ce stade. Ce travail s'inscrit dans la lignée des modèles VLA à grande échelle type Pi-0 ou GR00T N2, qui cherchent tous à unifier compréhension du langage, de la vision et génération d'actions robotiques dans une seule architecture. La tokenisation discrète des actions, plutôt que leur régression continue, est une piste explorée par plusieurs laboratoires pour rapprocher l'entraînement des VLA de celui des grands modèles de langage. Le code et les détails du projet sont disponibles sur la page dédiée des auteurs; les prochaines étapes attendues portent sur l'extension du benchmark ERIQ et des tests sur une plus grande diversité de plateformes robotiques.

IA physiqueActu

1 source

VLCP : réplanification de code en boucle fermée par politique de contrôle vision-langage pour la manipulation robotique

39

3arXiv cs.RO

VLCP : réplanification de code en boucle fermée par politique de contrôle vision-langage pour la manipulation robotique

Des chercheurs publient sur arXiv (2608.16978, mis en ligne le 19 août 2026) VLCP, pour Vision Language Control Policy, une méthode qui transforme un modèle vision-langage (VLM) figé en politique de contrôle robotique sans fine-tuning ni démonstrations. Au lieu de réentraîner le modèle pour qu'il produise une représentation d'action inédite, VLCP le fait écrire directement une courte fonction de contrôle en Python, puis referme la boucle au niveau du code lui-même : toutes les K étapes, le VLM réobserve la scène via des flux RGB multi-vues, l'état proprioceptif et un delta d'état, et réécrit la fonction de contrôle si nécessaire, avant qu'un échec ne se propage jusqu'à la fin de l'épisode. Testée sur un ensemble de 57 tâches en simulation MuJoCo/RoboVerse, cette politique sans entraînement atteint un taux de succès combiné de 35,1 %, contre seulement 3,5 % pour le même système interrogé une seule fois par épisode en boucle ouverte, soit un écart d'un facteur dix confirmé par des intervalles de confiance non chevauchants sur toutes les familles de scènes. Le système affiche aussi un taux de récupération intra-épisode de 27,3 % sur les préhensions ratées, un coût de calcul limité (environ 10 requêtes compactes par épisode, 84 % des tokens en cache) et une bibliothèque de compétences réutilisée d'un épisode à l'autre. Le résultat cible directement l'écart entre démonstration et réalité qui pèse sur les politiques VLA (vision-language-action) actuelles : plutôt que de retenter une politique figée ou de basculer vers une autre sous-tâche en cas d'échec, comme le font les méthodes en boucle fermée existantes, VLCP corrige la cause réelle de l'échec, le code de contrôle lui-même. Pour les intégrateurs et équipes de recherche en robotique manipulatrice, cela suggère qu'un VLM générique, sans adaptation coûteuse à un robot ou une tâche spécifique, peut produire des politiques nettement plus robustes simplement en fermant la boucle au bon niveau d'abstraction, celui du code plutôt que de l'action bas niveau. Le gain de robustesse provient moins de la puissance brute du modèle que de la fréquence et du niveau auquel il est autorisé à se corriger, un point qui interroge les architectures de contrôle en boucle ouverte encore courantes dans les démonstrations commerciales du secteur. Cette approche s'inscrit dans la lignée des travaux qui exploitent les VLM frontières comme cerveaux de raisonnement plutôt que comme modèles à réentraîner pour produire des trajectoires, une piste alternative aux politiques VLA de bout en bout comme Pi-0 ou GR00T N2. Les auteurs ne précisent pas de déploiement sur robot physique ni de partenariat industriel : il s'agit à ce stade d'une preuve de concept en simulation, publiée en prépublication, sans date de mise en œuvre réelle annoncée. Les prochaines étapes attendues porteraient sur la validation sur du matériel physique et sur des tâches de manipulation plus complexes que celles du benchmark RoboVerse utilisé ici.

IA physiquePaper

1 source

Show-Harness : un simple agent VLM suffit pour piloter des robots

44

4arXiv cs.RO

Show-Harness : un simple agent VLM suffit pour piloter des robots

Une équipe de recherche présente Show-Harness, un cadre logiciel ("embodied harness") permettant à des modèles vision-langage (VLM) généralistes de piloter directement des robots, décrit dans un preprint arXiv publié début septembre 2026 (arXiv:2609.10522). Le système repose sur une interface sémantique compacte : il expose un ensemble d'unités d'action discrètes que le VLM peut manipuler par raisonnement, tandis que des interpréteurs spécifiques à chaque plateforme robotique traduisent ces unités en commandes locales de manière déterministe, le VLM restant responsable des décisions physiques fines. Les auteurs démontrent deux usages : le contrôle "zero-shot" de robots avec des VLM propriétaires de pointe (closed-source), sans entraînement supplémentaire, et l'adaptation de VLM open-source de petite taille via seulement quelques heures de calcul GPU de fine-tuning, pour un déploiement à moindre coût. Le papier introduit aussi GUMI (GUI Manipulation Interface), qui étend le même espace d'action sémantique à la collecte de démonstrations via une interface graphique, permettant à des humains ou à des agents de générer des données d'entraînement pour différents robots sans matériel de téléopération spécialisé. Cette approche s'attaque à deux limites récurrentes des pipelines vision-langage-action (VLA) : le coût du pré-entraînement spécifique à chaque embodiment robotique, et l'écart persistant entre l'intelligence généraliste des modèles fondation et leur capacité réelle à contrôler finement un corps physique. Si la thèse tient, elle suggère qu'un VLM du commerce, y compris propriétaire, pourrait être réorienté vers la robotique sans le fine-tuning coûteux ni les jeux de données spécialisés qu'exigent aujourd'hui la plupart des modèles VLA dédiés. Pour les intégrateurs et décideurs industriels, l'argument est d'abord économique : la collecte de démonstrations par téléopération matérielle est lente et coûteuse à mettre à l'échelle, et GUMI propose de la remplacer par une interface graphique standard. Les auteurs affirment que leurs agents équipés de Show-Harness généralisent mieux, à travers tâches, robots et environnements, que des paradigmes agentiques et VLA représentatifs existants, mais l'abstract ne détaille ni taux de réussite ni tâches précises testées, ce qui invite à attendre la publication complète et une validation indépendante avant de juger l'ampleur réelle du gain. Show-Harness s'inscrit dans une course plus large où plusieurs laboratoires et start-ups cherchent à doter des robots humanoïdes ou industriels d'une couche de décision fondée sur des modèles vision-langage-action, à l'image des travaux menés par des acteurs comme Physical Intelligence, NVIDIA ou Figure sur leurs propres modèles généralistes. La proposition des auteurs se distingue en misant sur la conception d'une interface plutôt que sur l'augmentation de la capacité du modèle ou un pré-entraînement coûteux propre à chaque robot. Le texte, classé comme nouvelle soumission sur arXiv, ne mentionne ni partenaire industriel, ni déploiement en production, ni calendrier de suite : il s'agit pour l'instant d'une contribution de recherche destinée à être évaluée par la communauté, sans acteur français ou européen identifié dans cette publication.

IA physiqueActu

1 source

Harness Robotic OS : un runtime unifié d'agents incarnés pour l'inspection en boucle fermée par robot quadrupède

À lire aussi

EWAM : un modèle d'action du monde amélioré pour l'adaptation en ligne en boucle fermée dans l'IA incarnée

Robotique par imitation autorégressive : un VLM incarné unifié pour l'action robotique

VLCP : réplanification de code en boucle fermée par politique de contrôle vision-langage pour la manipulation robotique

Show-Harness : un simple agent VLM suffit pour piloter des robots