IA physiquearXiv cs.RO 12 juin 2026

EWAM : un modèle d'action du monde amélioré pour l'adaptation en ligne en boucle fermée dans l'IA incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (arXiv:2606.12690, juin 2026) une architecture baptisée EWAM (Enhanced World Action Model), conçue pour adapter un robot à de nouvelles configurations de tâches sans aucun jeu de démonstrations supplémentaires et sans réentraîner le réseau de base. EWAM s'appuie sur Cosmos3, le modèle fondationnel de simulation-prédiction monde développé par NVIDIA, maintenu entièrement gelé. Quatre couches neuronales légères y sont greffées : une couche mémoire d'expérience (Neural Experience Memory Layer) insérée dans les couches intermédiaires du Diffusion Transformer (DiT), qui injecte du contexte d'exécution ; une couche de détection d'anomalies (Neural Anomaly Detection Layer) placée après la tête de prédiction d'état, qui mesure en temps réel la divergence entre état prédit et état observé ; une couche de routage de politique (Neural Policy Routing Layer) qui choisit dynamiquement entre exécution directe, replanification conservative ou rollback de récupération selon la sévérité de l'anomalie ; et une couche de correction d'action (Neural Action Correction Layer) qui affine les séquences d'actions générées à partir des diagnostics d'exécution. L'ensemble est évalué exclusivement en protocole zéro-shot.

Ce que montre EWAM, c'est qu'il est possible d'obtenir des gains de performance significatifs à l'inférence uniquement, sans toucher aux poids du modèle de base et sans collecter de nouvelles démonstrations spécifiques à chaque tâche. Pour un intégrateur industriel ou un COO, c'est un signal important : le coût de redéploiement sur de nouveaux layouts d'atelier, qui constitue aujourd'hui l'un des freins majeurs à la généralisation des robots mobiles et des manipulateurs apprenants, pourrait être absorbé par de l'adaptation en ligne plutôt que par des cycles coûteux de collecte de données et de fine-tuning. Le module de détection d'anomalies couplé au routage de récupération adresse directement le "demo-to-reality gap" : les modèles génératifs de type monde peuvent prédire des états plausibles mais diverger sur le terrain ; EWAM tente de corriger cette dérive en boucle fermée. La différenciabilité des modules mémoire, détection et correction dans le chemin forward de Cosmos3 distingue cette approche d'une simple fusion de features en post-processing.

Cosmos3 est le modèle monde physique de NVIDIA, successeur de Cosmos1 et Cosmos2, entraîné sur des volumes massifs de vidéos de manipulation et de navigation pour prédire des trajectoires d'états futurs vraisemblables. L'architecture EWAM s'inscrit dans une vague de travaux qui cherchent à exploiter ces fondations gelées plutôt qu'à les réentraîner, une tendance que l'on retrouve aussi dans Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA Robotics) ou les approches VLA (Vision-Language-Action) basées sur des backbones pré-entraînés. Les acteurs concurrents sur ce créneau de l'adaptation légère incluent les équipes de DeepMind (RT-2, AutoRT), de Physical Intelligence et de plusieurs laboratoires universitaires américains et chinois. EWAM est pour l'instant un résultat de recherche académique non déployé en production, et les auteurs ne précisent pas de partenaires industriels ni de calendrier de transfert. Les prochaines étapes naturelles seraient une validation sur hardware réel à grande échelle et une comparaison directe en termes de coût de déploiement face aux méthodes de fine-tuning léger (LoRA, QLoRA) appliquées à ces mêmes backbones.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X

À lire aussi

1arXiv cs.RO

FAWAM : modèles d'action du monde sensibles aux forces pour la manipulation en boucle fermée à contacts multiples

Une équipe de chercheurs a publié sur arXiv (référence 2606.08555) FAWAM, un modèle d'action robotique intégrant les signaux de force à trois niveaux distincts du pipeline de manipulation : la perception, la prédiction et l'exécution en boucle fermée. Concrètement, le système encode des signaux force/couple sur six axes (6-DoF wrench) pour moduler la génération d'actions, prédit conjointement les actions futures et les efforts en bout d'effecteur afin de modéliser explicitement l'évolution du contact, puis utilise cette trajectoire de wrench prédite comme référence d'exécution pour corriger les actions en temps réel via un module de correction résiduelle. Sur plusieurs tâches de manipulation nécessitant des contacts riches -- vissage, insertion, assemblage par contrainte -- FAWAM affiche un taux de succès moyen supérieur de 36,25 % aux baselines purement visuelles et de 21,25 % aux baselines force-aware existantes. Il s'agit d'un preprint, sans déploiement industriel annoncé à ce stade. L'apport technique est notable pour les intégrateurs et les équipes R&D en manipulation apprise : la plupart des politiques modernes type Diffusion Policy, ACT ou des VLA (Vision-Language-Action models) traitent la force comme une modalité d'observation annexe, sans lui donner de rôle prédictif dans la dynamique future du contact. FAWAM repositionne le signal force comme variable de première classe dans l'architecture du modèle, ce qui permet une correction online des actions sans nécessiter de replanification complète. C'est précisément ce découplage entre prédiction de wrench et correction résiduelle qui explique le gain de performance : le robot anticipe l'effort attendu avant de l'observer, et ajuste en conséquence dès qu'un écart apparaît. Pour un COO ou un directeur technique envisageant des cellules d'assemblage automatisées, cela représente une réduction significative du gap simulation-réalité sur les tâches à contact fort. La manipulation en contact riche reste l'un des derniers verrous majeurs de la robotique industrielle polyvalente, là où les approches vision-seule échouent dès que les tolérances sont serrées ou les surfaces glissantes. Des travaux récents comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou les politiques de manipulation de Google DeepMind intègrent parfois la proprioception mais rarement le couple d'axe complet en boucle de prédiction. FAWAM s'inscrit dans un courant émergent de world action models orientés contact, aux côtés de travaux comme RoboDex ou des approches de manipulation tactile de Berkeley et Carnegie Mellon. La prochaine étape logique serait une validation sur robot humanoïde ou sur bras industriel en environnement semi-structuré, ce que le preprint ne couvre pas encore.

IA physiqueOpinion

1 source

2arXiv cs.RO

Riemann-1.0 : un modèle d'action du monde incarné pour l'IA physique

Un preprint publie sur arXiv (2608.27033) présente Riemann-1.0, un "World Action Model" causal et autoregressif qui unifie, dans une seule séquence, observations visuelles multi-vues, états du robot et actions spécifiques a chaque embodiment. Le modèle est pré-entraine sur plus de 200 000 heures de données hétérogènes: vidéos humaines a la première personne, démonstrations avec pinces portables et trajectoires de robots varies. Il atteint 94,3% de réussite sur RoboTwin2.0, 99,0% sur LIBERO et 62,6% sur le benchmark compositionnel long-horizon RoboCasa-365, soit 8,4 points de plus que la meilleure méthode antérieure. Sur des taches réelles de manipulation longue durée, il obtient 85,0% de réussite (SR) et 94,4% de progression (PSR), soit 15 points de plus que le meilleur système open source de référence. Le résultat notable n'est pas seulement le score, mais l'architecture: un seul modèle fait a la fois office de politique de contrôle exécutable et de simulateur du monde conditionne par l'action, la ou la plupart des approches séparent prédiction vidéo et génération d'actions. Cela alimente le débat sur le passage a l'échelle des modèles vision-langage-action, en suggérant que des sources bon marche comme la vidéo humaine peuvent compléter des données robotiques rares pour améliorer la généralisation. Pour les intégrateurs, la prudence reste de mise: ces résultats proviennent d'un preprint non relu par les pairs, obtenus sur des benchmarks contrôles et des taches réelles décrites de façon générique, sans précision sur le site de test ni sur un déploiement en production. Riemann-1.0 se positionne contre trois familles de "world models" robotiques existantes, génération conjointe d'actions et d'images, prédiction vidéo suivie d'une politique séparée, ou architectures découplées, jugées limitantes par ses auteurs face a la fragmentation entre simulation du monde et contrôle du robot. L'article ne mentionne ni organisation commerciale a l'origine du projet, ni plateforme robotique associée, ni date de pilote ou de déploiement: il se presente comme un jalon de recherche plutôt que comme un produit livre. Les suites logiques, non confirmées dans le texte, porteraient sur l'extension a davantage d'embodiments et sur des essais en conditions réelles hors laboratoire, dans la lignée des travaux parallèles menés par d'autres laboratoires sur les modèles fondation pour la manipulation robotique.

IA physiqueActu

1 source

3arXiv cs.RO

Modèles d'action du monde : la prochaine frontière de l'IA incarnée

Une équipe de chercheurs a publié le 16 mai 2026 sur arXiv (réf. 2605.12090) la première revue systématique d'un paradigme émergent qu'ils formalisent sous le nom de World Action Models (WAMs). Là où les modèles Vision-Language-Action (VLA) actuels, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA, apprennent des mappings réactifs observation-vers-action, les WAMs modélisent explicitement la dynamique physique de l'environnement. Concrètement, un WAM génère une distribution jointe sur les états futurs et les actions, plutôt que sur les actions seules. Les auteurs proposent une taxonomie structurée en deux grandes familles : les WAMs en cascade (Cascaded WAMs), où un modèle prédictif alimente un planificateur d'action en pipeline, et les WAMs joints (Joint WAMs), où prédiction d'état et génération d'action sont coappris dans une architecture unifiée, avec des subdivisions selon la modalité de génération, le mécanisme de conditionnement et la stratégie de décodage d'action. L'enjeu industriel est significatif. Les VLA purs souffrent d'un déficit fondamental : ils réagissent aux observations sans anticiper les conséquences physiques de leurs actions, ce qui limite leur robustesse hors distribution et leur capacité à planifier sur des horizons longs. L'intégration d'un world model permet en théorie de simuler mentalement les effets d'une action avant de l'exécuter, un prérequis pour la manipulation dextère complexe, la navigation en environnement non structuré, ou la récupération après erreur. C'est précisément le gap sim-to-real et le reality gap des démos en laboratoire que ce paradigme cherche à combler à l'échelle. Pour un intégrateur ou un COO industriel, cela signifie potentiellement des robots plus fiables sur des tâches non scriptées, sans retraining complet à chaque variation de contexte. Ce travail s'inscrit dans une compétition intense entre Physical Intelligence (Pi-0, financement de 400 M$), NVIDIA (GR00T N2, Isaac Lab), Boston Dynamics, Figure AI et des acteurs académiques comme Berkeley et Stanford. Côté données, les auteurs identifient quatre sources majeures : la télé-opération robot, les démonstrations humaines portables (caméras égo-centriques), la simulation et les vidéos internet à grande échelle, chacune avec ses biais propres. La revue pointe aussi l'absence de benchmarks standardisés pour évaluer la plausibilité physique et le bon sens commonsense des WAMs, un frein à la comparaison rigoureuse. Les prochaines étapes identifiées incluent des protocoles d'évaluation unifiés et l'extension vers des tâches de manipulation longue durée en conditions réelles.

IA physiqueOpinion

1 source

4arXiv cs.RO

IA incarnée dans GPT-5.1 : la preuve d'un modèle du monde ?

Une équipe de chercheurs publie une étude exploratoire sur arXiv (2607.23899) testant GPT-5.1 comme contrôleur haut niveau d'un robot mobile physique, sans qu'il ait reçu le moindre entraînement en simulation ni la moindre expérience sensorimotrice préalable. Le modèle ne dispose que d'images en première personne à basse résolution et d'un ensemble d'actions discrètes pour naviguer et accomplir des tâches orientées objet, comme localiser puis entrer en contact avec un jouet cible. Sur plusieurs essais, GPT-5.1 a montré des capacités émergentes inattendues: mémoire à court terme de la position d'objets sortis du champ de la caméra, inférence des conséquences physiques de ses propres déplacements, et exécution de séquences cohérentes comme percuter un objet puis reculer pour vérifier visuellement le résultat. Le modèle reste toutefois limité, avec des stratégies d'alignement imprécises et des erreurs d'identification sur des distracteurs éloignés. Ces résultats intéressent directement l'industrie robotique car ils questionnent l'idée reçue, ancrée en sciences cognitives et en robotique, selon laquelle un corps physique et un entraînement embarqué (simulation, données réelles massives) seraient des prérequis indispensables pour développer une forme de compréhension spatiale et physique. Si un modèle multimodal généraliste peut afficher un comportement proche d'un "modèle du monde" sans pipeline d'entraînement dédié à l'embodiment, cela ouvre la voie à des architectures de contrôle plus légères pour les intégrateurs, où un LLM prêt à l'emploi ferait office de cerveau haut niveau au-dessus d'une couche d'actions bas niveau, plutôt qu'une politique VLA entraînée spécifiquement. Le résultat s'inscrit en contraste avec la génération actuelle de modèles vision-langage-action (type Pi-0, GR00T N2 ou Helix) qui acquièrent leurs compétences physiques via de vastes corpus de démonstrations simulées ou réelles. L'étude reste exploratoire, à petite échelle et sans comparaison benchmarkée face à ces systèmes dédiés: les auteurs eux-mêmes appellent à des travaux complémentaires pour cerner l'ampleur, les limites et la robustesse de ces capacités émergentes avant d'en tirer des conclusions définitives.

IA physiquePaper

1 source