Riemann-1.0 : un modèle d'action du monde incarné…

1arXiv cs.RO

InternW0 : un modèle fondation du monde physique pour des interactions efficaces avec le monde réel

Shanghai AI Laboratory a publié le 24 septembre 2026 sur arXiv (2609.27656) InternW0, premier modèle de sa série InternW dédiée à la modélisation du monde physique. L'architecture associe un expert vidéo lourd, qui prédit la dynamique visuelle à long horizon, et un expert d'action léger cadencé plus vite, entraînés conjointement par flow matching ; plutôt que de tout recalculer à chaque action, le modèle réutilise ses caches clé/valeur et les met à jour selon les nouvelles observations. Des interfaces par domaine gèrent les morphologies robotiques hétérogènes, complétées par un post-entraînement sensible au contact exploitant force et tactile. L'entraînement mobilise 7 200 heures de données robot et égocentriques, dont EgoLab (275 heures, laboratoire réel), et les tests réels incluent une synthèse de charpentes métallo-organiques en 15 étapes et un pipetage dextre en 5 étapes sensible au contact. L'enjeu pour les intégrateurs tient à l'efficacité : la plupart des modèles vision-langage-action recalculent une passe complète à chaque étape de contrôle, ce qui plafonne la fréquence de commande utilisable, alors que la réutilisation du cache clé/valeur d'InternW0 vise justement ce goulot d'étranglement. Le choix de tâches scientifiques (chimie, pipetage) plutôt que la manipulation domestique privilégiée par la plupart des démonstrations humanoïdes déplace la preuve vers un usage B2B vérifiable en laboratoire et dans l'industrie pharmaceutique ou des matériaux, où comptent la répétabilité et la sensibilité au contact plus que la polyvalence spectaculaire. Le texte reste un preprint, sans taux de réussite chiffré ni preuve de généralisation au delà de ces scénarios. InternW0 prolonge la famille Intern de Shanghai AI Laboratory, déjà connue pour InternLM (langage) et InternVL/InternVideo (multimodal), vers la modélisation du monde physique et le contrôle robotique. Il se positionne face aux modèles vision-langage-action généralistes d'autres laboratoires, comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, avec une orientation explicitement scientifique plutôt que domestique. Aucun déploiement commercial n'est annoncé : le papier, classé comme nouvelle publication arXiv, décrit une preuve de concept validée en simulation et sur un nombre restreint de scénarios réels, sans calendrier communiqué pour une ouverture du modèle ou du jeu de données EgoLab.

IA physiqueOpinion

1 source

2Robotics Business Review

Runway présente Praxis-1, un modèle du monde et d'action pour la robotique

Runway AI, la société new-yorkaise fondée en 2018 et connue pour ses modèles génératifs vidéo, a présenté cette semaine Praxis-1, un « world action model » à poids ouverts qui convertit son pré-entraînement vidéo à grande échelle en commandes pour robots. Le modèle s'appuie sur la même base que les world models généraux de l'entreprise (GWM-1, Gen-4.5, Aleph 2.0, Act-Two) et apprend surtout à partir de vidéos filmées à la troisième personne, non de démonstrations téléopérées. Il a été entraîné sur des tâches de manipulation allant du simple pick-and-place (soulever des canettes) à la manipulation d'objets déformables (emballer des sacs cadeaux). Runway affirme que la simulation de politiques robotiques dans son world model prédit les résultats réels avec une corrélation de 0,95, mieux que des techniques plus coûteuses fondées sur la reconstruction 3D, sans publier de détails méthodologiques. Des partenaires pilotes (Noble Machines, Standard Bots et Ultra) font tourner Praxis-1 sur leur propre matériel, des bras bimanuels aux humanoïdes, avec un fine-tuning léger. La sortie publique est annoncée « dans les prochains mois », sans date. L'enjeu est de savoir si la vidéo peut remplacer, au moins en partie, la donnée robot, rare et chère à collecter. Selon Kamil Sindi, directeur technique de Runway, la performance progresse avec le volume de vidéo, de sorte que le plafond du modèle dépendrait de la quantité de vidéo disponible plutôt que du nombre de démonstrations. Si cela se confirme, le goulot d'étranglement des politiques généralistes se déplacerait de la collecte téléopérée vers le curage de données vidéo. Pour les intégrateurs, la promesse d'un modèle unique adaptable à plusieurs morphologies avec peu de fine-tuning serait un gain de coût réel. Il faut toutefois rester prudent : aucun taux de réussite, aucun temps de cycle ni aucune comparaison avec des politiques existantes n'a été publié, et les retours des partenaires sont rapportés par Runway elle-même. Le chiffre de 0,95 mesure la fidélité de la simulation, pas la performance sur site. À ce stade, il s'agit d'une annonce avec des tests partenaires, pas d'un produit livré ni d'un déploiement en production. Runway arrive en robotique depuis la vidéo générative, après GWM-1 et des modèles interactifs temps réel comme Solaris et GWM Worlds 2, conçus pour créer des environnements d'entraînement d'agents. L'entreprise, qui a des bureaux à New York, San Francisco, Seattle, Londres, Paris, Tel Aviv et Tokyo, rejoint un champ où les approches VLA (vision-langage-action) et world models se disputent le terrain, face à des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix), qui s'appuient davantage sur des données robot. Le choix des poids ouverts est assumé : Sindi y voit un levier pour que les États-Unis retrouvent leur avance industrielle, en laissant aux fabricants de matériel de la flexibilité. Les prochaines étapes sont l'élargissement du cercle de partenaires avant la sortie publique et la validation sur davantage de robots, pour combler les écarts avant la disponibilité générale. Aucun acteur français ou européen n'est cité parmi les partenaires.

UEPas d\'impact direct sur la France/UE

IA physiqueActu

1 source

3arXiv cs.RO

IA incarnée dans GPT-5.1 : la preuve d'un modèle du monde ?

Une équipe de chercheurs publie une étude exploratoire sur arXiv (2607.23899) testant GPT-5.1 comme contrôleur haut niveau d'un robot mobile physique, sans qu'il ait reçu le moindre entraînement en simulation ni la moindre expérience sensorimotrice préalable. Le modèle ne dispose que d'images en première personne à basse résolution et d'un ensemble d'actions discrètes pour naviguer et accomplir des tâches orientées objet, comme localiser puis entrer en contact avec un jouet cible. Sur plusieurs essais, GPT-5.1 a montré des capacités émergentes inattendues: mémoire à court terme de la position d'objets sortis du champ de la caméra, inférence des conséquences physiques de ses propres déplacements, et exécution de séquences cohérentes comme percuter un objet puis reculer pour vérifier visuellement le résultat. Le modèle reste toutefois limité, avec des stratégies d'alignement imprécises et des erreurs d'identification sur des distracteurs éloignés. Ces résultats intéressent directement l'industrie robotique car ils questionnent l'idée reçue, ancrée en sciences cognitives et en robotique, selon laquelle un corps physique et un entraînement embarqué (simulation, données réelles massives) seraient des prérequis indispensables pour développer une forme de compréhension spatiale et physique. Si un modèle multimodal généraliste peut afficher un comportement proche d'un "modèle du monde" sans pipeline d'entraînement dédié à l'embodiment, cela ouvre la voie à des architectures de contrôle plus légères pour les intégrateurs, où un LLM prêt à l'emploi ferait office de cerveau haut niveau au-dessus d'une couche d'actions bas niveau, plutôt qu'une politique VLA entraînée spécifiquement. Le résultat s'inscrit en contraste avec la génération actuelle de modèles vision-langage-action (type Pi-0, GR00T N2 ou Helix) qui acquièrent leurs compétences physiques via de vastes corpus de démonstrations simulées ou réelles. L'étude reste exploratoire, à petite échelle et sans comparaison benchmarkée face à ces systèmes dédiés: les auteurs eux-mêmes appellent à des travaux complémentaires pour cerner l'ampleur, les limites et la robustesse de ces capacités émergentes avant d'en tirer des conclusions définitives.

IA physiquePaper

1 source

4arXiv cs.RO

Modèles d'action du monde : la prochaine frontière de l'IA incarnée

Une équipe de chercheurs a publié le 16 mai 2026 sur arXiv (réf. 2605.12090) la première revue systématique d'un paradigme émergent qu'ils formalisent sous le nom de World Action Models (WAMs). Là où les modèles Vision-Language-Action (VLA) actuels, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA, apprennent des mappings réactifs observation-vers-action, les WAMs modélisent explicitement la dynamique physique de l'environnement. Concrètement, un WAM génère une distribution jointe sur les états futurs et les actions, plutôt que sur les actions seules. Les auteurs proposent une taxonomie structurée en deux grandes familles : les WAMs en cascade (Cascaded WAMs), où un modèle prédictif alimente un planificateur d'action en pipeline, et les WAMs joints (Joint WAMs), où prédiction d'état et génération d'action sont coappris dans une architecture unifiée, avec des subdivisions selon la modalité de génération, le mécanisme de conditionnement et la stratégie de décodage d'action. L'enjeu industriel est significatif. Les VLA purs souffrent d'un déficit fondamental : ils réagissent aux observations sans anticiper les conséquences physiques de leurs actions, ce qui limite leur robustesse hors distribution et leur capacité à planifier sur des horizons longs. L'intégration d'un world model permet en théorie de simuler mentalement les effets d'une action avant de l'exécuter, un prérequis pour la manipulation dextère complexe, la navigation en environnement non structuré, ou la récupération après erreur. C'est précisément le gap sim-to-real et le reality gap des démos en laboratoire que ce paradigme cherche à combler à l'échelle. Pour un intégrateur ou un COO industriel, cela signifie potentiellement des robots plus fiables sur des tâches non scriptées, sans retraining complet à chaque variation de contexte. Ce travail s'inscrit dans une compétition intense entre Physical Intelligence (Pi-0, financement de 400 M$), NVIDIA (GR00T N2, Isaac Lab), Boston Dynamics, Figure AI et des acteurs académiques comme Berkeley et Stanford. Côté données, les auteurs identifient quatre sources majeures : la télé-opération robot, les démonstrations humaines portables (caméras égo-centriques), la simulation et les vidéos internet à grande échelle, chacune avec ses biais propres. La revue pointe aussi l'absence de benchmarks standardisés pour évaluer la plausibilité physique et le bon sens commonsense des WAMs, un frein à la comparaison rigoureuse. Les prochaines étapes identifiées incluent des protocoles d'évaluation unifiés et l'extension vers des tâches de manipulation longue durée en conditions réelles.

IA physiqueOpinion

1 source

Riemann-1.0 : un modèle d'action du monde incarné pour l'IA physique

À lire aussi

InternW0 : un modèle fondation du monde physique pour des interactions efficaces avec le monde réel

Runway présente Praxis-1, un modèle du monde et d'action pour la robotique

IA incarnée dans GPT-5.1 : la preuve d'un modèle du monde ?

Modèles d'action du monde : la prochaine frontière de l'IA incarnée