Aller au contenu principal
Runway présente Praxis-1, un modèle du monde et d'action pour la robotiqueIllustration générée par IA
IA physiqueThe Robot Report 

Runway présente Praxis-1, un modèle du monde et d'action pour la robotique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Runway AI, la société new-yorkaise fondée en 2018 et connue pour ses modèles génératifs vidéo, a présenté cette semaine Praxis-1, un « world action model » à poids ouverts qui convertit son pré-entraînement vidéo à grande échelle en commandes pour robots. Le modèle s'appuie sur la même base que les world models généraux de l'entreprise (GWM-1, Gen-4.5, Aleph 2.0, Act-Two) et apprend surtout à partir de vidéos filmées à la troisième personne, non de démonstrations téléopérées. Il a été entraîné sur des tâches de manipulation allant du simple pick-and-place (soulever des canettes) à la manipulation d'objets déformables (emballer des sacs cadeaux). Runway affirme que la simulation de politiques robotiques dans son world model prédit les résultats réels avec une corrélation de 0,95, mieux que des techniques plus coûteuses fondées sur la reconstruction 3D, sans publier de détails méthodologiques. Des partenaires pilotes (Noble Machines, Standard Bots et Ultra) font tourner Praxis-1 sur leur propre matériel, des bras bimanuels aux humanoïdes, avec un fine-tuning léger. La sortie publique est annoncée « dans les prochains mois », sans date.

L'enjeu est de savoir si la vidéo peut remplacer, au moins en partie, la donnée robot, rare et chère à collecter. Selon Kamil Sindi, directeur technique de Runway, la performance progresse avec le volume de vidéo, de sorte que le plafond du modèle dépendrait de la quantité de vidéo disponible plutôt que du nombre de démonstrations. Si cela se confirme, le goulot d'étranglement des politiques généralistes se déplacerait de la collecte téléopérée vers le curage de données vidéo. Pour les intégrateurs, la promesse d'un modèle unique adaptable à plusieurs morphologies avec peu de fine-tuning serait un gain de coût réel. Il faut toutefois rester prudent : aucun taux de réussite, aucun temps de cycle ni aucune comparaison avec des politiques existantes n'a été publié, et les retours des partenaires sont rapportés par Runway elle-même. Le chiffre de 0,95 mesure la fidélité de la simulation, pas la performance sur site. À ce stade, il s'agit d'une annonce avec des tests partenaires, pas d'un produit livré ni d'un déploiement en production.

Runway arrive en robotique depuis la vidéo générative, après GWM-1 et des modèles interactifs temps réel comme Solaris et GWM Worlds 2, conçus pour créer des environnements d'entraînement d'agents. L'entreprise, qui a des bureaux à New York, San Francisco, Seattle, Londres, Paris, Tel Aviv et Tokyo, rejoint un champ où les approches VLA (vision-langage-action) et world models se disputent le terrain, face à des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix), qui s'appuient davantage sur des données robot. Le choix des poids ouverts est assumé : Sindi y voit un levier pour que les États-Unis retrouvent leur avance industrielle, en laissant aux fabricants de matériel de la flexibilité. Les prochaines étapes sont l'élargissement du cercle de partenaires avant la sortie publique et la validation sur davantage de robots, pour combler les écarts avant la disponibilité générale. Aucun acteur français ou européen n'est cité parmi les partenaires.

À lire aussi

Le modèle d'action du monde Praxis-1 de Runway pour la robotique est désormais disponible
Illustration générée par IA
1The Robot Report 

Le modèle d'action du monde Praxis-1 de Runway pour la robotique est désormais disponible

Runway AI Inc. a publié hier Praxis-1, son modèle d'action du monde (world action model) pour la robotique, désormais accessible aux développeurs avec poids ouverts sous licence Apache 2.0, usage commercial compris. Annoncé en septembre avec Noble Machines (humanoïde à jambes pour la manutention lourde), Standard Bots (bras industriel six axes) et Ultra (station bimanuelle d'emballage en entrepôt) comme partenaires de lancement, le modèle est un transformeur de diffusion à mélange d'experts de 27 milliards de paramètres qui prédit conjointement vidéo et actions. Poids, code d'inférence et code de fine-tuning (complet ou LoRA) sont disponibles sur GitHub, Hugging Face (avec support natif LeRobot) et vLLM-Omni, avec inférence hébergée sur Reactor. Il tourne sur le matériel NVIDIA, des H100 et B200 aux RTX 5090 et RTX PRO 6000, jusqu'au Jetson Thor embarqué. Côté résultats, Praxis-1 atteint 46,2 % de réussite sur RoboLab-120 (1 200 épisodes), contre 42,9 % pour FLUX 3 Action, 36,8 % pour Cosmos3 Nano et 28,0 % pour π0.5, ce qui le place cinquième au classement général. Après fine-tuning sur le robot RT-1 de Google, absent de ses données d'entraînement, il atteint 80,0 % sur SimplerEnv contre 52,4 % pour la politique RT-1 d'origine. Chez Noble Machines, il a appris à saisir des planches de bois une à une et à les placer dans un conteneur à partir d'une demi-heure d'exemples, avec 15 réussites sur 15, puis a vidé une pile désordonnée de planches inédites en 6 essais sur 10. Pour les intégrateurs et décideurs industriels, l'intérêt tient à la portabilité : un même checkpoint, avec un fine-tuning léger, pilote un humanoïde, un bras unique et une paire de bras, et la licence Apache 2.0 permet de l'adapter sans dépendre d'une API propriétaire. Runway affirme aussi que la vidéo web égale la vidéo téléopérée comme données de pré-entraînement, ce qui, si cela se confirme, déplace le goulot d'étranglement de la collecte coûteuse de démonstrations robotiques vers le volume de vidéo générale. Il faut toutefois nuancer. Les revendications de classement sont présentées par Runway elle-même : le modèle est cinquième au général sur RoboLab, et n'est « premier » que dans les catégories des modèles d'action du monde et des politiques open source de bout en bout. Un taux de 46,2 % en benchmark montre aussi l'écart qui subsiste avec une fiabilité de production. Le 6 sur 10 sur la pile désordonnée vient d'un seul partenaire, sans précision sur les temps de cycle, et reste un test pilote, pas un déploiement commercial. Aucun volume de déploiement ni prix n'est communiqué. Runway, basé à New York et connu pour ses modèles vidéo génératifs, entre en robotique en s'appuyant sur ce socle, et se présente comme membre fondateur de la Cosmos Coalition autour des world models ouverts pour l'IA physique. Le positionnement est explicitement concurrentiel face à NVIDIA (Cosmos3 Nano), à Physical Intelligence (π0.5) et à FLUX 3 Action, dans un marché où les politiques vision-langage-action (VLA) dominent encore. La stratégie open weights vise à fédérer les fabricants de matériel, avec un argumentaire de leadership américain en IA physique défendu par Andy Chen, responsable robotique de Runway. La suite dépendra des retours des partenaires, qui font tourner le modèle sur leur propre matériel depuis septembre, et de l'adoption par la communauté LeRobot. Aucun acteur européen n'est cité dans cette annonce, et aucune échéance de déploiement commercial n'a été précisée.

UELes poids ouverts sous licence Apache 2.0 avec support LeRobot permettent aux intégrateurs et laboratoires européens d'adapter le modèle sans dépendre d'une API propriétaire, mais aucun acteur européen n'est cité.

IA physiqueActu
1 source
Tau-zéro WM : un modèle du monde vidéo-action unifié pour la manipulation robotique
Illustration générée par IA
2arXiv cs.RO 

Tau-zéro WM : un modèle du monde vidéo-action unifié pour la manipulation robotique

Des chercheurs ont déposé le 1er juin 2026 sur arXiv (réf. 2606.01027) τ₀-WM (tau-zéro World Model), une architecture unifiée vidéo-action pour la manipulation robotique. Le modèle repose sur un backbone de diffusion vidéo partagé qui intègre simultanément apprentissage de politique, prédiction vidéo et évaluation d'actions au sein d'un même cadre prédictif. Il expose deux interfaces complémentaires : un modèle d'action vidéo qui prédit conjointement des représentations visuelles latentes futures et des séquences d'actions continues à partir d'observations multi-caméras, d'instructions en langage naturel et de l'état courant du robot ; et un simulateur vidéo conditionné sur l'action, capable de dérouler des séquences candidates en projections multi-vues tout en attribuant des scores denses de progression de tâche. L'entraînement porte sur environ 27 300 heures de données combinant téléopération réelle, interactions de style UMI (Universal Manipulation Interface, protocole de collecte de données en bimanuel développé par Stanford), vidéos égocentrées humaines, et trajectoires de succès comme d'échecs. L'intérêt principal réside dans la convergence entre politique et modèle de monde au sein d'une architecture commune. Les VLA (Vision-Language-Action models) actuels génèrent des actions sans anticiper leurs conséquences, laissant la gestion des erreurs à des modules séparés. τ₀-WM introduit un mécanisme de rectification à l'inférence : le simulateur évalue chaque séquence candidate via un score dense de progression, et les candidats jugés insuffisants sont corrigés par re-débruitage. Ce test-time scaling structuré pourrait réduire les interventions humaines sur des tâches longue durée, un enjeu clé pour les intégrateurs industriels qui peinent encore à déployer des robots autonomes sur des séquences de plus de quelques étapes. Sur les benchmarks de manipulation fine et longue séquence, les auteurs déclarent surpasser les baselines comparables, sans préciser les conditions expérimentales ni les contraintes matérielles testées. Ce travail s'inscrit dans une course engagée depuis fin 2024 entre Physical Intelligence (pi-0), NVIDIA (GR00T N2) et Figure (Helix) pour des architectures VLA à grande échelle, mais rares sont celles qui intègrent simulation interne et évaluation d'action dans un seul modèle plutôt que dans un pipeline découplé. L'usage de données UMI signale une stratégie d'agrégation multi-source qui dépasse les corpus propriétaires et pourrait favoriser la généralisation à de nouveaux environnements. Le papier reste pour l'instant un preprint non soumis à revue par les pairs : les performances annoncées restent à valider sur robot physique en conditions réelles, et aucune date de déploiement ou partenariat industriel n'est mentionné.

IA physiqueOpinion
1 source
Agile-WAM : un modèle d'action-monde tactile agile pour le contrôle robotique en contact riche
Illustration générée par IA
3arXiv cs.RO 

Agile-WAM : un modèle d'action-monde tactile agile pour le contrôle robotique en contact riche

Des chercheurs ont présenté Agile-WAM, un "world action model" (WAM) tactile pour le contrôle robotique en manipulation à contact riche, détaillé dans un preprint arXiv (2609.20761) et sur une page de projet dédiée portant le nom de code TARO. Le modèle encode vision et tactile dans un espace latent partagé, exploité par un processus de flow-matching direct vision-tactile-vers-action qui génère à la fois des séquences d'actions et les latents visuels/tactiles futurs. Sa particularité est une prédiction multimodale à horizons multiples : supervision visuelle à décalage temporel large, les images voisines étant peu différentes, mais prédiction tactile image par image pour capter les changements brusques au moment du contact. Testé sur neuf tâches simulées et cinq tâches réelles de manipulation, Agile-WAM obtient un gain relatif de 29,4% en taux de succès sur les cinq essais réels, pour une latence d'inférence de 11,9 millisecondes. Ce résultat répond à une limite concrète des WAM tactiles existants, qui s'appuient souvent sur de lourds backbones génératifs pré-entraînés au détriment de la latence et du déploiement temps réel. En affichant une inférence à un chiffre de millisecondes tout en dépassant sa meilleure baseline, Agile-WAM suggère qu'un contrôle précis et à haute fréquence, nécessaire dès que le contact évolue plus vite que l'image, ne requiert pas forcément les architectures massives des VLA généralistes type Pi-0 ou GR00T N2. Pour les équipes de recherche et les intégrateurs travaillant sur l'insertion de pièces, l'assemblage ou la préhension fine, l'apport principal est méthodologique : traiter vision et tactile à des échelles temporelles distinctes améliore à la fois précision et efficacité, plutôt qu'une simple fusion multimodale. Le travail s'inscrit dans la lignée des world models robotiques, qui étendent les politiques visuomotrices classiques en apprenant conjointement la dynamique du monde et l'action à produire, une piste déjà suivie par des VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), rarement avec un signal tactile aussi fin. Les auteurs positionnent Agile-WAM contre des WAM tactiles antérieurs jugés trop coûteux en calcul, sans les nommer précisément dans le résumé. Il s'agit à ce stade d'un preprint de recherche non encore revu par les pairs, appuyé par des démonstrations en simulation et cinq essais réels, sans partenaire industriel ni calendrier de déploiement annoncé.

IA physiqueOpinion
1 source
Riemann-1.0 : un modèle d'action du monde incarné pour l'IA physique
Illustration générée par IA
4arXiv cs.RO 

Riemann-1.0 : un modèle d'action du monde incarné pour l'IA physique

Un preprint publie sur arXiv (2608.27033) présente Riemann-1.0, un "World Action Model" causal et autoregressif qui unifie, dans une seule séquence, observations visuelles multi-vues, états du robot et actions spécifiques a chaque embodiment. Le modèle est pré-entraine sur plus de 200 000 heures de données hétérogènes: vidéos humaines a la première personne, démonstrations avec pinces portables et trajectoires de robots varies. Il atteint 94,3% de réussite sur RoboTwin2.0, 99,0% sur LIBERO et 62,6% sur le benchmark compositionnel long-horizon RoboCasa-365, soit 8,4 points de plus que la meilleure méthode antérieure. Sur des taches réelles de manipulation longue durée, il obtient 85,0% de réussite (SR) et 94,4% de progression (PSR), soit 15 points de plus que le meilleur système open source de référence. Le résultat notable n'est pas seulement le score, mais l'architecture: un seul modèle fait a la fois office de politique de contrôle exécutable et de simulateur du monde conditionne par l'action, la ou la plupart des approches séparent prédiction vidéo et génération d'actions. Cela alimente le débat sur le passage a l'échelle des modèles vision-langage-action, en suggérant que des sources bon marche comme la vidéo humaine peuvent compléter des données robotiques rares pour améliorer la généralisation. Pour les intégrateurs, la prudence reste de mise: ces résultats proviennent d'un preprint non relu par les pairs, obtenus sur des benchmarks contrôles et des taches réelles décrites de façon générique, sans précision sur le site de test ni sur un déploiement en production. Riemann-1.0 se positionne contre trois familles de "world models" robotiques existantes, génération conjointe d'actions et d'images, prédiction vidéo suivie d'une politique séparée, ou architectures découplées, jugées limitantes par ses auteurs face a la fragmentation entre simulation du monde et contrôle du robot. L'article ne mentionne ni organisation commerciale a l'origine du projet, ni plateforme robotique associée, ni date de pilote ou de déploiement: il se presente comme un jalon de recherche plutôt que comme un produit livre. Les suites logiques, non confirmées dans le texte, porteraient sur l'extension a davantage d'embodiments et sur des essais en conditions réelles hors laboratoire, dans la lignée des travaux parallèles menés par d'autres laboratoires sur les modèles fondation pour la manipulation robotique.

IA physiqueActu
1 source