Dossier World models

CAP : locomotion humanoïde adaptative en continu et aveugle à la perception, grâce à un débruitage appris

Des chercheurs ont publié le 11 septembre 2026 sur arXiv (2609.11553v1) une méthode baptisée CAP (Continuously Adaptive Perception blind humanoid locomotion via Learned Denoising), conçue pour rendre la marche des robots humanoïdes robuste face aux défaillances de perception en conditions réelles. Le système repose sur une politique de contrôle à étage unique combinant un encodeur "world model" entraîné comme débruiteur, capable de reconstruire une image de profondeur propre à partir d'une entrée corrompue, et un encodeur proprioceptif variationnel qui fournit des informations sur l'état du corps indépendantes de la vision. L'entraînement couple un curriculum de bruit de profondeur appliqué à l'entrée du world model avec un dropout des caractéristiques transmises à la politique, exposant le système à toute la gamme de qualité de perception, du signal propre à l'aveugle total. Les tests ont été menés en simulation, puis sur le robot humanoïde Unitree G1 lors d'essais contrôlés et de déploiements en intérieur comme en extérieur, incluant occlusion intermittente, bruit de capteur réel et artefacts de profondeur liés à la lumière du jour. L'enjeu dépasse la prouesse académique. La plupart des politiques de locomotion perceptive existantes supposent une profondeur toujours propre et conforme à la distribution d'entraînement, tandis que les approches hybrides récentes basculent entre une sous-politique voyante et une sous-politique aveugle, perdant l'information partiellement exploitable d'une profondeur dégradée. CAP montre qu'un système unique, entraîné à débruiter plutôt qu'à commuter, se dégrade plus progressivement qu'une architecture à bascule binaire quand la perception se détériore, tout en égalant ou dépassant les politiques perceptives classiques quand la profondeur reste fiable. Pour les intégrateurs et décideurs industriels qui envisagent des humanoïdes en entrepôt ou en extérieur, c'est un signal concret que le vrai goulot d'étranglement reste la résilience aux capteurs bruités, plus que le rendu en démonstration contrôlée. Ce travail s'inscrit dans une vague de recherche académique sur la locomotion humanoïde tout-terrain, où les capteurs de profondeur embarqués (caméras stéréo, lidar) restent le point faible face aux occlusions, à la poussière ou au soleil direct en extérieur. Contrairement aux annonces commerciales de Figure AI, Tesla ou Unitree lui-même, il s'agit ici d'une publication de recherche (preprint arXiv, non encore revu par les pairs), utilisant le G1 de Unitree comme plateforme matérielle standard de test plutôt que comme produit final. Aucun calendrier de déploiement commercial n'est mentionné; les auteurs positionnent CAP comme une alternative architecturale aux politiques à commutation binaire déjà publiées, avec pour perspective d'étendre ce mécanisme de débruitage à des politiques de locomotion perceptive couvrant d'autres capteurs que la profondeur.

Le boom des robots humanoïdes en Chine (partie III) : quand aura lieu leur moment ChatGPT ?

Cinq entreprises chinoises ont concentré 86% des livraisons mondiales de robots humanoïdes au premier semestre 2026, selon Counterpoint Research, confirmant l'avance chinoise en volume sur ce marché naissant. Les levées de fonds suivent : la division robotique de XPeng a recueilli plus de 900 millions de dollars en août, la valorisant à plus de 6,3 milliards de dollars, et Galbot a levé 2,5 milliards de yuans (362 millions de dollars) en mars, après un tour de plus de 300 millions fin 2025 qui l'avait valorisée environ 3 milliards. Les humanoïdes sont testés dans l'automobile, l'électronique, la logistique, l'aérospatiale et l'énergie, mais la commercialisation reste précoce, entre achats unitaires, préorders et pilotes, sans commandes répétées à grande échelle. Au BEYOND Expo, Fu Sheng, PDG de Cheetah Mobile et président d'OrionStar, a rappelé que le vrai défi est "le dernier 1%" : un taux de succès de 99% laisse un échec toutes les cent tentatives. Selina Xu, du bureau IA d'Eric Schmidt, juge que les entreprises chinoises avancent plus vite et plus large que leurs rivales américaines. Cet écart entre volume et maturité commerciale est le point clé pour intégrateurs et décideurs industriels. Les modèles vision-langage-action et les "world models" restent précoces, et Nvidia domine la pile logicielle robotique de bout en bout, laissant de nombreuses startups chinoises dépendantes de ses puces Orin, même si des fondeurs locaux développent des alternatives. Pour Jiang Han, chercheur au Pangoal Institution, les commandes répétées et le délai de retour sur investissement client sont les vrais signaux qu'un robot résout un problème réel, plus que le coût de fabrication seul : l'avantage durable de la Chine tiendrait à la combinaison de coûts bas et d'itération rapide, matérielle et logicielle. La donnée reste un goulot d'étranglement : impossible d'extraire des exemples d'interaction physique depuis internet comme pour les grands modèles de langage, d'où le recours aux données synthétiques, à la simulation et à l'apprentissage par renforcement. Harry Mellsop, cofondateur d'Antioch, compare l'IA physique à "l'ère GPT-2", avant le saut de ChatGPT. Trois facteurs structurent cette avance, selon la troisième partie de l'enquête de TechNode sur le boom humanoïde chinois : le coût, l'accès au capital et un vaste terrain d'essai. La base industrielle chinoise, adossée à la chaîne d'approvisionnement des véhicules électriques pour batteries et capteurs, permet un sourcing local, une itération rapide et des prix plus bas que chez les rivaux américains. Face à la domination logicielle de Nvidia, des acteurs chinois cherchent des alternatives aux puces Orin, enjeu autant technologique que souverain. La sécurité reste un risque : un accident médiatisé pourrait déclencher un retour de bâton réglementaire. Reste le calendrier : Sam Altman évoque un "moment ChatGPT" pour l'humanoïde à quelques années, mais l'article souligne que ce basculement dépendra moins des démonstrations spectaculaires déjà vues que de la fiabilité et de la rentabilité prouvées dans la durée.

HaWMPO : optimisation de politique par modèle du monde conscient des hallucinations pour robots généralistes

Des chercheurs présentent HaWMPO (Hallucination-aware World Model-based Policy Optimization), une méthode de post-entraînement pour les politiques génératives robotiques de type Visual-Language-Action (VLA), décrite dans un article publié le 9 septembre 2026 (arXiv:2609.09941). Le problème visé : entraîner ces politiques par apprentissage par renforcement en ligne directement sur robot réel coûte cher, consomme beaucoup d'interactions physiques et présente des risques matériels et de sécurité. L'alternative, l'usage de "world models" pour simuler des trajectoires imaginées, souffre elle-même d'hallucinations lors de prédictions à long horizon, ce qui biaise les transitions d'état et dégrade l'apprentissage. HaWMPO introduit un modèle conditionné par l'action qui estime la fiabilité des séquences d'images générées, puis injecte ce score d'hallucination dans une optimisation de politique par comparaison de groupe (group relative policy optimization), via un mécanisme "Reward-Soft" qui pénalise les segments d'action jugés peu fiables. Sur le benchmark LIBERO, la méthode obtient le meilleur taux de réussite moyen, avec un gain de 15,0 points par rapport au modèle de base et 2,8 points par rapport à la meilleure méthode concurrente testée. En conditions réelles, sur un robot humanoïde Unitree G1, le taux de réussite moyen sur deux tâches de manipulation passe de 67,5% à 80,0%. Pour l'industrie robotique, ce travail s'attaque directement à un goulot d'étranglement connu des politiques VLA génralistes : leur bon comportement en zero-shot ne se traduit pas en fiabilité sur des tâches longues et complexes, et le raffinement par renforcement réel reste trop coûteux pour être industrialisé. En démontrant qu'un world model peut servir de terrain d'entraînement simulé à condition de filtrer ses propres hallucinations, l'étude apporte un élément concret au débat sur la viabilité du sim-to-real pour les VLA à grande échelle, sans prétendre le résoudre entièrement puisque les gains restent mesurés sur un nombre limité de tâches. HaWMPO s'inscrit dans la lignée des politiques génralistes récentes comme Pi-0, GR00T N2 ou Helix, qui cherchent à généraliser la manipulation robotique au-delà de tâches uniques entraînées spécifiquement. Le choix du G1 de Unitree comme plateforme d'essai réel confirme son adoption croissante comme banc de test académique pour la manipulation bimanuelle. L'article ne mentionne ni acteur français ou européen, ni feuille de route de déploiement industriel ; il s'agit à ce stade d'une contribution de recherche évaluée sur benchmark et sur un nombre restreint d'expériences réelles, sans indication de calendrier vers une intégration commerciale.

Identifier l'habitude, la physique et la nuisance dans les modèles du monde des robots

Une équipe de recherche propose, dans un article publié sur arXiv (référence 2609.09210v1), une méthode pour décomposer les données de démonstrations téléopérées utilisées pour entraîner les modèles du monde en robotique. Le constat de départ est que ces démonstrations, collectées par téléopération, apparaissent multimodales même quand la dynamique physique sous-jacente est quasi déterministe une fois l'action connue. Les auteurs identifient trois facteurs mélangés dans ce bruit apparent : l'habitude de l'opérateur humain dans le choix des actions, la physique partagée du système, et le "nuisance" lié à l'observation (apparence, angle de caméra). Ils formalisent cette décomposition via un modèle causal structurel (a=g(h,z,u), z'=f(z,a), o=r(z,c)) et le valident par des interventions ciblées : remplacer ou mélanger les actions à état fixe dégrade fortement l'erreur de prédiction de l'état suivant, alors que des changements d'apparence ou de caméra ne devraient pas l'affecter. La règle d'adaptation qui en découle consiste à figer la partie du modèle qui lit la physique partagée et à ne mettre à jour qu'une fine interface. Testée sur trois bancs d'essai de manipulation robotique, StackCube, DROID et RH20T, cette approche améliore le transfert en few-shot par rapport à un entraînement complet from scratch, tout en conservant une dynamique plus propre face à des données d'adaptation corrompues. Cette contribution s'adresse directement à un point de friction connu des modèles vision-langage-action (VLA) et des world models robotiques : la difficulté à distinguer, dans des vidéos de démonstration, ce qui relève du vrai comportement physique de ce qui n'est qu'artefact de capture ou tic de l'opérateur humain. En proposant une méthode pour isoler ces facteurs sans tout réentraîner, les auteurs offrent une piste concrète pour réduire le coût d'adaptation des modèles de manipulation à de nouveaux environnements ou capteurs, un enjeu central pour les intégrateurs qui cherchent à déployer l'apprentissage par imitation à moindre coût de données. Le travail s'inscrit dans la lignée des recherches sur les architectures VLA et les world models pour la manipulation robotique, où les gains rapportés par StackCube, DROID et RH20T servent de référence communautaire pour comparer les méthodes de transfert. Les auteurs prennent soin de délimiter leur contribution : ils ne prétendent pas que les actions latentes équivalent à l'habitude de l'opérateur, ni ne visent les benchmarks de génération vidéo à grande échelle, signalant une portée volontairement méthodologique plutôt qu'un système de production prêt à déployer.

DUET-DINO : modélisation simultanée du monde multi-vue pour la planification latente en manipulation robotique

Des chercheurs affiliés au laboratoire UTN-AIR publient DUET-DINO, un modèle de monde latent conditionné par l'action, décrit dans une prépublication arXiv du 10 septembre 2026 (arXiv:2609.10506). Le système apprend simultanément à partir de deux flux vidéo, une caméra statique de scène et une caméra montée sur le poignet du bras robotique, en les faisant se conditionner mutuellement, pour prédire les conséquences visuelles d'une action sur l'ensemble des 7 degrés de liberté (DOF) d'un effecteur terminal. Entraîné à partir de zéro sur les jeux de données DROID et RoboArena, il atteint 92% de réussite sur des tâches d'atteinte spatiale (reach), 72,5% sur des tâches d'atteinte avec orientation fine (angled-reach) et 60,0% sur des tâches de préhension et levage d'objet (grasp-and-lift), surpassant des versions à vue unique ou à double vue non couplée. Les auteurs comparent aussi deux briques de vision : les prédictions du modèle V-JEPA 2 sur la vue poignet sous-estiment la dynamique visuelle induite par des actions fines, tandis que DINOv3 capture mieux ces changements et améliore la planification en aval. Le code et les poids seront publiés en open source, mais ne le sont pas encore à ce stade. L'enjeu technique visé est concret : les modèles de monde latents existants échouent souvent sur les actions spatiales et rotationnelles fines, ce qui limite leur usage pour un contrôle précis en 7 DOF, indispensable à des tâches d'insertion, de saisie orientée ou de manipulation fine en usine. En couplant vue globale de scène et vue centrée sur la pince, DUET-DINO cherche à combler cet écart pour permettre une planification zero-shot conditionnée par objectif, sans réentraînement spécifique à chaque tâche. Pour les intégrateurs et décideurs robotique, le résultat le plus utile n'est pas tant les scores de réussite, encore modestes sur des tâches de préhension complexes, que l'indication empirique que le choix du backbone visuel (DINOv3 plutôt que V-JEPA 2) conditionne directement la qualité de la planification en aval, un signal utile pour quiconque construit des architectures VLA ou de modèles de monde. Ce travail s'inscrit dans la lignée des modèles de monde auto-supervisés type V-JEPA de Meta et des familles DINOv2/DINOv3, plutôt que dans celle des politiques VLA de bout en bout comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui apprennent directement une politique d'action plutôt qu'un modèle prédictif séparé. DUET-DINO reste à ce stade une publication de recherche évaluée sur des bancs d'essai contrôlés, sans déploiement industriel annoncé ; les auteurs promettent la publication du code et des checkpoints ainsi qu'une page projet dédiée, mais aucun calendrier de mise à disposition n'est précisé.

Modèles du monde de robots persistants : stabiliser les déploiements multi-étapes par apprentissage par renforcement

Des chercheurs publient sur arXiv (2603.25685) une méthode de post-entraînement par apprentissage par renforcement (RL) pour stabiliser les "world models" robotiques, ces réseaux qui génèrent des vidéos futures d'une scène manipulée à partir d'une séquence d'actions du robot. Le problème identifié : ces modèles, entraînés pour la prédiction court terme, se dégradent rapidement en usage autorégressif, chaque clip prédit servant de contexte au suivant, ce qui accumule les erreurs et détériore la qualité visuelle. L'équipe adapte un objectif RL contrastif récent, conçu pour les modèles de diffusion, à ce contexte de rollout vidéo, avec des garanties de convergence conservées. Le protocole génère et compare plusieurs futurs candidats de longueur variable depuis un même état, en renforçant les prédictions les plus fidèles, et introduit une récompense de fidélité visuelle multi-vues combinant plusieurs métriques perceptuelles agrégées au niveau du clip. Résultat annoncé sur le jeu de données DROID : un nouvel état de l'art en fidélité de rollout, avec LPIPS réduit de 14% sur les caméras externes, SSIM amélioré de 9,1% sur la caméra poignet, 98% de comparaisons gagnées face à la meilleure référence, et 80% de préférence dans une étude humaine en aveugle. Cette avancée s'adresse directement à un goulot d'étranglement connu des architectures VLA (vision-language-action) et des pipelines d'apprentissage par simulation : la capacité d'un world model à rester cohérent sur des horizons longs, condition nécessaire pour l'utiliser comme simulateur d'entraînement ou pour de la planification par recherche d'actions. Un world model qui décroche visuellement après quelques secondes ne peut servir ni à entraîner une politique robuste ni à évaluer des comportements complexes, ce qui limitait jusqu'ici leur usage à des démonstrations courtes. Si les gains se confirment au-delà de DROID, cela renforcerait l'argument selon lequel les world models vidéo peuvent remplacer, au moins partiellement, les moteurs physiques classiques pour des tâches de manipulation difficiles à modéliser, un enjeu suivi de près par les équipes travaillant sur des politiques génériques type GR00T N2, Pi-0 ou Helix. DROID est un jeu de données de manipulation robotique multi-caméras largement utilisé comme banc d'essai académique, ce qui situe ce travail dans le champ de la recherche plutôt que du produit déployé ou du pilote industriel. La démarche s'inscrit dans une lignée de travaux appliquant des techniques de RL post-entraînement, éprouvées sur les grands modèles de langage, aux modèles de diffusion vidéo. L'article étant une "replace" (version révisée) sur arXiv, il s'agit d'une contribution scientifique en évolution, sans annonce de partenariat industriel, de déploiement ni de calendrier commercial à ce stade.

RoboPhys-3D : évaluation complète des modèles du monde incarnés par reconstruction 3D

Une équipe de recherche présente RoboPhys-3D, un benchmark d'évaluation pour les world models vidéo embarqués (embodied world models, EWM), construit sur RoboTwin 2.0. Il couvre 50 tâches de manipulation réparties en quatre régimes, avec 5 000 épisodes et 25 000 vidéos multi-vues de référence. Particularité du protocole : les vidéos générées et les vidéos de référence passent par le même pipeline de reconstruction 3D, ce qui permet de distinguer l'erreur due à la reconstruction de celle due à la génération elle-même. Le benchmark organise 50 métriques en 18 sous-dimensions réparties sur quatre niveaux : fidélité au pixel, cohérence géométrique 3D, compréhension de l'état de la scène et complétude de la tâche. Deux scores composites en découlent : l'Average Full Score, qui moyenne les 50 métriques, et le RoboPhyscore, centré sur les métriques les plus corrélées au succès réel de la tâche. Sur quatre world models vidéo testés, Cosmos 3 obtient le meilleur RoboPhyscore (0,6330, soit 92,7% du score de référence), et ce score affiche une forte corrélation avec l'évaluation humaine (Pearson r = 0,9761, Spearman rho = 0,8962). Ce travail comble un angle mort de l'évaluation des world models pour la robotique : la plupart des benchmarks existants jugent la qualité visuelle ou sémantique des vidéos générées via des juges perceptuels ou des modèles vision-langage, sans vérifier si la scène 3D reste physiquement exploitable pour piloter un robot. Or les métriques ancrées dans l'état de la scène et dans l'exécutabilité des actions révèlent des échecs substantiels que ces jugements perceptuels ou VLM ne détectent pas, un écart classique entre qualité d'image perçue et utilité réelle pour la planification. Pour les équipes qui exploitent des world models comme moteurs de données synthétiques, planificateurs d'actions ou simulateurs, cela signale qu'un bon score de fidélité visuelle ne garantit pas un rollout exploitable en aval. La forte corrélation du RoboPhyscore avec le jugement humain suggère en revanche qu'une métrique compacte et ancrée dans l'exécution pourrait remplacer une évaluation humaine coûteuse à grande échelle. Ce besoin découle de l'absence, jusqu'ici, d'un standard 3D unifié pour vérifier si un rollout généré préserve l'état réel de la scène, les benchmarks EWM existants restant majoritairement 2D ou basés sur des scores subjectifs. RoboPhys-3D positionne Cosmos 3, la gamme de world models vidéo de NVIDIA, comme la plus performante parmi les quatre testées, sans détailler ici les trois autres modèles comparés ni de calendrier de déploiement industriel : il s'agit d'un travail de recherche en évaluation (preprint arXiv 2608.28718v1), pas d'une annonce produit. Il s'inscrit dans une dynamique plus large où les world models vidéo sont de plus en plus proposés comme substituts à la simulation physique classique pour entraîner des politiques de manipulation robotique, et la publication de ce protocole ouvre la voie à des comparaisons plus rigoureuses à mesure que de nouvelles versions de ces modèles sortiront.

Riemann-1.0 : un modèle d'action du monde incarné pour l'IA physique

Un preprint publie sur arXiv (2608.27033) présente Riemann-1.0, un "World Action Model" causal et autoregressif qui unifie, dans une seule séquence, observations visuelles multi-vues, états du robot et actions spécifiques a chaque embodiment. Le modèle est pré-entraine sur plus de 200 000 heures de données hétérogènes: vidéos humaines a la première personne, démonstrations avec pinces portables et trajectoires de robots varies. Il atteint 94,3% de réussite sur RoboTwin2.0, 99,0% sur LIBERO et 62,6% sur le benchmark compositionnel long-horizon RoboCasa-365, soit 8,4 points de plus que la meilleure méthode antérieure. Sur des taches réelles de manipulation longue durée, il obtient 85,0% de réussite (SR) et 94,4% de progression (PSR), soit 15 points de plus que le meilleur système open source de référence. Le résultat notable n'est pas seulement le score, mais l'architecture: un seul modèle fait a la fois office de politique de contrôle exécutable et de simulateur du monde conditionne par l'action, la ou la plupart des approches séparent prédiction vidéo et génération d'actions. Cela alimente le débat sur le passage a l'échelle des modèles vision-langage-action, en suggérant que des sources bon marche comme la vidéo humaine peuvent compléter des données robotiques rares pour améliorer la généralisation. Pour les intégrateurs, la prudence reste de mise: ces résultats proviennent d'un preprint non relu par les pairs, obtenus sur des benchmarks contrôles et des taches réelles décrites de façon générique, sans précision sur le site de test ni sur un déploiement en production. Riemann-1.0 se positionne contre trois familles de "world models" robotiques existantes, génération conjointe d'actions et d'images, prédiction vidéo suivie d'une politique séparée, ou architectures découplées, jugées limitantes par ses auteurs face a la fragmentation entre simulation du monde et contrôle du robot. L'article ne mentionne ni organisation commerciale a l'origine du projet, ni plateforme robotique associée, ni date de pilote ou de déploiement: il se presente comme un jalon de recherche plutôt que comme un produit livre. Les suites logiques, non confirmées dans le texte, porteraient sur l'extension a davantage d'embodiments et sur des essais en conditions réelles hors laboratoire, dans la lignée des travaux parallèles menés par d'autres laboratoires sur les modèles fondation pour la manipulation robotique.

CLAP : les modèles du monde vidéo à embodiment croisé, des simulateurs physiques sans apprentissage spécifique

Une nouvelle prépublication arXiv décrit CLAP, un framework de génération vidéo conditionnée par l'action capable d'apprendre simultanément sur des vidéos humaines et robotiques hétérogènes à l'échelle d'internet, plutôt que de rester cantonné à une seule plateforme comme la plupart des modèles existants. Il unifie les espaces d'action, incompatibles entre robots et absents des vidéos humaines, via trois représentations combinées : poses de l'effecteur terminal, instructions en langage naturel et actions latentes apprises automatiquement. L'entraînement suit un curriculum en deux temps, acquérant d'abord des a priori physiques génériques sur des vidéos non annotées avant de les ancrer dans l'espace des poses d'effecteur pour un déploiement zero-shot sur des tâches réelles. Sur le benchmark DROID, CLAP égale voire dépasse les modèles vidéo spécialisés à une seule plateforme, et a aussi été évalué sur Bridge, des robots bimanuels YAM et des humanoïdes G1 ; code et modèles sont publiés en open source sur omni-clap.github.io. L'enjeu dépasse la performance sur un benchmark : la plupart des modèles vidéo servant de simulateurs physiques pour entraîner ou évaluer des politiques robotiques restent liés à une seule plateforme, obligeant à recollecter des données coûteuses à chaque nouveau robot. En montrant qu'un modèle entraîné sur un corpus mixte humains et robots peut égaler des modèles spécialisés puis les dépasser via un fine-tuning few-shot, CLAP esquisse un paradigme où un modèle de monde générique s'adapte à moindre coût à chaque nouvel embodiment, un argument pertinent pour les intégrateurs qui multiplient bras bimanuels et humanoïdes. La promesse d'un simulateur physique « zero-shot » reste néanmoins à nuancer, les résultats portant sur des benchmarks académiques contrôlés plutôt que sur un déploiement industriel. Ce travail s'inscrit dans la multiplication des modèles de monde vidéo appliqués à la robotique, où la génération vidéo sert de plus en plus de proxy de simulation pour entraîner des politiques d'action sans multiplier les essais réels, un usage jusque-là limité par l'incompatibilité des espaces d'action et par l'absence de labels dans les vidéos humaines, qui composent pourtant l'essentiel des données disponibles à l'échelle d'internet. Les bancs d'essai (DROID, Bridge) et plateformes testées (bras bimanuels YAM, humanoïde G1) sont des références standard de la recherche en apprentissage robotique, ce qui situe CLAP comme un travail académique plutôt qu'un produit commercial. Les auteurs, qui publient l'ensemble du code et des modèles, présentent le fine-tuning few-shot comme la piste principale pour étendre ce paradigme à de nouvelles plateformes, sans calendrier de déploiement industriel annoncé.

Robots humanoïdes : AgiBot pousse les entreprises vers l'IA et redéfinit la compétition en IA incarnée

En 2026, la société chinoise AgiBot a poursuivi le développement de sa gamme de robots humanoïdes, dont le modèle Expedition A3, tout en construisant une pile logicielle complète pour l'IA incarnée. En avril, elle a lancé GO-2, son modèle fondation robotique, censé renforcer la compréhension, la planification et l'exécution de tâches par les robots. Sa plateforme de simulation Genie Sim 3.0 a ouvert plus de 10 000 heures de données synthétiques et un système d'évaluation couvrant plus de 100 000 scénarios, selon l'entreprise. Ces outils complètent AGIBOT WORLD, sa base de données rassemblant des millions d'échantillons collectés en conditions réelles, et le modèle GE-2 Action World Model. AgiBot a aussi lancé la Hive Data Co-Creation Initiative, visant une production de données à l'échelle de dizaines de millions d'heures d'ici fin 2026. Aucun prix ni volume de déploiement commercial n'est précisé. Cette bascule traduit un changement de fond dans la compétition humanoïde mondiale: la maîtrise mécanique, agilité, fiabilité, coût, cesse d'être le seul facteur différenciant à mesure que plusieurs acteurs règlent les bases du mouvement robotique. Le nouveau verrou se déplace vers l'apprentissage: un robot peut-il comprendre un environnement inconnu, exécuter une tâche non programmée, ou transférer l'expérience d'une unité à toute une flotte? Pour les intégrateurs et décideurs industriels, l'évaluation d'un fournisseur doit désormais porter autant sur le volume et la qualité des données d'entraînement, la robustesse des modèles fondation et la vitesse d'itération, que sur les spécifications du châssis. Le pari d'AgiBot, boucler un cycle continu entre données réelles, simulation, entraînement et exécution, reste à valider à grande échelle: les chiffres de simulation avancés par l'entreprise ne sont pas vérifiés de façon indépendante. Ce virage s'inscrit dans une trajectoire sectorielle plus large où les frontières entre fabricants de robots et laboratoires d'IA s'estompent, à l'image de Physical Intelligence (modèles Pi-0), NVIDIA (GR00T N2) ou Figure AI (modèle Helix), qui combinent tous hardware et modèles génériques entraînés sur de vastes corpus robotiques. Le matériel reste néanmoins loin d'être secondaire: fiabilité mécanique, maîtrise des coûts et capacité de fabrication à grande échelle continueront de déterminer si ces robots passent réellement de l'usine pilote à l'entrepôt en production. AgiBot ne communique, dans cette annonce, ni calendrier précis de déploiements pilotes ni partenaires industriels nommés pour l'Expedition A3 ou les prochaines itérations de GO-2 et Genie Sim, laissant ouverte la question du passage de cette architecture intégrée à des cas d'usage commerciaux vérifiables.

DreamX-Phi 1.0 : modèle du monde vidéo conditionné par l'action pour la manipulation robotique

DreamX-Phi 1.0, un modèle de monde vidéo conditionné par l'action pour la manipulation robotique, est présenté dans un article déposé sur arXiv (2608.13489v1). À partir d'une image observée, d'une instruction en langage naturel et d'une séquence d'actions prescrite, poses de l'effecteur terminal et états du gripper, le système prédit les observations vidéo futures correspondantes. Pour éviter qu'une vidéo réaliste en apparence déplace le mauvais bras ou fasse disparaître l'objet manipulé, les auteurs injectent des transformations géométriques SE(3) propres à chaque bras dans les couches d'attention via un encodage de type PRoPE, complété par une branche de profondeur pour la géométrie de la scène et des masques SAM3 associés à un modèle enseignant V-JEPA figé pour maintenir la cohérence des objets durant la saisie. Le générateur multi-étapes est ensuite distillé en un modèle étudiant à peu d'étapes pour accélérer le déploiement. Le modèle revendique la première place sur la Track 1 et la deuxième sur la Track 2 du WorldArena 2.0 Challenge, avec publication annoncée du modèle et du code. Cette approche s'attaque à un problème central des modèles de monde appliqués à la robotique: une vidéo générée peut paraître photoréaliste tout en étant physiquement incohérente avec les commandes envoyées au robot, ce qui invalide son usage pour l'entraînement de politiques ou la planification. En ancrant la génération vidéo sur la géométrie rigide réelle de chaque bras et en préservant l'identité des objets manipulés, DreamX-Phi cherche à combler l'écart entre démonstration visuelle convaincante et fidélité exploitable pour le contrôle. La distillation en modèle étudiant à peu d'étapes répond à une contrainte pratique bien connue des intégrateurs: les modèles de monde vidéo multi-étapes sont souvent trop lents pour une boucle de contrôle temps réel, ce qui limite sinon leur usage à la simulation ou à l'évaluation hors ligne. Le classement sur WorldArena 2.0 reste toutefois un résultat de benchmark académique et non une validation en conditions réelles sur un robot physique. DreamX-Phi s'inscrit dans une vague plus large de modèles de monde vidéo pour la robotique, qui cherchent à compléter ou remplacer les architectures vision-langage-action comme Pi-0 ou GR00T N2 par une simulation générative directe des conséquences d'une action. Le recours à SAM3 pour la segmentation et à V-JEPA comme enseignant figé situe le projet dans la lignée des modèles de représentation vidéo auto-supervisés récents plutôt que dans une pile propriétaire fermée. À ce stade, aucune information ne mentionne de déploiement sur un robot physique ni de partenariat industriel: il s'agit d'un article de recherche accompagné d'un résultat de compétition, le modèle et le code étant seulement annoncés comme à venir. La suite logique, si cette promesse de publication est tenue, sera l'adoption du modèle comme brique de simulation ou d'évaluation par d'autres équipes travaillant sur la manipulation robotique.

RIFT : garder l'avenir, laisser tomber le déploiement pour les modèles vision-langage-action

Une équipe de recherche présente RIFT (Rollout-free Imagination via Future Tokens), une méthode qui accélère l'inférence des modèles d'action du monde (world action models, WAM) utilisés en robotique pour prédire l'action d'un robot à partir d'un futur visuel anticipé. L'étude (arXiv:2608.11521) teste quatre WAM sur les 40 tâches du benchmark LIBERO. Pour les modèles Joint et Cosmos-2, rejouer un seul cache clé/valeur (K/V) figé correspondant à l'état final préserve quasiment l'exécution d'origine, avec 1,7 à 1,9 cm d'erreur de déplacement de l'effecteur et 97,9% à 98,2% de réussite. RIFT construit ce cache complet en une seule passe grâce à des tokens d'anticipation appris, sans génération vidéo itérative : 98,8% de réussite sur LIBERO, contre 98,4% à 98,6% pour les méthodes à rollout Joint, IDM et LingBot-VA, avec une latence par segment d'action réduite de 68,2% à 89,1%. Sur RoboTwin 2.0, RIFT atteint 92,9% et 92,6% de réussite en scènes propres et randomisées, le meilleur score des méthodes testées. L'enjeu dépasse le simple gain de vitesse : un robot n'a pas besoin de régénérer vidéo après vidéo pour agir, seule la représentation finale du futur comptant pour la politique d'action. Pour les intégrateurs et décideurs robotique B2B, cela cible directement le goulot d'étranglement des architectures VLA et WAM en conditions réelles, le rollout vidéo itératif, coûteux en calcul, qui limite la fréquence de commande et les temps de cycle exploitables en production. Une réduction de latence de 68% à 89% sans perte de précision notable, si elle se confirme au-delà des benchmarks de simulation, rapprocherait ces modèles prédictifs des contraintes temps réel de la manipulation industrielle. Ces résultats restent toutefois obtenus en simulation (LIBERO, RoboTwin), sans déploiement documenté sur robot physique. Cette recherche s'inscrit dans la lignée des modèles vision-langage-action (VLA) et des world models qui conditionnent la génération d'actions robotiques sur des futurs visuels imaginés, une approche portée notamment par Cosmos, le modèle de monde de Nvidia, et comparable en esprit aux travaux autour de GR00T N2 ou Pi-0. Le résumé ne précise ni affiliation institutionnelle ni laboratoire, et l'article reste à ce stade une preprint arXiv non revue par les pairs ; aucun acteur européen n'y est mentionné. Les prochaines étapes attendues concernent la validation sur des tâches de manipulation plus complexes que LIBERO et RoboTwin, ainsi qu'un éventuel transfert vers des plateformes robotiques physiques, condition nécessaire avant toute intégration industrielle.

JEPA-WAM : des politiques vision-langage-action apprises par modélisation du monde à embarquement conjoint

JEPA-WAM, un nouveau modèle de monde latent (world action model, WAM) pour le contrôle robotique, est présenté dans un article publié le 11 août 2026 sur arXiv (2608.09381v1). Le système s'appuie sur l'espace latent pré-entraîné V-JEPA, l'architecture d'auto-supervision vidéo développée par Meta AI, et couple prédiction de transition et génération d'action continue via un prédicteur partagé, plutôt que de générer explicitement des vidéos futures comme le font les WAM à base vidéo, coûteux à déployer. Sur le benchmark LIBERO-Plus, JEPA-WAM atteint 79,2 % de réussite, le meilleur score parmi les méthodes sans pré-entraînement à grande échelle sur des politiques robotiques. Instancié sur le modèle pi0.5 déjà pré-entraîné, il grimpe à 86,3 %, la meilleure performance globale rapportée dans l'article. Des expériences complémentaires sur le simulateur RoboTwin 2.0 et sur des tâches de manipulation bimanuelle en conditions réelles confirment une bonne généralisation face aux variations visuelles et spatiales. Ce travail s'attaque à un compromis central dans l'apprentissage de politiques vision-langage-action (VLA) : les modèles de monde générant explicitement des vidéos futures sont coûteux en calcul et en latence, tandis que les approches latentes existantes sacrifient souvent la richesse de la représentation prédictive ou la séparent du chemin utilisé pour générer l'action. En démontrant qu'un même prédicteur partagé peut porter à la fois la supervision de transition et la prédiction d'action sans déconnecter représentation et politique, JEPA-WAM fournit un argument empirique en faveur de l'unification des deux tâches dans une même colonne vertébrale visuelle. Pour les équipes de recherche et les intégrateurs en robotique, l'intérêt pratique tient au fait que la méthode s'applique aussi à des politiques VLA déjà pré-entraînées, comme pi0.5, sans modifier leurs chemins de perception et d'action d'origine, ce qui laisse entrevoir un gain applicable à des systèmes existants plutôt qu'une architecture entièrement nouvelle à réentraîner. Il s'agit d'un article de recherche publié sur arXiv, sans annonce de produit ni de déploiement commercial : les résultats reposent sur des benchmarks de simulation (LIBERO-Plus, RoboTwin 2.0) complétés par des essais réels limités en manipulation bimanuelle, sans précision sur le nombre de robots ou les sites concernés. JEPA-WAM s'inscrit dans la lignée des architectures d'apprentissage par prédiction latente issues de V-JEPA, et se positionne face à l'écosystème grandissant des politiques VLA telles que pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Les auteurs ne précisent aucun calendrier de suite, pilote industriel ou partenariat, ce qui situe cette publication au stade de la recherche fondamentale plutôt qu'à une étape de déploiement à court terme.

BWM : un simulateur de monde haute-fidélité à faible coût pour l'apprentissage robotique

Boundless World Model (BWM) est un simulateur de monde open source, présenté fin juillet dans une prépublication arXiv, conçu pour l'apprentissage de la manipulation robotique. Le système est un modèle de monde conditionné par l'action : il combine un guidage par l'observation initiale, un historique visuel dynamique et un conditionnement temporellement aligné sur les actions du robot pour prédire, de façon autorégressive et avec état, les observations futures découlant d'une séquence de commandes. Les données d'entraînement sont construites par rejeu de trajectoires, échantillonnage de clips qui se chevauchent et enrichissement des observations initiales. Sur le benchmark WorldArena, BWM se classe premier toutes catégories confondues, en tête du Track 1 et des deux applications du Track 2, avec des validations complémentaires sur robots physiques. L'ensemble du code d'entraînement et d'inférence, les poids du modèle et les interfaces de génération de données et d'évaluation de politiques sont publiés en accès libre. L'intérêt pratique tient à deux usages distincts que le papier documente. D'abord comme moteur de données : BWM génère des rollouts alignés sur l'action pour augmenter les jeux de données d'apprentissage par imitation, un poste de dépense généralement coûteux en téléopération réelle. Ensuite comme évaluateur de politiques en boucle fermée, capable d'anticiper des échecs avant tout passage sur matériel physique et de classer plusieurs politiques candidates sans risque. Cette approche répond directement à une limite connue des simulateurs physiques classiques, qui exigent une construction et un calibrage d'assets coûteux tout en conservant un écart sim-to-real, et à celle des générateurs vidéo génériques, qui manquent de contrôle fin sur la réponse aux actions du robot. Un simulateur combinant fidélité visuelle et contrôlabilité par l'action, à faible coût, constituerait une brique utile pour les équipes qui manquent de données réelles denses. Le papier s'inscrit dans une tendance de recherche récente qui cherche à remplacer ou compléter les moteurs physiques (type MuJoCo ou Isaac Sim) par des modèles de monde appris, à la manière des approches vidéo-générative appliquées à la robotique. La victoire revendiquée au WorldArena Challenge reste toutefois à confirmer par une adoption indépendante : les métriques de classement d'un benchmark récent et la portabilité réelle vers des politiques de production restent les points à surveiller dans les prochains mois, notamment via les retours de la communauté sur l'écosystème open source publié.

Fluidifier la génération de mondes : Enfold intègre son calcul dans des représentations prédictives pour un contrôle incarné efficace

Des chercheurs présentent Enfold, une méthode qui transfère le calcul effectué par les modèles génératifs de "monde" (world models) dans une représentation prédite directement à partir de l'observation présente et de l'instruction en langage naturel, sans générer de vidéo future à chaque étape. Pendant l'entraînement, les états intermédiaires produits par le générateur lorsqu'il transforme une trajectoire future bruitée en séquence cohérente supervisent un encodeur qui ne voit que le présent. Cette représentation conditionne ensuite la génération future et alimente des têtes de contrôle spécifiques à la tâche, sans que les gradients de tâche ne modifient l'encodeur. Au déploiement, le système n'exécute plus du tout le générateur: seule la représentation prédite pilote l'action. Testée sur les benchmarks LIBERO et RoboTwin2.0 ainsi que sur des tâches robot réel, l'approche réduit la latence d'action d'un facteur 3,7 par rapport à la référence Fast-WAM, et la variante Enfold-Flash atteint un facteur 10,1. L'enjeu est concret pour la robotique: les modèles VLA (vision-language-action) adossés à des world models génératifs impressionnent en démonstration mais restent souvent trop lents pour un contrôle temps réel, car ils doivent générer explicitement une trajectoire future à chaque cycle de décision. En montrant qu'il est possible d'internaliser ce calcul dans une représentation compacte inférée depuis le seul présent, sans dégrader le contrôle, les auteurs s'attaquent à l'écart classique entre démonstration et déploiement réel qui freine l'adoption de ces architectures chez les intégrateurs. La représentation apprise filtre en outre les variations sans intérêt et privilégie les changements qui se déploient sur un horizon long, exactement ce dont un robot a besoin pour anticiper une tâche plutôt que réagir image par image. Signal encourageant: quand un humain modifie la scène en cours d'exécution, la continuation générée et les actions exécutées s'adaptent, ce qui exclut un simple rejeu de trajectoire figée. Enfold s'inscrit dans la lignée des travaux sur les world models appliqués au contrôle robotique, dont WAM sert ici de référence de comparaison, une famille d'approches popularisée par des systèmes comme Pi-0 ou GR00T N2 mais généralement pénalisée par le coût de calcul du générateur à l'inférence. En déplaçant ce coût vers l'entraînement et en ne conservant au déploiement qu'une représentation légère, les auteurs ouvrent une piste pour rapprocher ces architectures des cadences de contrôle réelles, préalable à tout déploiement industriel à grande échelle. Les résultats restent toutefois issus de simulation et d'un nombre limité de tâches réelles, une validation plus large sur cas d'usage industriels constituant la suite logique.

Modèle du monde ancré : alignements latents prédictifs pour l'action (LeapBot-WA)

Une équipe de recherche a publié sur arXiv (référence 2607.23969v1) LeapBot-WA, un nouveau modèle de type World Action Model (WAM) pour le contrôle robotique. Contrairement aux WAM classiques qui génèrent des vidéos pixel par pixel pour prédire l'évolution d'une scène, ce qui gaspille de la capacité de calcul sur des détails visuels sans intérêt pour la tâche et rend les politiques vulnérables aux distracteurs visuels, LeapBot-WA adopte une architecture "Predictive-Latent" en s'appuyant sur le Joint-Embedding Predictive Architecture (JEPA), utilisé comme "ancre du monde" (World-Anchor). Le système prédit la dynamique physique directement dans un espace latent abstrait plutôt que de reconstruire des images. Pour relier cet espace latent aux modèles de diffusion, les auteurs introduisent un Isotropic Semantic Autoencoder (ISAE), qui remodèle l'espace latent pour éviter les dérives hors variété. L'architecture repose aussi sur un Mixture-of-Transformers asymétrique : un Anchor Diffusion Transformer guide l'entraînement d'un Action Diffusion Transformer, puis est retiré à l'inférence pour ne conserver aucun surcoût de calcul. Sur les benchmarks LIBERO et RoboTwin 2.0, LeapBot-WA atteint l'état de l'art parmi les modèles prédictifs et rivalise avec les meilleurs WAM génératifs, sans pré-entraînement massif sur trajectoires. Le code est disponible sur GitHub (LeapWM/leapbot-wa). Pour l'industrie robotique, ce résultat questionne un présupposé répandu : que la génération vidéo pixel par pixel est nécessaire pour qu'un modèle de monde capture une dynamique physique exploitable. En montrant qu'un espace latent compact suffit à égaler des générateurs vidéo lourds, tout en gagnant en robustesse zero-shot face à des environnements inédits et en démontrant un transfert réel sur robot physique, LeapBot-WA plaide pour des architectures VLA plus légères et déployables, un enjeu concret pour les intégrateurs cherchant à réduire la latence d'inférence en production plutôt qu'en démonstration. Le travail s'inscrit dans la filiation du JEPA popularisé par les travaux de Yann LeCun sur l'apprentissage auto-supervisé non génératif, appliqué ici pour la première fois comme socle central d'un WAM plutôt que comme simple module auxiliaire. Il se positionne face aux générateurs vidéo dominants du secteur (type Pi-0, GR00T N2 ou Helix) qui misent sur la synthèse pixel. Les auteurs annoncent la publication du code mais ne mentionnent pas encore de partenariat industriel ni de calendrier de déploiement commercial.

Robot-Factored World Models via le rendu de robots

Un article de recherche publié sur arXiv (2607.22535) propose une nouvelle architecture pour les "world models" en robotique, ces systèmes qui prédisent les observations futures d'une scène à partir d'une image initiale et d'un signal d'action. L'équipe identifie un problème structurel dans les approches existantes : conditionner le modèle directement sur les commandes d'action l'oblige à apprendre lui-même comment le corps du robot et son contrôleur traduisent ces commandes en mouvement réel, tandis que le conditionner sur les états futurs enregistrés revient à lui donner d'avance le résultat qu'il est censé prédire. La solution proposée, baptisée "robot-factored world model", sépare deux facteurs propres au robot en amont du modèle. D'abord, la trajectoire nominale : chaque commande est passée par le contrôleur et la cinématique du robot pour produire un signal intermédiaire disponible au déploiement. Ensuite, le rendu robotique : cette trajectoire est rendue via le fichier URDF du robot, extrayant sa géométrie et son apparence du modèle d'apprentissage. Pour lever l'ambiguïté de profondeur, les chercheurs associent la profondeur de l'effecteur terminal à celle de la scène. Cette approche cible un angle mort connu des modèles vidéo conditionnés par l'action utilisés en planification et simulation robotique, à savoir leur difficulté à généraliser au-delà du robot sur lequel ils ont été entraînés. Les résultats montrent que l'interface de rendu surpasse les méthodes de référence conditionnées par vecteurs d'action et généralise à des embodiments robotiques inédits au moment de l'inférence, un point sensible pour l'industrie alors que les modèles vision-langage-action (VLA) cherchent à s'affranchir de la dépendance à une plateforme matérielle unique. Le modèle parvient aussi à générer des vidéos de manipulation robotique à partir de démonstrations humaines, en retargetant le mouvement de la main vers une géométrie de robot. Ces travaux s'inscrivent dans une compétition plus large autour des world models et des politiques VLA à grande échelle, un terrain où Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) investissent massivement pour rendre leurs systèmes transférables d'un robot à l'autre. La piste du rendu explicite de la géométrie robotique, plutôt que son encodage implicite dans des vecteurs d'action, pourrait devenir un standard méthodologique si elle se confirme sur des déploiements réels au-delà des benchmarks académiques.

ViTacWorld : passage à l'échelle des modèles du monde visuo-tactiles pour la manipulation robotique riche en contacts

Des chercheurs présentent ViTacWorld, un modèle de monde visuo-tactile conditionné par l'action, conçu pour la manipulation robotique riche en contacts, décrit dans une prépublication arXiv (2607.22530v1). Le système s'appuie sur des jeux de données tactiles réels publics combinés à un environnement de simulation construit spécifiquement pour l'occasion, afin de générer à grande échelle des trajectoires visuo-tactiles-actions. Le modèle est d'abord préentraîné sur de larges volumes de trajectoires réelles et simulées, puis affiné avec des rollouts de politiques collectés en conditions réelles pour mieux coller aux comportements de manipulation visés. À partir d'une séquence d'actions du robot, ViTacWorld prédit conjointement les observations visuelles et le retour tactile correspondants, permettant de générer des rollouts visuo-tactiles-actions complets. Les auteurs présentent cela comme le premier cadre exploitant un modèle de monde pour la génération de trajectoires visuo-tactiles-actions et l'évaluation de politiques robotiques. L'enjeu central est le coût et la rareté des données tactiles réelles, qui freinent l'apprentissage robotique basé sur le toucher : matériel spécifique, collecte coûteuse, diversité de tâches et de scènes limitée. En misant sur le fait que le signal tactile, directement ancré dans le contact physique, souffre d'un écart simulation-vers-réel plus faible que la seule vision, ViTacWorld propose une voie pour combler ce manque de données sans multiplier les campagnes de collecte sur robot réel. Pour les équipes de recherche en manipulation fine (assemblage, insertion, préhension d'objets déformables), cela ouvre deux usages concrets : générer des données synthétiques pour améliorer des politiques tactiles en aval, et évaluer des politiques existantes en prédisant leurs résultats visuo-tactiles sous des séquences d'actions contrôlées, sans passer systématiquement par des essais physiques. C'est un signal de plus que les modèles de monde, déjà répandus en vision, commencent à s'étendre à d'autres modalités sensorielles pour la robotique de contact. Ce travail s'inscrit dans la lignée des modèles de monde appliqués à la robotique, jusqu'ici centrés presque exclusivement sur la modalité visuelle, et dans la continuité des efforts pour réduire la dépendance de l'apprentissage tactile aux capteurs propriétaires et aux collectes sur site. Les expériences menées par les auteurs sur des tâches de manipulation riches en contacts montrent que ViTacWorld génère des rollouts physiquement cohérents, améliore les performances de politiques via une augmentation de données scalable, et permet une évaluation de politiques conditionnée par l'action. Le projet est documenté sur vitacworld.github.io. L'article ne mentionne aucun partenariat industriel ni déploiement commercial à ce stade : il s'agit d'une contribution de recherche dont la portée réelle dépendra de sa reproduction sur des plateformes robotiques variées et de son adoption par des équipes travaillant sur l'assemblage ou la manipulation fine en environnement industriel.

KineBench : évaluation des modèles du monde incarnés par ancrage cinématique sans IDM

Une équipe de recherche a publié KineBench, un nouveau benchmark conçu pour évaluer la cohérence physique des modèles de monde incarnés (embodied world models, EWM), ces systèmes qui génèrent des vidéos prédictives de l'interaction robot-environnement. Jusqu'ici, l'évaluation en boucle fermée de ces modèles reposait presque exclusivement sur des modèles de dynamique inverse (IDM) pour extraire les actions robotiques à partir des vidéos générées, une méthode fragile dès que la scène ou l'objet manipulé sort de la distribution d'entraînement. KineBench s'affranchit de cette dépendance en extrayant directement des poses d'organe terminal en 6 degrés de liberté image par image, via une cascade de modèles de vision fondation, puis en rejouant ces trajectoires dans un simulateur physique pour valider l'exécution. Le benchmark ajoute deux métriques cinématiques classiques, la longueur d'arc spectrale (SPARC) et l'indice de manipulabilité de Maruyama, pour juger la fluidité et la faisabilité des trajectoires du point de vue du robot. L'ensemble s'appuie sur 20 tâches de manipulation issues du simulateur ManiSkill3, réparties en quatre suites progressives: exécution de base, transfert de tâche, généralisation visuelle hors distribution, et montée en complexité. L'enjeu dépasse la simple mesure académique: sans méthode fiable pour distinguer une erreur du modèle de monde d'une erreur de l'extracteur d'actions, impossible de savoir si un EWM comprend réellement la physique ou s'il produit des vidéos plausibles mais inexploitables pour du contrôle réel. C'est précisément le doute qui plane sur beaucoup de démonstrations vidéo dans le secteur des VLA (vision-language-action) et de la génération embarquée, où l'écart entre rendu visuel convaincant et action réellement exécutable reste mal quantifié. En testant plusieurs modèles de pointe, les auteurs montrent une montée en échelle non linéaire et bornée par la complexité des tâches, un signal utile pour calibrer les futures stratégies d'entraînement sur données plutôt que d'empiler des vidéos sans discernement. Ce travail s'inscrit dans la lignée des benchmarks fermés basés simulateur, déjà utilisés pour évaluer le sim-to-real, mais cherche à corriger leur talon d'Achille méthodologique, la dépendance aux IDM appris. En s'appuyant sur ManiSkill3, un environnement de simulation déjà largement adopté par la communauté manipulation robotique, KineBench se positionne comme un outil de diagnostic reproductible plutôt qu'un nouveau modèle concurrent, avec pour prochaine étape probable son extension à davantage de tâches et de familles de modèles génératifs.

Test-Time Scaling pour les modèles d'action du monde via évaluation géométrique zéro-shot

Le 24 juillet 2026 des chercheurs ont publié sur arXiv (2607.17454) une méthode d'allocation de calcul au moment de l'inférence pour les World Action Models (WAM), ces modèles robotiques qui prédisent à la fois un segment d'actions et les observations futures qui en découlent. La technique, sans entraînement supplémentaire, sélectionne la meilleure parmi plusieurs trajectoires générées (Best-of-N, avec N=8) en évaluant la cohérence géométrique des observations futures prédites entre plusieurs points de vue, grâce à un modèle de fondation géométrique figé qui vérifie la reprojection de profondeur. Une seconde version ajoute une porte de déclenchement légère qui ne lance cet échantillonnage supplémentaire que si la trajectoire initiale semble incohérente. Testée sur cinq combinaisons de benchmarks et de modèles (RoboCasa, LIBERO Long et RoboTwin 2.0), la méthode à budget fixe améliore le taux de réussite dans tous les cas, faisant passer la moyenne du groupe RoboCasa de 66,3% à 68,4% avec Cosmos Policy, et de 80,8% à 82,5% avec X-WAM. La version avec porte de déclenchement conserve en moyenne 74,8% du gain obtenu par la version systématique, tout en ne déclenchant un échantillonnage additionnel que sur 26,2% des décisions. L'enjeu dépasse le simple gain de score: la méthode traite un problème concret pour le déploiement de robots pilotés par des modèles vision-langage-action (VLA), celui de décider en temps réel si dépenser plus de calcul avant d'exécuter un geste vaut le coût en latence. Contrairement aux approches classiques de test-time scaling qui nécessitent un signal de récompense ou une étiquette de tâche, ce sélecteur fonctionne sans supervision, uniquement à partir de la cohérence géométrique des futurs prédits. C'est un signal utile pour les intégrateurs qui cherchent à fiabiliser des politiques VLA en production sans réentraînement, et une preuve que l'écart entre démonstration et fiabilité réelle peut être réduit par du calcul additionnel bien ciblé plutôt que par un modèle plus gros. Les auteurs situent leur travail dans la lignée des World Models robotiques récents, qui couplent prédiction du futur visuel et génération d'actions, à l'image de Cosmos Policy ou X-WAM utilisés ici comme architectures de base. L'article documente aussi un mode d'échec: certaines trajectoires reçoivent un score de cohérence faussement bas, ce qui explique pourquoi les gains de performance plafonnent, voire se dégradent, quand on augmente excessivement le nombre de trajectoires échantillonnées N. Cette limite ouvre la voie à des travaux futurs sur des métriques de sélection plus robustes.

Simulateur de monde interactif pour l'entraînement et l'évaluation des politiques de robots

Une équipe de recherche présente un simulateur de monde interactif destiné à l'entraînement et à l'évaluation de politiques robotiques, conçu pour remplacer une partie du travail réalisé aujourd'hui sur robot réel. Il s'agit d'un modèle de prédiction vidéo conditionné par l'action, entraîné sans aucun moteur physique intégré : à partir d'une image et d'une séquence d'actions robotiques, le système prédit les frames suivantes directement en pixels. Concrètement, un opérateur peut brancher un dispositif de téléopération et piloter un bras robotique à travers ce modèle appris pendant plus de dix minutes, à 15 images par seconde, sur une seule carte graphique RTX 4090, tout en conservant une vidéo stable et physiquement plausible. Le modèle a été entraîné sur quatre tâches de manipulation aux régimes physiques très différents : le poussage d'un objet en T (contact rigide), le routage d'une corde dans un clip (interaction déformable-rigide), la préhension d'une tasse (dynamique fine de la pince) et le balayage de tas d'objets. L'architecture repose sur deux étapes : un autoencodeur compresse d'abord les images RGB en représentations latentes compactes, puis un modèle de dynamique conditionné par l'action, entraîné dans cet espace latent gelé, prédit les états latents futurs qui sont ensuite décodés en images, de manière autorégressive. L'enjeu dépasse la simple démonstration technique. La collecte de démonstrations et l'évaluation de politiques sur robot réel restent les deux goulots d'étranglement classiques de l'apprentissage robotique : matériel qui casse, éclairage qui varie, objets qui dérivent, chaque nouvelle tâche exigeant des heures de manipulation en laboratoire. Si un simulateur appris atteint un niveau de fidélité suffisant, il devient possible de générer des données d'entraînement à moindre coût directement dans le simulateur, et surtout d'évaluer plusieurs politiques dans des conditions rigoureusement identiques et reproductibles, ce qu'un banc de test physique ne permet pas. Les exemples montrés, comme la distinction correcte entre une corde effectivement insérée dans un clip et une corde qui le frôle sans contact, ou la simulation d'une tasse qui glisse hors de la pince, suggèrent que le modèle capture des dynamiques fines sans recourir à des a priori physiques codés en dur, un point que le secteur observe de près depuis l'essor des modèles VLA (vision-language-action). Cette approche s'inscrit dans une lignée de travaux sur les "world models" appliqués à la robotique, où l'ambition est de remplacer les simulateurs physiques classiques, coûteux à construire et souvent imparfaitement fidèles à la réalité, par des modèles vidéo appris directement à partir de données d'interaction. Le projet met à disposition une démonstration interactive en ligne, jouable au clavier depuis un navigateur, ce qui permet une vérification indépendante des affirmations avancées. Les prochaines étapes attendues par le secteur portent sur le passage à l'échelle vers davantage de tâches et de configurations matérielles, ainsi que sur la démonstration effective que des politiques entraînées dans ce simulateur transfèrent avec succès vers des robots réels, condition encore non confirmée à ce stade par l'article.

Robbyant lance LingBot-World 2.0, avec génération de monde en temps réel sur une heure

Robbyant, filiale d'IA incarnée du groupe chinois Ant Group, a publié en open source LingBot-World 2.0, surnommé Infinity, la nouvelle génération de son modèle de monde interactif. Cette version ajoute la génération de mondes en temps réel sur une durée d'environ une heure, une sortie en haute définition et des capacités interactives élargies par rapport à la mouture précédente. Selon l'entreprise, il s'agit d'une avancée significative face à LingBot-World 1.0, qui ne maintenait une génération stable que sur quelques minutes : Infinity étendrait cette stabilité à un régime quasi continu, sur une échelle de temps nettement supérieure. Pour l'industrie robotique, un modèle de monde capable de générer des environnements interactifs cohérents sur des durées prolongées représente un outil potentiellement précieux pour l'entraînement d'agents embarqués et de politiques VLA, en offrant des données de simulation à grande échelle sans dépendre entièrement de captures réelles. Cela s'inscrit dans une tendance plus large où les world models cherchent à combler l'écart entre simulation et réalité pour accélérer l'apprentissage robotique. Il faut toutefois rester prudent : l'annonce reste à ce stade une publication de recherche en open source, sans détails indépendants sur la robustesse en conditions réelles, et la formulation « temps réel sur une heure » mérite d'être vérifiée au-delà des démonstrations mises en avant par l'entreprise. Ant Group investit depuis plusieurs trimestres dans l'IA incarnée via Robbyant, dans un contexte où des laboratoires concurrents (World Labs, DeepMind avec Genie, ou encore les initiatives world-model de Nvidia) développent des approches similaires pour générer des environnements simulés destinés à l'entraînement de robots et d'agents autonomes. La publication en open source de LingBot-World 2.0 pourrait accélérer l'adoption par la communauté de recherche, sans qu'un calendrier de déploiement industriel concret n'ait encore été précisé.

Open-AoE : un jeu de données ouvert de manipulation égocentrique et une chaîne d'outils pour l'apprentissage incarné

Une équipe de recherche publie Open-AoE, un jeu de données ouvert de vidéos égocentriques de manipulation humaine destiné à l'apprentissage de modèles robotiques, accompagné d'une chaîne d'outils complète allant de la capture smartphone jusqu'à l'entraînement de modèles. Décrit dans un article arXiv (2607.14183v1) publié le 17 juillet 2026, ce premier jalon rassemble environ 2 000 heures de vidéos de manipulation tournées en environnement naturel par plus de 500 contributeurs utilisant plus de 400 smartphones différents. Chaque séquence est annotée avec des descriptions textuelles, des poses de main reconstruites via le modèle MANO, des trajectoires de caméra et un découpage temporel en actions atomiques localisées. Le pipeline de traitement transforme les enregistrements bruts en échantillons structurés à travers quatre étapes : segmentation temporelle des actions, annotation sémantique, reconstruction des mains et reconstruction de trajectoire caméra. Une chaîne d'outils distincte permet ensuite la visualisation, le retargeting cross-embodiment (transfert des mouvements humains vers différentes morphologies de robots), la conversion de données spécifique à chaque modèle, ainsi que des recettes d'entraînement pour les politiques VLA, les modèles WAM et les World Models. L'enjeu principal est celui du goulot d'étranglement de données pour l'apprentissage par imitation en robotique : les démonstrations téléopérées sur robot réel restent coûteuses et lentes à collecter à grande échelle, tandis que les vidéos humaines égocentriques offrent une supervision quasi gratuite mais historiquement peu structurée pour un usage robotique direct. En combinant capture low-cost via smartphone, annotations de niveau manipulation (poses de main, actions atomiques) et outils de retargeting prêts à l'emploi, Open-AoE cherche à réduire la friction entre collecte de données humaines et entraînement de politiques robotiques, un axe central pour le transfert humain-vers-robot (human-to-robot transfer) que plusieurs laboratoires explorent en parallèle des approches de téléopération. Ce type d'initiative s'inscrit dans la lignée de jeux de données égocentriques antérieurs comme Ego4D ou Epic-Kitchens, mais se distingue par son orientation explicitement robotique, avec des annotations pensées pour l'entraînement de modèles VLA plutôt que pour la seule reconnaissance d'action. Elle complète des efforts de mutualisation de données robot comme Open X-Embodiment, en s'attaquant cette fois au versant humain de la chaîne de supervision. Les auteurs présentent cette version comme une première publication ouverte à la communauté, invitant à la contribution continue de nouvelles captures, ce qui laisse présager des extensions futures en volume et en diversité de tâches.

Regardez : le premier modèle d'IA nativement incarnée promet des robots plus intelligents et plus performants

Robbyant, filiale d'intelligence artificielle incarnée du groupe chinois Ant Group (maison mère d'Alipay), a présenté LingBot-VA 2.0, un modèle de monde vidéo-action que l'entreprise qualifie de premier du secteur conçu nativement pour la robotique plutôt qu'adapté de systèmes de génération vidéo destinés au contenu numérique. Le modèle repose sur une architecture autorégressive entraînée depuis zéro : il prédit comment les actions d'un robot modifient son environnement, puis choisit l'action suivante à partir de ces relations causales. Robbyant met en avant quatre innovations : un tokenizer visuel-action sémantique compressant conjointement image et action, un pré-entraînement causal strict garantissant l'ordre temporel des prédictions, une architecture Mixture of Experts augmentant la capacité sans alourdir l'inférence, et un mécanisme d'inférence asynchrone qui recale en continu les prédictions sur les observations réelles pendant l'exécution. Selon l'entreprise, cette combinaison permet un contrôle en boucle fermée à 150 Hz sur un seul GPU, et le modèle s'adapte à une nouvelle tâche de manipulation avec seulement 20 démonstrations, par apprentissage en contexte, sans réentraînement. Robbyant a montré le système sur des tâches longues et précises : préparer un petit-déjeuner, déballer des colis, insérer des tubes, ramasser des vis, plier du linge, ouvrir des tiroirs. L'entreprise revendique aussi de meilleurs résultats que les méthodes existantes sur les benchmarks de simulation RoboTwin 2.0 et LIBERO. Ce lancement illustre un changement de philosophie dans les modèles fondation pour la robotique. La plupart des systèmes d'IA incarnée actuels réutilisent des modèles vidéo pensés pour générer du contenu grand public, qui privilégient qualité d'image et créativité au détriment de la précision physique et de la vitesse d'exécution. Adapter ces modèles à la robotique, selon Robbyant, dégrade la généralisation, un constat qui rejoint le débat récurrent dans le secteur des modèles vision-langage-action (VLA) sur l'écart entre démonstrations impressionnantes et fiabilité réelle. Si les chiffres avancés se confirment au-delà des vidéos sélectionnées par l'entreprise, ils positionneraient LingBot-VA 2.0 comme alternative face à des VLA généralistes comme Pi-0 ou GR00T N2, avec un argument clé pour les intégrateurs : moins de données pour déployer un nouveau geste, et un temps de cycle compatible avec du matériel limité à un seul GPU. La mémoire à long terme mise en avant, permettant de distinguer des situations visuellement identiques mais contextuellement différentes et d'exécuter des tâches multi-étapes avec comptage et répétition, répond à une limite connue des politiques robotiques actuelles sur les séquences longues. Robbyant a accéléré ses investissements en robotique humanoïde et modèles fondation physiques, dans un contexte où les groupes technologiques chinois, Ant Group mais aussi Unitree, AgiBot ou Xiaomi, intensifient la compétition face à des acteurs américains comme Figure AI ou Physical Intelligence. LingBot-VA 2.0 succède à une première version et s'inscrit dans une stratégie où l'entreprise dit vouloir accélérer le développement d'un écosystème ouvert, sans préciser de calendrier de commercialisation, de partenariats industriels ni de premiers déploiements pilotes. Pour l'instant, la démonstration reste cantonnée aux benchmarks de simulation et aux vidéos publiées par l'entreprise, sans validation indépendante en environnement de production, une réserve qui s'applique à la plupart des annonces de modèles fondation robotiques cette année.

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot

NVIDIA et Hugging Face annoncent l'intégration d'Isaac GR00T 1.7 et du framework Isaac TeleOp dans LeRobot, la bibliothèque open-source de robotique de Hugging Face. Isaac GR00T 1.7 est présenté comme le premier modèle de fondation robotique open-source et commercialement exploitable, une architecture vision-langage-action (VLA) permettant de post-entraîner et déployer des politiques de contrôle sur des robots humanoïdes réels. Isaac TeleOp est un framework de collecte de données par téléopération, qui capture des démonstrations humaines depuis des dispositifs externes dans des formats standardisés et interopérables, facilitant le partage de jeux de données au sein de la communauté. Les deux entreprises annoncent également l'arrivée prochaine de NVIDIA Cosmos 3, un modèle de monde frontière pour l'IA physique, sans donner de date précise. LeRobot compte déjà plus de 15 millions de téléchargements pour son jeu de données ouvert, qui regroupe plus de 350 000 trajectoires réelles et simulées ainsi que 57 millions de préhensions ("grasps"), en complément des frameworks de simulation Isaac Sim et Isaac Lab, dont Isaac Lab-Arena, désormais référencé dans le LeRobot Environment Hub. Cette annonce illustre la tentative de NVIDIA de reproduire, dans la robotique, la dynamique qui a fait le succès de l'IA générative open-source: mutualiser modèles, données et outils pour accélérer l'innovation collective plutôt que de la laisser fragmentée entre acteurs isolés. Pour les intégrateurs et développeurs robotique, l'enjeu concret est l'accès à un pipeline standardisé bout-en-bout, de la collecte de données jusqu'au déploiement, sans avoir à recomposer des briques propriétaires coûteuses. Le rapprochement entre les 3 millions de développeurs robotique de NVIDIA et les 16 millions d'utilisateurs IA de Hugging Face vise à fluidifier le passage entre recherche en IA générale et applications physiques. Toutefois, l'ampleur réelle de l'adoption d'Isaac GR00T 1.7 sur des déploiements industriels reste à démontrer: l'annonce reste pour l'instant centrée sur la disponibilité des outils et des frameworks, pas sur des cas d'usage chiffrés en production, et la mention de Cosmos 3 relève encore de la feuille de route plutôt que d'un produit livré. Ce partenariat s'inscrit dans la continuité de la stratégie NVIDIA autour de sa plateforme Isaac dédiée à la robotique et à l'IA physique, engagée depuis plusieurs années à travers Isaac Sim et Isaac Lab pour la simulation, puis étendue à des modèles de fondation comme GR00T. Hugging Face, de son côté, a positionné LeRobot comme l'équivalent robotique de ses bibliothèques Transformers pour le NLP, avec pour ambition de devenir le hub de référence pour les datasets et modèles robotiques ouverts. Sur le plan concurrentiel, cette annonce se situe face aux approches propriétaires de modèles VLA développés par d'autres laboratoires, à l'image de Pi-0 (Physical Intelligence) ou GR00T N2 concurrencés indirectement par des architectures fermées comme Helix (Figure AI). Thomas Wolf, cofondateur et directeur scientifique de Hugging Face, présente cette intégration comme une étape pour ancrer un cycle collaboratif ouvert dans la robotique, avec Cosmos 3 comme prochaine brique pour générer et simuler des données lorsque la collecte réelle est trop coûteuse ou limitée.

KAM-WM : cartes d'affordance cinématique à partir de modèles du monde latents pour la manipulation robotique

Des chercheurs présentent KAM-WM, une méthode qui extrait des indices visuels d'interaction directement d'un modèle de monde vidéo latent déjà entraîné, sans avoir besoin de le réentraîner ni de simuler de rollouts complets. Le système interroge une seule fois un modèle de génération image-vers-vidéo par flow matching et interprète sa vélocité latente en une étape comme une carte d'affordance cinématique (KAM), qui indique à la fois où le robot doit agir et selon quelle direction de mouvement initier le geste. Un module Perceiver léger compresse cette carte en tokens qui viennent conditionner une politique de diffusion, combinée aux images RGB et aux données de proprioception. Sur les benchmarks LIBERO et RoboTwin2.0, la méthode atteint 90,6% de réussite moyenne sur LIBERO, et respectivement 65,7% et 22,4% sur les configurations Easy et Hard de RoboTwin2.0. L'intérêt principal tient à la distinction entre position et direction du geste. Les approches classiques d'affordance, basées sur des masques de segmentation statiques, indiquent uniquement où interagir mais pas comment amorcer le mouvement. Les comparaisons contrôlées menées par les auteurs montrent qu'une partie significative des gains provient justement de cette information directionnelle, et non de la seule localisation spatiale. Pour l'apprentissage par imitation à partir de peu de démonstrations, cela ouvre une piste pour réduire le nombre d'exemples nécessaires sans coût de calcul supplémentaire au moment de l'exécution, puisqu'aucun rollout du modèle de monde n'est requis en test. Ce travail s'inscrit dans la lignée des recherches sur les priors visuels pour la manipulation robotique, où les politiques conditionnées par affordance cherchent à combler l'écart entre perception et action sans dépendre d'architectures VLA massives comme Pi-0 ou GR00T N2. Contrairement à ces modèles génériques entraînés de bout en bout, KAM-WM mise sur la réutilisation d'un modèle de monde figé, une direction distincte des approches propriétaires des grands acteurs humanoïdes. Les auteurs restent prudents: les résultats se limitent pour l'instant aux environnements simulés LIBERO et RoboTwin2.0, une validation en conditions réelles restant l'étape suivante logique.

Chemin de planification dans des modèles du monde physiquement viables

Des chercheurs présentent un nouveau modèle de monde "physiquement viable" destiné à la planification de trajectoires pour robots évoluant en extérieur, dans des environnements non structurés. Le constat de départ est simple : les opérateurs ne peuvent pas recartographier un site vaste ou isolé avant chaque mission, si bien que les robots planifient leurs déplacements à partir de reconstructions de scène collectées à l'avance, en supposant à tort que le terrain reste inchangé. Le système décrit dans l'article, publié sur arXiv (2607.00673v1), enrichit des scènes reconstruites en 3D Gaussian splatting avec une simulation physique capable de générer des versions modifiées de l'environnement (inondation, déformation, obstacles nouveaux) sans avoir à recollecter de données capteurs ni à reconstruire la carte. Un planificateur sensible au terrain exploite ensuite ces versions simulées pour évaluer si un itinéraire prévu reste praticable avant que le robot ne s'y engage. Les tests ont été menés sur un site extérieur réel du centre du Texas, avec plusieurs niveaux de sévérité de crue simulée. L'enjeu est celui de la fiabilité des robots autonomes déployés loin de toute supervision humaine constante, en logistique, agriculture, secours ou surveillance de sites. Aujourd'hui, la plupart des systèmes planifient sur une carte figée et découvrent les changements de terrain en cours de route, parfois trop tard pour faire demi-tour, notamment dans les environnements contraints où le repli devient impossible une fois les conditions dégradées. En montrant que des échecs d'itinéraire à long horizon et des besoins de recalcul de trajectoire n'apparaissent que lorsque le terrain futur est simulé, et pas sur la reconstruction d'origine, les auteurs pointent une limite concrète des pipelines de planification actuels, encore trop dépendants de cartes statiques. Ce travail s'inscrit dans la tendance récente d'utilisation du 3D Gaussian splatting pour la reconstruction de scènes robotiques, combinée ici à la simulation physique pour anticiper l'évolution d'un environnement plutôt que se contenter de le capturer une fois pour toutes. Il s'agit pour l'instant d'un résultat de recherche évalué sur un unique site de test avec un scénario d'inondation, sans indication de déploiement industriel ni de comparaison directe avec des solutions commerciales existantes. Les auteurs évoquent la généralisation à d'autres types de changements de terrain comme prolongement naturel de ces travaux.

RoboWorld : des simulateurs neuronaux rapides et fiables pour évaluer les politiques robotiques génériques

Une équipe de recherche a publié sur arXiv (2607.01060) RoboWorld, un pipeline automatisé d'évaluation pour les politiques robotiques génon-généralistes fondé sur des modèles de monde vidéo. Le système combine un modèle de monde vidéo autorégressif rapide avec un scoring assuré par un modèle vision-langage sensible à la progression de la tâche. Pour fiabiliser les simulations sur de longs horizons temporels, les auteurs introduisent une technique baptisée Step Forcing, qui mélange des contextes ancrés et des contextes auto-propagés en un seul pas afin de réduire l'écart entre entraînement et inférence, tout en préservant la cohérence entre actions et observations générées. Résultat annoncé : une corrélation quasi parfaite avec les évaluations réelles de robots physiques, avec un coefficient de Pearson de 0,989 et un coefficient de Spearman de 0,970, mesurés sur plusieurs tâches et environnements. L'enjeu dépasse la seule prouesse technique. Évaluer une politique robotique généraliste sur du matériel réel coûte cher et prend du temps : il faut multiplier les essais physiques, gérer l'usure du matériel et l'imprévisibilité de l'environnement. Les modèles de monde vidéo promettent de contourner cette contrainte en simulant les conséquences des actions d'un robot directement à partir de flux vidéo, sans passeser par un moteur physique classique. Le problème jusqu'ici restait la fiabilité : les erreurs cumulées du modèle de monde rendent les simulations longues peu crédibles, et l'inférence lente limite le nombre d'évaluations possibles à grande échelle. En démontrant une corrélation aussi forte avec la réalité tout en visant la rapidité, RoboWorld s'attaque frontalement à ce goulot d'étranglement, ce qui intéresse directement les laboratoires qui entraînent des politiques de type VLA (vision-langage-action) et cherchent à les valider avant tout déploiement physique coûteux. Ce travail s'inscrit dans une tendance plus large de la recherche en robotique où les modèles de monde vidéo remplacent progressivement les simulateurs physiques traditionnels pour l'évaluation de politiques, notamment à mesure que les modèles génératifs vidéo gagnent en fidélité. La difficulté classique de ces approches, le décalage entre les rollouts générés en entraînement et ceux produits en inférence, est justement ce que vise à corriger la méthode Step Forcing. L'article ne précise pas de partenariat industriel ni de déploiement en conditions réelles : il s'agit à ce stade d'un travail de recherche évalué sur des benchmarks internes, dont la reproductibilité et la généralisation à d'autres familles de robots restent à confirmer par la communauté.

Point Completion 3D pour les modèles du monde : une méthode plus précise d'apprentissage de la dynamique

Les faits d'abord : une équipe de recherche présente sur arXiv (juillet 2026) 3DPWM, un modèle de monde en 3D conçu pour la planification robotique. Contrairement aux modèles de dynamique fondés sur la vidéo, largement utilisés aujourd'hui pour prédire les conséquences d'une action avant de l'exécuter, 3DPWM travaille directement dans l'espace 3D : il complète d'abord les nuages de points partiels captés par les capteurs (souvent incomplets à cause des occlusions), puis apprend une dynamique conditionnée par l'action sur cette géométrie reconstituée. Le modèle est qualifié de "task-agnostic", c'est-à-dire réutilisable d'une tâche à l'autre sans réentraînement complet. Testé sur plusieurs incarnations robotiques et plusieurs bancs d'essai de manipulation sur table, il produit des trajectoires prédictives fiables sur 100 à 300 pas de temps et plus, fonctionne en boucle ouverte comme en boucle fermée, et démontre un transfert réussi de la simulation vers le réel. L'enjeu porte sur un problème central de la robotique fondée sur l'apprentissage : les modèles de monde vidéo, bien que puissants pour générer des scènes plausibles, dérivent géométriquement sur les horizons longs, accumulant des erreurs qui rendent la planification peu fiable au-delà de quelques dizaines de pas. Les modèles 3D à base de nuages de points partiels corrigent en partie ce défaut mais restent vulnérables aux occlusions et à la dérive de prédiction. En comblant explicitement les trous de la géométrie observée avant de simuler la dynamique, 3DPWM attaque directement ce goulot d'étranglement. Pour les équipes qui travaillent sur la planification par modèle (model-based planning), c'est un signal que la fiabilité sur le long terme, condition nécessaire pour improviser des solutions sur des tâches nouvelles, reste atteignable sans reposer uniquement sur des modèles vidéo massifs coûteux à entraîner. Ce travail s'inscrit dans la lignée des recherches récentes sur les modèles de monde pour la robotique, une famille qui inclut aussi bien les approches génératives vidéo que les architectures VLA (vision-langage-action) type Pi-0 ou GR00T N2, davantage orientées vers l'exécution directe que vers la planification explicite. La démonstration d'un transfert sim-to-real réussi est le test classique pour juger la maturité d'une méthode de ce type, avant toute adoption industrielle. À ce stade, il s'agit d'une publication de recherche accompagnée de résultats expérimentaux sur bancs d'essai standards, sans déploiement produit ni partenariat industriel annoncé ; la suite logique serait une validation sur des plateformes robotiques réelles au-delà des configurations de laboratoire testées.

Exclusif : une startup issue de Tsinghua lève plusieurs centaines de millions de yuans, sans vouloir de l'étiquette « modèle du monde »

La startup chinoise Liqing Zhineng (厘清智能, "Clarity Intelligence"), fondée en avril 2026 à Pékin, a bouclé un tour d'amorçage de plusieurs centaines de millions de yuans (soit plusieurs dizaines de millions d'euros), révélé début juillet par le média chinois Zhinen Yongxian. Le tour réunit Shunwei Capital, Sequoia Chine, Hillhouse Ventures, FreeS Fund, Xinglian Capital, le fonds d'amorçage des alumni de Tsinghua, SEE Fund, ainsi que des investisseurs industriels comme AgiBot (智元机器人), Linker Hand (灵心巧手) et Century Golden Resources. L'équipe, adossée au laboratoire de Li Yiming, professeur assistant à l'école d'intelligence artificielle de Tsinghua et ancien chercheur Vision & Robotics chez Nvidia (bourse Nvidia 2024, dix lauréats dans le monde), compte une cinquantaine de membres d'une moyenne d'âge de 23 ans. Le produit central est une infrastructure baptisée "Physical AI Infra", construite autour de deux briques maison : un pipeline de collecte de données visant à passer de la centaine de milliers d'heures habituelle du secteur à plusieurs millions, voire dizaines de millions d'heures, via notamment des gants tactiles propriétaires dont le coût unitaire est ramené du niveau du dollar à celui du yuan ; et un moteur physique différentiable permettant une boucle "réel vers simulation vers réel", capable de modéliser des matériaux complexes (fluides, corps mous, déformations élastoplastiques). L'ensemble cible des gestes fins comme couper, visser, brancher, mélanger, presser ou enfiler, avec un objectif de portabilité entre différentes mains articulées et bras robotiques, pour des usages en usine, retail, hôtellerie, restauration et assistance médicale. Le positionnement de Li Yiming tranche avec l'engouement actuel pour les "world models" (modèles du monde), qu'il juge être la notion la plus galvaudée de 2026, tant les acteurs vidéo, 3D ou VLA (vision-langage-action) s'en réclament dès qu'ils touchent à la simulation physique. Sa thèse : le modèle du monde n'est qu'un composant technique parmi d'autres, sans valeur isolé du reste de la chaîne (données, matériel, déploiement) ; ce qui compte, c'est un système capable de généraliser à travers robots et scénarios. Il affirme ainsi pouvoir entraîner des politiques avec environ 1% du volume de données réelles habituellement nécessaire, en calibrant les transitions d'état du modèle de monde sur un petit échantillon de données réelles puis en laissant le robot s'entraîner par renforcement en simulation, l'exemple cité étant l'apprentissage de la découpe d'une pomme sans détruire des centaines d'exemplaires. Ces chiffres, avancés par le fondateur lui-même sans validation indépendante, restent à confirmer sur des déploiements réels plutôt que sur des démonstrations internes. Le parcours de Li Yiming inclut un doctorat à NYU avec des travaux co-signés avec Saining Xie (cofondateur et chercheur en chef d'AMI Labs), ainsi que plusieurs publications distinguées à CVPR et NeurIPS en collaboration avec Nvidia. La feuille de route affichée prévoit la sortie d'un modèle du monde généralisable à plusieurs scénarios B2B d'ici fin 2026, puis un passage à l'échelle commerciale visé pour 2028, avec pour ambition de livrer aux clients une solution matériel-logiciel intégrée plutôt qu'un simple modèle. Ce pari sur une intégration verticale complète, de la collecte de données au moteur physique en passant par le matériel de capture, reste rare en Chine où la plupart des équipes de robotique physique se concentrent sur un seul maillon de la chaîne ; il positionne Liqing Zhineng en concurrence indirecte avec les autres poids lourds chinois de l'IA incarnée comme AgiBot, qui figure aussi parmi ses investisseurs.

Apprentissage de dynamiques transférables : des modèles d'action aux modèles du monde

Des chercheurs ont publié en juin 2026 un préprint arXiv (2606.29501) décrivant A2World, un modèle de monde diffusion multi-vues conditionné par les actions, pré-entraîné sur de larges volumes de données de manipulation robotique avec annotations d'actions réelles. L'idée centrale est que prédire comment une action modifie visuellement une scène, plutôt que simplement générer des vidéos plausibles, force le modèle à capturer des dynamiques d'interaction réutilisables. Ce pré-entraînement produit ce que les auteurs appellent des "priors de dynamiques transférables". À partir des mêmes poids pré-entraînés, deux variantes sont dérivées : A2World-sim, adapté en simulateur spécialisé par tâche ou environnement, et A2World-policy, un modèle de prédiction jointe vidéo-action conditionné par des instructions visuelles. Les expériences sont validées sur des benchmarks de simulation et en conditions réelles, sans que les auteurs ne publient de métriques quantitatives précises dans le résumé. L'enjeu concret pour les équipes de robotique industrielle est le coût des données de rollout réel : A2World-sim vise à remplacer les passages physiques sur robot par des déroulements dans le modèle de monde, permettant une évaluation de politique à grande échelle et des analyses contrefactuelles ("que se passerait-il si...") sans mobiliser de hardware. C'est le noeud dur du problème sim-to-real : les simulateurs classiques (Isaac Sim, MuJoCo) échouent sur la fidélité visuelle et de contact, tandis qu'un modèle de monde appris sur des données réelles devrait, en théorie, hériter de la physique implicite du monde réel. A2World-policy s'inscrit dans la lignée des VLA (Vision-Language-Action models) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, en conditionnant la prédiction d'action sur le flux visuel et des instructions en langage naturel. Il s'agit toutefois d'un préprint non revu par les pairs, et les métriques présentées (benchmarks de simulation) restent à confirmer sur des déploiements réels à l'échelle. Ce travail s'inscrit dans une dynamique de recherche active sur les modèles de monde pour la robotique, portée depuis 2023-2024 par des approches comme UniSim (Google), RoboDreamer, ou Genie, qui toutes cherchent à découpler l'apprentissage de politique du coût de la collecte de données physiques. Physical Intelligence (pi-0, pi-0.5), Figure AI (Figure 02/03) et 1X Technologies misent sur des architectures VLA similaires pour la généralisation multi-tâches. La contribution spécifique d'A2World est de partager les poids pré-entraînés entre le simulateur et le modèle de politique, plutôt que de les traiter comme deux systèmes distincts. Les prochaines étapes attendues dans ce type de travaux sont la publication de benchmarks ouverts, une comparaison directe contre des rollouts réels, et, pour les acteurs industriels, la question de savoir si ces approches tiennent sur des environnements non structurés hors laboratoire.

Modélisation du monde en contexte pour le contrôle robotique

Des chercheurs ont publié le 25 juin 2026 un preprint arXiv (2606.26025) présentant ICWM (In-Context World Modeling), un cadre d'adaptation pour les modèles Vision-Language-Action (VLA) appliqués à la robotique. Les VLA actuels échouent dès que le contexte d'exécution change - angle de caméra différent, morphologie de robot modifiée - parce qu'ils supposent un contexte fixe, celui rencontré pendant l'entraînement, et nécessitent un fine-tuning intensif en données pour toute nouvelle configuration. ICWM traite l'identification du système comme un problème d'adaptation en contexte : avant d'exécuter une tâche, le robot génère de courtes interactions autonomes agnostiques à la tâche, dont l'historique est injecté dans la fenêtre de contexte du modèle. Celui-ci infère ainsi implicitement la dynamique du système courant - position de caméra, configuration mécanique - sans mise à jour de poids. Les expériences menées en simulation et sur plateformes réelles montrent que ICWM surpasse significativement les baselines VLA standards sur des configurations de caméra inédites. La généralisation des VLA est le verrou principal qui freine le déploiement industriel de la robotique généraliste. Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA et les modèles Google nécessitent tous du fine-tuning dès qu'on change la disposition d'une caméra ou la morphologie d'un robot, ce qui rend les pilotes industriels coûteux et longs à mettre en place. ICWM attaque ce problème sans modifier les poids du modèle : l'adaptation passe uniquement par le contexte, à l'image de ce que l'In-Context Learning a apporté aux LLMs. Pour un intégrateur ou un COO industriel, cela signifie potentiellement déployer un même modèle sur plusieurs lignes avec des géométries de capteurs différentes, sans pipeline de re-entraînement. La contribution est conceptuellement distincte : là où l'ICL classique spécifie quelle tâche effectuer, ICWM apprend comment le système fonctionne - une couche d'adaptation complémentaire aux approches existantes. Les modèles VLA ont connu une explosion depuis 2024 : RT-2 (Google DeepMind), Pi-0 de Physical Intelligence, GR00T N2 d'NVIDIA présenté à GTC 2025, et plus récemment Helix (Figure AI) illustrent la convergence entre fondations LLM et contrôle moteur. La fragilité aux variations contextuelles - ce qu'on appelle le "demo-to-deployment gap" - reste une critique récurrente formulée notamment par des acteurs européens comme Enchanted Tools ou Wandercraft, qui misent sur des architectures plus déterministes pour des environnements industriels contraints. ICWM s'inscrit dans une tendance plus large : importer les paradigmes d'adaptation du machine learning directement dans la boucle de contrôle robotique, sans passer par un cycle de collecte de données et de re-entraînement. Le preprint ne mentionne ni partenariat industriel, ni code open-source, ni dataset public : il s'agit d'une contribution de recherche pure, sans déploiement commercial annoncé à ce stade.

💬 Le vrai frein au déploiement robotique industriel, ce n'est pas la performance brute des VLA, c'est que la moindre caméra déplacée oblige à relancer un fine-tuning complet. ICWM importe dans la boucle de contrôle la même logique qui a rendu les LLMs flexibles, et si ça tient, c'est un changement de calcul économique pour les intégrateurs européens qui tentent des pilotes. Bon, pour l'instant c'est un preprint sans code ni partenaire industriel, donc on verra.

RoDyn : apprivoiser un modèle du monde 2.5D interactif pour la manipulation robotique

Des chercheurs ont publié sur arXiv (identifiant 2510.09036, seconde version) RoDyn, un modèle de monde 2.5D destiné à la manipulation robotique. L'architecture repose sur un espace latent géométriquement conscient plutôt que sur des flux vidéo 2D bruts. Son composant central, le Robot-Dynamic Tokenizer, couple les représentations visuelles sémantiques avec des informations spatiales et centrées sur l'agent via un mécanisme de cross-attention dominé par le canal RGB, complété d'un guidage par masque dynamique. Une architecture autorégressi guidée par ces masques oriente ensuite le modèle vers les zones d'interaction active entre le robot et les objets manipulés. Sur des jeux de données à grande échelle, RoDyn atteint l'état de l'art en fidélité de génération et affiche, point le plus saillant, une amélioration de 42% du taux de réussite en imitation learning dans le monde réel par rapport aux baselines purement 2D. Ce gain de 42% doit être lu avec soin: il est mesuré contre des modèles 2D, non contre d'autres approches 2.5D ou 3D, ce qui circonscrit la portée de la comparaison. Il illustre néanmoins un problème structurel bien documenté: les modèles vidéo 2D, aussi convaincants visuellement, ne capturent pas la géométrie ni la cinématique indispensables aux interactions physiques précises. En introduisant une représentation intermédiaire 2.5D, soit une profondeur estimée sans reconstruction 3D complète et coûteuse, RoDyn tente de combler ce fossé à moindre coût computationnel. Pour les équipes R&D en manipulation industrielle, l'intérêt concret réside dans l'accélération du reinforcement learning model-based (MBRL), qui réduit potentiellement le nombre d'interactions physiques requises à l'entraînement, et dans une meilleure généralisation aux objets non vus en simulation. Le champ des modèles de monde pour la robotique s'est densifié depuis 2023, porté par Dreamer (DeepMind), UniSim, et plus récemment les architectures VLA comme Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA). RoDyn occupe une niche spécifique: la simulation neuronale pour la manipulation de précision, avec un compromis géométrique explicite entre vidéo pure et reconstruction 3D complète. Cette publication reste à ce stade purement académique, sans annonce de déploiement commercial ni partenariat industriel mentionné. Les suites naturelles concerneront des tâches de manipulation plus exigeantes (assemblage fin, dépose contrainte) et une éventuelle intégration dans des pipelines VLA existants. Aucun acteur français ou européen n'est impliqué dans ces travaux.

Modèles du monde pour la manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.24742) un modèle généraliste de valeur pour la manipulation robotique, le WVM (World Value Model). La proposition centrale consiste à substituer les backbones VLM (Vision-Language Model) habituellement utilisés par un modèle de monde, nativement mieux adapté à la modélisation temporelle nécessaire pour évaluer la progression d'une tâche. Sur les benchmarks standards, WVM atteint les meilleures performances connues en Value-Order Correlation (VOC), la métrique de référence pour les modèles de valeur robotiques. L'équipe introduit également Suboptimal-Value-Bench, un benchmark multi-embodiment composé de 800 trajectoires sous-optimales annotées frame par frame par des humains, comblant un angle mort des évaluations existantes qui ne contenaient que des données expertes. L'enjeu est directement opérationnel pour quiconque entraîne des systèmes de manipulation à grande échelle : les données collectées en conditions réelles sont rarement uniformément expertes. Un modèle de valeur précis permet de pondérer ou filtrer ces trajectoires hétérogènes, améliorant la qualité de l'entraînement sans nettoyage manuel coûteux. WVM démontre des gains de performance sur plusieurs approches d'extraction de politique, en simulation comme en déploiement réel, ce qui renforce la thèse que l'estimation de valeur est un composant orthogonal et complémentaire au choix d'architecture de politique. La robustesse maintenue sur données sous-optimales est l'aspect le plus significatif : c'est précisément dans ce régime que les VLMs classiques décrochent, leurs préentraînements sur observations visuelles statiques ne suffisant pas à capturer les dynamiques temporelles longues. La montée en puissance des VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA a rendu critique la question de la qualité des données d'entraînement à grande échelle. L'approche WVM s'inscrit dans une tendance émergente qui consiste à spécialiser les composants : un backbone temporel dédié pour l'évaluation de la valeur, distinct du modèle d'action. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans cet article purement académique. Les prochaines étapes naturelles incluent l'intégration du WVM dans des pipelines d'imitation à grande échelle ou en combinaison avec du reinforcement learning offline (IQL, CQL), et une extension à des environnements multi-tâches plus complexes.

Des milliards investis dans l'IA incarnée, mais le déploiement en usine reste hors de portée

Au premier semestre 2026, le secteur chinois de la robotique embodied AI a absorbé 46 milliards de yuans (environ 6,2 milliards d'euros) répartis sur 288 opérations de financement impliquant 226 entreprises, selon les données d'IT Juzi. La concentration est massive : les cinq premiers acteurs (Qianxun Intelligence, Xiwang Sunrise, Xinghaitu, Zibianliang Robot et Jijia Vision) ont capté 17,1 milliards de yuans, soit 37 % du total, et le top 20 emporte 70 % des fonds. Qianxun Intelligence seule a levé 4,5 milliards de yuans en quatre tours en quatre mois. Le profil des investisseurs change : les grandes rondes au-dessus du milliard de yuans sont désormais pilotées à plus de 40 % par des industriels et des entités publiques (Baidu, ByteDance, Xiaomi, Meituan, SAIC, fonds gouvernementaux), le capital d'État participant à 42 % des transactions à plusieurs centaines de millions. Ce flux d'argent masque un écart criant entre vitrine et déploiement réel. Le cas Daluo est emblématique : valorisée à plus de 20 milliards de yuans, ayant levé 5,4 milliards, la société n'a vendu que 1,4 million de yuans de produits sur les sept premiers mois de 2025 tout en enregistrant 84,25 millions de pertes nettes. La cause structurelle identifiée par le secteur est le manque de données d'interaction physique de qualité : on estime à 500 000 heures seulement le volume mondial de données réelles utilisables pour entraîner des robots, contre des milliards de tokens texte pour les LLM. Les réponses sont proportionnelles : Xinghaitu a lancé une campagne "un million d'heures" à Yizhuang, Qianxun Intelligence a déployé 300 000 points de collecte à l'échelle nationale, JD.com vise 10 millions d'heures sous deux ans. Les résultats restent modestes : un responsable algorithmique a reconnu que des dizaines de millions de yuans investis pour collecter 100 000 heures n'avaient amélioré la capacité des modèles que de 5 %. Le secteur reste en phase de recherche appliquée, loin d'une industrialisation. L'état de l'art interne, estimé sur 100 points par un praticien du domaine, place les bras industriels à 50, les châssis à roues à 40, les quadrupèdes à 30, les humanoïdes bipèdes à 15, les mains dextères à 5, et l'IA embarquée de support à 3. Les approches VLA (Vision-Language-Action) et World Model convergent techniquement mais sans consensus sur la feuille de route. Les acteurs occidentaux comme Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) font face aux mêmes verrous de sim-to-real et de données, mais le déploiement à l'échelle usine reste introuvable partout. Malgré l'étiquette "année de la production de masse" accolée à 2026, aucun robot polyvalent fiable ne s'est encore imposé commercialement dans des environnements industriels non contrôlés.

DREAM-Chunk : regroupement d'actions réactif avec modèle du monde latent

DREAM-Chunk (arXiv:2606.18589, juin 2026) est une méthode d'inférence conçue pour corriger une fragilité structurelle des modèles vision-language-action (VLA) : l'exécution en boucle ouverte lors de l'action chunking. Ce paradigme, devenu standard dans les VLA actuels, consiste à inférer à basse fréquence un bloc d'actions (un "chunk") que le robot exécute séquentiellement à haute fréquence, sans rétroaction intermédiaire. Dès qu'un chunk est lancé, le robot le suit à l'aveugle, vulnérable aux perturbations dynamiques, aux erreurs matérielles et à l'observabilité partielle. DREAM-Chunk adresse ce problème sans modifier ni réentraîner la politique sous-jacente : à l'inférence, il génère plusieurs chunks candidats, simule leurs trajectoires dans un espace latent via un world model léger, et sélectionne celui dont l'état prédit correspond le mieux à l'observation réelle. La méthode est validée sur le benchmark Kinetix et sur quatre tâches de manipulation couvrant deux plateformes robotiques et deux architectures VLA distinctes. L'intérêt pratique est direct pour les intégrateurs industriels qui déploient des VLA pré-entraînés sans accès au pipeline d'entraînement : DREAM-Chunk s'insère comme une couche plug-and-play, sans fine-tuning requis. La méthode s'inscrit dans la tendance du test-time compute scaling, bien établie côté LLM mais encore naissante en robotique physique, où dépenser davantage de calcul à l'inférence peut compenser les limites d'un modèle sans passer par un nouveau cycle d'entraînement coûteux. Les résultats montrent que les gains augmentent avec le nombre de chunks candidats échantillonnés, et que l'avantage est particulièrement marqué lorsque les démonstrations contiennent des comportements correctifs, ce qui soulève une question pratique sur la composition des datasets de démo. Les world models latents en robotique ont une longue tradition (DREAMER, TD-MPC2, DreamerV3), mais leur couplage avec des VLA basés sur le chunking reste récent. Physical Intelligence avec pi-0, Figure AI et des équipes de Stanford, CMU et Berkeley explorent simultanément comment améliorer la robustesse en déploiement sans réentraînement complet. DREAM-Chunk se distingue par son caractère agnostique au modèle sous-jacent, ce qui facilite son adoption sur des architectures hétérogènes. La prochaine étape logique serait une validation sur des plateformes commerciales à manipulation dextre (Fourier GR1, Unitree G1) et des tâches à dynamiques hautement stochastiques comme l'assemblage de précision. Le papier ne mentionne ni partenaires industriels ni pilotes commerciaux annoncés.

💬 Le test-time compute scaling arrive enfin en robotique physique, et DREAM-Chunk en est un premier signal propre : générer des trajectoires candidates, simuler dans un espace latent, choisir la meilleure, sans toucher au modèle sous-jacent. Le chunking en boucle ouverte, c'est le point faible silencieux de tous les VLA actuels (ça marche dans 80% des cas, alors on n'en parle pas trop). Pour les intégrateurs qui déploient sans accès au pipeline d'entraînement, une couche qui corrige à l'inférence sans réentraîner, c'est la pièce manquante.

Mem-World : modèles du monde conditionnés par l'action et augmentés par la mémoire pour la manipulation robotique persistante

Des chercheurs ont publié Mem-World sur arXiv (réf. 2606.18960, juin 2026), un modèle du monde multi-vues augmenté par mémoire pour la manipulation robotique. Le problème adressé est fondamental aux modèles du monde conditionnés par l'action (action-conditioned world models) : lors d'une tâche de manipulation, l'effecteur terminal occulte fréquemment la scène, et les mouvements rapides de la caméra embarquée au poignet rendent l'observation courante insuffisante pour prédire les vues futures, poussant les modèles à halluciner ou oublier des détails observés antérieurement. L'innovation centrale est W-VMem, une mémoire indicée par surfels (éléments de surface 3D) en 4D, centrée sur la vue poignet, qui ancre les observations historiques à des éléments de surface évoluant dans le temps. Cette structure permet une récupération de contexte conditionnée sur les actions futures et consciente de la géométrie de scène, via rendu et scoring basés sur les surfels. Sur les tâches de long horizon, le taux de réussite progresse de 58 % à 72 % grâce à la génération de données synthétiques, et la corrélation de Pearson entre évaluations simulées et performances réelles s'améliore de 14,5 % par rapport à Ctrl-World, le modèle de référence. Ce gain en corrélation est directement actionnable pour les équipes robotique : il indique qu'on peut davantage faire confiance aux rollouts simulés pour prédire le comportement réel d'une politique, réduisant la dépendance aux expérimentations physiques coûteuses. L'hallucination de scène était jusqu'ici un verrou majeur à l'utilisation des world models pour l'entraînement de politiques dextres ; en séparant explicitement quand et où chaque élément a été observé, W-VMem produit un contexte historique non-redondant et pertinent. Il convient toutefois de noter que les scénarios de test et les métriques d'évaluation ne sont pas détaillés dans le résumé disponible, ce qui limite l'interprétation directe des chiffres annoncés. Les world models conditionnés par l'action sont apparus d'abord en jeu vidéo et conduite autonome (DreamerV3, GAIA-1) avant d'être adaptés à la manipulation, domaine plus exigeant en raison des occlusions proches et de la dynamique de caméra embarquée. Ctrl-World est la référence directe contre laquelle Mem-World se positionne. Cette publication reste un preprint, non encore évalué par des pairs, sans partenaire industriel ni timeline de déploiement annoncé. Les suites naturelles incluent une évaluation sur des benchmarks standardisés comme RLBench et une intégration dans des pipelines de modèles Visual Language Action (VLA), où la cohérence temporelle des rollouts est un prérequis à l'entraînement à grande échelle.

Alibaba et ByteDance redoublent d'efforts sur l'IA incarnée : l'apport des géants d'internet à la robotique

Le 16 juin 2026, Alibaba a lancé Qwen-Robot, sa première famille complète de modèles d'IA incarnée intégrée à la série Qwen. Elle regroupe trois composants distincts : Qwen-RobotManip pour la manipulation physique, Qwen-RobotNav pour la navigation autonome, et Qwen-RobotWorld comme modèle de monde, c'est-à-dire un moteur de raisonnement contextuel sur l'environnement physique. Ces modules peuvent être déployés séparément ou en coordination, selon le type de robot ciblé. Le positionnement d'Alibaba est explicitement logiciel : l'entreprise ne vise pas à construire des corps robotiques, mais à fournir le "cerveau intelligent" à des fabricants tiers. Simultanément, ByteDance a réorganisé ses efforts en robotique incarnée en élevant Seed Robotics au rang de division stratégique principale, désormais sous la supervision de Zhou Chang, responsable multi-modal du groupe. ByteDance a déjà produit plus de 1 000 robots, majoritairement des robots mobiles à roues pour la logistique en entrepôt et en usine, et compte parmi ses clients externes SF Express et BYD Electronics. Ce double mouvement illustre un changement structurel dans la course aux humanoïdes et à la robotique généraliste : les géants de l'internet entrent dans le secteur non par la mécanique, mais par la donnée et l'intelligence. La valeur qu'ils apportent repose sur trois piliers. D'abord, leurs grands modèles de langage compressent le temps d'adaptation à de nouvelles tâches : là où un ingénieur robotique traditionnel passerait plusieurs semaines à reprogrammer un bras ou un AGV pour un nouveau scénario, une approche VLA (vision-language-action) peut réduire cette itération à quelques jours. Ensuite, leur infrastructure opérationnelle génère des données d'entraînement à une échelle inaccessible aux startups : le réseau de livraison instantanée de Meituan, les entrepôts de JD Logistics, les chaînes d'approvisionnement e-commerce de ByteDance accumulent chaque jour des millions d'interactions physiques réelles. Enfin, et c'est peut-être le facteur le plus sous-estimé, ces entreprises sont leurs propres premiers clients. JD a validé ses robots logistiques dans ses propres entrepôts "Asia No.1" avant de les commercialiser. ByteDance fait circuler ses AMR sur de vraies routes opérationnelles avant de les vendre. Ce raccourci entre laboratoire et déploiement à l'échelle est ce qui manque le plus aux startups hardware-first. Pour autant, les analystes du secteur rappellent que l'avantage logiciel ne dissout pas les contraintes physiques. Les composants critiques comme les actionneurs, les capteurs de force ou les joints à haute précision restent des goulots d'étranglement de supply chain qui ne s'effacent pas parce qu'un géant tech entre dans la pièce. Alibaba et ByteDance font face à une concurrence à deux niveaux : d'un côté les acteurs hardware-first américains comme Figure AI, 1X, Boston Dynamics ou Agility Robotics qui avancent en parallèle sur la couche IA ; de l'autre les constructeurs chinois comme Unitree ou Fourier Intelligence qui maîtrisent déjà la chaîne de fabrication. La prochaine étape pour évaluer ces annonces sera de mesurer si les modèles Qwen-Robot passent l'épreuve du déploiement industriel répété en dehors des environnements contrôlés d'Alibaba, ce qui reste à ce stade une démonstration en cours, pas un produit livré.

WAM-RL : apprentissage par renforcement avec modèle du monde, récompenses de reconstruction et SFT vidéo en ligne

Des chercheurs ont publié le 17 juin 2026 sur arXiv (2606.17906) WAM-RL, un cadre d'apprentissage par renforcement conçu pour les modèles World-Action (WA), une classe d'architectures qui couplent un modèle de monde (world model, chargé de prédire les états futurs de l'environnement) avec un modèle d'action (actor, chargé de sélectionner les commandes). L'originalité de WAM-RL tient à l'optimisation conjointe et en ligne de ces deux composants via une méthode d'optimisation hiérarchique, complétée par des récompenses de reconstruction et un fine-tuning supervisé sur vidéos en ligne (online video SFT). L'ensemble des expériences a été conduit en interaction réelle avec l'environnement, sans dépendre uniquement de trajectoires d'expert pré-collectées. Ce travail comble une lacune structurelle des modèles WA actuels : entraînés exclusivement sur des démonstrations, ils ne peuvent pas acquérir de compétences de manipulation fines au-delà de la distribution couverte par ces données, ni s'améliorer en continu par l'expérience. L'insight central mis en évidence par les auteurs est particulièrement net : optimiser uniquement l'actor suffit à progresser sur des tâches à horizon court, mais échoue à produire des gains significatifs sur des tâches à horizon long. C'est la co-évolution du world model et de l'actor qui s'avère déterminante pour les scénarios complexes, ce qui implique que les pipelines de fine-tuning RL qui ignorent le world model introduisent un plafond de performance non trivial dans les applications de manipulation séquentielle. WAM-RL s'inscrit dans une tendance plus large qui vise à dépasser les limites du behavioral cloning dans les robots à apprentissage (VLA, diffusion policies, pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) en intégrant des boucles de feedback online. Les travaux connexes comme DreamerV3 ou TD-MPC2 ont montré la puissance du model-based RL, mais leur application aux modèles WA multimodaux restait inexplorée. Il s'agit, selon les auteurs, de la première introduction du RL dans le paradigme World-Action. Il faut noter que l'article est un preprint non encore évalué par les pairs, que les benchmarks et environnements expérimentaux ne sont pas détaillés dans le résumé, et que la transférabilité vers du matériel réel (sim-to-real gap) reste à démontrer.

PearlVLA : raffinement progressif de plans d'action pour l'IA incarnée dans l'espace latent

Des chercheurs ont publié en juin 2026 PearlVLA (arXiv:2606.17924), un cadre VLA (Vision-Language-Action) conçu pour concilier faible latence d'exécution et qualité de planification. L'approche déplace le raisonnement dans l'espace latent d'un modèle VLM, évitant le recours aux chaînes textuelles ou aux sous-objectifs en pixels, deux stratégies courantes mais coûteuses en calcul. L'architecture sépare les représentations en une branche de grounding visuel fixe et une branche de plan latent itérative : à chaque cycle, une "world query" interroge un modèle de monde latent léger et gelé pour obtenir une observation future, utilisée ensuite pour affiner progressivement le plan. Après K cycles, le plan est décodé en parallèle en un "action chunk" pour l'exécution temps réel. L'entraînement repose sur un mécanisme RL baptisé "Causal Refinement-Grouped Process-Reward", qui optimise le raffinement via des récompenses issues d'horizons temporels simulés dans l'espace latent. Évalué sur le benchmark de simulation LIBERO, PearlVLA affiche des résultats à l'état de l'art parmi les méthodes existantes. Le compromis latence/planification est structurant pour le déploiement industriel des VLA. Les modèles à décodage direct restent réactifs mais peinent sur des tâches longue-horizon ; les approches délibératives via chain-of-thought améliorent la planification mais leur latence les rend incompatibles avec le contrôle temps réel. En confinant le raisonnement à l'espace latent, PearlVLA contourne ce dilemme sans coûts de génération textuelle. L'approche est conceptuellement proche des modèles de monde (DreaMer, TD-MPC2), ici appliqués aux VLA. Réserve importante : toutes les évaluations sont conduites en simulation sur LIBERO, sans résultats sur robot réel rapportés dans ce preprint, ce qui limite pour l'instant les conclusions sur la transférabilité sim-to-real. La course aux VLA s'est accélérée depuis 2024 avec π0 (Physical Intelligence), Octo, GR00T N2 (NVIDIA) et les modèles embarqués de Figure, Agility ou 1X. La compétition porte désormais sur deux axes : réduire la latence pour atteindre le contrôle temps réel, et améliorer la généralisation sans réentraînement sur de nouvelles tâches. PearlVLA s'inscrit dans cet effort académique collectif, sans affiliation commerciale identifiée dans le preprint. La prochaine étape naturelle serait une validation sur robot physique et des tests de transfert sim-to-real, qui conditionneront l'intérêt des intégrateurs industriels pour cette architecture.

Alibaba dévoile Qwen-Robot : trois modèles fondation pour l'IA incarnée

Alibaba a publié mardi une suite robotique composée de trois modèles fondamentaux : Qwen-RobotNav, Qwen-RobotManip et Qwen-RobotWorld. Qwen-RobotNav étend les capacités vision-langage à la robotique mobile en unifiant quatre tâches au sein d'un même framework : suivi d'instructions, navigation orientée objectif, tracking de cible et conduite autonome. Qwen-RobotManip standardise l'espace état-action et représente le mouvement de l'effecteur terminal sous forme de poses incrémentielles dans le référentiel caméra, une approche conçue pour faciliter la généralisation multi-plateforme. Ce modèle a été entraîné sur plus de 38 100 heures de données entièrement open source. Qwen-RobotWorld, le troisième composant, fonctionne comme un world model généraliste : il prédit des états futurs physiquement cohérents via une interface en langage naturel, couvrant simultanément la navigation, la conduite et la manipulation depuis un seul modèle. L'approche modulaire mais unifiée est la proposition de valeur centrale de cette suite. Un world model unique opérant sur trois domaines d'action représente une architecture qui, si elle tient ses promesses en conditions réelles, réduirait significativement les coûts d'intégration pour les équipes robotiques industrielles. L'utilisation de données entièrement open source pour Qwen-RobotManip est un signal notable dans un secteur où les datasets propriétaires constituent souvent un avantage concurrentiel défensif : Alibaba positionne ainsi Qwen-Robot davantage comme une infrastructure partagée que comme un produit fermé. Réserve importante cependant : l'annonce ne s'accompagne d'aucun benchmark public (RLBench, LIBERO, CARLA) ni de déploiement physique documenté. Il s'agit d'une publication de modèles, pas d'un produit shipé. L'équipe Qwen d'Alibaba est reconnue pour ses modèles multimodaux (Qwen2.5-VL, QwQ), mais ce lancement marque son entrée explicite dans l'embodied AI. Le terrain est disputé : Google DeepMind pousse ses dérivés de RT-2, Physical Intelligence a publié Pi-0 et Pi-0.5, Hugging Face soutient l'initiative LeRobot, et NVIDIA propose GR00T N2 comme backbone pour les robots humanoïdes partenaires. Côté chinois, Unitree, Agibot et Zhiyuan Robot accélèrent eux aussi leurs pipelines VLA (vision-language-action). La prochaine étape pour Alibaba sera de démontrer des résultats sur des plateformes matérielles réelles ; faute de quoi, Qwen-Robot restera un framework académique parmi d'autres dans une course déjà très chargée.

Alibaba lance Qwen-Robot, sa première famille de modèles d'IA incarnée

Alibaba a publié mardi la suite Qwen-Robot, sa première famille de modèles d'IA incarnée, destinée à relier les grands modèles de langage à l'action robotique dans le monde physique. La suite comprend trois modèles : Qwen-RobotNav pour la navigation visuo-langagière, entraîné sur 15,6 millions d'échantillons en unifiant instruction following, navigation par cible et suivi d'objets ; Qwen-RobotManip pour la manipulation robotique via une architecture VLA (Visual Language Action) basée sur un backbone Qwen3.5-4B VL couplé à une tête de diffusion par flow matching, entraîné sur plus de 38 100 heures de données issues exclusivement de sources open source ; et Qwen-RobotWorld, un modèle de monde prédit des futurs physiquement cohérents pour la manipulation, la conduite et la navigation via une interface en langage naturel. La démonstration centrale met en scène un robot quadrupède Unitree Go2 sur hardware NVIDIA Jetson Thor, équipé d'une unique caméra basse résolution : sans cartographie préalable, il navigue dans un appartement inconnu en suivant des instructions verbales, avec une latence d'inférence de 196 millisecondes. Alibaba a également présenté Qwen-RobotClaw, un framework agent permettant aux modèles Qwen VLM d'appeler les outils Qwen-Robot pour gérer des tâches longues et la mémoire de contexte, et mis en open source Chat2Robot, une plateforme d'évaluation navigateur supportant Qwen-RobotManip sur 50 tâches via le dataset RoboTwin-Clean. Pour les intégrateurs et décideurs industriels, deux points méritent attention. L'entraînement de Qwen-RobotManip exclusivement sur des données open source est un choix architectural significatif : il abaisse les barrières de reproduction et contourne le verrou des données propriétaires qui bloque nombre d'acteurs du secteur. La latence de 196 ms sur Jetson Thor illustre la viabilité de l'inférence embarquée pour la navigation, même si cette performance a été mesurée dans un environnement contrôlé et non en production industrielle. La robustesse à grande échelle reste à démontrer : les vidéos présentées constituent une preuve de concept, pas un déploiement validé. L'architecture Qwen-RobotClaw adresserait un problème concret si elle tient ses promesses en production : la gestion de tâches multi-étapes sans reprogrammation manuelle, qui reste le verrou central de l'adoption robotique en environnements non structurés. Alibaba entre tardivement dans l'espace des modèles de fondation robotiques face à des acteurs déjà positionnés : Physical Intelligence (pi0, levée de 400 M$ en 2024), Figure AI (Figure 03, partenariat BMW), Google DeepMind et NVIDIA avec GR00T N2. En Chine, Unitree (fournisseur du Go2 de la démo), Zhiyuan Robot et Agibot développent leurs propres stacks logicielles embarquées. En Europe, Enchanted Tools et Pollen Robotics avancent sur des plateformes collaboratives, mais sans modèle VLA de cette envergure à ce stade. Les prochaines étapes annoncées incluent l'extension de Chat2Robot à de nouvelles plateformes et tâches robotiques, ainsi qu'une intégration commerciale potentielle via Alibaba Cloud.

Daxiao Robot a levé des centaines de millions de dollars : son fondateur révèle les fractures de l'industrie de l'IA incarnée

ACE Robotics (大晓机器人), fondée en juillet 2025 par Wang Xiaogang, co-fondateur de SenseTime, a annoncé le 15 juin 2026 la clôture d'un tour Angel+ réunissant Dachen Caizhong, Shenzhen Capital Group, le Shanghai Science and Innovation Fund, Muxin Shares, Fosun Ruizheng et le Lingang New Area Fund, avec un réinvestissement de l'actionnaire historique SenseTime Guoxiang Capital. Le cumul de levées 2026 dépasse désormais plusieurs centaines de millions de dollars, classant ACE parmi les premières licornes de la robotique incarnée en Chine. La startup dévoile simultanément Kairos 3.0, son modèle monde (world model) dédié à l'intelligence incarnée, revendiquant le SOTA sur quatre benchmarks mondiaux d'embodied intelligence, et publie en open-source Kairos 3.0-4B, présenté comme la première version capable de piloter un robot directement depuis un périphérique embarqué (edge device) sans serveur distant. Le corpus d'entraînement atteint un million d'heures d'interactions humain-environnement, obtenu via une collecte centrée sur l'acteur humain en situation réelle, soit dix fois le volume produit par télé-opération traditionnelle. Les modules A1 équipent des chiens robots pour l'inspection de voirie à Shanghai (secteur Ouest Rive), ainsi que des robots opérant dans des hôtels, des magasins sans caissier et des entrepôts logistiques automatisés. La levée met en lumière une fracture structurelle de l'écosystème chinois : contrairement à Figure, Tesla Optimus ou Physical Intelligence (Pi-0), qui internalisent la boucle matériel-données-modèle pour accélérer l'itération, les acteurs locaux fonctionnent encore en silos. Wang Xiaogang l'admet explicitement : les standards de collecte de données restent fragmentés, les corpus directement exploitables pour l'entraînement de modèles incarnés sont rares, et les cycles d'itération matérielle sont trop longs pour rester synchronisés avec la cadence des modèles. La réponse d'ACE est pragmatique : s'ancrer dans des scénarios B2B contrôlés et reproductibles (logistique, inspection routière), y collecter des données réelles en boucle fermée via des partenaires intégrateurs -- dont Shanhui Robots, acteur du retail sans caissier issu de l'écosystème SenseTime -- et abaisser le coût de la solution au tiers de la moyenne sectorielle par l'effet d'échelle. Cette stratégie scene-first sert aussi à valider la thèse du world model face aux VLA (vision-language-action) : Wang soutient que seul un modèle capable de comprendre, générer et prédire simultanément peut atteindre une véritable émergence de l'intelligence incarnée. Wang Xiaogang, co-fondateur de SenseTime depuis 2014, a délibérément créé ACE en juillet 2025, après la première vague de startups incarnées, pour capitaliser sur les impasses avérées des VLA et éviter les gaspillages en données et en calcul accumulés par ses prédécesseurs. En Chine, la concurrence se structure autour de niches sectorielles : Qianjue Technology (spin-off de l'Université Tsinghua) cible l'hôtellerie et les services commerciaux, tandis que Tasishi Zhihang, fondée par Chen Yilun (ex-chef scientifique du département automobile de Huawei), se concentre sur l'assemblage de faisceaux de câbles industriels. La feuille de route d'ACE progresse en trois temps : inspection routière et chiens robots (déjà en production), entrepôts logistiques (déploiements en cours), puis la sphère domestique grand public. Wang reste prudent sur les délais : Kairos n'a pas encore atteint l'équivalent d'un GPT-3 pour les modèles monde, ce seuil d'émergence à partir duquel les paradigmes de recherche se stabilisent et les capacités commencent à généraliser à grande échelle.

FlowMPC : amélioration des politiques de correspondance de flux avec des modèles du monde

Un préprint publié sur arXiv en juin 2026 (arXiv:2606.16286) présente FlowMPC, un cadre expérimental qui combine une politique d'imitation par Flow Matching (FM) avec un modèle de monde appris, pour améliorer les performances à l'inférence sans modifier l'entraînement initial. Le framework s'appuie sur TD-MPC2 (Hansen et al., 2024) et recourt à la planification Model Predictive Path Integral (MPPI) pour évaluer des séquences d'actions candidates générées par la politique FM à chaque pas de décision. Les expériences sont conduites sur le benchmark de manipulation ManiSkill (Tao et al., 2025), sur deux tâches : PickCube et PickSingleYCB. Dans les deux cas, l'ajout du modèle de monde améliore les performances par rapport à la politique FM seule, avec des gains particulièrement nets sur le taux de succès en fin d'épisode, l'indicateur le plus exigeant de ces benchmarks. Ce résultat illustre une tendance croissante en robotique apprise : augmenter les politiques d'imitation par du raisonnement prospectif au moment de l'inférence, sans retraining coûteux. Flow Matching est une approche récente pour les espaces d'action multimodaux, typiques des tâches de manipulation, mais elle n'est pas conçue pour maximiser directement un retour cumulatif. FlowMPC comble ce déficit en couplant le FM à un modèle de monde : la politique génère des actions candidates, le planificateur MPPI les filtre selon leur valeur estimée. Ce découplage entraînement/test ouvre une voie pragmatique pour les intégrateurs robotiques, car il permet d'améliorer des politiques déployées sans relancer des pipelines d'entraînement lourds. Ce travail s'inscrit dans un paysage de recherche dense où plusieurs approches cherchent à marier imitation et planification. TD-MPC2, sur lequel FlowMPC s'appuie directement, est une référence établie pour l'apprentissage par renforcement basé sur des modèles. Signé d'un seul auteur et non encore soumis à revue par les pairs, ce preprint reste à un stade préliminaire : les tests se limitent à deux tâches simulées, sans évaluation sur robot physique ni comparaison avec des politiques concurrentes majeures telles que Pi-0 (Physical Intelligence) ou les diffusion policies (Chi et al., 2023). La prochaine étape naturelle serait de valider le transfert sim-to-real et de tester sur des benchmarks de manipulation plus complexes, comme l'assemblage de pièces ou la manipulation d'objets déformables.

L'IA et les modèles du monde : pourquoi la Chine a une longueur d'avance

Les modèles de monde ("world models") sont désormais identifiés comme la prochaine rupture technologique en intelligence artificielle, dépassant les grands modèles de langage (LLM) en leur ajoutant une capacité de simulation de l'environnement physique. Contrairement aux LLM qui traitent du texte, ces architectures apprennent les lois de la physique, la causalité et la géométrie de l'espace réel, ce qui permet d'entraîner des systèmes à intelligence incarnée (embodied AI) : robots humanoïdes, véhicules autonomes, bras industriels. La Chine a déjà déployé ces systèmes à une échelle nettement supérieure à celle des États-Unis, avec des entreprises comme Baidu Apollo (plusieurs dizaines de millions de kilomètres d'autonomie sur route réelle), Unitree et ses robots humanoïdes en production, ainsi que des modèles de monde propriétaires développés par Tencent (HunyuanWorld) et ByteDance. Cet avantage chinois est structurel autant que technologique : le cadre réglementaire y autorise des déploiements massifs en conditions réelles, là où les États-Unis maintiennent des restrictions plus strictes sur les tests d'autonomie. Pour les intégrateurs industriels et les décideurs B2B, cela signifie que le gap sim-to-real, longtemps considéré comme le principal frein à l'adoption robotique, est en train d'être résolu plus vite en Chine qu'ailleurs. Les world models permettent de générer des données synthétiques d'entraînement à partir de simulations physiquement cohérentes, réduisant drastiquement le besoin de collecte en environnement réel. Côté contexte, le concept de world model remonte aux travaux de Yann LeCun chez Meta (architecture JEPA, 2022-2024), mais sa concrétisation industrielle s'est accélérée en 2025-2026 avec l'émergence de modèles dédiés à la robotique comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et les plateformes chinoises. En Europe, des acteurs comme Enchanted Tools (Paris) travaillent sur des approches similaires mais à bien plus petite échelle. La prochaine étape sera probablement la standardisation des benchmarks de world models, un domaine où le leadership de définition reste encore ouvert.

ContactWorld : ce qui compte dans les modèles du monde vision-tactile pour la manipulation par contact

Des chercheurs ont publié ContactWorld, un benchmark et une étude empirique systématique des modèles du monde vision-tactile appliqués à la manipulation robotique en contact riche, disponible sur arXiv (2606.13877). L'étude couvre 12 tâches représentatives : insertion de pièces, désassemblage, vissage et interaction exploratoire. Les résultats quantitatifs sont nets : les observations par nuage de points (point cloud) portent le taux moyen de réussite en planification de 20,7 % (vue poignet) et 22,0 % (vue frontale) à 32,1 %. Combiner ces nuages de points avec des représentations tactiles de type champ de force (force-field), qui préservent la structure spatiale et la dynamique d'interaction, pousse ce taux à 36,1 %, meilleur résultat sur l'ensemble des configurations testées. L'étude identifie aussi que le retour tactile devient disproportionnellement critique lors des objectifs de planification à long horizon, là où les erreurs de prédiction se cumulent. Ce que prouve ContactWorld, c'est que la qualité de la représentation prime sur la quantité de capteurs. La compatibilité cross-modale entre vision et toucher, et non le simple ajout de modalités, détermine l'efficacité du retour tactile. Pour les intégrateurs industriels et les équipes R&D en robotique de précision, cela signifie que le choix du format de représentation en entrée du modèle est aussi critique que le choix du capteur lui-même. La planification à long horizon, indispensable pour des tâches d'assemblage réelles avec de multiples étapes, reste le talon d'Achille des world models actuels, et cette étude en quantifie les mécanismes d'échec avec rigueur. Les world models pour la manipulation en contact sont au cœur des efforts actuels de plusieurs laboratoires visant à dépasser les approches par imitation pure. Des frameworks comme Dreamer ou RSSM ont posé les bases, mais peu de benchmarks ciblent explicitement les tâches en contact riche, qui représentent pourtant 60 à 70 % des opérations d'assemblage manufacturier. ContactWorld comble ce vide méthodologique. Du côté capteurs tactiles, les acteurs comme GelSight (MIT), Touchlab ou Xela Robotics proposent des solutions commerciales dont l'intégration dans des pipelines de world models reste largement ouverte. L'étude, soumise en preprint et non encore évaluée par les pairs, pose un cadre de comparaison que les groupes de recherche en manipulation pourront désormais utiliser comme référence commune.

💬 36% de réussite, ça paraît modeste, mais c'est pas le point. Ce que ContactWorld prouve, c'est que la représentation des données (point cloud plus tactile structuré façon champ de force) pèse autant que le choix du capteur lui-même, et personne ne le quantifiait vraiment avant. Pour les équipes R&D qui bossent sur de l'assemblage multi-étapes, ce benchmark va devenir une référence, enfin.

Wang Zhongyuan (BAAI) : les VLA ne mourront pas, mais les modèles du monde sont l'avenir

Wang Zhongyuan, directeur du Beijing Academy of Artificial Intelligence (BAAI, 北京智源人工智能研究院), institution de recherche non lucrative chinoise, a accordé une interview approfondie au média spécialisé 硬氪 en marge de la conférence annuelle de l'académie, consacrée cette année aux modèles du monde (World Models) et aux agents intelligents. Il y cartographie quatre grandes familles de world models en compétition : les modèles centrés sur le langage comme les VLA et VLM (dont Gemini 3), qui prédisent le prochain token sans comprendre les conséquences physiques ; les modèles centrés sur les pixels comme Sora ou Seedance, efficaces pour la génération vidéo mais aveugles à la causalité physique ; les modèles centrés sur la structure 3D, dont Marble de World Labs (l'équipe de Li Feifei), qui reconstruisent l'espace géométrique sans en modéliser les états physiques ; et les modèles centrés sur la représentation visuelle, comme la série V-JEPA de Yann LeCun, dont l'évolution des embeddings ne correspond pas à l'évolution des lois physiques. BAAI explore une cinquième voie : fusionner représentations linguistiques et visuelles dans un espace latent unifié (latent space), depuis lequel des décodeurs distincts restituent langage, actions et vision selon le besoin, via des systèmes déjà déployables comme Physis et RoboBrain Orca. L'enjeu central, selon Wang, est de substituer au paradigme "Next Token Prediction" des LLM un paradigme "Next Physical State Prediction", soit la prédiction du prochain état physique du monde. Cette bascule est directement liée aux limites exposées par l'IA incarnée (embodied AI) : les robots actuels, qu'ils s'appuient sur des VLA ou des architectures plus simples, restent des exécutants passifs, cantonnés à des tâches mono-scène avec des données très spécifiques. Ils ne généralisent pas. Un robot VLA peut attraper un colis sur une chaîne logistique, mais il est incapable de prédire ce qui se passe si une bouteille ouverte tombe à côté. Wang rejette catégoriquement l'équivalence entre génération vidéo et world model, qui s'est répandue depuis qu'OpenAI a qualifié Sora de "World Simulator" : produire une vidéo physiquement plausible n'est pas modéliser le monde. Un vrai world model doit être physiquement correct (gravité, optique, fluides), doté d'une causalité action-résultat explicite, cohérent sur de longues séquences temporelles, et généralisable à des tâches multiples. Quant au débat "VLA is dead", Wang le tranche sans ambiguïté : les VLA restent utiles aujourd'hui et le resteront à court terme, mais les world models représentent l'étape suivante. BAAI a construit cette position en couches successives depuis le LLM Wudao (悟道), premier grand modèle chinois public, jusqu'aux architectures multimodales natives Emu3 et Emu3.5, avant d'amorcer en 2024 la transition vers la "Next State Prediction". L'académie est aussi un vivier : les fondateurs de Zhipu AI (Tang Jie), Moonshot AI (Yang Zhilin), iFlytek Research (Liu Zhiyuan) et Galactic General Robotics (Wang He) y ont tous conduit des recherches. Côté compétition internationale, BAAI se positionne face à World Labs (Marble), OpenAI (Sora), DeepMind (Genie 2) et au programme V-JEPA de LeCun chez Meta. Wang situe l'état actuel des world models à l'équivalent du deep learning vers 2012 : données fragmentées, benchmarks divergents, pas encore de "moment ChatGPT". Il estime qu'un véritable cerveau robotique à base de world model est un horizon de trois ans minimum, avec des applications prioritaires dans la robotique industrielle, la simulation physique et l'IA for Science.

WEAVER, meilleur, plus rapide, plus long : un modèle du monde efficace pour la manipulation robotique

Des chercheurs ont publié fin juin 2026 sur arXiv (2606.13672) WEAVER (World Estimation Across Views for Embodied Reasoning), une architecture de modèle de monde (world model, WM) dédiée à la manipulation robotique. Le système, multi-vue, est entraîné à prédire des représentations latentes futures et des valeurs de récompense via une perte de flow-matching. Sur robot physique, WEAVER atteint une corrélation ρ = 0,870 entre trajectoires simulées et taux de succès réel en évaluation de politique (policy evaluation). Appliqué à l'amélioration de politique (policy improvement), il produit un gain de 38 % de taux de succès réel au-dessus du modèle de fondation robotique π₀.₅ de Physical Intelligence. En planification à l'inférence (test-time planning), il ajoute 14 % de succès supplémentaires, avec une vitesse de génération 5 à 10 fois supérieure aux WMs précédents. Le code, les modèles et les vidéos sont publiquement accessibles. Les modèles de monde représentent un levier structurant pour la robotique : évaluer ou améliorer des politiques de contrôle, planifier à l'exécution, sans multiplier les interactions coûteuses en environnement réel. Le verrou technique est triple, fidélité (les trajectoires simulées doivent refléter la réalité), cohérence sur longue horizon (les simulations ne doivent pas diverger dans le temps), et efficacité computationnelle. WEAVER satisfait simultanément ces trois critères là où les architectures précédentes échouaient généralement sur au moins l'un d'eux, en particulier sur la cohérence à long horizon pour des tâches de manipulation dynamique complexes. Le gain de 38 % sur π₀.₅ est particulièrement significatif : il démontre qu'un WM peut améliorer un modèle de fondation déjà performant sans collecte de données additionnelles en conditions réelles, réduisant ainsi les coûts de déploiement pour les intégrateurs industriels. Ce travail s'inscrit dans une compétition accélérée autour des world models pour la robotique embodied. Physical Intelligence avec π₀ et π₀.₅, Google DeepMind avec ses variantes RT et RoboDreamer, ainsi que des équipes académiques de Berkeley, CMU et Stanford ont chacun proposé des approches partielles. WEAVER se positionne comme une synthèse architecturale, avec un soin particulier apporté à la gestion de la mémoire et au traitement multi-vue. Aucun partenariat industriel ni calendrier commercial n'est annoncé à ce stade, et la validation reste circonscrite à des environnements de laboratoire contrôlés. La question centrale du sim-to-real gap à l'échelle, dans des environnements industriels non structurés, reste entièrement ouverte.

💬 38 % de gain sur π₀.₅ sans ajouter une seule donnée en conditions réelles, c'est du concret. Ce qui est rare, c'est qu'ils résolvent les trois verrous en même temps : fidélité, cohérence à long horizon, vitesse de génération. Le sim-to-real à l'échelle industrielle reste entier, mais pour l'instant c'est l'architecture la plus sérieuse que j'ai vue sur le sujet.

World Pilot : piloter les modèles VLA avec des a priori monde-action

Une équipe de chercheurs a publié World Pilot (arXiv:2606.12403, juin 2026), un framework conçu pour combler une lacune structurelle des modèles Vision-Language-Action (VLA). Ces modèles, comme Pi-0 de Physical Intelligence ou RT-2 de Google Robotics, tirent leur force d'un préentraînement sur de vastes corpus image-texte, mais ce préentraînement s'appuie sur des paires statiques, alors que la manipulation robotique est un processus continu et riche en contacts dont la dynamique leur échappe. World Pilot introduit un World-Action Model (WAM) qui injecte deux types de priors dans la chaîne de décision : le Latent Steering conditionne la couche de perception sur un latent d'évolution de scène, et l'Action Steering fournit une trajectoire anticipée comme prior de mouvement au générateur d'actions. Sur le benchmark LIBERO-Plus en configuration zero-shot out-of-distribution (OOD), le système atteint 84,7 % de taux de succès global et affiche les meilleurs résultats sur quatre tâches de manipulation en environnement réel, avec des marges significatives lors de variations de point de vue, de géométrie d'objets, d'état déformable et de pose. L'intérêt principal de cette approche est de renforcer la robustesse des VLA face aux écarts de distribution sans réentraînement massif. Fait notable : le prior d'évolution de scène reste efficace même lorsqu'il provient d'un world model préentraîné sur vidéo uniquement, sans post-entraînement sur des données d'action, ce qui rend l'augmentation de VLA existants nettement plus accessible. Pour les équipes de déploiement industriel, cela signifie potentiellement moins de données de fine-tuning pour adapter un modèle à un contexte visuel inédit. Le benchmark zero-shot OOD reste l'un des indicateurs les plus exigeants du domaine, là où la majorité des politiques robotiques s'effondrent dès qu'elles sortent de leur distribution d'entraînement. World Pilot s'inscrit dans un courant actif qui vise à doter les politiques robotiques d'un modèle interne du monde, une direction explorée par DeepMind avec DreamerV3 et par Meta via l'architecture JEPA de Yann LeCun. Les VLA ont démontré des capacités de généralisation sémantique prometteuses, mais leur fragilité face aux variations physiques de l'environnement constituait un frein structurel au déploiement industriel. La question ouverte est de savoir si les marges observées sur LIBERO-Plus se maintiendront sur des benchmarks plus larges comme Open-X-Embodiment et sur des plateformes commerciales telles que les bras Franka Robotics ou Universal Robots, étapes nécessaires pour valider la portée industrielle de l'approche.

💬 Le résultat qui compte vraiment, c'est pas les 84% sur le benchmark, c'est que le prior de scène fonctionne avec un world model entraîné sur vidéo uniquement, zéro donnée d'action. Ça veut dire qu'on peut augmenter un Pi-0 ou un RT-2 sans repartir en fine-tuning robotique de zéro, ce qui était le vrai blocage jusqu'ici. Reste à voir si ça tient sur un Franka en prod, mais c'est le genre de papier qu'on garde sous le coude.