XPACE : modélisation conjointe du monde et de l'action à partir d'expériences hétérogènes

WLA³ : modélisation d'action latente du monde pour la sémantique, la dynamique et la cinématique

Des chercheurs ont publié le 15 septembre 2026 sur arXiv (2609.15870) WLA³, pour World Latent Action Modeling for Semantics, Dynamics, and Kinematics, un cadre pour entraîner des politiques robotiques généralistes à partir de données hétérogènes. Son cœur, le WLAM (World Latent Action Model), apprend comment l'état du monde évolue sur un court intervalle en encodant des vues caméra synchronisées et les variations d'état du robot en une action latente locale compacte de 32 dimensions, associée à une représentation de transition plus riche. Cette représentation alimente trois usages : un agrégat latent sémantique supervise le modèle vision-langage, les actions latentes nourrissent la modélisation de la dynamique physique, et un expert d'action prédit conjointement ces actions et les commandes robotiques propres à chaque plateforme. Sur le benchmark LARYBench, l'action latente 32D atteint 67,89% de précision moyenne de classification, et sur six tâches réelles, WLA³ obtient 81,9% de réussite moyenne, contre 66,2% pour le modèle concurrent π0.5. Cette méthode cible un goulot d'étranglement des modèles vision-langage-action (VLA) : le manque d'annotations d'actions fiables, alors que les vidéos égocentriques humaines abondent mais sont rarement étiquetées avec précision. En dérivant la supervision directement des transitions observées entre images plutôt que d'annotations manuelles de gestes, WLA³ transforme la vidéo humaine brute en source d'apprentissage à grande échelle, tout en ancrant la représentation partagée dans des commandes exécutables grâce aux trajectoires robotiques réelles. Les auteurs montrent que les performances progressent avec le volume de données de pré-entraînement et que les vidéos humaines permettent un transfert humain-vers-robot, un argument en faveur de l'hypothèse que la vidéo à grande échelle peut compenser la pénurie de données de téléopération, un point de friction récurrent pour les intégrateurs robotiques. WLA³ prolonge une lignée de travaux sur les actions latentes apprises par vidéo et se positionne explicitement face à π0.5, la politique généraliste de Physical Intelligence, utilisée comme référence de comparaison. Le papier ne précise ni affiliation institutionnelle ni partenariat industriel : il s'agit d'une publication de recherche accompagnée d'une page de projet (wla-3.github.io), sans déploiement commercial annoncé. Les résultats, limités à six tâches réelles et à un seul benchmark de classification, restent à confirmer sur davantage d'embodiments et à plus grande échelle.

WALL-WM : modélisation des actions du monde aux points d'articulation d'événements

Une équipe de chercheurs a publié le 2 juin 2026 sur arXiv (arXiv:2606.01955) les travaux portant sur WALL-WM, un World Action Model (WAM) qui propose de repenser la manière dont les modèles Vision-Language-Action (VLA) sont entraînés pour la robotique généraliste. Là où les approches dominantes, comme celles exploitées par Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2), optimisent des "chunks" d'actions à longueur fixe conditionnés sur l'observation courante, WALL-WM substitue à cette unité temporelle arbitraire l'événement sémantique : une séquence d'actions cohérente du point de vue du sens (attraper un objet, ouvrir un tiroir), extraite automatiquement par des légendes au niveau événementiel et un échantillonnage cluster-balancé. Le modèle expose deux modes d'inférence : un mode "event" qui consomme des descriptions de l'événement suivant et produit des chunks à longueur variable, et un mode "unified" qui applique un mécanisme baptisé Staircase Decoding pour conserver une inférence à longueur fixe tout en maintenant un chemin VLA à gradient continu. Le tout est entraîné à grande échelle via l'optimiseur Muon, et les auteurs revendiquent des performances état de l'art sur une évaluation de généralisation en monde réel à large échelle, sans préciser les benchmarks ni les données de déploiement. L'intérêt de l'approche réside dans le diagnostic qu'elle formule : le désalignement de granularité entre langage (objectifs sémantiques), vision (dynamique de scène continue) et actions (timescales de contrôle) transforme l'entraînement VLA classique en simple fitting de corrélations à court horizon, ce qui explique les difficultés de généralisation observées hors distribution. En traitant l'événement comme unité atomique d'apprentissage, WALL-WM offre une piste sérieuse pour réduire le sim-to-real gap et améliorer le transfer sur des tâches et des scènes non vues, deux verrous majeurs qui bloquent le passage à l'échelle industrielle des robots manipulateurs. Il convient cependant de rester prudent : il s'agit d'un preprint sans revue par les pairs, sans données de déploiement terrain, et sans détail sur les benchmarks précis utilisés pour établir la supériorité annoncée. WALL-WM s'inscrit dans une vague de recherche sur les WAMs qui a pris de l'ampleur depuis 2024, portée notamment par Physical Intelligence avec Pi-0 et Pi-0.5, Google DeepMind avec RT-2 et ses successeurs, et NVIDIA avec GR00T N2 pour les humanoïdes. Ces modèles partagent l'ambition de pré-entraîner des politiques robotiques générales sur des données hétérogènes avant de les affiner par tâche. La contribution de WALL-WM est théoriquement propre et l'infrastructure Muon suggère un effort de calcul significatif, mais l'absence de résultats quantitatifs détaillés dans le résumé limite l'évaluation externe. Les prochaines étapes attendues sont une publication complète avec benchmarks reproduisibles (LIBERO, OpenVLA-OFT, RoboMimic) et, idéalement, des partenariats industriels pour validation en environnement de production.

Worldscape-MoE : un modèle du monde à mélange d'experts unifié pour un contrôle d'action hétérogène et évolutif

Une équipe de recherche publie sur arXiv (7 juillet 2026) Worldscape-MoE, un modèle du monde basé sur des Diffusion Transformers combinés à une architecture Mixture-of-Experts (MoE), conçu pour unifier le contrôle d'actions hétérogènes dans les simulateurs génératifs vidéo. Jusqu'ici, les modèles du monde utilisés pour l'IA incarnée traitaient séparément chaque type de commande, trajectoires de caméra, actions robotiques, signaux de jointures de main, avec des interfaces isolées les unes des autres. Worldscape-MoE introduit à la place une injection de contrôle sensible à la modalité, des experts partagés et des experts spécifiques à chaque type de commande, ainsi qu'une stratégie d'entraînement MoE progressive permettant d'ajouter de nouvelles modalités d'action sans tout réentraîner. Les tests couvrent trois domaines, locomotion, manipulation robotique et contrôle égocentrique de la main, avec des résultats évalués sur le benchmark WorldArena. L'apport principal tient dans un résultat contre-intuitif pour le secteur: faire apprendre au même modèle des signaux de contrôle très différents (déplacement d'un robot, geste d'une main, trajectoire de caméra) améliore les performances sur chaque tâche individuelle, plutôt que de les dégrader par interférence. Cela infirme l'hypothèse répandue selon laquelle mélanger les types de supervision dilue la qualité du contrôle. Pour les équipes qui développent des simulateurs destinés à entraîner des politiques robotiques ou des agents VLA (vision-language-action), ce résultat plaide pour des architectures mutualisées plutôt que des modèles du monde spécialisés par tâche, un enjeu direct de coût et de scalabilité pour l'industrie. Le travail s'inscrit dans la montée en puissance des modèles du monde comme infrastructure de base pour l'IA incarnée, à mesure que la fragmentation des interfaces de contrôle devient un frein au passage à l'échelle. Worldscape-MoE se positionne comme une alternative structurelle aux générateurs vidéo contrôlables existants, avec une architecture pensée pour absorber, au fil du temps, nouvelles modalités et nouveaux jeux de données sans repartir de zéro, un axe que les auteurs annoncent vouloir poursuivre avec l'ajout d'experts et de données supplémentaires.

Modélisation du monde en contexte pour le contrôle robotique

Des chercheurs ont publié le 25 juin 2026 un preprint arXiv (2606.26025) présentant ICWM (In-Context World Modeling), un cadre d'adaptation pour les modèles Vision-Language-Action (VLA) appliqués à la robotique. Les VLA actuels échouent dès que le contexte d'exécution change - angle de caméra différent, morphologie de robot modifiée - parce qu'ils supposent un contexte fixe, celui rencontré pendant l'entraînement, et nécessitent un fine-tuning intensif en données pour toute nouvelle configuration. ICWM traite l'identification du système comme un problème d'adaptation en contexte : avant d'exécuter une tâche, le robot génère de courtes interactions autonomes agnostiques à la tâche, dont l'historique est injecté dans la fenêtre de contexte du modèle. Celui-ci infère ainsi implicitement la dynamique du système courant - position de caméra, configuration mécanique - sans mise à jour de poids. Les expériences menées en simulation et sur plateformes réelles montrent que ICWM surpasse significativement les baselines VLA standards sur des configurations de caméra inédites. La généralisation des VLA est le verrou principal qui freine le déploiement industriel de la robotique généraliste. Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA et les modèles Google nécessitent tous du fine-tuning dès qu'on change la disposition d'une caméra ou la morphologie d'un robot, ce qui rend les pilotes industriels coûteux et longs à mettre en place. ICWM attaque ce problème sans modifier les poids du modèle : l'adaptation passe uniquement par le contexte, à l'image de ce que l'In-Context Learning a apporté aux LLMs. Pour un intégrateur ou un COO industriel, cela signifie potentiellement déployer un même modèle sur plusieurs lignes avec des géométries de capteurs différentes, sans pipeline de re-entraînement. La contribution est conceptuellement distincte : là où l'ICL classique spécifie quelle tâche effectuer, ICWM apprend comment le système fonctionne - une couche d'adaptation complémentaire aux approches existantes. Les modèles VLA ont connu une explosion depuis 2024 : RT-2 (Google DeepMind), Pi-0 de Physical Intelligence, GR00T N2 d'NVIDIA présenté à GTC 2025, et plus récemment Helix (Figure AI) illustrent la convergence entre fondations LLM et contrôle moteur. La fragilité aux variations contextuelles - ce qu'on appelle le "demo-to-deployment gap" - reste une critique récurrente formulée notamment par des acteurs européens comme Enchanted Tools ou Wandercraft, qui misent sur des architectures plus déterministes pour des environnements industriels contraints. ICWM s'inscrit dans une tendance plus large : importer les paradigmes d'adaptation du machine learning directement dans la boucle de contrôle robotique, sans passer par un cycle de collecte de données et de re-entraînement. Le preprint ne mentionne ni partenariat industriel, ni code open-source, ni dataset public : il s'agit d'une contribution de recherche pure, sans déploiement commercial annoncé à ce stade.

💬 Le vrai frein au déploiement robotique industriel, ce n'est pas la performance brute des VLA, c'est que la moindre caméra déplacée oblige à relancer un fine-tuning complet. ICWM importe dans la boucle de contrôle la même logique qui a rendu les LLMs flexibles, et si ça tient, c'est un changement de calcul économique pour les intégrateurs européens qui tentent des pilotes. Bon, pour l'instant c'est un preprint sans code ni partenaire industriel, donc on verra.