RecherchePandaily 1 novembre 2026

L'université de Westlake ouvre un centre de recherche sur les modèles du monde dirigé par Yu Kaicheng

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le 31 octobre, l'université de Westlake a inauguré à Hangzhou, sur son campus de Yungu, le Westlake World Model Research Center, selon IT Home qui cite l'établissement. Il s'agit d'une plateforme de recherche interdisciplinaire de niveau universitaire consacrée à l'intelligence physique. Elle sera dirigée par Yu Kaicheng, professeur assistant et directeur de thèse à l'École d'ingénierie, par ailleurs cofondateur et chief scientist de la société d'IA KMind. Jin Yaochu, professeur titulaire de la chaire d'intelligence artificielle et responsable du département d'IA, occupe la fonction de chief scientist, tandis que plusieurs investigateurs principaux piloteront chacun un axe de recherche. Le centre vise à étudier des systèmes combinant perception, cognition, prédiction et action, et à développer un modèle du monde généraliste capable de comprendre la physique, d'anticiper les conséquences d'une action et de continuer à apprendre à partir des retours du monde réel. Aucun chiffre de budget, d'effectif ou de calendrier n'a été communiqué. L'université n'a pas non plus nommé les autres investigateurs principaux ni dévoilé les premiers projets.

L'intérêt tient moins à la structure elle-même qu'à ce qu'elle signale. Les modèles du monde, ces systèmes qui apprennent une représentation interne de la dynamique physique pour prédire l'effet de leurs actions, sont devenus l'un des paris centraux pour dépasser les limites des VLA (vision-language-action) actuels, qui héritent surtout d'une compréhension linguistique et restent fragiles face à la physique du contact. Qu'une université de premier plan en fasse un centre dédié, avec un chercheur issu de la perception pour la conduite autonome, confirme que la question du transfert vers la manipulation et la robotique mobile se déplace vers la recherche fondamentale. Pour un intégrateur ou un décideur industriel, le message est prudent : il s'agit d'un lancement institutionnel, sans démonstration, sans benchmark ni produit, et rien ne permet encore d'évaluer ce que cette approche apportera sur le terrain.

Le parcours de Yu Kaicheng éclaire l'orientation du centre. Diplômé de l'université de Hong Kong en 2016 puis docteur de l'EPFL en 2021, il est passé par Intel, Abacus.AI et l'Alibaba DAMO Academy, où son travail BEVFusion, consacré à la fusion de données lidar et caméra, est devenu très cité. Arrivé à Westlake en 2023, il y a créé l'Autonomous Intelligence Lab (AutoLab) pour construire des modèles du monde destinés aux systèmes autonomes. Fin 2024, son équipe a abandonné les modèles du monde génératifs au niveau du pixel au profit d'un « concept world model », qui représente les concepts physiques dans un espace latent abstrait plutôt que de produire des images. Cette orientation rejoint le débat qui oppose les approches génératives vidéo aux architectures prédictives latentes défendues notamment par Yann LeCun, sans qu'il existe à ce stade de comparaison publique des résultats. En janvier 2026, Yu a transféré ces travaux dans une startup de Hangzhou, Awomo, ce qui place le centre à l'interface entre recherche académique et valorisation commerciale. Les prochaines étapes à surveiller sont la liste des investigateurs, les premiers projets et d'éventuelles publications ou jeux de données ouverts.

Dans nos dossiers

World models

À lire aussi

1arXiv cs.RO

RynnWorld-Latent : un modèle du monde inter-embodiments conditionné par des actions latentes universelles

RynnWorld-Latent est un modèle de monde vidéo cross-embodiment, présenté sur arXiv (2610.36791v1) et construit sur les « actions latentes » ancrées en 3D introduites par RynnLAM. Ces actions servent d'interface de conditionnement commune, ce qui permet de pré-entraîner un même modèle sur des vidéos d'interactions humaines, des démonstrations de robots et des rollouts de simulation, sans espace d'action natif partagé. L'architecture repose sur un transformeur vidéo pré-entraîné. Elle combine des tokens d'action globaux et une voie locale initialisée à l'identité, qui aligne les actions sur les latents vidéo futurs. Le pré-entraînement couvre 23 jeux de données, soit environ 553,5 millions d'images, puis le modèle est adapté à des robots cibles par post-entraînement. Deux routes de génération de données sont proposées. La téléopération numérique utilise les commandes du robot cible pour produire des démonstrations action-vidéo. La synthèse par actions latentes transfère un mouvement source vers une première image éditée, puis associe le rollout obtenu à de fausses actions robot retargetées. Les auteurs annoncent de meilleures métriques de prédiction vidéo sur des benchmarks publics et sur deux plateformes robotiques réelles. L'intérêt tient au verrou que ce travail vise : les embodiments utilisent des espaces d'action incompatibles, et les vidéos humaines, très abondantes, n'ont aucune étiquette de contrôle. Une représentation latente unifiée permettrait d'exploiter ces volumes sans reconvertir chaque jeu de données. Pour un intégrateur ou une équipe R&D, la promesse est de réduire le coût des démonstrations réelles en les complétant par des données synthétiques contrôlables. Les résultats vont dans ce sens : la mi-formation synthétique améliore les taux de succès des politiques sur LIBERO et LIBERO-Plus, et les deux routes de génération dépassent l'entraînement sur démonstrations réelles seules en conditions réelles. Il faut toutefois rester prudent : il s'agit d'un papier académique, sans produit ni déploiement industriel, et les gains sont mesurés « dans les réglages évalués », sur un nombre limité de plateformes. LIBERO reste un benchmark de simulation, et l'action following est démontrée surtout de façon qualitative. Le papier ne résout donc pas à lui seul le fossé sim-to-real. Ce travail s'inscrit dans la montée des modèles de monde pour la robotique, aux côtés de l'écosystème RynnLAM et d'approches concurrentes comme GR00T de NVIDIA ou les efforts de Physical Intelligence autour de Pi-0, qui cherchent aussi à mutualiser des données hétérogènes. L'idée d'actions latentes apprises à partir de vidéos sans étiquettes fait déjà l'objet de plusieurs travaux. L'apport ici est l'échelle du pré-entraînement et le couplage avec la génération de données pour politiques. La suite dépendra de la publication éventuelle du code et des poids, et de validations sur davantage de robots et de tâches longues, avant tout transfert vers des lignes de production.

RecherchePaper

1 source

2arXiv cs.RO

C3-JEPA sous-marin : un modèle du monde à vues croisées centré objet pour le sauvetage par ROV

Une équipe de recherche présente, dans une prépublication arXiv de septembre 2026, Underwater C³-JEPA, un modèle du monde prédictif et multi-caméras pour le renflouage sous-marin par ROV à courte distance et charge lourde. Sans capteur de contact, il prédit en espace latent l'évolution de l'objet cible pendant l'interaction physique et sous le retard hydrodynamique du véhicule, à partir de vues RGB synchronisées et des commandes du ROV. L'architecture encode chaque caméra en jetons "objet" et "contexte", fusionne les vues par attention sur une caméra masquée et prédit les états futurs conditionnés par la commande ; une "liaison faible" ancre cible et préhenseur à faible coût d'annotation, et une régularisation géométrique nommée SIGReg affine la représentation. Testé sur des vidéos réelles, le modèle reconstitue l'état d'un objet à partir d'une caméra exclue de l'entraînement. Le résultat s'attaque à un point dur de la robotique sous-marine : l'absence de retour de contact exploitable sous l'eau et la traînée hydrodynamique qui brouille toute prédiction de mouvement. Les auteurs montrent que leur représentation transfère plus d'information utile aux tâches en aval qu'une architecture latente sans reconstruction, tout en gardant le prédicteur léger, un argument pour les architectures JEPA hors des benchmarks académiques ; l'interface sert à évaluer des commandes candidates en contrôle prédictif (MPC) et à entraîner des agents par simulation imaginée, une brique utile pour l'autonomie partielle des ROV en offshore ou en renflouage d'épaves. Fonctionner sur vidéo réelle, pas seulement en simulation, répond à la critique récurrente du secteur sur l'écart entre simulation et réalité. Le travail prolonge la famille des architectures JEPA, popularisée par Yann LeCun chez Meta avec I-JEPA et V-JEPA, ici étendue à un cadre multi-caméras conditionné par la commande d'un véhicule, une combinaison inédite pour l'exploitation sous-marine. Il s'agit pour l'instant d'une publication de recherche : l'article ne mentionne ni déploiement, ni partenaire industriel, ni calendrier de mise en service. Le renflouage et la manipulation sous-marine à fort enjeu, épaves, maintenance offshore, interventions de défense, restent un segment où les grands noms de la robotique humanoïde sont absents, laissant le terrain à des laboratoires spécialisés et à l'industrie parapétrolière ; aucun acteur français ou européen n'est cité dans cette étude.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de modèles du monde par Gaussian Splatting centrés sur les objets et conditionnés par les actions pour objets rigides

Une équipe de chercheurs publie MRO-GWM (Multi Rigid Object Gaussian World Model), un modèle de monde action-conditionnel capable de prédire en 3D les effets des actions d'un robot sur des objets rigides. Déposé sur arXiv (réf. 2606.01950), le travail combine Gaussian splatting et apprentissage de dynamique : chaque objet de la scène est décrit par un ensemble de gaussiennes dans un référentiel canonique propre, son mouvement étant modélisé comme une transformation de corps rigide (rotation et translation). Un transformateur spatio-temporel prédit la trajectoire future des objets à partir de leur historique gaussien et des actions planifiées par le robot. L'architecture gère les occlusions partielles grâce à un entraînement sur reconstructions multi-vues. Les évaluations portent sur des datasets synthétiques d'objets ménagers en interaction avec un effecteur robot, et sur des tâches de manipulation non préhensile (pousser un objet sans le saisir) dans le cadre d'un contrôle prédictif par modèle (MPC), le tout exclusivement en simulation. L'association de modèles de monde action-conditionnels et de Gaussian splatting est pertinente : les premiers permettent de planifier sans essai-erreur coûteux, le second offre une représentation 3D différentiable adaptée à des géométries complexes sans maillage explicite. La décomposition objet-centrique améliore en théorie la généralisation à de nouvelles configurations de scène, contrairement aux encodages holistes. La validation sur manipulation non préhensile est notable car pousser un objet vers une cible est considéré comme un benchmark difficile : les contacts sont instables et mal modélisés par la plupart des simulateurs physiques. Ces résultats restent toutefois entièrement simulés et limités aux objets strictement rigides, sans aucun transfert sim-to-real documenté. Le Gaussian splatting connaît une adoption rapide en robotique depuis la publication de 3DGS (Kerbl et al., 2023), avec des travaux concurrents comme SplatSim, GaussianWorld ou des approches combinant NeRF et planification. MRO-GWM se distingue par son traitement explicite de la dynamique multi-objets avec interactions physiques, un axe moins couvert que la navigation ou la préhension isolée. Le gap sim-to-real demeure le verrou principal : une validation sur bras réel (type Franka ou UR5) constituerait l'étape naturelle, tout comme une extension aux objets articulés ou semi-rigides, aujourd'hui hors périmètre du modèle.

RecherchePaper

1 source

4arXiv cs.RO

R²-WAM : post-entraînement par réparation et rejet pour les modèles d'action du monde

Des chercheurs proposent R²-WAM, un cadre de post-entraînement en deux étapes, « réparer puis rejeter », destiné aux World Action Models (WAM). Ces modèles prédisent, sous forme de vidéo, les conséquences d'actions robotiques échantillonnées, afin d'affiner une politique de contrôle. Le système atteint 93,8 % de succès moyen sur le benchmark de simulation RoboTwin 2.0, en moyenne sur les configurations « clean » et randomisées. Sur une tâche réelle de longue durée, le pliage de chemise (Fold Shirt), il obtient 87,5 % de succès moyen, contre 0 % pour Fast-WAM, la base de comparaison. Le gain est obtenu sans interaction supplémentaire avec l'environnement et sans modification de la procédure d'inférence. Le code et les démonstrations sont annoncés sur une page projet dédiée. Le mécanisme tient en deux temps. L'étape de réparation corrige un défaut connu des WAM : une vidéo prédite visuellement plausible peut ne pas refléter l'action fournie en entrée, ce qui fausse tout raffinement de politique fondé sur elle. Les auteurs introduisent un score d'alignement cinématique, qui mesure l'écart entre le mouvement prédit et le mouvement démontré, pour ancrer l'imagination du modèle dans le comportement réel du robot. L'étape de rejet utilise ensuite ce modèle vidéo réparé pour comparer les résultats imaginés des actions échantillonnées à ceux des démonstrations. Les échantillons dont la progression de tâche prédite tombe sous la référence démontrée d'une marge prescrite servent d'exemples négatifs pour un fine-tuning négatif. L'intérêt dépasse le score de benchmark. Le résultat suggère que la prédiction vidéo peut passer du statut de simple apprentissage de représentations à celui de critique de conséquences, capable de trier les mauvaises actions hors ligne. Cela réduit le besoin de rollouts physiques coûteux, un point clé pour les intégrateurs confrontés au coût de collecte de données. Le contraste sur Fold Shirt est frappant : 0 % pour la base de comparaison indique que la cohérence action-vidéo est un goulot d'étranglement réel sur les tâches déformables à long horizon. Il faut toutefois rester prudent : il s'agit d'un travail académique, la tâche réelle est unique, le nombre d'essais n'est pas précisé dans le résumé, et aucun déploiement industriel ni temps de cycle n'est évoqué. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle, où la vidéo prédictive sert de fondation aux politiques, en parallèle des approches VLA (vision-langage-action) classiques. RoboTwin 2.0, benchmark bimanuel en simulation, est devenu un terrain de comparaison courant, et Fast-WAM représente ici l'état de l'art immédiat auquel les auteurs se mesurent. La suite logique serait une validation sur davantage de tâches réelles, d'autres plateformes et des volumes d'essais plus larges, ainsi qu'une comparaison avec les politiques VLA déployées commercialement. Aucun acteur européen ni calendrier de pilote n'est mentionné dans cette version de l'article, publiée sur arXiv en révision (v2).

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source