Dossier World models — page 2

Image2Sim : le passage à l'échelle de la navigation incarnée grâce à un simulateur neuronal génératif

Une équipe de recherche publie Image2Sim, un simulateur neuronal temps réel conçu pour entraîner des agents de navigation embarquée à partir de simples séquences d'images RGB-D posées. Le système sépare l'ancrage spatial 3D de la synthèse photoréaliste des observations: un modèle feed-forward de "feature Gaussians" reconstruit la scène en une seule passe, tandis qu'un modèle de flux de pixels en une étape, dit "geometry-aware", transforme les projections gaussiennes éparses et bruitées en images RGB-D panoramiques de haute qualité. Utilisé comme moteur de données entièrement automatisé, Image2Sim convertit de larges collections de vidéos et de photos en près de 20 000 scènes interactives et génère plus de 10 millions d'échantillons d'entraînement à la navigation, avec instructions diverses et actions exécutables associées. Les modèles entraînés uniquement dans ces environnements neuronaux affichent des gains significatifs sur les benchmarks de référence et transfèrent efficacement en conditions réelles sans fine-tuning (zero-shot). L'enjeu dépasse la simple prouesse technique: il s'agit de résoudre le compromis historique entre réalisme visuel et scalabilité qui bride l'entraînement des agents de navigation. Les jeux de données scannés en conditions réelles offrent un rendu fidèle mais restent coûteux à collecter et donc limités en volume, tandis que les simulateurs synthétiques classiques scalent facilement mais souffrent d'un écart sim-to-real important. Si les résultats de transfert zero-shot se confirment à plus grande échelle, cela validerait l'idée qu'une simulation neuronale générative, construite depuis des vidéos ordinaires plutôt que des moteurs de jeu, peut devenir un substrat d'entraînement crédible pour la navigation robotique, avec des implications directes pour les AMR et les plateformes de navigation embarquée en usine ou en logistique. Cette approche s'inscrit dans la lignée des travaux récents combinant Gaussian Splatting et modèles de diffusion pour la reconstruction de scènes, un courant de recherche actif face aux limites des NeRF classiques. Elle rejoint aussi la tendance plus large des "world models" appliqués à la robotique, où générer des environnements d'entraînement remplace progressivement leur capture manuelle. Publiée sur arXiv, cette contribution reste à ce stade une preuve de concept académique; sa reproductibilité et son passage à l'échelle sur des flottes robotiques réelles restent les prochaines étapes à observer.

AnchorDream : réorienter la diffusion vidéo pour la synthèse de données robotiques sensibles à l'incarnation

Des chercheurs présentent AnchorDream, un modèle génératif qui détourne des modèles de diffusion vidéo pré-entraînés pour synthétiser des données de démonstration robotique. Publié sur arXiv (2512.11797v2, version révisée), le système conditionne le processus de diffusion sur des rendus du mouvement du robot, ce qui ancre la cohérence de l'embodiment (la géométrie et la cinématique du bras ou de l'humanoïde) pendant que le modèle génère de nouveaux objets et environnements. À partir d'une poignée de démonstrations en téléopération humaine seulement, la méthode permet de démultiplier ces exemples en jeux de données massifs et variés, sans modélisation explicite de l'environnement. Les résultats annoncés font état d'un gain relatif de 36,4% sur des benchmarks en simulateur, et d'une performance quasiment doublée lors d'essais en conditions réelles pour l'apprentissage de politiques par imitation. Cette avancée s'attaque directement au goulot d'étranglement le plus critique de l'apprentissage par imitation en robotique: la collecte de données réelles est coûteuse et lente, tandis que les simulateurs souffrent d'un écart de fidélité persistant avec le monde réel, le fameux sim-to-real gap. Les méthodes génératives existantes se contentaient souvent de modifier l'apparence visuelle des scènes sans produire de nouveaux comportements, ou généraient des mouvements physiquement incohérents avec l'embodiment du robot. En prouvant qu'un modèle de diffusion vidéo peut être ancré au mouvement réel du robot pour générer des données exploitables à grande échelle, AnchorDream ouvre une voie concrète pour les intégrateurs et laboratoires qui cherchent à entraîner des politiques VLA sans dépendre uniquement de flottes de téléopération ou de simulateurs coûteux à construire. Ce travail s'inscrit dans la vague récente des world models appliqués à la robotique, où plusieurs équipes explorent la génération vidéo comme substitut ou complément à la simulation physique classique. Contrairement à des approches purement visuelles, AnchorDream mise sur l'ancrage cinématique explicite pour éviter les hallucinations de mouvement, un problème récurrent des générateurs vidéo appliqués aux robots. À ce stade, il s'agit d'un résultat de recherche publié sur arXiv, sans déploiement produit ni partenariat industriel annoncé, mais l'ampleur des gains rapportés en fait une piste à suivre pour la prochaine génération de pipelines de données robotiques.

VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches

Des chercheurs présentent VT-WAM, un modèle de manipulation robotique combinant vision et toucher, décrit dans un article déposé sur arXiv (2607.02503v1) et accompagné d'un site dédié (vt-wam.github.io). Le système, un "Visual-Tactile World Action Model", apprend simultanément trois choses dans un même cadre de flow matching : prédire les images visuelles futures, prédire la déformation tactile future, et prédire l'action à exécuter. Deux mécanismes techniques soutiennent cette approche : une attention "Asymmetric Mixture-of-Transformers" (MoT) qui relie une première image de référence à la dynamique tactile dans le temps, et un module nommé AVTAG (Action-Visual-Tactile Attention Guidance) qui force le modèle à s'appuyer davantage sur le signal tactile pendant les phases de contact. Sur six tâches de manipulation en conditions réelles impliquant un contact physique important, VT-WAM atteint un taux de réussite moyen de 71,67%, contre des scores inférieurs de 26,67 points pour Fast-WAM et de 35,84 points pour OmniVTLA, deux modèles de référence utilisés en comparaison. L'enjeu dépasse la simple performance chiffrée : les politiques visuo-tactiles existantes se contentent généralement d'injecter le signal tactile brut dans la prédiction d'action, sans modéliser comment cette déformation évolue dans le temps. Or c'est précisément sur les tâches à fort contact (insertion, préhension d'objets déformables, gestion du glissement) que les modèles purement visuels ou de type VLA (vision-language-action) échouent le plus souvent, malgré des démonstrations impressionnantes en environnement contrôlé. Pour les intégrateurs industriels qui cherchent à automatiser des opérations d'assemblage fin, ce travail illustre une piste concrète pour combler l'écart entre démonstration et fiabilité réelle. Le papier s'inscrit dans la lignée des "world models" appliqués à la robotique, dont Fast-WAM constitue un prédécesseur direct servant de base de comparaison, aux côtés de familles de modèles VLA comme OmniVTLA. Il s'agit toutefois d'une publication académique, sans acteur industriel identifié ni date de déploiement annoncée : les résultats restent circonscrits à six tâches de laboratoire, et les auteurs eux-mêmes soulignent via leurs ablations que la modélisation de la dynamique tactile reste un problème ouvert plutôt qu'une solution définitivement close.

IA physique : modèle du monde 3D fondé sur les principes physiques pour la manipulation d'objets dynamiques (PhysMani)

Des chercheurs présentent PhysMani, un framework qui couple un modèle du monde en Gaussiennes 3D fondé sur la physique avec un modèle de politique d'action anticipatif, pour la manipulation d'objets rapides et dynamiques en environnement 3D non structuré. Le modèle du monde apprend un champ de vitesse gaussien à divergence nulle par optimisation en ligne, ce qui permet une prédiction rapide et physiquement cohérente de la dynamique future de la scène. Le modèle de politique intègre ensuite ces prédictions via un module d'attention croisée à base de tokens appris. Les auteurs introduisent également PhysMani-Bench, un nouveau benchmark de manipulation dynamique composé de 16 tâches, et rapportent un taux de réussite supérieur à des baselines solides, aussi bien en simulation que lors d'expériences avec un robot réel. Le papier, publié sur arXiv (2607.01938), ne précise ni la plateforme robotique utilisée ni de métriques chiffrées exactes (taux de réussite, temps de cycle, charge utile), ce qui en fait à ce stade une contribution de recherche plutôt qu'un produit ou un déploiement commercial. Pour l'industrie robotique, ce travail s'attaque à un point faible connu des modèles vision-langage-action (VLA) et des world models existants: leur difficulté à représenter une géométrie 3D précise et à anticiper une dynamique physiquement plausible pour des objets en mouvement rapide. La manipulation de cibles dynamiques, objets qui tombent, glissent ou sont lancés, reste l'un des angles morts des démonstrations actuelles de bras robotiques et d'humanoïdes, la plupart des systèmes généralistes étant surtout validés sur de la manipulation quasi statique. Si les résultats de PhysMani se confirment au-delà du cadre académique, cela ouvrirait une piste pour réduire l'écart entre démonstration en laboratoire et usage réel en logistique ou en industrie, où la prise d'objets en mouvement est fréquente sur convoyeur ou en tri à cadence élevée. Mais tant que l'étude reste limitée à un benchmark maison et sans comparaison indépendante, il s'agit d'une preuve de concept à confirmer, pas d'une solution prête à intégrer. Ce travail s'inscrit dans la lignée des world models 3D construits sur des représentations en Gaussiennes, une technique héritée du rendu de scènes et de plus en plus utilisée en robotique pour modéliser des environnements denses. Ces approches se positionnent face aux modèles VLA de bout en bout entraînés sur de larges corpus de démonstrations, popularisés par des acteurs comme Physical Intelligence avec Pi-0 ou NVIDIA avec GR00T N2, ainsi qu'aux world models déjà exploités par d'autres équipes de recherche en manipulation. Aucun partenaire industriel ni acteur français ou européen n'est mentionné dans l'abstract. La suite logique pour les auteurs serait d'étendre le benchmark, de tester la méthode sur des plateformes robotiques variées, et de la comparer directement aux VLA généralistes pour situer PhysMani face aux solutions déjà commercialisées.

IA physique : des modèles du monde aux modèles d'action, un tutoriel concis pour la robotique

Un article publié sur arXiv (2607.00836) dresse un état des lieux conceptuel des "world models" utilisés en robotique et en simulation générative, un terme dont le périmètre varie fortement selon les communautés de recherche. Les auteurs proposent une définition unifiée : un modèle du monde est un système conditionné par l'action qui prédit l'évolution future des observations ou des états pertinents pour une tâche donnée. Ils distinguent deux grandes familles : les modèles dans l'espace des observations, qui prédisent des images ou vidéos brutes, et les modèles dans l'espace des états, qui travaillent sur des représentations compactes. Chaque approche est comparée selon quatre critères : fidélité visuelle, structuration spatiale, interprétabilité physique et facilité d'usage pour le contrôle. Le papier introduit ensuite les "world action models", qui relient ces prédictions du futur à des actions robotiques exécutables, avec quatre paradigmes identifiés : imaginer puis exécuter, prédiction d'action conditionnée par des features vidéo, modélisation conjointe vidéo-action, et prédiction vidéo auxiliaire pour l'apprentissage de politiques. Cette clarification terminologique a une portée pratique pour les équipes qui développent des politiques robotiques : elle aide à choisir entre un modèle générateur de pixels, coûteux en calcul mais riche visuellement, et un modèle d'état plus léger, plus proche du contrôle temps réel mais moins interprétable. Elle formalise aussi un débat de fond du secteur : les modèles de génération vidéo produisent des démonstrations spectaculaires, mais leur utilité réelle pour piloter un bras ou un humanoïde reste à prouver, faute de garanties physiques strictes, ce qui rejoint les critiques récurrentes sur l'écart entre démo et déploiement réel. En distinguant explicitement l'approche "imaginer puis exécuter" des méthodes qui apprennent directement une politique conjointe vidéo-action, le tutoriel donne aux intégrateurs une grille de lecture pour évaluer les annonces commerciales selon ce qu'elles modélisent vraiment, plutôt que sur la seule qualité de leurs vidéos. Ce travail arrive alors que les world models occupent une place croissante dans la course aux modèles vision-langage-action, portée par des systèmes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui combinent tous, à des degrés divers, prédiction du futur et génération d'actions. Sans analyser directement ces produits commerciaux, la taxonomie proposée offre un cadre académique pour resituer ces systèmes les uns par rapport aux autres, à un moment où la recherche universitaire tente de structurer conceptuellement un domaine dont la vitesse de publication industrielle a largement dépassé la théorie.

Le Fil IA fondée par des anciens de Tsinghua lève des centaines de millions de yuans : « on ne veut pas de l'étiquette modèle du monde »

La startup chinoise Liqing Zhineng (厘清智能, "Clarity Intelligence"), fondée en avril 2026 à Pékin, a bouclé un tour d'amorçage de plusieurs centaines de millions de yuans (soit plusieurs dizaines de millions d'euros), révélé début juillet par le média chinois Zhinen Yongxian. Le tour réunit Shunwei Capital, Sequoia Chine, Hillhouse Ventures, FreeS Fund, Xinglian Capital, le fonds d'amorçage des alumni de Tsinghua, SEE Fund, ainsi que des investisseurs industriels comme AgiBot (智元机器人), Linker Hand (灵心巧手) et Century Golden Resources. L'équipe, adossée au laboratoire de Li Yiming, professeur assistant à l'école d'intelligence artificielle de Tsinghua et ancien chercheur Vision & Robotics chez Nvidia (bourse Nvidia 2024, dix lauréats dans le monde), compte une cinquantaine de membres d'une moyenne d'âge de 23 ans. Le produit central est une infrastructure baptisée "Physical AI Infra", construite autour de deux briques maison : un pipeline de collecte de données visant à passer de la centaine de milliers d'heures habituelle du secteur à plusieurs millions, voire dizaines de millions d'heures, via notamment des gants tactiles propriétaires dont le coût unitaire est ramené du niveau du dollar à celui du yuan ; et un moteur physique différentiable permettant une boucle "réel vers simulation vers réel", capable de modéliser des matériaux complexes (fluides, corps mous, déformations élastoplastiques). L'ensemble cible des gestes fins comme couper, visser, brancher, mélanger, presser ou enfiler, avec un objectif de portabilité entre différentes mains articulées et bras robotiques, pour des usages en usine, retail, hôtellerie, restauration et assistance médicale. Le positionnement de Li Yiming tranche avec l'engouement actuel pour les "world models" (modèles du monde), qu'il juge être la notion la plus galvaudée de 2026, tant les acteurs vidéo, 3D ou VLA (vision-langage-action) s'en réclament dès qu'ils touchent à la simulation physique. Sa thèse : le modèle du monde n'est qu'un composant technique parmi d'autres, sans valeur isolé du reste de la chaîne (données, matériel, déploiement) ; ce qui compte, c'est un système capable de généraliser à travers robots et scénarios. Il affirme ainsi pouvoir entraîner des politiques avec environ 1% du volume de données réelles habituellement nécessaire, en calibrant les transitions d'état du modèle de monde sur un petit échantillon de données réelles puis en laissant le robot s'entraîner par renforcement en simulation, l'exemple cité étant l'apprentissage de la découpe d'une pomme sans détruire des centaines d'exemplaires. Ces chiffres, avancés par le fondateur lui-même sans validation indépendante, restent à confirmer sur des déploiements réels plutôt que sur des démonstrations internes. Le parcours de Li Yiming inclut un doctorat à NYU avec des travaux co-signés avec Saining Xie (cofondateur et chercheur en chef d'AMI Labs), ainsi que plusieurs publications distinguées à CVPR et NeurIPS en collaboration avec Nvidia. La feuille de route affichée prévoit la sortie d'un modèle du monde généralisable à plusieurs scénarios B2B d'ici fin 2026, puis un passage à l'échelle commerciale visé pour 2028, avec pour ambition de livrer aux clients une solution matériel-logiciel intégrée plutôt qu'un simple modèle. Ce pari sur une intégration verticale complète, de la collecte de données au moteur physique en passant par le matériel de capture, reste rare en Chine où la plupart des équipes de robotique physique se concentrent sur un seul maillon de la chaîne ; il positionne Liqing Zhineng en concurrence indirecte avec les autres poids lourds chinois de l'IA incarnée comme AgiBot, qui figure aussi parmi ses investisseurs.

IA incarnée : DVG-WM génère des vidéos découplées pour un modèle du monde efficace en manipulation robotique

Le laboratoire à l'origine de ces travaux (non précisé dans le résumé, arXiv:2506.32028) présente DVG-WM (Disentangled Video Generation World Model), un modèle du monde vidéo destiné à la manipulation robotique. Le problème ciblé est un compromis connu dans les "world models" embodied: modéliser précisément la dynamique physique nécessite un raisonnement temporel fin image par image, alors que produire des vidéos haute résolution exige une synthèse visuelle coûteuse pilotée par la sémantique globale. Jusqu'ici, les deux étaient entremêlés dans un seul réseau, forçant un choix entre inférence rapide et prédictions grossières, ou rendu détaillé mais trop lent pour de la planification itérative. DVG-WM sépare explicitement les deux tâches: à partir d'une observation initiale et d'une instruction en langage naturel, le modèle génère d'abord une séquence d'états visuels intermédiaires prévisualisant l'interaction physique, puis les raffine en vidéos haute fidélité. Le mécanisme clé est un cascading efficace où le flow matching relie directement la dynamique aux latents vidéo, complété par un mécanisme de dégradation latente qui régénère les détails riches en contacts (préhension, collisions). Testé sur le benchmark LIBERO et sur plateformes réelles, DVG-WM améliore la qualité vidéo tout en accélérant l'inférence jusqu'à 3,97 fois. Pour l'industrie robotique, ce résultat s'attaque directement à un goulot d'étranglement connu des architectures VLA (vision-langage-action) basées sur la prédiction vidéo: la latence d'inférence, rédhibitoire pour du contrôle en boucle fermée temps réel. Un gain de facteur 4 sur la vitesse, sans sacrifier la précision des interactions de contact, rapproche ces world models vidéo d'un usage réellement embarqué plutôt que d'une simple démonstration hors ligne, un point sensible pour les intégrateurs qui évaluent la viabilité de ces approches face aux politiques d'action plus directes. Ce travail s'inscrit dans la lignée des world models vidéo pour la robotique (dans la continuité d'approches type UniPi, iVideoGPT ou GR00T-Dreams), dont la promesse est d'apprendre la physique à partir de vidéo brute plutôt que de simulateurs coûteux à construire. La contribution spécifique de DVG-WM, la désentanglement dynamique/synthèse, ouvre la voie à des variantes combinant d'autres backbones de génération vidéo ou à une extension vers des tâches multi-étapes plus longues, une direction que les auteurs identifient comme suite naturelle de ces travaux.

WoVR : des modèles du monde comme simulateurs fiables pour l'entraînement post-déploiement des politiques VLA par renforcement

Des chercheurs ont publié sur arXiv (référence 2602.13977v2) un framework nommé WoVR, conçu pour entraîner via du reinforcement learning (RL) des politiques de type Vision-Language-Action (VLA) sans recourir à des milliers d'heures d'interaction physique réelle. Le principe : substituer le robot réel par un modèle du monde appris, c'est-à-dire un modèle vidéo conditionné par les actions qui prédit le comportement de l'environnement. WoVR articule trois mécanismes distincts : un modèle vidéo action-conditionné à stabilité contrôlée, une stratégie baptisée Keyframe-Initialized Rollouts qui réinitialise les trajectoires imaginées à partir d'images-clés pour limiter l'accumulation d'erreurs sur l'horizon, et une co-évolution conjointe du modèle du monde et de la politique pour maintenir leur cohérence dans le temps. Les expériences rapportées montrent des gains sur le benchmark LIBERO et des améliorations mesurées sur plusieurs plateformes robotiques physiques. Ce travail s'attaque à un verrou central du post-entraînement des VLA : le RL promet d'aller au-delà de l'imitation learning, mais ses besoins en données d'interaction rendent son application directe sur robot physique quasi prohibitive. La contribution de WoVR est de montrer qu'un modèle du monde imparfait peut néanmoins servir de simulateur RL fiable, à condition de contrôler explicitement ses hallucinations plutôt que de les ignorer. C'est un signal positif pour la thèse que le sim-to-real, appliqué non au niveau du rendu physique mais au niveau de la prédiction vidéo apprise, peut débloquer l'optimisation de politiques à grande échelle. La nuance importante : les résultats sont publiés sous forme de papier de recherche, les démonstrations sont disponibles sur wovr-corl.github.io, mais aucun déploiement industriel n'est revendiqué. WoVR s'inscrit dans une vague de recherche qui cherche à reproduire pour la robotique ce que le RL a accompli pour les grands modèles de langage. Les VLA comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA ont montré des capacités impressionnantes en imitation, mais leur amélioration par RL reste un problème ouvert. D'autres approches concurrentes misent sur des simulateurs physiques classiques (Isaac Lab, MuJoCo) ou sur du RL directement en conditions réelles, avec des cycles de collecte longs et coûteux. WoVR propose une troisième voie via les world models vidéo, dans la lignée des travaux de type DIAMOND ou DreamerV3 appliqués à la robotique. La soumission cible CORL, conférence de référence du domaine, ce qui suggère une prochaine validation par les pairs et potentiellement une intégration dans les pipelines d'entraînement open-source des équipes académiques et industrielles dès 2026.

ViPSim : collaboration entre espaces visuels et paramétriques pour des modèles du monde incarnés cohérents sur le long terme

Des chercheurs ont publié le 30 juin 2026 un article de préprint (arXiv:2606.28804) présentant ViPSim, un framework de simulation destiné à entraîner et évaluer des systèmes Vision-Langage-Action (VLA) sans risque pour le matériel réel. Le problème central qu'adresse ViPSim est le "representation gap" : les modèles de monde incarné (Embodied World Models, EWMs) doivent traduire des actions en basse dimension (positions articulaires, vitesses) en vidéos haute résolution cohérentes sur de longues séquences. Sans correctif, cette asymétrie produit une dérive de trajectoire cumulée et des interactions robot-objet incohérentes dès qu'on dépasse quelques pas de simulation. Pour y remédier, ViPSim combine deux espaces complémentaires : un Visual Space qui fournit des ancrages géométriques explicites (projections pixel-alignées de la pose de l'effecteur, perspectives caméra, géométrie de scène assistée par la profondeur, masques morphologiques du robot) et un Parameter Space qui injecte les séquences d'action brutes et les matrices caméra pour guider précisément le mouvement. Les expériences rapportées montrent que l'approche est backbone-agnostic, c'est-à-dire indépendante de l'architecture de génération vidéo sous-jacente. L'enjeu industriel est direct : le principal frein à l'utilisation des EWMs comme bancs de test pour les VLA est précisément leur manque de fidélité géométrique sur des horizons longs, ce qui rend leurs évaluations peu fiables pour des tâches de manipulation complexe. ViPSim prétend résoudre ce verrou, et les résultats préliminaires indiquent une capacité émergente sur des objets déformables, notamment le pliage de tissu, un cas d'usage notoire pour mettre en échec les simulateurs rigides classiques. Le framework conserverait également des performances robustes dans des scénarios hors-distribution et en cross-embodiment, c'est-à-dire appliqué à des morphologies robotiques non vues à l'entraînement. Pour un intégrateur ou un équipementier cherchant à réduire les coûts de collecte de données réelles, un simulateur de ce type permettrait d'accélérer le cycle de validation des politiques VLA avant déploiement terrain. Il convient toutefois de nuancer : il s'agit d'un preprint académique sans validation industrielle publiée, et les vidéos de démonstration sélectionnées ne constituent pas une preuve de performance en production. Le contexte est celui d'une course effrénée à la simulation haute-fidélité pour robots incarnés, portée par la montée en puissance des architectures VLA comme pi0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA. Ces modèles nécessitent des volumes massifs de données de démonstration, et la génération synthétique en est le principal levier de scalabilité. Des frameworks concurrents comme UniSim, IRASim ou Genesis s'attaquent au même problème avec des approches différentes, certains privilégiant la physique explicite, d'autres la génération neuronale pure. ViPSim se positionne sur la cohérence géométrique longue durée plutôt que sur le réalisme visuel brut, une niche encore peu couverte. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication actuelle : il s'agit pour l'instant d'une contribution de recherche ouverte, sans implémentation publique annoncée.

FutureNav : modélisation unifiée monde-action pour la navigation vision-langage

FutureNav est un cadre de modélisation unifiée monde-action pour la navigation vision-langage (VLN) en environnements continus, présenté sous forme de preprint sur arXiv (arXiv:2606.30367). Le système encode conjointement des features textuelles, visuelles et spatiales dans un grand modèle de langage, entraîné sur quatre objectifs simultanés : prédiction d'action de navigation, dynamiques inverse et forward pour modéliser les transitions d'états, et génération future pour anticiper les états spatiaux à venir. Avec un backbone de 4 milliards de paramètres, FutureNav revendique des performances state-of-the-art sur plusieurs benchmarks VLN, surpassant les méthodes antérieures selon ses auteurs. Le code et les modèles seront publiés en open source. La contribution centrale est architecturale : la plupart des modèles de navigation fondationnels récents traitent la tâche comme une génération directe d'actions, sans modéliser explicitement l'état du monde ni son évolution future. FutureNav cherche à combler cet écart en forçant le modèle à représenter des transitions d'états, ce qui est censé renforcer la robustesse sur des séquences d'actions longues en environnement non discrétisé. Pour les chercheurs en navigation incarnée ou les intégrateurs de robots mobiles autonomes, cela pointe vers une approche où le raisonnement spatial prospectif améliore la politique d'action sans surcoût d'inférence notable, un point clé pour l'embarqué. La VLN en environnements continus est un domaine actif depuis les benchmarks R2R, VLN-CE et REVERIE. Des travaux comme NavGPT, MapGPT ou EmbodiedScan ont scalé des VLM sur la navigation, mais en mode "action pure". FutureNav s'inscrit dans la tendance des world models appliqués à la navigation incarnée, parallèlement aux approches VLA comme OpenVLA ou aux travaux de DeepMind sur la robotique prédictive. Il s'agit pour l'instant d'un preprint non évalué par les pairs, et les gains annoncés sur les benchmarks méritent une vérification indépendante avant conclusions définitives. La prochaine étape annoncée est la publication publique du code.

RoboGaze : évaluer les modèles du monde robotiques via l'analyse vision-langage structurée

Une équipe de recherche a soumis en juin 2026 sur arXiv (réf. 2606.28385) RoboGaze, un framework d'évaluation multi-agents basé sur des modèles de vision-langage (VLM) pour analyser les vidéos générées par des world models robotiques. Sans entraînement spécifique, son pipeline à trois étapes enchaîne un ancrage tâche-scène, un routage vers des agents spécialistes par dimension d'analyse, puis une vérification critique, produisant des rapports de défauts temporellement localisés selon une taxonomie originale en 6 dimensions et 30 types propres à la robotique. Les auteurs ont constitué un jeu de données de référence de 382 clips validés humainement, couvrant simulation et manipulation réelle en multi-vues. Évalué sur huit backbones VLM open-source et propriétaires, RoboGaze améliore le F1 de description jusqu'à +43 points et l'alignement temporel (F1 x IoU) jusqu'à +37 points face aux baselines zero-shot, comblant 85 % de l'écart avec l'évaluateur humain. Ce travail répond à un problème structurel croissant : les world models génèrent des vidéos visuellement convaincantes qui violent pourtant régulièrement les lois physiques, la cohérence temporelle ou la logique de tâche, des défauts que les métriques classiques comme FID ou SSIM ne détectent pas. Les VLMs utilisés en juges monolithiques souffrent par ailleurs du biais dit "cry-wolf" : ils signalent des erreurs sur des clips corrects dans plus de 75 % des cas, rendant leur diagnostic inexploitable en pratique. Le module critic de RoboGaze corrige ce biais, faisant passer la précision sur les clips propres de moins de 25 % à plus de 80 %, ce qui en fait un outil de diagnostic scalable et interprétable pour les équipes qui entraînent ou benchmarkent des modèles génératifs pour la planification robotique. Les world models pour robots incarnés constituent depuis 2024 un axe de recherche en forte croissance, avec des travaux comme UniSim, IRASim ou les approches de planification en espace latent, mais l'évaluation rigoureuse de leurs sorties vidéo restait un angle mort méthodologique. RoboGaze se positionne face aux approches d'évaluation monolithiques en proposant une architecture modulaire et diagnostique, plus proche des pratiques de validation industrielle. En tant que préimpression, les performances annoncées restent à confirmer par révision par les pairs et sur des distributions hors-domaine ; les auteurs ne mentionnent pas de transfert industriel immédiat, mais la nature training-free du système facilite son intégration dans des pipelines d'évaluation existants.

Marché de l'IA physique encore ouvert : une entreprise chinoise propose l'approche 'edge-native' comme nouvelle solution

Au premier trimestre 2026, les investissements mondiaux dans le Physical AI ont dépassé 6,4 milliards de dollars, avec des levées emblématiques : AMI Labs (1,03 milliard de dollars en seed), World Labs (1 milliard) et le chinois Qianxun Intelligence (4,5 milliards de yuans en quatre tours en mars). C'est dans ce contexte qu'Om AI, une startup chinoise, a présenté du 27 au 29 juin 2026 une suite de trois modèles, VLX-Flow, VLX-Seek et VLX-Go, positionnée non pas sur la manipulation dextère ni la planification longue portée, mais sur la perception visuelle continue, la localisation spatiale précise et la navigation autonome. VLX-Flow utilise une attention linéaire (Linear Attention) couplée à une double mémoire (cache visuel et carryover textuel) pour ingérer le flux vidéo en continu, à la différence du paradigme classique qui traite des images isolées. VLX-Seek substitue la génération de coordonnées par une référence de région, fournissant des ancres spatiales à précision millimétrique. VLX-Go produit directement des trajectoires de waypoints exécutables via prédiction court-terme, apprentissage hors-ligne et optimisation RL en ligne. L'approche d'Om AI soulève un angle mort que les architectures VLA et world model dominantes n'ont pas encore résolu : dans les VLA mainstream, le tronc LLM absorbe plus de 90 % des ressources de calcul et des données, reléguant la tête d'action en composant chroniquement sous-entraîné. Les world models, censés combler ce déficit via la simulation physique, butent sur la rareté des données haute qualité à l'échelle requise. Or, la majorité des terminaux physiques déployés, drones en environnement GPS-dégradé, robots quadrupèdes, lunettes AR, terminaux d'inspection industrielle, n'ont pas besoin de mains dextères : ils ont besoin de localisation fiable et de perception continue. En repositionnant le problème sur la vision edge-native plutôt que sur la génération d'actions complexes, Om AI cible un segment plus large et potentiellement plus rapidement déployable que les humanoïdes, à condition que ses benchmarks se confirment hors des vidéos de démonstration sélectionnées. NVIDIA a présenté au GTC 2026 Alpamayo (VLA propriétaire) et Isaac GR00T N1.6 (VLA open-source pour humanoïdes) ; Xiaopeng a dévoilé X-Foresight au CVPR 2026 ; Google DeepMind avait publié Genie 3 en août 2025. La Beijing Academy of AI (BAAI) recense quatre routes de world models sans consensus industriel : centrée langage (Gemini 3), pixel (Sora), 3D (World Labs Marble de Fei-Fei Li) et représentation visuelle (V-JEPA de Yann LeCun). Les projections de marché divergent fortement : Future Markets table sur 383 milliards de dollars en 2026 croissant à 32 600 milliards en 2040, tandis que Coatue Management anticipe au moins 6 000 milliards, soit 50 % de plus que le digital AI. Om AI n'a pas encore communiqué de clients industriels nommés ni de volumes de déploiement pour sa suite VLX, ce qui reste la prochaine étape déterminante.

La Chine ouvre en 2027 le premier hôtel au monde entièrement géré par des robots

Pudu Robotics a annoncé en juin 2026 l'ouverture, prévue pour 2027, d'un hôtel entièrement opéré par des robots sur l'île artificielle Ouest (West Artificial Island), le long du corridor Shenzhen-Zhongshan (ShenZhong) dans la province du Guangdong, en Chine. L'île elle-même n'a ouvert qu'en décembre 2025. Le projet, développé en partenariat avec Shenzhen Culture & Tourism Industry Development, présentera des essais publics en phase limitée dès fin 2026, avant le déploiement complet. La cérémonie de signature a tenu lieu de démonstration live : le robot PUDU T300 a transporté des bagages lourds et commandé des ascenseurs de façon autonome (capacité de charge : 300 kg), les robots de nettoyage PUDU CC1 Pro et PUDU MT1 ont maintenu les espaces via détection IA des déchets, tandis que BellaBot Pro servait du café avec interaction vocale et que KettyBot Pro distribuait collations et boissons avec affichage d'informations sur écran embarqué. Le robot PUDU D5 a assuré des performances interactives à destination des visiteurs. Ce qui distingue ce projet des "smart hotels" conventionnels -- qui automatisent des tâches isolées -- c'est l'ambition d'un écosystème robotique intégré de bout en bout. Les robots partagent une plateforme d'intelligence commune (PuduAgent) et un modèle fondationnel propriétaire, PuduFM 1.0, basé sur des architectures VLA (Vision-Language-Action) et une navigation par world model. Concrètement, les robots de réception comprennent la parole et les gestes sociaux, ceux de livraison optimisent leurs trajets en temps réel, et les robots de nettoyage s'adaptent aux changements d'environnement dynamiques. Ce partage de capacités apprises entre des morphologies différentes est exactement le pari que font les chercheurs en robotique généraliste depuis plusieurs années : réduire le sim-to-real gap et permettre un déploiement multi-tâches sans re-entraîner chaque plateforme. Si la démonstration confirme les performances annoncées en conditions opérationnelles réelles, et non en scénarios contrôlés, ce serait une validation significative de l'approche VLA à l'échelle d'un site commercial complexe. Il faut cependant noter que les vidéos présentées à ce stade proviennent d'une cérémonie marketing, pas d'une exploitation continue. Pudu Robotics est un acteur de Shenzhen fondé en 2016, surtout connu pour ses robots de service en restauration et commerce de détail (BellaBot, KettyBot), avec des déploiements dans plus de 60 pays. L'entreprise se positionne ici sur un segment plus ambitieux, face à des concurrents comme Bear Robotics (restauration, États-Unis), Keenon Robotics (Chine), ou encore Aethon dans la logistique hospitalière. Dans l'hôtellerie, des expériences comme le Henn-na Hotel japonais (Huis Ten Bosch, 2015) avaient montré les limites opérationnelles de robots peu adaptables. La question centrale reste celle de la fiabilité en conditions dégradées et de la gestion des cas limites par des équipes réduites. Les prochaines étapes annoncées -- essais publics fin 2026 sur un nombre limité de chambres -- constitueront le premier test réel, et vraisemblablement le plus scruté, du concept.

DIM-WAM : modélisation monde-action avec mémoire d'événements historiques diversifiés

Des chercheurs du CASIA (Institute of Automation de l'Académie des sciences chinoise) ont publié fin juin 2026 sur arXiv un préprint décrivant DiM-WAM, un modèle de type "world-action model" augmenté d'une mémoire multi-échelle conçue pour les tâches de manipulation robotique à longue séquence. Sur le benchmark RMBench, l'architecture fait passer le taux de succès moyen de 28,4 % (baseline LingBot-VA) à 69,8 %, dépassant nettement la baseline à mémoire explicite Mem-0 qui plafonnait à 42,0 %. Sur quatre tâches réelles exécutées sur bras Franka, DiM-WAM améliore le succès par étape de 70,7 % à 91,5 % et le succès complet de tâche de 52,5 % à 80,0 %, soit un gain absolu de 27,5 points. Ce résultat est notable car il attaque directement l'un des points d'échec systématiques des modèles vision-langage-action actuels : l'oubli des événements antérieurs lors de séquences longues. Contrairement aux architectures VLA classiques qui se limitent à un contexte court (quelques frames récentes), DiM-WAM maintient plusieurs banques mémoire mises à jour par fusion basée sur la similarité, et conditionne conjointement la dénoisation vidéo et la génération d'action sur ce contexte historique long. Un signal d'entraînement inédit, la "progress supervision", pousse les tokens mémoire à encoder non seulement les événements passés mais aussi l'étape courante de la tâche et ses implications sur la suite. Pour un intégrateur industriel, cela adresse un prérequis concret : permettre à un robot de reprendre une séquence après une interruption ou de conditionner une action sur un état observé plusieurs secondes plus tôt. Les world-action models constituent une évolution récente des VLA, inspirée des travaux sur la prédiction vidéo (world models) appliqués à la robotique, avec des architectures comme celles de Physical Intelligence (Pi-0) ou DreamerV3 adaptés au contrôle. DiM-WAM se positionne dans ce champ en ajoutant la dimension mémoire longue, un problème que le domaine reconnaît mais peu de travaux ont quantifié en conditions réelles. La validation sur Franka, robot académique standard à 7 DOF, reste modeste en échelle (quatre tâches, environnement contrôlé), et le preprint n'annonce pas de déploiement industriel ni de partenariat commercial. Les prochaines étapes probables incluent une évaluation sur des benchmarks plus larges comme SimplerEnv ou des plateformes humanoïdes, et une ouverture du code source évoquée via la page projet.

💬 28 % à 70 % de taux de succès sur des séquences longues, c'est pas un artefact de benchmark, c'est enfin quelqu'un qui s'attaque au vrai problème : un robot qui oublie ce qu'il vient de faire n'a aucune valeur en contexte industriel réel. La "progress supervision" est l'idée maline du lot, parce qu'elle force la mémoire à encoder non pas juste le passé mais où en est la tâche à l'instant T. Reste à voir si ça tient au-delà du Franka en environnement contrôlé, mais le signal est là.

PhysisForcing : simulateur du monde renforcé par la physique pour la manipulation robotique

Une équipe de chercheurs propose PhysisForcing (arXiv 2606.28128, juin 2026), un cadre d'entraînement conçu pour corriger les incohérences physiques des modèles de génération vidéo utilisés comme simulateurs du monde pour la manipulation robotique. Ces modèles, généralistes ou affinés sur des données robotiques, produisent régulièrement des artefacts problématiques : trajectoires discontinues, déformations d'objets en mouvement et interactions robot-objet illogiques lors des contacts. PhysisForcing intègre deux mécanismes : une perte d'alignement de trajectoire au niveau pixel (supervision des features DiT via des trajectoires de points de référence) et une perte d'alignement sémantique relationnel (alignement avec les relations inter-régions d'un encodeur vidéo figé). Sur les benchmarks R-Bench, PAI-Bench et EZS-Bench, les gains atteignent +22,3 % sur Wan2.2-I2V-A14B et +9,2 % sur Cosmos3-Nano par rapport aux baselines, soit +7,1 % et +3,7 % au-dessus du fine-tuning classique. Le variant Cosmos3-Nano obtient le meilleur score global. Dans le protocole de planification en boucle fermée WorldArena, le taux de succès passe de 16,0 % à 24,0 %. Ce résultat valide une hypothèse importante : la fidélité physique d'un simulateur vidéo se répercute directement sur les performances des politiques robotiques en aval. Le bond de 8 points sur WorldArena n'est pas un indicateur de génération d'image, c'est un signal de planification-exécution dans un simulateur. Pour les équipes de recherche et les intégrateurs, cela signifie que les world models vidéo peuvent désormais servir de banc d'essai crédible, réduisant la dépendance aux trajectoires réelles. Le framework étant applicable aux architectures DiT existantes sans modification structurelle, son adoption potentielle est large. Cela suggère aussi que le "demo gap" des world models vidéo est adressable par une supervision ciblée, et non par davantage de données brutes. PhysisForcing s'inscrit dans le sillage de Cosmos (NVIDIA, fin 2024), qui a lancé la dynamique des simulateurs vidéo généralistes pour la robotique. Des travaux concurrents comme UniSim (Google DeepMind) ou IRASim explorent des directions similaires. Aucun acteur européen n'est impliqué dans ce papier. Il s'agit d'un preprint non encore évalué par des pairs, sans code open-source annoncé ni déploiement industriel. Les prochaines étapes naturelles incluent la validation sim-to-real sur matériel réel et l'intégration dans des pipelines de politiques VLA (Vision-Language-Action).

General Intuition lève 320 millions de dollars pour entraîner des robots avec des données de jeux vidéo

General Intuition US Inc. a annoncé cette semaine une levée de fonds de 320 millions de dollars en Série A, portant sa valorisation à 2,3 milliards de dollars et son financement total à 454 millions, après un premier tour de 134 millions en octobre 2025. Le round est mené par General Catalyst et inclut Jeff Bezos, fondateur d'Amazon, et Eric Schmidt, ex-PDG de Google. L'entreprise new-yorkaise, fondée en 2015 par Pim de Witte, développe deux familles de modèles : des action models, qui décident quelle action entreprendre, et des world models, qui prédisent les conséquences de ces actions dans des environnements virtuels ou physiques. La particularité de son approche est la source des données d'entraînement : non pas des vidéos de manipulation robotique ou des simulations synthétiques, mais des milliards de clips de gameplay issus de Medal, une plateforme de partage de moments gaming que de Witte a également cofondée. Ces vidéos sont accompagnées de labels d'action embarqués, qui enregistrent précisément quelle touche le joueur appuie et à quel instant, offrant une supervision dense sur la relation perception-décision-action. L'intérêt de cette approche pour l'IA physique tient à une hypothèse centrale : les modèles entraînés sur du texte décrivent la réalité, ils ne la modélisent pas. Le jeu vidéo, lui, capture un humain qui perçoit un environnement tridimensionnel, anticipe des dynamiques et agit en conséquence, dans des milliers de configurations différentes. Si l'hypothèse tient à l'échelle, cela représenterait un raccourci significatif pour le sim-to-real gap qui plombe la généralisation des politiques robotiques : plutôt que de collecter des téléopérations coûteuses ou de concevoir des environnements simulés ad hoc, General Intuition récupère de la diversité environnementale pour presque rien. La question non résolue reste la transférabilité effective de ces représentations vers des corps physiques avec des dynamiques mécaniques réelles, un point que la société n'a pas encore documenté publiquement avec des benchmarks tiers. General Intuition évolue dans un espace de plus en plus encombré. Des acteurs comme DeepMind avec RT-2 et ses successeurs, Physical Intelligence (pi) avec Pi-0, ou encore Covariant avec RFM-1 misent également sur des fondations visuelles générales pour l'apprentissage de politiques robotiques. La différence revendiquée est l'échelle et la labellisation des données gaming, un corpus que la concurrence ne possède pas. L'entreprise prévoit de rendre son API accessible publiquement à l'été 2026 et d'utiliser le financement pour augmenter sa capacité de calcul et entraîner la prochaine version de son modèle de préentraînement. Aucune annonce de partenariat industriel ou de déploiement sur plateforme robotique physique n'a été communiquée à ce stade : il s'agit d'une phase de précommercialisation axée infrastructure et modèle.

Les modèles d'action du monde permettent un apprentissage par imitation continu avec rejeu génératif récurrent

Publiés en juin 2026 sur arXiv (référence 2606.27374), des chercheurs présentent REGEN (Recurrent Generative Replay), un cadre d'apprentissage continu par imitation fondé sur les World Action Models (WAMs). Contrairement aux modèles de politique classiques qui se contentent de prédire les actions du robot, les WAMs génèrent également des observations visuelles futures, combinant ainsi deux capacités distinctes dans un seul modèle. REGEN exploite cette dualité en interrogeant récursivement le WAM pour synthétiser des trajectoires de pseudo-replay, conditionnées uniquement sur les instructions des tâches antérieures et les observations de la tâche courante. Testée en simulation et en manipulation réelle, l'approche réduit l'oubli catastrophique de 50 % en comparaison au fine-tuning séquentiel classique, tout en s'approchant des performances des méthodes dites "privileged" qui, elles, conservent l'accès aux démonstrations humaines originales. L'enjeu industriel est direct : l'oubli catastrophique constitue l'un des verrous majeurs au déploiement continu de robots en environnement réel. Dès qu'un système est refiné sur une nouvelle tâche, il dégrade ses capacités acquises précédemment. Les solutions actuelles imposent de conserver les démonstrations humaines originales, ce qui soulève des contraintes de stockage, de coût de collecte et parfois de confidentialité des données opérationnelles. REGEN casse cette dépendance : le robot répète mentalement ses tâches passées sans jamais avoir besoin des vidéos source. Cela ouvre la voie à des déploiements adaptatifs dans des cellules de production ou d'entrepôt où les tâches évoluent en continu. Le gain de 50 % reste cependant partiel, et les auteurs reconnaissent que leur méthode n'atteint pas encore le niveau des méthodes ayant accès aux données réelles. Le travail s'inscrit dans la dynamique des world models appliqués à la robotique, un axe de recherche en forte accélération depuis 2023 porté par des acteurs comme Physical Intelligence (avec π0), Google DeepMind, ou NVIDIA (GR00T N2). L'originalité de REGEN réside dans l'usage génératif du WAM pour l'apprentissage continu, plutôt que pour la planification ou le sim-to-real. Les auteurs identifient deux goulots d'étranglement principaux : la dégradation visuelle sur les horizons longs et l'incohérence entre actions générées et observations synthétisées, deux limites qui dessinent clairement l'agenda de recherche pour les prochaines itérations. Aucun partenaire industriel ni calendrier de commercialisation n'est mentionné ; il s'agit à ce stade d'une contribution académique, non d'un produit déployé.

IA incarnée généraliste : RoboScience dévoile Visics

La société pékinoise RoboScience a officiellement présenté le 24 juin 2026 Visics, son modèle d'IA embarquée à usage général, accompagné d'une divulgation technique complète de l'architecture VLOA (Vision-Language-Object-Action). L'annonce s'appuie sur des démonstrations réelles couvrant l'assemblage de meubles, la préhension dextre et des opérations sur lignes d'assemblage dynamiques. L'architecture repose sur une représentation intermédiaire unifiée baptisée Object Trajectory, soit une trajectoire de nuage de points 3D centrée sur l'objet manipulé plutôt que sur les trajectoires articulaires propres à un robot donné. Deux moteurs fonctionnent en tandem : un Embodied World Model, entraîné sur de vastes volumes de vidéos Internet pour apprendre la physique des objets et les dynamiques de force, et un General Operation Model qui traduit ces trajectoires en commandes hardware-agnostiques. La simulation propriétaire RoboMirage, couplée à des pipelines d'annotation vidéo automatisés, permettrait de générer des données d'entraînement à un coût représentant 1/20 à 1/200 des approches conventionnelles, avec un objectif de plus d'un téraoctet de données de trajectoires de manipulation d'ici fin 2026. Le tour de table inclut JD.com, SenseTime, Fortune Capital, CMB Capital et Sinovation Ventures ; les centres de R&D et de production sont répartis entre Pékin, Shenzhen, Suzhou et Hangzhou. L'approche VLOA tente de résoudre un problème structurel du secteur : les modèles de contrôle robotique sont aujourd'hui massivement liés à la cinématique d'un hardware précis, ce qui rend toute généralisation coûteuse et fragile. En découplant la couche cognitive (comprendre la tâche et l'objet) de la couche d'exécution (générer les commandes moteur), RoboScience affirme pouvoir déployer Visics sur des plateformes hétérogènes sans réentraînement complet. Si cela se confirme à l'échelle, l'impact pour les intégrateurs industriels serait significatif : fini le verrouillage sur un fournisseur de robot unique pour une cellule donnée. Les métriques de coût de données (1/200e du coût traditionnel) restent toutefois à vérifier indépendamment ; les vidéos de démonstration présentées sont sélectionnées et ne constituent pas un benchmark contradictoirement validé, un écart classique entre communication marketing et performance opérationnelle réelle. RoboScience s'inscrit dans une vague dense de startups chinoises d'IA embarquée qui cherchent à contester le leadership américain dans l'humanoïde et la manipulation généraliste. Face à Physical Intelligence (Pi-0), à NVIDIA (GR00T N2), ou encore à Agibot et Unitree sur le segment domestic/industrial, la stratégie de RoboScience mise sur l'abstraction hardware plutôt que sur la verticalisation matériel-logiciel adoptée par Figure ou 1X Technologies. Les pilotes annoncés portent sur le commerce de détail, la logistique et l'aide aux personnes âgées, trois segments où la variabilité des tâches et des objets est élevée, ce qui constituerait un test pertinent de la généralisation revendiquée. Le lancement d'une production en série standardisée pour des applications industrielles et commerciales est prévu pour le second semestre 2026, sans calendrier précis communiqué à ce stade.

💬 Découpler la compréhension de la tâche du contrôle moteur, c'est le saint Graal de la robotique industrielle depuis des années, et RoboScience dit l'avoir fait avec une couche d'abstraction hardware-agnostique. Si ça tient à l'échelle, ça met fin au verrou fournisseur qui force aujourd'hui les intégrateurs à recoder intégralement pour chaque plateforme robot. Les démos sont sélectionnées, les chiffres de coût data invérifiables pour l'instant, et le H2 2026 sans date précise, ça ressemble encore à du "bientôt".

Kunlun Xing, startup d'IA incarnée, lève plusieurs milliards de yuans et devient licorne en 90 jours

Moins de quatre-vingt-dix jours après son enregistrement officiel, la startup de robotique humanoïde chinoise Kunlun Xing (昆仑行) a bouclé trois tours de financement successifs pour un total de plusieurs milliards de yuans, franchissant le seuil du milliard de dollars de valorisation avant même d'avoir sorti un produit. C'est le 36Kr qui révèle ces informations en exclusivité. La société est fondée par Ren Geng, ancien vice-président du groupe Alibaba et ex-président d'Alibaba Cloud Chine, accompagné de Lang Xianpeng, premier ingénieur ADAS de Li Auto, l'équivalent chinois de Mobileye au sein du constructeur. Les investisseurs présents dès le premier tour, dont Hillhouse Capital, Gaorong Ventures, CASSTAR et Huaye Capital, ont participé aux trois rounds consécutifs, un signal fort de conviction. Le tour de table réunit également Zhongding Capital, Innovation Works (le fonds de Kai-Fu Lee), Xin Capital, et le bras industriel du conglomérat Jianfa Group. La stratégie affichée par Kunlun Xing est le développement en intégration totale (full-stack) d'un robot humanoïde généraliste, explicitement positionné comme concurrent de l'Optimus de Tesla, avec une architecture duale baptisée Kunlun World Model (KWM) censée améliorer la généralisation et réduire l'opacité décisionnelle des modèles de type VLA. Ce financement record illustre la tension qui structure le marché chinois de la robotique humanoïde en 2026 : les capitaux sont abondants, mais les cibles crédibles rares. Plusieurs fonds de premier rang interrogés par 36Kr reconnaissent se retrouver en position de "demandeurs" face aux meilleurs dossiers, non l'inverse. Ce qui différencie Kunlun Xing aux yeux des investisseurs, c'est la combinaison inhabituelle de compétences de go-to-market à grande échelle (Ren Geng a piloté Alibaba Cloud à 42,1 % de part de marché public cloud en 2020) et de capacités de livraison hardware à volume (Lang Xianpeng a délivré l'ADAS Li Auto sur 1,5 million de véhicules avec un budget annuel de recherche de 10 millions de yuans). Dans un secteur où la plupart des acteurs sont soit purement techniques, soit purement commerciaux, cette dualité est jugée décisive. La stratégie "corps + cerveau" en développement propriétaire vise à éviter le découplage logiciel-matériel qui pénalise nombre de concurrents. Le contexte sectoriel qui nourrit cette levée tient à plusieurs catalyseurs simultanés : l'annonce par Tesla d'une production en petite série de l'Optimus Gen3 à l'usine de Fremont entre juillet et août 2026, l'introduction en bourse accélérée de Unitree Robotics, et les prévisions de Morgan Stanley évaluant le marché mondial des robots humanoïdes à 5 000 milliards de dollars d'ici 2050. Kunlun Xing n'est toutefois pas seul sur ce segment : Figure AI, 1X, Agility Robotics et Fourier Intelligence occupent le terrain international, tandis que Unitree, Agibot (智元) et Zhiyuan Robot (智元) disputent le marché domestique. Les défis techniques restent concrets : la durée de vie des mains dextres dépasse rarement deux mois, et la supply chain composants n'est pas encore industrialisée. Kunlun Xing n'a pour l'heure annoncé ni prototype public, ni calendrier de livraison client, ni déploiement pilote, sa valorisation repose intégralement sur la crédibilité de l'équipe fondatrice, pas sur des métriques produit vérifiables.

SC3-Eval : évaluer les modèles fondation pour la robotique via la génération vidéo auto-cohérente

Une équipe de chercheurs a publié fin juin 2026 SC3-Eval (arXiv:2606.18610), un cadre d'évaluation des politiques de manipulation robotique basé sur la génération vidéo cohérente. Le principe : plutôt que de rouler une politique en conditions réelles, un modèle fondamental vidéo pré-entraîné simule les trajectoires du robot et prédit si la tâche aboutit. SC3-Eval repose sur trois mécanismes de cohérence complémentaires. La cohérence dynamique avant-inverse entraîne simultanément le modèle à prédire les images à partir des actions et à récupérer les actions à partir des images, ancrant les rollouts à un espace d'action physiquement plausible. La cohérence multi-vue oblige le modèle à reconstruire chaque caméra depuis les autres, maintenant la cohérence spatiale sur de longs épisodes. Enfin, à l'inférence, un signal d'incertitude par chunk d'actions interrompt les rollouts dont les images générées divergent des actions demandées. Évalué sur sept politiques vision-langage-action (VLA) réelles, SC3-Eval atteint une corrélation de Pearson de 0,929 avec les résultats terrain et un MMRV de 0,119, surpassant trois baselines vidéo existantes. Ce résultat a une portée pratique immédiate : évaluer une politique de manipulation en conditions réelles est coûteux, lent et difficile à paralléliser. Un corrélat simulé à 0,929 constitue un substitut crédible pour filtrer les candidats politiques avant déploiement physique, réduisant potentiellement les cycles d'itération de plusieurs semaines à quelques heures. Fait notable, SC3-Eval reproduit fidèlement les modes d'échec observés en réel, permettant un diagnostic fin au niveau tâche plutôt qu'un classement agrégé, ce qui est plus actionnable pour un intégrateur. Le cadre se généralise par ailleurs à des tâches hors distribution d'entraînement, un point critique pour les équipes qui développent des politiques généralistes. Ce travail s'inscrit dans la vague d'adoption des modèles VLA commerciaux et de recherche, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix, OpenVLA, dont l'évaluation standardisée reste un goulot d'étranglement reconnu. Les approches alternatives passent par des simulateurs physiques classiques (MuJoCo, Isaac Sim) ou des rollouts réels coûteux ; les world models vidéo comme UniSim ou IRASim avaient amorcé cette direction mais se heurtaient à la dérive autorégressiveet à l'incohérence multi-caméras que SC3-Eval adresse directement. Le code et les données ne sont pas encore publiés au moment de la préprint, ce qui limite l'adoption immédiate. La prochaine étape logique sera de valider la méthode sur des plateformes humanoïdes à plus haute dimensionnalité, où le coût d'évaluation réelle est encore plus prohibitif.

Luo Jianlán : le vrai Scaling Law de la robotique naît dans la boucle fermée du déploiement réel

Luo Jianlan, ancien doctorant à l'université de Berkeley sous la direction de Sergey Levine - figure fondatrice de l'intelligence incarnée - et ex-chercheur chez Google X puis DeepMind, a rejoint il y a quatorze mois l'Institut de Shanghai pour l'apprentissage et l'intelligence (创智学院) et Zhiyuan Robotics (AgiBot) en qualité de directeur scientifique. Il détaille dans une interview publiée par 36Kr Hardware trois jalons techniques développés depuis son retour : SOP (Scalable Online Post-training), une infrastructure de retour de données en temps réel depuis les robots terrain vers le cloud d'entraînement ; LWD (Learning While Deploying), qui supprime la frontière rigide entraînement/déploiement pour permettre une évolution continue des robots dans des épiceries ou entrepôts réels ; et τ0-WM, un world model codéveloppé avec l'Institut de Shanghai, qui utilise la prédiction vidéo non pas comme fin en soi mais comme simulateur physique conditionné par l'action - comparant plusieurs trajectoires candidates avant exécution pour éviter, par exemple, de faire tomber un objet fragile positionné en bordure de table. La contribution principale de Luo est son refus d'appliquer mécaniquement la Scaling Law des grands modèles de langage aux robots incarnés. Selon lui, la majorité des "modèles fondamentaux incarnés" actuellement annoncés par des équipes chinoises relèvent en réalité du mid-training ou du fine-tuning appliqué à des bases open-source existantes, faute de données d'interaction hétérogènes en volume suffisant. Or la diminution de la loss curve sur données statiques ne prédit pas le taux de succès en déploiement physique : un robot qui mémorise des données ne maîtrise pas pour autant les perturbations et les cas rares du monde réel. Le vrai marqueur de maturité du secteur, selon Luo, est le moment où l'augmentation du parc de robots déployés entraîne une réduction mesurable du coût d'adaptation à de nouveaux scénarios - ce qu'il appelle le déclenchement du flywheel de données. Ce seuil n'est pas encore atteint, et aucune équipe ne sait le quantifier précisément. Pour les intégrateurs et les décideurs industriels, cela signifie que les performances en démo laboratoire restent peu prédictives des performances terrain. Zhiyuan Robotics s'impose comme l'un des acteurs phares de l'humanoïde en Chine, dans un secteur qui a progressivement déplacé son attention de la course aux degrés de liberté hardware vers la question de l'intelligence embarquée. Luo cite Physical Intelligence (PI) - la startup américaine issue de chercheurs de Google et DeepMind, connue pour son modèle π0 - avec une formule devenue un adage dans le milieu : "sur le papier, PI n'a jamais gagné ; dans la réalité, PI n'a jamais perdu", illustrant le découplage persistant entre métriques académiques et performances terrain. Zhiyuan vise à valider son flywheel de données dans des environnements semi-structurés réels - épiceries, supermarchés, entrepôts - sur une fenêtre de 12 à 18 mois. Le pari de τ0-WM est que la planification par simulation interne est la clé du passage de la démo au déploiement fiable à grande échelle, là où les modèles VLA (Vision-Language-Action) standards émettent une commande directe sans anticipation des conséquences physiques.

WOMBET : transfert d'expérience par modèle du monde pour un apprentissage par renforcement robuste et efficace

Une équipe de chercheurs présente WOMBET (World Model-Based Experience Transfer), un cadre d'apprentissage par renforcement (RL) publié sur arXiv sous la référence 2604.08958 (troisième version, indiquant un travail en révision active). Le constat de départ est simple : en robotique, collecter des données d'entraînement est coûteux et potentiellement risqué, ce qui freine l'adoption du RL réel. WOMBET répond à ce problème en deux temps. D'abord, un modèle du monde (world model) est appris sur une tâche source, et sert à générer synthétiquement un jeu de données hors-ligne via une planification pénalisée par l'incertitude épistémique. Les trajectoires générées sont ensuite filtrées selon deux critères : rendement cumulé élevé et faible incertitude. Ensuite, un agent s'affine en ligne sur la tâche cible, avec un échantillonnage adaptatif qui équilibre progressivement données offline (issues du world model) et données online (issues de l'environnement réel), assurant une transition stable. Les auteurs formalisent également que l'objectif pénalisé constitue une borne inférieure du rendement vrai, et décomposent l'erreur finie en termes de décalage de distribution et d'erreur d'approximation. Le gain pratique est réel : WOMBET améliore la vitesse de convergence et les performances finales sur des benchmarks de contrôle continu (probablement DeepMind Control Suite ou MuJoCo, non précisés dans l'abstract) par rapport à des baselines solides. Pour la robotique industrielle, où chaque heure de collecte sur robot physique se paie cher, la capacité à générer des données fiables via un modèle appris, tout en contrôlant leur qualité par l'incertitude, est un levier concret. La double garantie -- théorique et empirique -- est rare dans ce domaine et renforce la crédibilité de l'approche au-delà d'un simple résultat expérimental. Ce travail s'inscrit dans un courant actif qui associe world models et RL offline-to-online, où des systèmes comme DreamerV3 ou TD-MPC2 font référence. WOMBET se distingue en ciblant explicitement le problème du transfert inter-tâche, là où la majorité des approches existantes supposent un jeu de données fixe et pré-collecté. Aucune entreprise ni partenariat industriel n'est mentionné ; il s'agit de recherche académique à stade préprint. Trois versions déposées suggèrent des révisions significatives en cours, possiblement vers une soumission en conférence (NeurIPS, ICML, CoRL). Les prochaines étapes naturelles seraient une validation sur hardware réel et une comparaison avec des méthodes de sim-to-real transfer plus classiques.

PLUME : modélisation probabiliste unifiée du monde et estimation de paramètres pour la manipulation multi-doigts

Une équipe de recherche présente PLUME (Probabilistic Latent Unified World Modeling and Parameter Estimation), une architecture de modèle du monde conçue pour la manipulation dextre avec des mains multi-doigts. L'article, déposé sur arXiv en juin 2026, s'attaque à un obstacle bien documenté en robotique : les politiques entraînées en simulation échouent souvent en déploiement réel parce que des paramètres physiques clés, forme des objets, pose initiale, coefficients de friction, sont inconnus au moment de l'exécution. PLUME apprend conjointement un espace latent représentant plusieurs paramètres physiques hétérogènes et un modèle de dynamique conditionné sur ces paramètres, permettant une inférence en ligne sans ré-entraînement ni fine-tuning. Le système est évalué sur quatre tâches en simulation (vissage de tournevis, rotation de vanne, levage de seau, projection de disque) puis validé sur une tâche de vissage réelle en zéro-shot, surpassant les baselines de référence en apprentissage par renforcement offline et en imitation augmentée par modèle du monde. Ce résultat conteste l'hypothèse que la randomisation de domaine suffit pour les tâches de précision. Visser un tournevis avec une friction faible ou élevée ne demande pas la même stratégie motrice : la politique doit changer qualitativement, pas simplement se robustifier. PLUME répond à cela via une mise à jour bayésienne de la croyance sur les paramètres au fil de l'exécution, fonctionnant comme un système d'adaptation en temps réel sans accès aux vrais paramètres. Le transfert zéro-shot sur hardware est le point fort concret de l'article, même si les conditions exactes du banc d'essai (matériau des objets, tolérances mécaniques de la main utilisée) ne sont pas précisées dans le résumé public, ce qui limite la reproductibilité immédiate. La manipulation dextre multi-doigts reste un problème ouvert depuis plusieurs décennies, avec des tentatives notables chez OpenAI (Dactyl, arrêté en 2021) ou ETH Zurich. PLUME s'inscrit dans une tendance récente couplant modèles du monde et inférence de paramètres, approche complémentaire aux VLA (Vision-Language-Action models) mais plus ciblée sur l'incertitude physique. Les travaux concurrents les plus proches incluent DreamerV3, TD-MPC2 et des méthodes d'inférence contextuelle comme PEARL. La prochaine étape naturelle serait l'extension à des tâches bi-manuelles ou impliquant des objets déformables, domaines où l'incertitude sur les paramètres est encore plus sévère.

MIND-V : modèle du monde hiérarchique pour la manipulation robotique à long horizon avec alignement physique par RL

Des chercheurs ont publié MIND-V, un modèle de monde hiérarchique conçu pour générer automatiquement des vidéos d'entraînement de manipulation robotique à long horizon, problème resté en grande partie non résolu jusqu'ici. L'architecture s'articule autour de trois modules : un Semantic Reasoning Hub (SRH) qui s'appuie sur un vision-language model pré-entraîné pour la planification de tâches, un Behavioral Semantic Bridge (BSB) qui traduit ces instructions abstraites en représentations invariantes au domaine, et un Motor Video Generator (MVG) chargé du rendu vidéo conditionnel. Pour garantir la cohérence physique des séquences générées, les auteurs ont introduit une phase de post-entraînement par reinforcement learning GRPO pilotée par une récompense inédite, la Physical Foresight Coherence (PFC), qui mobilise V-JEPA2 (le modèle de monde de Meta) comme arbitre de physique dans l'espace latent. Les expériences en simulation montrent des résultats état de l'art sur les benchmarks long-horizon, selon les auteurs. Le problème central que MIND-V adresse est la pénurie de données diversifiées pour l'intelligence incarnée : entraîner des politiques de manipulation requiert des milliers d'épisodes réussis sur des tâches enchaînées, données coûteuses à collecter en réel et difficiles à simuler de façon convaincante. L'approche est entièrement autonome, sans trajectoires définies manuellement, ce qui la distingue des générateurs de vidéos robotiques antérieurs limités à des clips courts et des gestes simples. La valeur opérationnelle est directe pour les équipes qui développent des VLA (Vision-Language-Action models) : des pipelines de synthèse de données à grande échelle pourraient réduire significativement la dépendance aux démonstrations téléopérées, principal goulot d'étranglement des robots comme Figure 03, Optimus ou 1X NEO. Ce travail s'inscrit dans une vague de recherche sur les world models pour la robotique, aux côtés de Dreamer, GAIA-1 adapté au robot, et du propre V-JEPA2 de Meta qu'il intègre comme brique de validation physique. L'article, initialement soumis en décembre 2024 (arXiv:2512.06628) et mis à jour en juin 2026, reste à ce stade un résultat en simulation uniquement : aucun déploiement physique ni intégration industrielle n'est mentionné, et le franchissement du sim-to-real gap reste à démontrer sur hardware réel.

ω-EVA : anticiper, vérifier et agir avec des modèles du monde interactifs latents

Une équipe de recherche a présenté ω-EVA (omega-EVA) en juin 2026 sur arXiv, un système de contrôle robotique qui introduit une boucle "Envision-Verify-Act" pour la génération d'actions en manipulation. Le coeur du système est un modèle de monde latent interactif structuré en trois étapes: apprentissage de dynamiques latentes conditionnées par l'action, entraînement d'une politique de flux conditionnée par le langage sur des représentations visuelles "dynamiques-aware", puis rétroalimentation de la proposition d'action à travers ce même modèle. Un raffineur tri-branche raisonne simultanément sur l'état courant, le futur conditionné par la proposition, et l'action candidate pour produire le chunk d'action final. Le modèle compte environ 1,2 milliard de paramètres et n'a pas nécessité de préentraînement sur des données robotiques supplémentaires. Les évaluations couvrent des tâches de manipulation à bras unique, bimanuelle, à horizon long et en environnements perturbés, toutes menées en simulation. La plupart des politiques robotiques actuelles, y compris les VLA (Vision-Language-Action models) comme π0 de Physical Intelligence ou GR00T N2 de NVIDIA, mappent directement les observations vers les actions sans inspecter les conséquences des actions candidates avant exécution. ω-EVA propose un changement de paradigme: le modèle de monde devient un module de rétroaction actif à l'inférence, permettant à la politique de "vérifier" dans l'espace latent l'effet probable de son action avant de la valider. Point clé du design: cette vérification se fait entièrement dans l'espace des features latentes, sans génération de vidéo future, ce qui maintient une charge computationnelle raisonnable à l'inférence. Pour un intégrateur industriel ou un roboticien, l'enjeu est concret: filtrer les actions à risque avant qu'elles atteignent l'effecteur, un problème structurel des VLA déployés en milieu non contrôlé où le "demo-to-reality gap" reste critique. L'utilisation des world models comme module de rétroaction à l'inférence reste rare dans la littérature; la majorité des travaux existants, dont la série Dreamer de Hafner (2019-2023), les exploite pour l'entraînement ou la planification hors ligne. Dans la course aux VLA, les acteurs dominants, Physical Intelligence (π0, π0.5), NVIDIA (GR00T N2), Figure (Helix) et 1X Technologies, misent sur des architectures plus larges et des datasets propriétaires massifs. ω-EVA propose une alternative compacte à 1,2 milliard de paramètres sans ce prérequis en données, ce qui peut intéresser des laboratoires académiques ou des startups à ressources limitées. L'article étant un preprint arXiv non encore soumis à peer review, et les benchmarks étant exclusivement en simulation, la validation sur robot physique en environnement réel reste l'étape déterminante à franchir.

NVIDIA et Doosan Group s'associent pour développer l'IA physique et les infrastructures d'usines IA

NVIDIA et le conglomérat sud-coréen Doosan Group ont annoncé en juin 2026 un élargissement de leur collaboration couvrant quatre entités du groupe : Doosan Robotics, Doosan Bobcat, Doosan Enerbility et Doosan Corporation Electro-Materials BG. Côté robotique, Doosan Robotics intègre la pile physique AI de NVIDIA, dont Isaac Sim et Isaac Lab pour la simulation, les modèles de fondation Cosmos pour la génération de monde physique, le moteur de physique open source Newton, et le SoC embarqué Jetson Thor. L'objectif est de faire évoluer leur plateforme "Agentic Robot OS" -- présentée comme une couche logicielle unifiant perception, raisonnement, simulation, apprentissage et inférence on-device -- pour des tâches industrielles concrètes comme la dépalettisation et le ponçage, ainsi que pour de nouveaux facteurs de forme incluant des bras doubles et des plateformes humanoïdes. Doosan Bobcat, spécialisé dans les engins compacts (construction, agriculture, manutention), entend de son côté exploiter les mêmes technologies pour développer des world models spécialisés. Enfin, Doosan Enerbility explore l'alimentation des AI factories NVIDIA via turbines à gaz, vapeur, réacteurs modulaires de petite taille (SMR) et piles à combustible hydrogène, pendant que Doosan Electro-Materials fournit des copper clad laminates (CCL) haute performance pour les PCB des accélérateurs et serveurs IA compatibles NVIDIA MGX. Il faut lire cette annonce pour ce qu'elle est : un accord de collaboration, pas un déploiement. Aucun chiffre de production, de cycle time, ni de volume shipment n'est communiqué. Cela dit, la structure de l'accord est stratégiquement cohérente. Doosan couvre plusieurs couches de la chaîne de valeur de l'infrastructure IA simultanément : hardware embarqué (Jetson Thor sur cobots), logiciel de simulation (Isaac Lab), matériaux de base pour data centers (CCL), et production d'énergie pour alimenter ces mêmes data centers. Pour les intégrateurs industriels, le signal le plus concret est le passage revendiqué de Doosan Robotics d'un fournisseur de bras articulés vers une entreprise "AI-first full-stack" -- une ambition que partagent Universal Robots, Fanuc et Yaskawa, mais que peu ont encore matérialisée à l'échelle. L'intégration sim-to-real via Cosmos et Newton suggère une volonté de réduire le demo-to-reality gap qui plombe encore de nombreuses démonstrations de manipulation complexe. Doosan Group, fondé en Corée du Sud en 1896 et désormais actif dans l'énergie, l'industrie lourde et la robotique, a acquis Bobcat en 2007 et structuré Doosan Robotics en unité autonome cotée en 2023. Sur le terrain de la robotique collaborative, ses concurrents directs incluent Universal Robots (acquis par Teradyne), FANUC, ABB et Techman Robot, tous en train d'intégrer des couches IA similaires. Sur le segment humanoïde, auquel Doosan fait désormais référence explicitement, la concurrence est plus intense encore : Figure (qui déploie chez BMW), Agility Robotics (Amazon), 1X, Apptronik et Tesla Optimus avancent tous sur des timelines industrielles. NVIDIA, de son côté, capitalise sur cette annonce pour consolider son positionnement de "système d'exploitation de la robotique physique", après des accords similaires avec Boston Dynamics, Foxconn et Intrinsic (Alphabet). Les prochaines étapes mentionnées restent vagues : des cas d'usage de référence sont "en cours de développement", sans date ni client annoncés.

AGIBOT organise le World Challenge 2026 pour évaluer les modèles d'IA sur des tâches réelles

AGIBOT Innovation Technology, également connue sous le nom de Zhiyuan Robotics, a organisé la AGIBOT World Challenge 2026 en marge de l'ICRA 2026 à Vienne, réunissant 526 équipes de recherche et d'entreprises issues de 27 pays autour de deux pistes compétitives en IA incarnée : "Reasoning to Action" (R2A) et "World Model" (WM). La finale hors ligne s'est déroulée sur le robot humanoïde AGIBOT G2, avec des évaluations standardisées via les benchmarks EWMBench et Genie Sim 3.0. Dans la piste R2A, qui élargit l'évaluation de la simple exécution motrice à la compréhension d'environnement et à la planification de tâches, c'est l'équipe PrismBot de vivo qui a remporté le championnat avec 43,47 points, devant RP-VLA de Shanghai RoboParty (35,66 points) et GreenVLA de la Russie (33,19 points). Dans la piste WM, NeoVerse-ABot, équipe conjointe de l'Institut d'Automatisation de l'Académie des Sciences de Chine et du laboratoire Amap CV, a décroché la première place. Plus de 100 équipes ont dépassé le score de référence officiel, avec des participants issus de la Tsinghua University, de l'USTC, de l'UC San Diego, d'Alibaba et du Sber Robotics Center russe. La signification industrielle de cet événement tient moins aux classements qu'au format d'évaluation lui-même : l'abandon progressif des scores de simulation au profit de tests en boucle fermée sur robots réels, avec des métriques reproductibles et standardisées. Pour les intégrateurs et les décideurs B2B, c'est un signal que le secteur commence à construire des référentiels comparables entre systèmes -- un prérequis pour toute contractualisation sérieuse. La piste "World Model", centrée sur la prédiction de changements physiques et la modélisation d'interactions à partir d'entrées sensorielles, teste directement la capacité des VLA (Vision-Language-Action models) à généraliser hors distribution, y compris le transfert zéro-shot et l'adaptation aux perturbations. Le benchmark supermarché co-développé avec Dexmal va plus loin en intégrant des interactions physiques non idéales -- chutes d'objets, échecs de préhension -- et impose la navigation autonome, le picking et le placement sous contraintes réelles (hauteurs de rayonnage variables, placement aléatoire des articles), contrôlés via API distante. C'est une démarche de validation orientée déploiement, pas de démonstration. AGIBOT, fondée à Shanghai, s'est imposée comme l'un des acteurs centraux de l'écosystème robotique humanoïde chinois, aux côtés d'Unitree, de Fourier Intelligence et de l'initiative GR00T de NVIDIA. Son dataset open-source AGIBOT WORLD, utilisé pour entraîner les modèles de la piste WM, constitue un levier de standardisation communautaire similaire à ce qu'Open X-Embodiment représente côté américain. La compétition s'appuie sur Genie Sim 3.0 pour l'évaluation de capacités couvrant la compréhension du langage, le raisonnement spatial et les compétences atomiques de manipulation. Dans la course mondiale à la robotique humanoïde commerciale -- où Boston Dynamics, Figure AI, Agility Robotics et 1X Technologies avancent leurs propres plateformes -- AGIBOT positionne le G2 comme un banc d'essai de référence pour la communauté académique et industrielle, avec une stratégie d'écosystème ouverte qui rappelle davantage un hub de recherche qu'une pure offre produit.

DexFuture : ciblage visuomoteur hiérarchique par états futurs pour la manipulation bimanuelle d'outils

Des chercheurs ont publié DexFuture (arXiv:2606.05699), une architecture hiérarchique pour la manipulation bimanuelle dextre avec des outils. Le système se décompose en deux niveaux : un prédicteur de cibles visuomotrices futures (Future-State Visuomotor Target Predictor) en haute couche, et une politique d'exécution bas niveau conditionnée sur ces cibles (Target-Conditioned Structured Dexterous Policy). Le prédicteur exploite un flux RGB égocentrique, des données proprioceptives et un historique géométrique pour générer une trajectoire multi-étape via un transformeur conditionné sur l'horizon temporel ; le module d'exécution suit ensuite ces cibles articulation par articulation (per-link) à 60 Hz. Sur le benchmark OakInk2 de tâches bimanuelles avec outils, DexFuture atteint 90 % des performances d'un oracle disposant d'états privilégiés (informations inaccessibles en déploiement réel), contre seulement 7 % pour une politique sans référence future, et s'exécute environ 250 fois plus vite que les approches de planification CEM de type DexWM. Ce résultat est notable car il s'attaque à l'un des verrous fondamentaux de la robotique dextre : comment générer une référence future dynamiquement cohérente sans s'appuyer sur des états privilégiés issus de démonstrations humaines, et sans planification contrefactuelle lente sur des séquences d'actions à haute dimension. L'écart de performance entre la politique sans référence (7 %) et DexFuture (90 %) illustre à quel point le conditionnement sur un horizon temporel est déterminant pour la manipulation fine à deux mains. Pour les intégrateurs et décideurs B2B, l'exécution à 60 Hz est compatible avec du contrôle temps-réel sur hardware standard, là où les approches CEM nécessitaient des cycles bien trop longs pour un déploiement industriel. La séparation explicite entre prédiction sémantique lente (long horizon) et exécution haute fréquence (bas niveau) est une architecture qui se répand dans la robotique de précision, et DexFuture en fournit une validation quantitative significative sur benchmark public. Le benchmark OakInk2 est une référence académique établie pour évaluer la manipulation d'outils à deux mains avec des mains anthropomorphes, couvrant des tâches réalistes de préhension, transfert et utilisation d'outils courants. Le champ des politiques visuomotrices pour mains dextres est en pleine effervescence : DexWM (world models pour la dextérité), Pi-0 de Physical Intelligence, et les approches VLA (Vision-Language-Action) de Google DeepMind et Figure AI poussent la généralisation vers des niveaux inédits. DexFuture se distingue en ciblant la cohérence dynamique de la trajectoire future sans supervision privilégiée, une contrainte plus réaliste que les méthodes supposant un accès complet à l'état du système. L'article n'annonce ni déploiement physique ni timeline commerciale : il s'agit d'un résultat de recherche fondamentale validé en simulation et sur données de démonstration. Les étapes naturelles seraient le passage à des mains physiques (sim-to-real), l'extension à des outils non vus à l'entraînement, et l'intégration dans des pipelines VLA pour des tâches de longue durée.

IA incarnée : Kuawei Intelligence domine le benchmark mondial WorldArena

La société chinoise Kuawei Intelligence a décroché la première place du classement mondial WorldArena Track 2 (Data Engine) pour le mois de mai 2026, devançant les concurrents internationaux WoW et BLM. Ce benchmark évalue non pas la qualité visuelle des sorties générées, mais les taux de succès réels de robots sur des tâches physiques, ce qui le rend plus pertinent pour les déploiements industriels que les métriques classiques de génération d'images. Le modèle lauréat, DSCFuncWorld, repose sur l'architecture DexWorldModel et est conçu pour produire des données d'entraînement robotique de haute qualité. Contrairement aux world models génératifs conventionnels qui opèrent au niveau du pixel, Kuawei utilise l'espace de features sémantiques DINO pour la prédiction d'état, une approche qui réduit la charge de calcul tout en améliorant la robustesse. La société a par ailleurs open-sourcé son infrastructure de données EmbodiChain. Ces résultats benchmark s'accompagnent de chiffres de déploiement concrets : Kuawei revendique plus de 1 000 projets dans plus de 50 secteurs industriels, un taux de succès de 99,99 % sur une ligne de production Hisense, une efficacité de tri trois fois supérieure à l'humain chez Midea, un chiffre d'affaires dépassant 100 millions de RMB en 2024 et plus de 100 unités de son robot humanoïde W1 Pro livrées à des clients comme BYD, GAC, Zoomlion, SANY et Panasonic. Ces chiffres sont issus de communications officielles de l'entreprise et n'ont pas fait l'objet de vérification indépendante. La performance de Kuawei sur WorldArena Track 2 est significative précisément parce que ce classement mesure le sim-to-real transfer, soit la capacité d'un modèle entraîné en simulation à fonctionner sur du matériel réel, longtemps considéré comme le principal obstacle à la robotisation à l'échelle. Si les chiffres revendiqués se confirment, ils suggèrent qu'une entreprise chinoise de taille intermédiaire a résolu, au moins partiellement, le problem de la data engine, c'est-à-dire la génération automatisée de données d'entraînement suffisamment réalistes pour produire des politiques motrices robustes. Pour les intégrateurs industriels et les décideurs B2B, l'argument le plus fort n'est pas le benchmark lui-même mais la combinaison revenus/déploiements réels, qui tranche avec le schéma habituel du secteur humanoïde, souvent long en annonces et court en traction commerciale. Kuawei Intelligence s'inscrit dans une vague d'acteurs chinois de l'IA incarnée qui ont émergé depuis 2023, parmi lesquels Unitree Robotics, Fourier Intelligence et AgileX Robotics, tous positionnés sur le segment des robots à bas coût et des plateformes open-source. Sur la scène internationale, elle affronte Physical Intelligence (Pi-0), Apptronik, Figure AI (Figure 03) et Boston Dynamics, dont les approches misent davantage sur la puissance des VLA (Vision-Language-Action models) que sur la data synthesis. La victoire de Kuawei à l'ICRA 2025 avec un robot bi-bras en manipulation fine sans intervention humaine avait déjà signalé ses ambitions. La prochaine étape pour l'entreprise sera de démontrer que ses déploiements tiennent dans des environnements non structurés, au-delà des lignes de production contrôlées où les benchmarks ont jusqu'ici été réalisés.

GRAIL : génération de loco-manipulation pour humanoïdes à partir d'actifs 3D et de vidéos

Une équipe de chercheurs publie GRAIL (Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors, arXiv:2606.05160), un pipeline entièrement virtuel qui génère des données d'entraînement en loco-manipulation humanoïde sans télé-opération ni capture de mouvement physique. La méthode compose des actifs 3D paramétrés, des scènes simulées et des modèles fondamentaux vidéo (VFM) pour reconstruire des trajectoires d'interaction humain-objet (HOI) en 4D à l'échelle métrique, en conditionnant la génération vidéo sur des configurations entièrement spécifiées : géométrie, paramètres caméra, profondeur de scène et personnage aux proportions humanoïdes, ce qui réduit l'ambiguïté de profondeur et le mismatch morphologique habituels. Le pipeline produit plus de 20 000 séquences couvrant ramassage d'objets, manipulation, assise et traversée de terrains variés. Entraîné uniquement sur ces données synthétiques via un pipeline sim-to-real, le système atteint 84 % de succès en préhension d'objets divers et 90 % en montée d'escaliers sur un Unitree G1 en conditions réelles ; l'article, soumis sur arXiv en juin 2026, est une prépublication non encore évaluée par les pairs. Ce travail s'attaque au principal goulot d'étranglement de la robotique humanoïde : générer des données de démonstration diversifiées à grande échelle sans mobiliser de temps-robot ni d'opérateurs spécialisés. La télé-opération et la mocap exigent des configurations physiques dédiées et un robot disponible à chaque session, ce qui plafonne le débit de production de données ; GRAIL déplace intégralement ce coût vers la simulation, rendant possible la composition de données pour des objets, scènes et mouvements corporels inédits. Les résultats de 84 % et 90 % en conditions réelles constituent un signal positif sur la réduction du gap sim-to-real, du moins pour ces classes de tâches. Une réserve s'impose cependant : le résumé ne détaille ni les objets testés ni le protocole de sélection des séquences d'évaluation, ce qui rend toute comparaison indépendante prématurée avant la publication complète. GRAIL s'inscrit dans une course à la donnée synthétique que se livrent les principaux laboratoires de robotique humanoïde, aux côtés des pipelines World Model de Figure AI et 1X Technologies, de RoboVerse (Microsoft Research) et des environnements Genesis pour la simulation physique générative. La distinction de GRAIL réside dans le conditionnement fort sur des actifs 3D préalables, un choix qui améliore la précision de la reconstruction 4D mais suppose la disponibilité d'assets de qualité pour chaque objet cible. Le robot retenu, l'Unitree G1, est commercialisé autour de 16 000 dollars, rendant la reproduction des résultats accessible à de nombreuses équipes académiques, contrairement aux plateformes propriétaires des acteurs industriels. Les affiliations des auteurs ne figurant pas dans le résumé arXiv disponible, les suites naturelles annoncées comprennent les tâches bimanuelles, les environnements dynamiques et l'intégration dans des pipelines VLA (Vision-Language-Action) pour la généralisation à des objets et contextes non vus lors de l'entraînement.

LDA-1B : mise à l'échelle d'un modèle d'action à dynamique latente via ingestion universelle de données incarnées

LDA-1B est un modèle fondation pour la robotique à 1 milliard de paramètres, présenté dans un preprint arXiv (2602.12215v2, "replace", donc une version révisée). Ses auteurs introduisent ce qu'ils appellent une "ingestion universelle de données incarnées" : plutôt que le clonage comportemental classique, qui se borne à imiter des actions expertes en ignorant la connaissance des dynamiques physiques, LDA-1B entraîne simultanément un modèle de dynamiques, une politique d'action et un module de prévision visuelle. Pour opérer à cette échelle, les chercheurs ont constitué EI-30k, un jeu de données standardisé regroupant plus de 30 000 heures de trajectoires humaines et robotiques dans un format unifié. La prédiction s'effectue dans l'espace latent structuré de DINO (modèle de vision auto-supervisé de Meta), évitant la modélisation redondante au niveau pixel. L'architecture repose sur un transformeur de diffusion multimodal gérant des flux vidéo et d'action asynchrones. En simulation et en conditions réelles, LDA-1B dépasse π0.5 de Physical Intelligence de 21 % sur les tâches à contacts intenses, 48 % sur les tâches de dextérité, et 23 % sur les tâches à long horizon. Résultat contre-intuitif : en réintégrant 30 % de trajectoires de faible qualité habituellement écartées, le modèle gagne 10 % de performance supplémentaire. Ce travail s'attaque à une limite structurelle des modèles robotiques actuels : le clonage comportemental traite comme déchets toutes les données sans annotation action-état précise, vidéos téléopérées approximatives, démonstrations ratées, captations partielles. En assignant des rôles distincts selon la qualité des données, LDA-1B récupère de la valeur dans ces corpus dégradés. Pour les intégrateurs et décideurs industriels, l'implication est concrète : si des trajectoires sous-optimales contribuent positivement à l'entraînement, le coût de constitution des jeux de données de référence diminue sensiblement. Les gains de 48 % sur la dextérité, talon d'Achille historique des robots manipulateurs, sont particulièrement significatifs, même si ces chiffres proviennent d'un preprint non encore évalué par les pairs, et que les conditions exactes des benchmarks méritent une lecture critique avant généralisation. LDA-1B s'inscrit dans une course aux modèles fondation robotiques qui s'intensifie depuis 2024. Physical Intelligence (Pi), dont π0 puis π0.5 font référence sur les benchmarks manipulation, est le principal étalon ici. Google DeepMind pousse RT-2 et ses successeurs, tandis que des modèles open-source comme OpenVLA et Octo peinent à franchir le cap du milliard de paramètres avec des données hétérogènes. La formulation UWM (Unified World Model), que LDA-1B exploite et étend, tentait déjà de valoriser des données non-action (vidéos, interactions humaines), mais les tentatives précédentes manquaient d'échelle et de standardisation. EI-30k, avec ses 30 000 heures normalisées, est l'une des bases d'interaction incarnée les plus vastes publiées à ce jour. Ce preprint n'annonce ni produit commercial ni déploiement terrain, c'est de la recherche académique avec expériences en simulation et quelques validations réelles. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés comme LIBERO ou RoboSuite, et une intégration sur des plateformes humanoïdes comme Unitree H1 ou G1.

CLAW : apprentissage de modèles du monde à actions latentes continues par régularisation latente adversariale

Des chercheurs ont publié sur arXiv (2606.04130) un cadre d'apprentissage auto-supervisé baptisé CLAW (Continuous Latent Action World Models via Adversarial Latent Regularization), conçu pour apprendre simultanément un modèle du monde et des représentations d'actions latentes continues à partir de vidéos non annotées. La méthode ne nécessite aucun label d'action : elle s'appuie sur une régularisation adversariale des représentations latentes et sur la génération vidéo par diffusion pour inférer une structure sémantique des actions directement depuis les transitions visuelles observées. Le modèle d'action latente (LAM) et le modèle du monde sont entraînés conjointement en bout en bout, permettant au système de raisonner sur la façon dont les actions inférées induisent des transitions dans l'environnement. CLAW supporte deux modes d'utilisation : le clonage comportemental par imitation depuis l'observation, où les actions latentes extraites de vidéos brutes suffisent à reproduire un comportement, et la planification dirigée par objectif, où le système génère des séquences d'actions latentes puis les mappe vers des actions exécutables. L'enjeu central ici est l'accès aux données. La robotique souffre d'un déficit chronique de données d'entraînement annotées avec des paires (observation, action), car les capteurs proprioceptifs et la capture de mouvement sont coûteux. CLAW ouvre la voie à l'exploitation de vidéos tierces non instrumentées, comme des démonstrations humaines filmées ou des contenus web, pour entraîner des politiques et des planificateurs. Si les résultats se confirment hors laboratoire, cela réduit drastiquement le coût de collecte de données pour les intégrateurs robotiques et les équipes d'ingénierie travaillant sur le transfer sim-to-real. Les auteurs rapportent des performances supérieures aux méthodes existantes sur des tâches variées et plusieurs morphologies robotiques, bien que les benchmarks spécifiques et les métriques quantitatives détaillées ne soient pas accessibles dans l'abstract seul. CLAW s'inscrit dans un courant de recherche actif sur les modèles d'actions latentes (LAM), dont les travaux fondateurs incluent LAPO et des approches basées sur des modèles de dynamique inversale (IDM). Il se distingue en combinant génération par diffusion et régularisation adversariale là où ses prédécesseurs utilisaient souvent des encodeurs déterministes ou des VQ-VAE. Les concurrents directs dans l'espace des world models pour la robotique comprennent UniSim (Google DeepMind), GAIA-1 (Wayve) côté génération vidéo, et des approches VLA comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) côté politique. CLAW se positionne en amont de ces pipelines, comme brique d'apprentissage de représentation plutôt que comme politique complète. Les prochaines étapes naturelles seront une validation sur des environnements physiques réels et l'intégration dans des boucles de fine-tuning pour des robots humanoïdes ou manipulateurs.

WAM-Nav : modélisation monde-action asymétrique en espace latent pour la navigation visuelle unifiée

Des chercheurs ont publié WAM-Nav (Latent World-Action Model for Navigation), un système de navigation visuelle incarnée qui couple la génération d'actions et la prévision visuelle dans un seul modèle, déposé sur arXiv en juin 2026 (réf. 2606.04907). L'architecture repose sur un Diffusion Transformer partagé qui effectue une diffusion jointe asymétrique : il génère simultanément des actions à long horizon et une anticipation visuelle à court horizon, sans recourir aux rollouts autorégressifs multi-étapes qui alourdissent la latence d'inférence. Un mécanisme de conditionnement contextuel à double flux intègre l'historique d'ego-motion à l'échelle de l'épisode et les observations visuelles séquentielles, favorisant des trajectoires lisses et cohérentes. Un module d'alignement d'objectif unifié permet à WAM-Nav de gérer trois modes dans une seule politique : Image-Goal, Point-Goal et exploration libre (No-Goal). Sur les benchmarks ClutterScenes et InternScenes, le système améliore les taux de réussite de 15,7 % en Image-Goal et de 3,3 % en Point-Goal. En déploiement réel, WAM-Nav atteint 85 % de taux de succès moyen sur des environnements intérieurs et extérieurs variés, sans fine-tuning, soit un transfert sim-to-real zéro-shot. Ce résultat intéresse directement les intégrateurs de robotique mobile pour deux raisons concrètes. D'abord, la résolution simultanée de l'action et de l'imagination visuelle dans un seul réseau réduit l'accumulation d'erreurs typique des architectures modulaires, où le prédicteur de scène et le module de politique sont entraînés séparément et se propagent mutuellement leurs erreurs. Ensuite, un taux de 85 % en zéro-shot sur des environnements variés représente un indicateur sérieux, même si les conditions de test (densité d'obstacles, vitesses, types de sols) ne sont pas détaillées dans le résumé et méritent d'être examinées dans le papier complet. Pour un COO ou un décideur B2B, cette architecture suggère des robots de navigation capables de s'adapter à de nouveaux scénarios sans collecte de données coûteuse sur site. Le sim-to-real gap reste l'un des blocages majeurs de la robotique mobile autonome depuis des années : les politiques entraînées en simulation échouent souvent au contact du monde réel en raison des différences de rendu, de dynamique et de bruit des capteurs. WAM-Nav s'inscrit dans une vague de travaux qui combinent modèles de diffusion pour la génération d'actions et représentations latentes du monde, dans la lignée des World Models de type RSSM ou des VLA comme Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA. Sur le plan concurrentiel, des approches comme NoMaD, ViNT ou les stacks Nav2/ROS 2 restent des références opérationnelles sur AMR commerciaux, et WAM-Nav devra être comparé à ces systèmes dans des conditions contrôlées identiques pour confirmer sa supériorité pratique. L'étape suivante naturelle serait une validation sur des plateformes matérielles réelles en conditions industrielles, dont aucun partenariat ni timeline n'est annoncé à ce stade.

Modification des activations latentes : affinage à l'inférence des politiques apprises pour une navigation multi-robots plus sûre

Des chercheurs ont publié sur arXiv (référence 2509.20623v2) une méthode baptisée Latent Activation Editing (LAE) permettant d'améliorer la sécurité de politiques de contrôle multi-robots déjà entraînées, sans modifier leurs poids ni leur architecture. Le protocole cible la navigation de quadrotors multiples en environnements encombrés, un scénario où les politiques issues du renforcement (RL) restent exposées à des collisions rares mais critiques. LAE fonctionne en deux étapes : un classifieur en ligne surveille les activations intermédiaires du réseau de politique pour détecter les états à risque, puis un module d'édition modifie sélectivement ces activations pour orienter le comportement vers des régimes plus sûrs. Le composant central est un "latent collision world model" entraîné à prédire les activations pré-collision futures, forçant ainsi des réponses d'évitement plus précoces. Sur les Crazyflie de Bitcraze en conditions réelles, la méthode atteint une réduction de près de 90 % des collisions cumulées par rapport à la politique de base, tout en préservant le taux de complétion des trajectoires. L'intérêt industriel de cette approche réside dans son coût d'intégration quasi nul : aucun réentraînement, aucun risque de dégradation des compétences acquises (catastrophic forgetting), et une exécution compatible avec du matériel embarqué à ressources limitées. Pour les intégrateurs de flotte AMR ou les opérateurs de drones industriels, cela signifie qu'un correctif de sécurité peut s'appliquer post-déploiement sans toucher au pipeline de formation. La méthode transpose au contrôle robotique une technique bien établie en NLP (activation steering, popularisée notamment dans les travaux sur l'alignement des LLMs) et en vision générative, ce qui valide l'hypothèse d'une transférabilité cross-domaine des mécanismes de représentation latente. Le cadre LAE s'inscrit dans une tendance plus large de recherche sur la correction comportementale à l'inférence, distincte des approches de fine-tuning ou de constraint RL. Côté concurrents conceptuels, on trouve les méthodes de safe RL par barrières de Lyapunov, les approches CBF (Control Barrier Functions) ou le shielding symbolique, qui agissent elles aussi sans retraining mais à un niveau différent (sortie de politique plutôt qu'espace latent). Les auteurs n'annoncent pas de déploiement commercial : l'article reste une contribution académique avec validation en simulation étendue et expériences sur Crazyflie, sans timeline industrielle précisée. La prochaine étape logique serait la validation sur des architectures plus hétérogènes (quadrupèdes, bras, flottes mixtes) et dans des environnements dynamiques avec obstacles mobiles.

Modèles du monde locaux et globaux couplés pour un apprentissage par renforcement efficace du premier ordre

Des chercheurs ont publié en février 2026 une méthode d'entraînement de politiques de contrôle robotique entièrement à l'intérieur de modèles du monde appris depuis des données réelles, sans aucun simulateur physique. L'approche, baptisée FoG (First-order Gradient découplé), repose sur un couplage inédit : un modèle du monde global, basé sur un modèle de diffusion à grande échelle, génère des trajectoires précises dans l'espace image, tandis qu'un modèle local léger opérant dans un espace latent approche les dynamiques locales pour calculer les gradients de manière tractable. Les auteurs valident la méthode sur la tâche Push-T, un benchmark standard de manipulation planaire, où FoG surpasse significativement PPO (Proximal Policy Optimization) en efficacité d'échantillons. Une deuxième évaluation porte sur de la manipulation d'objets en vue égocentrique avec un robot quadrupède. Ce travail s'attaque à un verrou majeur de la robotique de manipulation : les simulateurs physiques classiques peinent à modéliser fidèlement les contacts, la non-rigidité des objets et les perceptions visuelles complexes, créant un écart sim-to-real difficile à combler. En substituant entièrement le simulateur par un modèle du monde appris sur des interactions réelles, FoG contourne ce problème structurellement plutôt que de l'atténuer par du domain randomization ou du fine-tuning. Le découplage local/global est la contribution centrale : utiliser le modèle de diffusion complet pour le déroulé (roll-out) garantit la fidélité, tandis que le substitut latent rend le calcul du gradient computationnellement viable, une tension que les approches précédentes ne résolvaient pas proprement. Les world models comme levier pour l'apprentissage robotique constituent un axe de recherche en forte accélération depuis les travaux fondateurs de Dreamer (DeepMind, 2019-2023) et de MBPO. Les modèles de diffusion, d'abord dominants en génération d'images, sont progressivement intégrés comme modèles de transition dynamique dans des travaux récents chez Google DeepMind, Berkeley et le MIT. FoG se positionne dans cette veine mais avec un angle d'optimisation first-order qui le distingue des approches model-based RL classiques. Les résultats sont préliminaires, limités à deux tâches de complexité modérée, et les auteurs ne présentent pas de métriques de temps de calcul détaillées ni de comparaison sur des benchmarks de manipulation plus exigeants comme ManiSkill ou RoboSuite. La prochaine étape naturelle serait de tester la méthode sur des tâches dextères en environnement non structuré, où le gap sim-to-real est le plus pénalisant.

SKIP : paradigme d'interpolation par images-clés éparses pour modèles du monde incarnés efficaces

Une équipe de recherche publie SKIP (Sparse Keyframe Interpolation Paradigm), un cadre visant à accélérer l'inférence des modèles de monde incarnés (embodied world models) en robotique. Ces modèles prédisent visuellement l'effet des actions d'un robot sur son environnement et servent à générer des données synthétiques pour entraîner des politiques de contrôle. Générer ces séquences image par image est coûteux en calcul, mais supprimer des frames de façon indiscriminée détruit les événements critiques (approche, contact, saisie, relâchement) dont les politiques aval ont besoin. SKIP fonctionne en trois étapes : identification des keyframes pertinentes via des caractéristiques multimodales robot-aware, synthèse de ces seules keyframes par un modèle de diffusion vidéo sparse, puis reconstruction des intervalles manquants par un interpolateur conditionné sur les actions du robot. Sur le benchmark LIBERO, SKIP génère des séquences denses 4,16 fois plus vite qu'une baseline frame-by-frame et réduit le FVD (Fréchet Video Distance) agrégé de 89,0 %. Lorsque les vidéos SKIP remplacent intégralement les démonstrations réelles pour entraîner la politique π₀.₅ de Physical Intelligence, la perte de performance n'est que de 1,3 point de pourcentage en simulation et de 6,7 pp sur robot réel, contre un effondrement de 48 à 58 pp avec la génération dense classique. Ce résultat valide un principe clé pour les pipelines de robotique apprenante : une génération synthétique ciblée sur les événements critiques peut remplacer des démonstrations humaines coûteuses sans dégrader sérieusement la politique finale. L'effondrement de la génération dense (48-58 pp) confirme que c'est la préservation des keyframes critiques, et non la densité brute des frames, qui conditionne le transfert sim-to-real. Pour les équipes développant des robots manipulateurs à grande échelle, réduire la dépendance aux données réelles est un levier économique et opérationnel majeur. SKIP répond également au goulot d'étranglement du rollout inference, qui freine actuellement le déploiement de ces modèles de monde dans des boucles d'entraînement intensives. Les modèles de monde incarnés s'imposent comme axe de recherche depuis les travaux sur UniSim et les premières politiques visuomotrices génératives. La politique π₀.₅ est issue de Physical Intelligence, startup fondée en 2023 spécialisée en modèles de fondation pour la robotique généraliste. Dans le paysage concurrentiel, des approches comme IRASim ou RoboDreamer poursuivent des objectifs similaires ; SKIP se distingue par sa stratégie d'économie computationnelle orientée événements plutôt que par simple sous-échantillonnage temporel. Aucun acteur européen n'est directement impliqué dans ce travail. Les prochaines étapes naturelles incluent la validation sur des tâches de manipulation plus complexes et l'intégration dans des pipelines VLA (Vision-Language-Action) en production.

RoboDream : des modèles du monde compositionnels pour la synthèse de données robotiques à grande échelle

Des chercheurs ont publié RoboDream (arXiv:2606.02577), un world model centré sur l'embodiment conçu pour générer des démonstrations photorealistic destinées à l'entraînement de politiques de manipulation robotique. Le système s'appuie sur des modèles de diffusion vidéo conditionnés simultanément sur le mouvement rendu du robot et sur des priors explicites de scène et d'objet, découplant ainsi l'exécution de trajectoire de la synthèse d'environnement. Cette architecture permet deux capacités distinctes : le "retrieval and rebirth", qui réutilise des trajectoires existantes dans des contextes entièrement nouveaux sans collecter de nouvelles données de mouvement, et la "prop-free teleoperation", où l'opérateur manipule dans le vide et le modèle génère a posteriori les objets cibles et la scène. Les expériences en conditions réelles montrent que les données ainsi synthétisées améliorent systématiquement les performances des politiques en aval et réduisent significativement les besoins en données réelles sur des tâches de manipulation variées. La télé-opération reste aujourd'hui le principal goulot d'étranglement du robot learning à grande échelle : coûteuse, lente, et contrainte par le temps de reset entre chaque démonstration (repositionner les objets, réorganiser la scène). RoboDream attaque ce problème en proposant une augmentation sémantique profonde plutôt qu'une simple modification de texture ou de couleur : le système génère des objets et des environnements entièrement nouveaux à partir d'une même trajectoire capturée. La "prop-free teleoperation" est opérationnellement significative car elle supprime le temps de reset, l'une des sources de coût caché les plus sous-estimées dans les pipelines de collecte actuels. Le fait que les politiques entraînées sur données synthétiques surpassent les baselines en conditions réelles valide partiellement la thèse que le sim-to-real gap peut être comblé par un générateur suffisamment ancré dans la géométrie et la cinématique du robot réel, contrairement aux approches purement visuelles. Cette publication s'inscrit dans une course à la mise à l'échelle des données robotiques qui s'est accélérée depuis 2023 avec l'essor des VLA (Vision-Language-Action models) : OpenVLA, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA. Ces architectures nécessitent des dizaines de milliers de démonstrations diversifiées pour être robustes. Face à ce besoin, deux voies coexistent : la collecte distribuée à grande échelle (projet Open X-Embodiment) et la génération synthétique. RoboDream s'inscrit dans la seconde, aux côtés de travaux comme UniSim ou RoboGen, mais se différencie par son ancrage explicite à la cinématique du robot, évitant les "embodiment hallucinations" qui affectent les générateurs purement visuels. Aucun partenariat industriel ni déploiement commercial n'est annoncé à ce stade. Les questions ouvertes portent sur la généralisation à des morphologies de robots différentes et sur les tâches de manipulation longue durée, où la cohérence temporelle des séquences générées reste un défi non résolu.

Tau-zéro WM : un modèle du monde vidéo-action unifié pour la manipulation robotique

Des chercheurs ont déposé le 1er juin 2026 sur arXiv (réf. 2606.01027) τ₀-WM (tau-zéro World Model), une architecture unifiée vidéo-action pour la manipulation robotique. Le modèle repose sur un backbone de diffusion vidéo partagé qui intègre simultanément apprentissage de politique, prédiction vidéo et évaluation d'actions au sein d'un même cadre prédictif. Il expose deux interfaces complémentaires : un modèle d'action vidéo qui prédit conjointement des représentations visuelles latentes futures et des séquences d'actions continues à partir d'observations multi-caméras, d'instructions en langage naturel et de l'état courant du robot ; et un simulateur vidéo conditionné sur l'action, capable de dérouler des séquences candidates en projections multi-vues tout en attribuant des scores denses de progression de tâche. L'entraînement porte sur environ 27 300 heures de données combinant téléopération réelle, interactions de style UMI (Universal Manipulation Interface, protocole de collecte de données en bimanuel développé par Stanford), vidéos égocentrées humaines, et trajectoires de succès comme d'échecs. L'intérêt principal réside dans la convergence entre politique et modèle de monde au sein d'une architecture commune. Les VLA (Vision-Language-Action models) actuels génèrent des actions sans anticiper leurs conséquences, laissant la gestion des erreurs à des modules séparés. τ₀-WM introduit un mécanisme de rectification à l'inférence : le simulateur évalue chaque séquence candidate via un score dense de progression, et les candidats jugés insuffisants sont corrigés par re-débruitage. Ce test-time scaling structuré pourrait réduire les interventions humaines sur des tâches longue durée, un enjeu clé pour les intégrateurs industriels qui peinent encore à déployer des robots autonomes sur des séquences de plus de quelques étapes. Sur les benchmarks de manipulation fine et longue séquence, les auteurs déclarent surpasser les baselines comparables, sans préciser les conditions expérimentales ni les contraintes matérielles testées. Ce travail s'inscrit dans une course engagée depuis fin 2024 entre Physical Intelligence (pi-0), NVIDIA (GR00T N2) et Figure (Helix) pour des architectures VLA à grande échelle, mais rares sont celles qui intègrent simulation interne et évaluation d'action dans un seul modèle plutôt que dans un pipeline découplé. L'usage de données UMI signale une stratégie d'agrégation multi-source qui dépasse les corpus propriétaires et pourrait favoriser la généralisation à de nouveaux environnements. Le papier reste pour l'instant un preprint non soumis à revue par les pairs : les performances annoncées restent à valider sur robot physique en conditions réelles, et aucune date de déploiement ou partenariat industriel n'est mentionné.

Enrichir le contexte spatial et temporel pour l'apprentissage par imitation robotique avec des graphes de scène

Des chercheurs ont publié le 1er juin 2026 sur arXiv (2606.01072) une méthode d'apprentissage par imitation qui exploite des graphes de scène dynamiques comme mécanisme de mémoire structurée pour les robots mobiles. Le principe : pendant l'exécution d'une tâche, le robot maintient un graphe de scène mis à jour en continu, qui encode les relations entre objets et leur évolution dans le temps. Plutôt que de traiter uniquement les observations courantes du capteur, le système capitalise sur l'historique accrété de l'environnement pour inférer des politiques d'action. Les validations couvrent deux régimes : manipulation mobile en simulation (environnements à grande échelle spatialement) et manipulation sur table en conditions réelles. Les auteurs rapportent une amélioration substantielle des performances par rapport aux baselines, particulièrement sur des tâches nécessitant un raisonnement à long terme, sans donner de métriques chiffrées précises dans l'abstract. Ce travail s'attaque à deux verrous persistants du déploiement de robots apprenants dans des environnements non-structurés. Le premier est l'observabilité partielle : dans un appartement ou un bureau, le champ de vision d'un robot ne capture qu'une fraction de l'espace pertinent, et les objets manipulés disparaissent régulièrement du cadre. Le second est l'horizon temporel : des tâches comme "ranger la cuisine" enchaînent des dizaines de sous-tâches dont les dépendances ne sont pas localement visibles. En substituant un graphe de scène explicite et structuré à une mémoire implicite (fenêtre d'observations brutes, état caché LSTM), l'approche donne au robot une représentation interprétable et modulaire du contexte. Pour les intégrateurs industriels et les équipes qui déploient des politiques d'imitation dans des environnements semi-structurés, c'est une piste crédible pour réduire le gap entre démo de labo et robustesse opérationnelle, même si les expériences restent pour l'instant confinées à la simulation et au tabletop. L'apprentissage par imitation (behavioral cloning, GAIL, DAgger) a connu un regain d'intérêt majeur avec l'essor des Visual Language Action models (VLA) comme Pi-0 de Physical Intelligence, RT-2 de Google DeepMind, ou OpenVLA. Les graphes de scène sont une technique éprouvée en vision par ordinateur et en navigation robotique (travaux de Armeni, Rosinol, Chang notamment), mais leur intégration dans des pipelines d'imitation learning reste peu explorée. Les approches concurrentes pour gérer la mémoire à long terme incluent les transformers avec attention sur un historique d'observations, les représentations de tâches hiérarchiques (task graphs), et les world models latents. Ce preprint n'étant pas encore évalué par les pairs, ses résultats méritent confirmation sur des benchmarks plus larges et des environnements réellement non-structurés avant de pouvoir orienter des décisions d'architecture. Les auteurs n'annoncent pas de code public ni de suite industrielle à ce stade.

Vérificateur d'actions mondiales : modèles du monde auto-améliorés via asymétrie avant-inverse

Des chercheurs ont publié sur arXiv (2604.01985, avril 2026) le cadre World Action Verifier (WAV), une architecture conçue pour permettre aux modèles de monde (world models) de détecter leurs propres erreurs de prédiction et de s'auto-améliorer. Le problème est structurel : ces modèles, utilisés pour évaluer et optimiser des politiques de contrôle robotique, doivent rester fiables sur un vaste espace d'actions sous-optimales, lesquelles sont systématiquement sous-représentées dans les données d'interactions robot étiquetées. WAV répond en décomposant la prédiction d'état conditionnée à l'action en deux facteurs vérifiables indépendamment : la plausibilité d'état et l'accessibilité par l'action. Le système augmente un modèle de monde existant avec un générateur de sous-objectifs entraîné sur des corpus vidéo sans annotations d'action, et un modèle inverse sparse inférant des actions depuis un sous-ensemble réduit de features d'état. Une cohérence cyclique est ensuite imposée entre sous-objectifs proposés, actions inférées et rollouts forward. Sur neuf tâches couvrant MiniGrid, RoboMimic et ManiSkill, WAV atteint une efficacité d'échantillonnage deux fois supérieure et améliore les performances des politiques aval de plus de 22 %. L'intérêt central de l'approche est l'exploitation d'une asymétrie fondamentale : les données vidéo sans annotations sont abondantes et peu coûteuses à collecter, tandis que les données robot étiquetées restent rares et chères. En s'appuyant sur cette asymétrie pour décomposer la vérification, WAV contourne l'un des principaux goulets d'étranglement du model-based RL appliqué à la robotique. Pour les équipes R&D et les intégrateurs, cela signifie moins de démonstrations téléopérées nécessaires pour obtenir des politiques robustes, point critique dans des déploiements industriels où la collecte de données est un frein opérationnel réel. La méthode valide empiriquement une hypothèse souvent posée sans preuve : les vidéos non annotées peuvent servir de supervision indirecte efficace dans la boucle d'apprentissage robotique. Ce travail s'inscrit dans le champ du model-based RL, où DreamerV3 de Google DeepMind constitue la référence principale pour la prédiction d'états latents. Il propose une voie orthogonale aux approches VLA (Vision-Language-Action) dominantes comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui misent sur la mise à l'échelle massive des corpus de pré-entraînement pour améliorer la généralisation. WAV parie plutôt sur la robustesse intrinsèque du modèle de monde via la vérification interne. À noter : le code et les modèles ne semblent pas encore publiés au moment de la soumission, ce qui positionne ces résultats au stade de la recherche en cours d'évaluation par les pairs, pas d'un outil directement intégrable.

Apprentissage auto-régressif forcé : vers un modèle du monde pour la navigation robotique à long horizon

Une équipe de chercheurs (arXiv:2605.31314, mai 2026) propose AR Forcing, une stratégie d'entraînement autorégressive pour les world models de navigation robotique basés sur la diffusion. Le problème adressé est un écart de distribution persistant : ces modèles sont entraînés avec une supervision parallèle, mais exécutent une inférence autorégressive au moment du planning de trajectoire. Cette asymétrie déstabilise les prédictions sur des horizons longs. AR Forcing l'attaque à la source en intégrant la fonction de perte diffusion standard dans la boucle autorégressive : à chaque étape, le modèle utilise ses propres prédictions pour mettre à jour le contexte et optimiser l'objectif de prédiction de bruit pas à pas. Les expériences ont été menées sur quatre jeux de données multi-domaines couvrant des environnements variés : RECON et SCAND (navigation urbaine et extérieure), HuRoN (interactions humain-robot) et TartanDrive (tout-terrain). L'intérêt pratique de cette approche tient à sa sobriété architecturale : AR Forcing ne requiert ni discriminateur supplémentaire, ni fonction de distribution-matching, et conserve le framework diffusion d'origine ainsi que son sampler. Pour les équipes développant des robots mobiles autonomes (AMR) ou des systèmes de navigation vision-only, cela signifie une intégration sans refonte de pipeline. Les résultats déclarés montrent une meilleure cohérence des images générées sur de longs horizons temporels et une amélioration de la précision des trajectoires prédites, y compris dans des environnements inconnus. Le bémol habituel s'applique ici : les métriques sont évaluées sur des datasets publics en conditions contrôlées, et le gap sim-to-real sur du hardware réel reste à démontrer. Les world models pour la navigation robotique constituent un axe de recherche actif, en lien direct avec les VLA (Vision-Language-Action models) et des travaux comme DreamerV3 ou UniSim. La dérive cumulative sur les horizons longs est précisément le verrou historique que AR Forcing tente de lever, là où les approches concurrentes recourent souvent à des mécanismes d'ancrage externes plus lourds. Le code source doit être publié prochainement selon les auteurs, ce qui permettra à la communauté de valider les résultats sur ses propres domaines applicatifs. Ce papier est un preprint arXiv non encore évalué par les pairs, sans financement industriel déclaré ni déploiement annoncé.

RDGen : génération de démonstrations pour l'apprentissage robotique par renforcement

Une équipe de chercheurs a publié le 30 mai 2026 sur arXiv (référence 2605.30957) un framework appelé RDGen, pour "Reinforcement Learning Demonstration Generation", destiné à automatiser la collecte de données d'entraînement pour les modèles Vision-Language-Action (VLA). Le système combine trois composants : un module d'analyse de tâches basé sur un modèle de langage visuel (VLM), un localisateur d'objets fondé sur Grounding DINO, et une politique de contrôle entraînée par apprentissage par renforcement (RL) en simulation puis transférée sur un robot réel. Testé sur une tâche de saisie et de dépose, RDGen atteint un taux de succès élevé après transfert sim-to-real, sans que les auteurs ne publient de chiffre précis dans le résumé disponible. Les trajectoires générées sont ensuite réutilisées directement comme données d'entraînement pour affiner des politiques VLA en aval. L'enjeu central est celui du goulot d'étranglement dans la chaîne d'entraînement des robots généralistes : la télé-opération humaine, méthode dominante pour collecter des démonstrations, est lente, coûteuse, et produit des trajectoires variables selon l'opérateur. RDGen propose de substituer cet effort humain par une politique RL, qui génère des trajectoires mécaniquement cohérentes et reproductibles, plus lisses selon les auteurs que ce que produit un opérateur humain, et avec un coût marginal quasi nul en simulation. Cela renforce l'hypothèse que le problème sim-to-real pour des tâches de manipulation simples est largement résolu, et déplace la question vers la scalabilité de la diversité des tâches plutôt que la qualité individuelle des démos. RDGen s'inscrit dans un débat actif sur la meilleure façon d'alimenter les VLA, dont les architectures de référence actuelles incluent pi0 (Physical Intelligence), OpenVLA et les travaux de RT-2/RT-X chez Google DeepMind. La collecte de données reste le principal frein industriel à leur déploiement, ce que tentent aussi d'adresser des approches concurrentes comme la génération vidéo synthétique (ex. travaux UniSim, Genie) ou l'augmentation par world models. La contribution de RDGen est plus modeste et ciblée : un pipeline sim-to-real structuré pour des tâches de manipulation définies, avec réutilisation des rollouts réussis. Il s'agit d'un preprint non encore peer-reviewed ; les expériences restent limitées à pick-and-place, et l'absence de métriques quantitatives précises dans le résumé invite à attendre la version complète avant d'en tirer des conclusions générales sur la scalabilité.

X-Square Robot dévoile WALL-WM, le premier modèle du monde à IA incarnée avec prédiction au niveau événementiel

La startup chinoise X-Square Robot, connue pour sa série GreatWall de modèles de fondation robotiques, publie WALL-WM, présenté comme le premier world model à prédiction par événements sémantiques pour la robotique incarnée. Le papier associé, "WALL-WM: Carving World Action Modeling at the Event Joints", décrit une architecture en trois couches : une couche d'entrée d'instructions d'événements, une couche de prédiction centrale utilisant l'optimiseur Muon distribué (DMuon) pour une meilleure stabilité de convergence, et une stratégie de packing multi-événements réduisant les pertes de calcul lors de l'entraînement. Sur les benchmarks de génération vidéo incarnée, WALL-WM surpasse Wan2.1-14B et Open-Sora 2.0 sur qualité de mouvement, cohérence sémantique et plausibilité physique. Sur le benchmark Core15 L1, il dépasse Pi0.5 de Physical Intelligence et DreamZero sur les tâches de base, raisonnement, manipulation dextre et généralisation sous instruction abstraite. L'intérêt technique réside dans un changement de paradigme pour les modèles d'action. Les architectures VLA dominantes prédisent des chunks d'actions à intervalles fixes, où sera la main du robot dans 0.1, 0.2, 0.3 secondes, ce qui force le modèle à mémoriser des déplacements millimétriques par frame plutôt qu'à comprendre l'objectif sémantique ("saisir la tasse"). Cette fragilité structurelle signifie qu'un changement d'objet ou de surface suffit à faire échouer le modèle. WALL-WM prédit directement l'état cible, c'est-à-dire le moment de la saisie, puis génère synchroniquement la séquence d'actions pour y parvenir. Le papier identifie par ailleurs un problème architectural fondamental : texte, vision et action opèrent sur des géométries de manifold distinctes, et leur projection directe dans un espace latent partagé dégrade les représentations préentraînées, un défaut que l'architecture cherche à corriger via ses trois couches spécialisées. X-Square Robot s'inscrit dans la course des laboratoires chinois aux fondations VLA et world models, aux côtés d'Unitree, Fourier Intelligence et Agibot. Les benchmarks publiés visent directement Physical Intelligence (Pi0.5) et ses homologues américains comme Figure AI. Il faut toutefois souligner que WALL-WM reste, à ce stade, une publication de recherche sans déploiement commercial ni pilote industriel annoncé. Les performances sur benchmark L1 ne préjugent pas des résultats en conditions réelles, où l'éclairage variable, la déformation des objets et les perturbations de contact constituent le vrai test de la généralisation sim-to-real. Aucune timeline de productisation n'est mentionnée dans l'annonce.

Dextérité extrinsèque émergente en scènes encombrées via l'apprentissage de politique sensible à la dynamique

Des chercheurs ont publié DAPL (Dynamics-Aware Policy Learning), un cadre d'apprentissage par renforcement destiné à la manipulation non-préhensile en environnements encombrés. L'approche exploite la "dextérité extrinsèque" - la capacité d'un robot à utiliser les contacts avec l'environnement pour déplacer des objets sans les saisir directement - dans des configurations où plusieurs objets interagissent avec des dynamiques couplées. La nouveauté centrale est une représentation apprise des dynamiques de contact, construite via un modèle du monde explicite, qui conditionne ensuite la politique de RL sans recourir à des heuristiques codées manuellement ni à un reward shaping complexe. En simulation, DAPL surpasse de plus de 25 % les approches de manipulation préhensile, la télé-opération humaine et les politiques à représentation implicite, évaluées sur des scènes encombrées à densité variable non vues à l'entraînement. En conditions réelles, le taux de succès atteint environ 50 % sur dix scènes distinctes, avec un déploiement pilote en contexte épicerie pour valider le transfert sim-to-real. Ce résultat adresse un verrou concret en robotique de manipulation : la plupart des systèmes industriels actuels évitent le désordre ou le gèrent par des stratégies d'isolement d'objets, coûteuses en infrastructure. L'émergence de comportements de contact sans ingénierie manuelle des heuristiques représente un pas vers des robots capables de travailler dans des bacs en vrac, des rayons de supermarché ou des convoyeurs non triés. Le gain de 25 % en simulation est significatif, mais les 50 % de succès en conditions réelles appellent à la prudence : les détails sur le type d'objets, la densité exacte et la vitesse d'exécution ne sont pas fournis dans le résumé, ce qui rend difficile toute comparaison directe avec des systèmes comme Sparrow d'Amazon Robotics ou les approches de Covariant AI. La dextérité extrinsèque est un axe de recherche actif depuis une décennie, porté notamment par les groupes de Carnegie Mellon, MIT et ETH Zurich autour du pushing, du pivoting et de la singulation d'objets. DAPL s'inscrit dans cette continuité en ajoutant le world modeling explicite comme composant structurant du pipeline. Le preprint, disponible en version v2 sur arXiv (2603.09882), a été révisé depuis sa soumission initiale, signe d'un affinement des résultats ou des analyses sous revue par les pairs. Aucune timeline de déploiement commercial n'est annoncée ; l'étape logique serait une validation en entrepôt réel sur des volumes plus importants et avec des contraintes de cadence industrielle.

GE-Sim 2.0 : une feuille de route vers des simulateurs vidéo en boucle fermée pour la manipulation robotique

Une équipe de recherche a publié sur arXiv (arXiv:2605.27491) GE-Sim 2.0, un simulateur vidéo en boucle fermée conçu pour l'entraînement et l'évaluation de politiques de manipulation robotique. Le système, Genie Envisioner World Simulator 2.0, prolonge l'architecture de génération vidéo conditionnée par l'action de son prédécesseur et a été ré-entraîné sur des milliers d'heures de données robotiques réelles couvrant la télé-opération, les interactions contact-rich et le déploiement de politiques embarquées. Trois nouveaux modules ferment la boucle simulation-apprentissage : un "state expert" qui décode l'état proprioceptif depuis les latents vidéo pour alimenter les politiques VLA (Vision-Language-Action) en prédiction de trajectoire ; un "world judge" qui évalue automatiquement les rollouts générés face aux instructions de tâche, produisant des signaux de réussite vérifiables sans inspection manuelle ; et un framework d'accélération capable de générer un rollout de 25 frames en 2,3 secondes sur un seul GPU H100, avec jusqu'à 4x de frame skipping à l'inférence pour les scénarios longue-portée. Avec seulement 2 milliards de paramètres, le modèle domine le classement public WorldArena, devançant à la fois des world models robotiques dédiés et des générateurs vidéo généralistes en source fermée. L'enjeu central est le sim-to-real gap, la difficulté chronique à transférer des politiques entraînées en simulation vers des robots réels. GE-Sim 2.0 tente d'y répondre sur deux fronts : en générant des données synthétiques crédibles sur lesquelles entraîner des politiques VLA, avec des gains mesurables en conditions réelles selon les auteurs, et en automatisant l'évaluation des rollouts via le world judge, un goulot d'étranglement qui nécessitait jusqu'ici infrastructure physique ou inspection humaine. Pour les équipes travaillant à l'échelle sur des politiques de manipulation, l'équation coût-délai d'itération pourrait évoluer sensiblement. La performance au benchmark WorldArena avec 2B paramètres seulement suggère une efficacité paramétrique notable, même si les benchmarks de simulation ne garantissent pas directement des performances terrain. GE-Sim 2.0 s'inscrit dans la continuité directe de Genie Envisioner, framework de génération vidéo conditionné par l'action publié par la même équipe. Le marché des world models pour la robotique s'est densifié rapidement, avec notamment UniSim et des travaux issus de Google DeepMind, IRASim, ainsi que les simulateurs développés par Physical Intelligence autour de pi_zero. Dans l'espace VLA, Lerobot (Hugging Face) et plusieurs groupes académiques de MIT et Stanford investissent des directions parallèles. Ce résultat reste une pré-publication arXiv sans révision par les pairs ; les "gains mesurables en conditions réelles" annoncés ne sont pas quantifiés précisément dans l'abstract, ce qui limite l'interprétation des performances de transfert. La prochaine étape logique serait une validation externe sur des benchmarks physiques standardisés.

Apprentissage en boucle fermée d'un modèle du monde vidéo et d'une politique VLA

Une équipe de chercheurs a publié en février 2026 sur arXiv (identifiant 2602.06508v2) World-VLA-Loop, un cadre d'entraînement qui couple un modèle de monde vidéo et une politique VLA (Vision-Language-Action) dans une boucle d'amélioration mutuelle. Le problème de départ est concret : raffiner une politique VLA par apprentissage par renforcement (RL) dans le monde physique coûte cher, entre les rollouts répétés, les remises à l'état initial, la supervision humaine et les risques de sécurité. Les approches existantes utilisent des modèles de monde vidéo conditionnés sur les actions comme simulateurs virtuels, mais ces simulateurs peinent à reproduire les échecs proches du succès ("near-success failures") et ne produisent pas nativement de signal de récompense. World-VLA-Loop propose deux innovations fondamentales : SANS, un protocole de curation qui mélange délibérément trajectoires réussies et trajectoires quasi-réussies pour améliorer l'alignement action-résultat ; et un modèle de monde vidéo "state-aware" qui prédit simultanément frames futures et récompenses binaires à partir des latents de diffusion, intégrant l'estimation de récompense directement dans le générateur plutôt que dans un module séparé. L'apport principal est d'adresser le problème du décalage de distribution dynamique. Lorsqu'une politique VLA évolue pendant le RL, un simulateur figé se désaligne progressivement avec la politique mise à jour. World-VLA-Loop ferme cette boucle en réinjectant les rollouts de chaque politique améliorée pour affiner le modèle de monde, lequel alimente à son tour le post-entraînement VLA suivant. Cette co-évolution itérative réduit la dépendance aux interactions physiques coûteuses. Les expériences couvrent des environnements de simulation et des robots réels, avec des améliorations de performance significatives annoncées, bien que les métriques précises et les benchmarks ne soient pas détaillés dans le résumé disponible, ce qui limite l'évaluation indépendante à ce stade. Ce travail s'inscrit dans l'essor rapide des politiques VLA depuis 2024 : Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, OpenVLA ou Helix de Figure AI constituent l'écosystème de référence. L'enjeu commun est de dépasser le behavior cloning pur pour intégrer du RL sans exploser les coûts de collecte de données réelles. World-VLA-Loop reste un preprint académique en attente de révision par les pairs, sans déploiement industriel annoncé. Les concurrents directs sur la thématique des world models appliqués à la robotique incluent DreamerV3 et les approches de Google DeepMind. Les prochaines étapes naturelles seraient une validation sur des tâches de manipulation plus complexes et une comparaison quantitative publiée contre ces baselines.

GigaAI dévoile son système « Dual Pyramid » d'IA générale physique pour surmonter le mur du passage à l'échelle de l'IA incarnée

Le 20 mai 2026, lors d'un événement de lancement dans l'Optical Valley de Wuhan, la startup chinoise GigaAI a dévoilé ce qu'elle appelle une architecture "Dual Pyramid" pour l'intelligence physique générale. Le système repose sur deux couches parallèles : une couche données qui fusionne dans un seul pipeline d'entraînement des données issues de robots réels (pour la physique de référence), de vidéos internet (pour la diversité situationnelle à grande échelle) et de simulation (pour la couverture synthétique illimitée) ; et une couche algorithmique qui empile des world models et des modèles VLA (Vision-Language-Action) comme piliers complémentaires. En parallèle, GigaAI a lancé SeeLight, une sous-marque dédiée aux environnements domestiques, ainsi que le SeeLight S1, son premier robot humanoïde polyvalent pour la maison. Une flotte de 100 unités est déjà déployée dans des foyers réels à Wuhan, avec un passage en opérations à grande échelle prévu pour le troisième trimestre 2026. La feuille de route sur 12 mois prévoit trois releases successives de modèles de base, GigaBrain-1, GigaBrain-2 et GigaBrain-3, que la société positionne comme l'équivalent du "moment GPT-3" pour la robotique physique généraliste. L'enjeu stratégique de cette annonce dépasse la présentation d'un nouveau robot : GigaAI s'attaque frontalement au débat qui structure le champ depuis deux ans. Le camp des world models, représenté par NVIDIA Cosmos et Google Genie, défend l'idée que des modèles vidéo génératifs peuvent fournir de la donnée d'entraînement à l'échelle industrielle. Le camp des modèles d'action, incarné par Physical Intelligence avec sa série pi-0 et les chercheurs en Diffusion Policy, argue que seules les données collectées sur robots réels permettent de généraliser les compétences de manipulation. En proposant une architecture hybride qui refuse ce choix binaire, GigaAI parie que world models et VLA ne sont pas concurrents mais codépendants. Si le déploiement des 100 unités en conditions réelles se confirme au-delà des vidéos de démonstration sélectionnées, cela constituerait une preuve sérieuse du sim-to-real scaling sur des tâches domestiques non structurées. La revendication d'un "GPT-3 moment" reste un signal marketing à surveiller avec prudence, mais l'architecture elle-même est techniquement cohérente avec les travaux récents sur les données hybrides. GigaAI s'inscrit dans une vague de startups chinoises en robotique humanoïde qui ont accéléré leurs sorties produit depuis 2024, en réponse directe aux annonces d'Agility Robotics (Digit), Figure (Figure 02), et Tesla (Optimus Gen 2). L'Optical Valley de Wuhan est devenu un pôle de référence pour la robotique en Chine, au même titre que Shenzhen pour le hardware grand public. La prochaine étape observable sera la publication de métriques de performance des unités SeeLight S1 dans des conditions d'utilisation domestique réelle, ainsi que le lancement de GigaBrain-1 selon le calendrier annoncé. Aucun acteur européen n'est directement impliqué dans cette annonce, mais les intégrateurs industriels et les décideurs robotique suivront de près la montée en échelle du Q3 2026 comme premier test de vérité.

GEM-4D : modèles du monde vidéo enrichis par la géométrie pour la manipulation robotique

Une équipe en soumission anonyme (probablement ICCV ou NeurIPS 2025) publie GEM-4D sur arXiv, un modèle mondial vidéo ancré géométriquement pour la manipulation robotique. Le constat de départ est bien documenté : les VWM (Video World Models) génèrent des séquences futures visuellement plausibles à partir d'une instruction, mais ne maintiennent pas la cohérence du mouvement au niveau des points entre les images, ce qui les rend inutilisables pour l'exécution d'actions physiques fiables. GEM-4D résout cette limitation en injectant, pendant l'entraînement, une supervision de correspondances 4D denses distillée depuis un modèle de fondation géométrique pré-entraîné dans le backbone génératif vidéo, tout en conservant une architecture single-stream sans surcoût à l'inférence. Un module de dynamique inverse convertit ensuite les rollouts vidéo cohérents en trajectoires exécutables, déployables en simulation comme en réel. Sur la combinaison prédiction vidéo et cohérence géométrique, GEM-4D atteint l'état de l'art, et le taux de succès en manipulation réelle progresse de 61 % à 81 %, soit un gain de 20 points. Ce gain de 20 points sur des tâches réelles est le chiffre central : il valide l'hypothèse que la supervision géométrique suffit à combler le gap entre apparence visuelle et ancrage physique. Pour les intégrateurs et décideurs industriels, l'architecture single-stream représente un avantage concret, sans module géométrique séparé à maintenir en opération. Cela positionne les VWM comme une alternative sérieuse aux approches VLA (Vision-Language-Action) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, jusque-là perçues comme plus directement actionnables. La réserve habituelle s'applique : la soumission reste anonyme, les vidéos de la page projet ne permettent pas encore d'évaluation indépendante, et le protocole de test en environnement réel n'est pas détaillé dans le résumé disponible. Les VWM appliqués à la robotique constituent un axe de recherche actif depuis 2023, avec des travaux précurseurs comme UniSim (OpenAI) ou IRASim. GEM-4D s'y distingue en apportant la cohérence géométrique 3D+temporelle qui faisait défaut, en s'appuyant sur des modèles de fondation pour la reconstruction dense, domaine où l'INRIA Paris (à l'origine de DUSt3R et MASt3R) est un acteur européen de référence. La chaîne supervision géométrique → génération vidéo → action robotique apparaît ainsi viable à l'échelle d'un déploiement réel. Les prochaines étapes naturelles seront une validation sur des benchmarks standardisés comme RLBench ou LIBERO, et des tests hors des environnements de laboratoire contrôlés.

V-VLAPS : planification guidée par valeur pour les modèles vision-langage-action (VLA)

Des chercheurs proposent V-VLAPS (Value-Guided Vision-Language-Action Planning and Search), une méthode qui augmente les modèles VLA (Vision-Language-Action) d'un signal de valeur appris pour améliorer la planification en manipulation robotique. Les VLA encodent perception visuelle, langage et commande motrice pour générer des actions, mais leur comportement purement réactif se dégrade hors distribution d'entraînement ou sur des tâches à horizon long. V-VLAPS ajoute une tête de valeur légère (value head), entraînée sur des trajectoires hors-ligne (offline rollouts), qui prédit les retours Monte Carlo et guide un MCTS (Monte Carlo Tree Search) vers les branches de plus haute valeur. Sur les cinq suites du benchmark LIBERO, V-VLAPS égale la baseline sans valeur au budget de recherche standard ; avec un budget élargi, il la dépasse dans toutes les suites, avec +6 points de pourcentage sur LIBERO-Object et +4 points sur LIBERO-10. L'apport central est de démontrer que les représentations internes des VLA encodent non seulement des informations sur l'échec d'une trajectoire (déjà documenté dans la littérature), mais peuvent aussi estimer la valeur pendant la planification. Cela ouvre une voie pragmatique pour les intégrateurs : renforcer des politiques VLA existantes sans réentraînement complet, par simple ajout d'une tête de valeur et d'un budget de recherche accru. L'analyse révèle toutefois une limite claire : la majorité des échecs durs sont des timeouts au niveau racine, là où les valeurs prédites restent peu différenciées, ce qui plafonne le gain observé et indique que le signal de valeur est encore insuffisamment discriminant en début de trajectoire. Ce travail (préprint arXiv, janvier 2026) s'inscrit dans une série de méthodes cherchant à coupler la puissance générative des VLA modernes (RT-2, OpenVLA, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) avec des mécanismes de planification structurée, face aux approches concurrentes par world models et diffusion planifiante. Les résultats sont obtenus uniquement en simulation sur LIBERO et ne sont pas encore validés sur robot réel, limite classique de ce type de contribution arxiv. La prochaine étape naturelle est une évaluation sim-to-real pour vérifier si le signal de valeur appris se transfère hors simulation, notamment sur des tâches à contacts complexes ou en environnement non structuré.