Dossier World models

RynnUnify : vers un cerveau incarné unifié

RynnUnify est un modèle embodied unifié de 16 milliards de paramètres, présenté sur arXiv (2610.32965) par une équipe qui le positionne comme un « cerveau incarné » capable de combiner compréhension du monde physique et planification visuelle à long horizon. Il raisonne en entrelaçant vidéo et langage, avec des compétences couvrant le raisonnement spatial, la prédiction physique et le grounding (ancrage d'objets dans l'image). Deux extensions sont décrites : une version agentique, entraînée par apprentissage par renforcement, qui décide quand recourir à des prédictions vidéo pour raisonner sur des états non observés et des résultats d'interaction, et une version « world-action » qui convertit ces capacités en commandes robot. Les auteurs introduisent aussi deux benchmarks, Rynn-VP (planification visuelle longue) et Rynn-GEU (raisonnement anticipatif). Les chiffres annoncés : meilleur score moyen de compréhension embodied parmi les modèles multimodaux unifiés évalués, +9,75 points sur Rynn-VP face à Cosmos 3 Nano, +6,0 points sur la moyenne Rynn-GEU pour l'extension agentique par rapport au raisonnement direct, 51,5 % de réussite sur 20 tâches composites RoboCasa365 sélectionnées et 46,7 % de réussite moyenne sur trois tâches de robot réel. L'intérêt tient à la tentative d'unifier dans un seul modèle ce que l'industrie traite encore séparément : un VLM pour comprendre, un world model pour prédire, une politique VLA pour agir. Si cette approche tient, elle simplifie les piles logicielles des intégrateurs et permet de réutiliser la même représentation du monde pour planifier et exécuter. Il faut toutefois lire les résultats avec prudence. Les benchmarks Rynn-VP et Rynn-GEU sont conçus par les auteurs eux-mêmes, ce qui favorise mécaniquement leur modèle. Les 20 tâches RoboCasa365 sont « sélectionnées », sans précision sur le critère de choix, et un taux de 46,7 % sur seulement trois tâches réelles, sans détail sur la plateforme, le nombre d'essais ou les conditions, reste très loin d'une fiabilité de production. On est donc face à un résultat de recherche, pas à un produit ni à un déploiement. Le travail s'inscrit dans la convergence entre modèles de fondation vidéo et politiques robotiques, où Cosmos de NVIDIA (ici la variante Nano sert de référence) occupe une place centrale, aux côtés de lignées VLA comme Pi-0 de Physical Intelligence, GR00T chez NVIDIA ou Helix chez Figure. La désignation « Rynn » évoque la famille de modèles embodied portée par l'écosystème Alibaba DAMO, sans que l'extrait disponible le confirme. Aucun calendrier, code ouvert ou pilote industriel n'est mentionné dans le résumé. La suite dépendra de la publication des poids, des benchmarks et d'une validation indépendante sur davantage de tâches réelles, avec des taux de réussite détaillés.

LeWorldModel préserve-t-il la géométrie locale des actions ?

Une étude publiée sur arXiv en octobre 2026 (préprint v1, sans relecture par les pairs) teste si le modèle de monde préentraîné LeWorldModel (LeWM) reproduit fidèlement l'effet de petites variations d'action. Les auteurs comparent les réponses du simulateur à celles du modèle. Ils mesurent la sensibilité aux actions avec des matrices de Gram à trois échelles de perturbation, sur près d'un millier d'états des environnements Reacher et OGBench Cube. À la plus petite échelle, les directions d'action les plus sensibles du modèle s'écartent de celles du simulateur d'un angle médian d'environ 36° sur Reacher et 42° sur Cube. Multiplier la perturbation par dix réduit l'écart de Gram normalisé médian d'environ 70 % sur Reacher et 47 % sur Cube. Sur des directions d'action non vues pendant l'estimation, les Grams de l'environnement prédisent la réponse dans l'espace latent avec une erreur médiane de 17 % et 28 %, contre 26 % et 38 % pour une référence isotrope de même trace. Les erreurs de LeWM sont plus élevées à cette échelle. Pour les équipes qui planifient ou optimisent des actions par rétropropagation dans un modèle de monde appris, la fidélité locale de la sensibilité compte autant que la qualité des prédictions à long terme. Un modèle peut sembler précis sur des trajectoires entières tout en déformant la géométrie fine des effets d'action. Le résultat suggère que l'évaluation doit se faire échelle par échelle, car les géométries mesurées en pixels et en embeddings varient davantage d'une échelle à l'autre que celle de l'état physique. Les auteurs ne montrent aucun impact sur le contrôle, et ils le disent : la conséquence pour la performance de planification reste une question ouverte. Il ne faut donc pas en conclure que LeWM échoue en pratique. Ce travail s'inscrit dans l'essor des modèles de monde latents, utilisés comme simulateurs appris pour la planification en robotique, avec l'espoir de réduire la dépendance aux simulateurs physiques coûteux. Les limites du protocole sont nettes : deux environnements simulés seulement, aucune tâche de contrôle en boucle fermée et aucune comparaison avec d'autres modèles de monde. La suite logique serait de relier ces écarts de géométrie au taux de réussite de planificateurs réels, et de tester d'autres architectures.

Anyverse Dynamics publie en open source MWA-Phoenix, un modèle d'action du monde de 7 milliards de paramètres embarqué pour robots

Anyverse Dynamics, société d'IA incarnée, a publié en open source MWA-Phoenix, un modèle d'action fondé sur un « world model » en espace latent, présenté comme un modèle de fondation pour la manipulation robotique. Il compte 7 milliards de paramètres et est conçu pour tourner directement sur le robot. Le code est disponible sur GitHub, accompagné d'un rapport technique. Le modèle travaille uniquement à partir d'images RGB, sans profondeur de référence. Selon l'entreprise, il se classe premier ou parmi les premiers sur six évaluations : 94,63 % sur LIBERO-Plus (perturbations de angle de caméra, d'éclairage, bruit capteur), 66,48 % sur LIBERO-Pro (objets, positions et objectifs modifiés), 82,67 % sur RoboCasa GR1 Tabletop (+7,5 points face à son précédent modèle WALA) et 72,42 % sur RoboTwin 2.0 en bimanuel. Il affiche aussi des résultats sur le classement RoboDojo en robot réel (trois morphologies, 18 tâches). Le chiffre le plus parlant vient de Bench2Dex, qui couvre 12 combinaisons de bras et de mains dextres : Phoenix y obtient 45,6 % de moyenne, soit 17,3 points de plus que la meilleure référence, pi0.5. Sur le plan technique, le backbone visuel est DINOv3, avec une distillation de deux modèles enseignants : VGGT pour la géométrie et V-JEPA pour la dynamique temporelle. Un VAE sémantique causal compresse ces représentations sans lire les images futures. Un expert vidéo et un expert d'action sont couplés par attention conjointe, de sorte que le modèle prédit simultanément l'évolution de la scène et l'action à exécuter. Deux modules complémentaires visent l'écart simulation/réel : Phoenix-ILA intègre mouvement et contact dans l'apprentissage de l'action pour la manipulation fine, et Phoenix-PhysCanvas est un monde simulé interactif où les politiques peuvent continuer à s'améliorer dans le cloud avant déploiement. Pour le contrôle temps réel, une exécution asynchrone prépare le prochain segment d'actions pendant que le robot bouge encore. Le pré-entraînement mêle opérations de robots réels, vidéo égocentrique humaine et captures UMI portées à la main. Pour les intégrateurs et responsables R&D, l'intérêt tient moins aux classements qu'au signal d'ouverture : un VLA/world action model de 7 milliards de paramètres exécutable en embarqué, avec code public, abaisse le coût d'entrée pour tester des politiques génératives sans dépendre d'une API cloud. Le score de 45,6 % sur Bench2Dex rappelle toutefois que le transfert de compétences entre morphologies différentes reste loin d'être résolu : l'avance sur pi0.5 est nette, mais l'absolu reste faible pour un usage industriel. Il faut aussi relever que tous les chiffres proviennent de l'entreprise, qu'elle affirme qu'aucune donnée de test n'a servi à l'entraînement sans vérification indépendante à ce stade, et que la majorité des benchmarks sont simulés. Seul RoboDojo touche du matériel réel, et rien n'indique de déploiement client ni de temps de cycle en production. Le contexte est celui d'une course aux modèles de fondation pour la manipulation, où pi0.5 fait figure de référence ouverte et où les approches « world model » (prédire la scène future pour guider l'action) gagnent du terrain face aux VLA purement réactifs. Anyverse Dynamics se positionne sur ce créneau en s'appuyant sur plus de 200 000 heures de données multimodales et annonce l'entraînement de modèles plus grands, sans calendrier précis. D'autres acteurs chinois explorent la même voie, comme Qianjue avec son modèle prédictif Polibrain ou Shengshu avec Motus2. La suite dépendra des reproductions indépendantes des résultats, des tests sur robots réels hors des benchmarks de l'éditeur et de la sortie des versions plus volumineuses.

SafeDojo : apprentissage par renforcement sûr pour les VLA grâce à un modèle du monde interactif

SafeDojo est un cadre d'apprentissage par renforcement sûr (safe RL) à base de modèle, destiné à améliorer les politiques vision-langage-action (VLA) sans exploration risquée sur robot réel. Le système fait de l'apprentissage par renforcement en ligne dans un modèle de monde vidéo interactif, c'est-à-dire un simulateur appris qui génère les images futures. Un classifieur ResNet évalue la réussite de la tâche sur les images prédites. Une tête de sécurité légère estime, pas à pas, la probabilité de contact à partir du contexte latent courant et du segment d'actions proposé (action chunk). Ces deux signaux restent découplés. Ils sont arbitrés par un GRPO sous contrainte lagrangienne. Sur le benchmark SafeLIBERO niveau I, le taux de réussite sûre moyen progresse de 8,25 points par rapport à la meilleure base de comparaison. Au niveau II, en zéro-shot, SafeDojo reste seulement compétitif avec la meilleure méthode sans modèle (model-free). Sur un bras Franka réel, il obtient les meilleurs taux moyens de réussite et de réussite sûre sur cinq tâches. Le résumé ne donne aucun chiffre absolu pour ces essais réels. L'intérêt tient au verrou que cible ce travail. Le safe RL classique exige soit une exploration coûteuse et dangereuse sur matériel, soit des fonctions de sécurité écrites à la main, qui ne passent pas à l'échelle des VLA en environnement ouvert. Déplacer l'apprentissage dans un monde imaginé réduit les casses et les temps machine, ce qui compte pour les intégrateurs qui veulent affiner un VLA sur site. Les résultats restent à relativiser. Le gain de 8,25 points est mesuré en simulation, le niveau II ne montre pas de supériorité nette, et cinq tâches sur un Franka restent un échantillon étroit, loin d'un déploiement industriel. La fiabilité du modèle de monde reste aussi une inconnue : un signal de contact mal prédit en imagination se traduirait par un risque réel. Ce papier, publié sur arXiv en version 2 (preprint, sans validation par les pairs), s'inscrit dans la montée de l'apprentissage par renforcement post-entraînement des VLA, où GRPO s'impose comme algorithme de référence, et dans l'essor des modèles de monde comme substituts de simulateur. Il se positionne face aux méthodes model-free de safe RL, qui restent sa référence directe. Les suites à surveiller sont la publication du code, des évaluations sur davantage de tâches et de robots, et des mesures de sécurité en contact réel.

Comment les a priori de représentation façonnent la généralisation dans les modèles d'action du monde

Une étude publiée sur arXiv (préprint, v1, non évalué par des pairs) s'intéresse aux « world action models » (WAM), des politiques robotiques construites sur un modèle génératif d'images ou de vidéo qui sert de colonne vertébrale, puis entraînées à produire des actions. Les auteurs constatent que, selon le backbone choisi, la capacité de généralisation d'un WAM varie fortement. Pour l'expliquer, ils examinent la géométrie des représentations héritée du backbone et la façon dont l'entraînement de la politique la réorganise. Ils introduisent une mesure, l'« orthogonalité aux nuisances », qui évalue dans quelle mesure les variations visuelles hors de la distribution d'entraînement (fond, éclairage, apparence) sont séparées des features utiles. Sur plusieurs backbones image et vidéo, une orthogonalité élevée avant l'entraînement va de pair avec une meilleure robustesse après entraînement. Les WAM robustes montrent aussi une « suppression des nuisances » : le déplacement de leurs features sous variation visuelle est atténué et la génération d'actions reste stable. Le résumé ne donne ni chiffres de performance, ni liste de modèles, ni tâches robotiques précises, et ne mentionne aucun test sur robot réel. L'intérêt pratique est de pouvoir prédire, avant le coût d'un entraînement complet de politique, quel modèle de monde généralisera le mieux. Pour les équipes qui choisissent un backbone vidéo, c'est un critère de présélection potentiel, à valider sur des benchmarks plus larges. Le travail rappelle aussi que l'écart entre démonstration et déploiement vient souvent de la fragilité face aux changements visuels de l'environnement. Il suggère que cette robustesse dépend en partie du prétraining génératif, et pas seulement de la quantité de données robotiques. La portée reste toutefois limitée tant que l'on ignore les protocoles, les tâches testées et la taille des effets mesurés. Le contexte est celui d'une course entre deux approches : les modèles vision-langage-action (VLA), adaptés de modèles multimodaux, et les WAM, qui s'appuient sur des modèles génératifs de monde, comme ceux développés par Nvidia ou par divers laboratoires académiques. Les comparaisons entre ces familles restent difficiles, faute de protocoles communs. La suite logique serait de confronter cette métrique à des politiques déployées sur matériel physique, y compris dans des environnements industriels variables, ce que ce préprint n'établit pas.

IA physique : concepts, techniques et défis

Une monographie publiée sur arXiv (référence 2610.27045v1, catégorie « cross ») propose une définition unifiée de l'IA physique : des systèmes artificiels qui perçoivent, modélisent et agissent sur le monde physique par un retour continu, sous contraintes réelles. Le document ne présente ni produit, ni robot, ni chiffre de performance ou de déploiement. Il s'agit d'un travail de cadrage qui distingue l'IA physique de l'IA numérique classique, de l'IA incarnée (embodied AI), des systèmes cyber-physiques et des jumeaux numériques. Il en pose les fondations en physique, contrôle, cognition, apprentissage et raisonnement. Il passe en revue la perception multimodale, les données physiques et la simulation, les modèles du monde, les modèles de fondation incarnés, les systèmes de contrôle moteur, la coordination multi-agents et la co-conception matériel-logiciel. Les applications couvertes vont de la robotique à la manufacture, aux infrastructures, à l'expérimentation scientifique et aux services autonomes. L'intérêt tient à l'absence de consensus que les auteurs relèvent eux-mêmes. Le terme « IA physique » est aujourd'hui employé par des acteurs très différents pour désigner des humanoïdes, des modèles vision-langage-action (VLA), des plateformes de simulation ou de la conduite autonome, sans périmètre commun. Pour un intégrateur ou un décideur industriel, une taxonomie partagée aide à comparer des offres, à rédiger des cahiers des charges et à séparer ce qui relève d'une démonstration de ce qui relève d'un système fiable en production. L'accent mis sur le transfert sim-to-real, la fiabilité, l'exécution en temps réel, l'évaluation, la sécurité et la gouvernance rappelle que ces points restent les verrous du passage à l'échelle, bien plus que la seule capacité des modèles. La monographie n'apporte toutefois aucune validation expérimentale nouvelle : sa valeur est conceptuelle et pédagogique, et son impact dépendra de son adoption par la communauté. Ce travail s'inscrit dans une accélération de la recherche et des investissements autour des modèles de fondation incarnés, des world models et de la robotique généraliste, portée par des acteurs américains, chinois et européens. Il arrive alors que chacun revendique sa propre définition de l'IA physique, souvent à des fins de positionnement commercial. Les auteurs fixent comme horizon le passage de l'automatisation étroite, spécialisée par tâche, à une IA physique plus généralisable, puis à une « AGI physique ». Cette dernière reste un objectif de recherche sans calendrier ni critère de mesure établis. Les prochaines étapes probables sont des révisions de la version 1, des reprises dans des benchmarks d'évaluation et des discussions de normes de sécurité et de gouvernance, où les acteurs européens, notamment les laboratoires académiques et les industriels de la robotique, pourraient peser.

EMMA : renforcer la robustesse du contrôle robotique grâce à un modèle visuel génératif

Des chercheurs proposent EMMA (Embodied Manipulation Media Adaptation), un cadre d'augmentation de données pour les politiques VLA (vision-language-action, des modèles qui traduisent images et consignes textuelles en actions robotiques). Il repose sur deux briques. DreamTransfer est un générateur vidéo à base de diffusion Transformer, qui produit des vidéos de manipulation cohérentes entre plusieurs points de vue et géométriquement plausibles. Il permet d'éditer par texte le premier plan, l'arrière-plan et l'éclairage, tout en préservant la structure 3D. AdaMix est une stratégie d'entraînement qui pondère dynamiquement les échantillons selon la performance de la politique, pour privilégier les cas difficiles. Le jeu d'entraînement mélange données réelles et générées. Selon les auteurs, DreamTransfer surpasse les modèles de génération vidéo antérieurs en cohérence multi-vues, fidélité géométrique et précision du conditionnement textuel. Sur des tâches robotiques réelles avec des environnements visuels jamais vus (zero-shot), EMMA affiche un gain relatif de plus de 92 % face à un entraînement sur données réelles seules, puis 17 % supplémentaires avec AdaMix. L'article ne détaille pas, dans ce résumé, les robots, les tâches ni les taux de réussite absolus. L'enjeu est le coût de la donnée. La généralisation des VLA dépend de la diversité visuelle des démonstrations (objets, décors, lumière), et collecter ces démonstrations par téléopération à grande échelle est lent et cher. Si la génération vidéo peut multiplier les apparences à partir d'un corpus réel limité, elle réduit un des principaux goulots d'étranglement pour les intégrateurs qui doivent adapter une politique à un site client aux conditions d'éclairage et aux références changeantes. Le chiffre de 92 % demande toutefois de la prudence : un gain relatif est élevé quand la base de référence est faible, et il est mesuré par les auteurs eux-mêmes, sans indication ici de la diversité des tâches ni du nombre d'essais. La cohérence 3D et multi-vues est le point critique, car des vidéos plausibles mais géométriquement fausses dégraderaient la politique au lieu de l'aider. Ce travail s'inscrit dans une tendance plus large : compenser la rareté des données robotiques par la simulation, la randomisation de domaine et, de plus en plus, les modèles génératifs et les « world models ». Des acteurs comme NVIDIA avec GR00T et ses pipelines de données synthétiques, ou Physical Intelligence avec Pi-0, ont mis le passage à l'échelle des données au centre de leurs stratégies. EMMA propose une voie complémentaire, qui édite des démonstrations réelles plutôt que de simuler des scènes entières. Il s'agit d'une publication de recherche (version 3 sur arXiv), sans produit ni déploiement industriel annoncé. La suite dépendra de la reproductibilité sur d'autres plateformes, de la publication du code et des données, et de la comparaison avec les approches de simulation pure.

WorldOracle : évaluation des modèles du monde conditionnés par l'action face aux exécutions réelles

WorldOracle, un benchmark publié sur arXiv (version 2 du preprint 2610.18826), vise à mesurer si les modèles du monde conditionnés par l'action (ACWM, action-conditioned world models) reproduisent fidèlement ce qui se passe réellement lorsqu'un robot exécute une séquence d'actions. À partir de la même observation initiale et de la même séquence d'actions bas niveau, le test compare le déroulé prédit à l'exécution réelle appariée, en vérifiant les conséquences physiques et les transitions d'état de la tâche. Quatre dimensions sont notées : correction de l'état physique, alignement spatial de l'interaction, fidélité de la zone d'interaction clé et cohérence des actions entre plusieurs vues. Les auteurs ont constitué des jeux d'entraînement et d'évaluation issus du monde réel, couvrant différentes dynamiques d'interaction et plusieurs morphologies de robots. La suite d'évaluation comprend de longs épisodes en plusieurs segments, avec des exécutions réussies et des échecs. Sept ACWM représentatifs ont été testés, et les résultats font apparaître des forces et des modes de défaillance distincts selon les modèles. Données, code d'évaluation et classement public sont publiés. L'intérêt tient à ce que les modèles du monde sont de plus en plus utilisés comme simulateurs appris pour évaluer des politiques de manipulation ou générer des données, alors que leur évaluation reste souvent visuelle. Un rendu plausible à l'œil ne garantit pas que les conséquences physiques soient correctes, par exemple qu'un objet glisse, tombe ou change d'état comme dans la réalité. En intégrant des échecs d'exécution et pas seulement des réussites, WorldOracle teste un point critique : un modèle qui ne sait prédire que des trajectoires réussies ne peut servir ni à classer des politiques ni à détecter leurs défauts. Pour les intégrateurs et les décideurs, c'est un outil pour juger si un modèle du monde peut réduire le coût des essais sur robot réel. L'article ne chiffre toutefois pas ici les scores, ni ne nomme les sept modèles dans son résumé, ce qui limite la lecture sans consulter le papier complet. Le contexte est celui d'une multiplication de modèles du monde pour la robotique, portés par des laboratoires académiques et industriels, avec des benchmarks surtout centrés sur la qualité vidéo ou des métriques perceptuelles. WorldOracle s'inscrit dans le courant qui exige un ancrage dans l'exécution réelle, et son classement ouvert doit permettre de comparer les prochains modèles de façon reproductible. Il s'agit d'un travail de recherche, sans déploiement industriel ni produit associé. La suite dépendra de son adoption par la communauté et de la corrélation qui sera démontrée entre les scores du benchmark et la performance réelle des politiques évaluées en simulation apprise.

BeJEPA : un modèle du monde du comportement humanoïde conditionné par un objectif, via l'apprentissage par renforcement non supervisé

BeJEPA est un modèle de monde comportemental conditionné par un objectif, présenté dans un preprint arXiv (2610.23127v1) et destiné à la commande de robots humanoïdes. Il est appris par apprentissage par renforcement non supervisé, à partir de modèles de mouvement humain (a priori issus de données de capture) et d'interactions du robot. Le système repose sur une architecture prédictive à plongement conjoint (JEPA) qui apprend une représentation commune de la configuration du corps et de son placement dans le repère monde. Un « Dynamic Predictor » prédit l'embedding de l'état suivant selon l'action, tandis qu'un « Successor Predictor » résume en un seul vecteur les embeddings d'états futurs attendus et actualisés d'une politique conditionnée par l'objectif. Sur des tâches de suivi de mouvement de 20 secondes, la variante avec raffinement d'action en ligne réduit l'erreur de position globale du corps de 61,7 % sur AMASS par rapport à BFM-Zero avec poses monde en entrée, et de 58,7 % par rapport à SONIC. Un déploiement physique sur Unitree G1 est rapporté. L'enjeu tient à un défaut connu des contrôleurs dominants. Ceux-ci imitent des trajectoires dans le repère de la racine (le bassin du robot) et peinent à retrouver la pose monde visée après un déplacement ou une perturbation. Pour un intégrateur, la différence est concrète : un humanoïde qui se fait pousser, tombe ou voit sa consigne changer doit savoir où il se trouve et dans quelle direction il regarde, pas seulement reproduire un geste. Les démonstrations sur le G1 couvrent l'atteinte simultanée de la posture, de la position et du cap, le relevé depuis le sol et le retour en boucle fermée après perturbation ou changement d'objectif. Le fait de remplacer de longs déroulés imaginés par une seule prédiction physique et un seul résumé comportemental simplifie aussi le calcul, ce qui compte pour l'embarqué. Les réserves habituelles s'appliquent toutefois : il s'agit de résultats académiques, sans chiffres publiés ici sur le taux de réussite des essais réels, la robustesse sur la durée ou le nombre de répétitions. Les gains sont mesurés en simulation sur un seul critère, l'erreur de position globale. Ce travail s'inscrit dans la course aux modèles de fondation de comportement pour humanoïdes, où BFM-Zero (apprentissage non supervisé de comportements) et SONIC (suivi de mouvement à grande échelle) servent de références, et où l'Unitree G1, plateforme peu coûteuse et répandue, fait office de banc d'essai commun. L'approche JEPA, popularisée par Yann LeCun et le laboratoire FAIR de Meta, est ici transposée de la perception vers la commande corps entier. Les prochaines étapes probables sont des validations sur des tâches de locomotion et de manipulation plus longues, avec davantage de matériel et en environnement non contrôlé. Aucun calendrier de pilote ni intégration commerciale n'est annoncé, et le projet reste au stade de la recherche, avec une page de projet publique.

ORD-WM : apprentissage de la dynamique des corps rigides centrée sur les objets pour la modélisation 3D du monde en manipulation robotique

Des chercheurs proposent ORD-WM, un modèle de monde 3D conçu pour la manipulation robotique, décrit dans un preprint arXiv (2610.23156) qui n'a pas encore été évalué par des pairs. Le système encode le nuage de points de chaque objet dans une représentation latente qui conserve sa géométrie. Pour cela, il utilise un autoencodeur variationnel à neurones vectoriels (vector-neuron VAE), supervisé par des champs de distance signée (SDF). Un modèle de dynamique conditionné par l'action prédit ensuite, objet par objet, des incréments de mouvement dans SE(3), c'est-à-dire la rotation et la translation d'un corps rigide. Ces transformations sont appliquées analytiquement à l'état latent courant, au lieu de laisser le réseau générer librement l'état suivant. Le résumé indique que les prédictions sur plusieurs pas restent stables et préservent la géométrie, et que le système permet un replanning temps réel pour de la commande prédictive (MPC) en boucle fermée, en simulation et sur des scénarios réels. Le résumé ne donne ni taux de réussite, ni temps de calcul, ni nombre d'objets, ni plateforme robotique, ni comparaison chiffrée. L'enjeu est un défaut connu des modèles de monde appris. Les modèles basés sur l'image ou sur des représentations 3D denses ne contraignent pas explicitement le mouvement rigide des objets. Ils doivent donc apprendre implicitement qu'une tasse ou un bloc ne se déforme pas. Sur des rollouts longs, les erreurs s'accumulent, et la forme de l'objet dérive ou son mouvement devient incohérent. Pour un intégrateur, c'est ce qui limite la fiabilité de la planification par anticipation dans des tâches de pick-and-place ou d'assemblage. En séparant la géométrie persistante, qui reste fixe, de la pose, qui est la seule chose prédite, ORD-WM intègre un biais inductif de physique plutôt que de compter sur davantage de données. Cette approche reste liée à l'hypothèse de corps rigides. Les objets déformables, les câbles, les tissus et les liquides, très présents dans l'industrie, sortent de son périmètre. Il faudra aussi voir si les résultats tiennent hors du laboratoire, car les affirmations de « temps réel » ne sont pas chiffrées dans le résumé. Ces travaux s'inscrivent dans la compétition entre deux familles d'approches. D'un côté, les politiques de type VLA (vision-langage-action) et les modèles de monde génératifs apprennent la dynamique de bout en bout à partir d'images ou de vidéos. De l'autre, les approches structurées intègrent des priors géométriques, comme ici les réseaux équivariants à neurones vectoriels et les représentations par SDF. ORD-WM relève du second camp. Il vise la fiabilité sur les scènes d'objets rigides, au détriment de la généralité. Les prochaines étapes à surveiller sont la publication du code et des benchmarks, des comparaisons directes avec les modèles de monde image et 3D dense, des tests sur des scènes encombrées avec perception bruitée, puis une éventuelle extension aux objets articulés ou déformables.

VeriVLA : vérification adaptative au moment du test pour les VLA à flux, avec modèles du monde latents

Des chercheurs proposent VeriVLA, une méthode de vérification au moment de l'inférence pour les politiques Vision-Language-Action (VLA) à base de flow matching, publiée sur arXiv (2610.21985). Le point de départ est que ces politiques sont stochastiques: selon la graine de bruit, une même observation produit des séquences d'actions (« action chunks ») de qualité très variable, alors que le robot exécute en pratique un seul échantillon, sans estimation de sa qualité. VeriVLA ajoute un déclencheur sans entraînement, à deux axes. À partir de deux échantillons initiaux, il mesure la variation temporelle au sein d'un chunk et la variance entre échantillons, afin de repérer les états critiques. Une fois le déclencheur activé, un modèle de monde latent de type JEPA classe les candidats en prédisant les états latents futurs conditionnés par les actions, ainsi que l'évolution de la progression de la tâche. Le travail dans l'espace latent évite toute reconstruction de pixels. Sur trois tâches réelles (insertion de stylo, pipetage, placement de pomme), le score moyen d'achèvement passe de 50,8 % à 65,5 %. Le surcoût est de 326 ms par décision déclenchée sur une seule RTX 4090. En simulation, le taux de succès passe de 66,4 % à 73,6 % sur RoboTwin 2.0 en configuration propre, de 62,8 % à 69,6 % en configuration randomisée, et de 96,9 % à 97,6 % sur LIBERO. L'intérêt est double pour les équipes qui déploient des VLA. D'abord, la méthode améliore des politiques existantes sans les réentraîner, ce qui en fait un module ajoutable à un modèle déjà en production. Ensuite, elle cible la manipulation fine, là où une seule action ratée peut rendre une tâche irrécupérable: un gain d'environ 15 points en conditions réelles pèse davantage qu'un gain à l'échelle d'un benchmark. Le déclenchement adaptatif compte aussi, car la vérification n'est payée que dans les moments risqués, ce qui limite le coût de calcul sur la boucle de contrôle. Les résultats appellent toutefois la prudence. Les gains en simulation sont modestes, et ils sont quasi nuls sur LIBERO, déjà proche de la saturation à 96,9 %. Les expériences réelles ne portent que sur trois tâches, avec une seule configuration matérielle, et le papier ne précise pas ici le nombre d'essais ni la variabilité. Un surcoût de 326 ms reste notable pour des tâches dynamiques. Il est acceptable pour l'insertion ou le pipetage, moins pour des gestes rapides. Ce travail s'inscrit dans une tendance où l'on fait du calcul supplémentaire à l'inférence (échantillonnage multiple, vérificateurs, modèles de monde) pour améliorer des VLA basés sur le flow matching, de la famille de Pi-0, au lieu de seulement augmenter les données et la taille des modèles. Il rejoint l'usage de JEPA, l'architecture prédictive latente portée par Meta, comme brique de modèle de monde. Les concurrents directs sont les approches de type best-of-N avec fonction de valeur ou critique apprise, et les méthodes de planification par modèles de monde générant des vidéos, plus coûteuses car elles passent par les pixels. La suite logique serait de tester VeriVLA sur d'autres politiques et sur des robots plus variés, y compris des humanoïdes, et de mesurer la robustesse sur de longs horizons. Il s'agit à ce stade d'une publication de recherche, sans produit ni déploiement industriel annoncé.

Le modèle d'action du monde VPP2 de Robotera domine RoboDojo et atteint 58,5 % en zéro-shot sur de vrais bras ALOHA

Robotera, la société robotique issue de Tsinghua, affirme que son modèle VPP2, un world action model (modèle qui prédit l'évolution visuelle de la scène avant d'en déduire les actions), occupe la première place de RoboDojo. Ce benchmark de simulation est piloté par le MMLab de l'Université de Hong Kong avec près de 20 institutions académiques. Selon QbitAI, VPP2 obtient un taux de succès moyen de 32,26 % et un score moyen de 39,26 sur les 42 tâches bimanuelles du test, qui couvre la généralisation, la manipulation de précision, les tâches longues, la mémoire et les instructions en vocabulaire ouvert. Il arrive aussi premier dans les catégories généralisation, précision et mémoire. Robotera précise que ces résultats viennent du seul jeu de données standard, sans données supplémentaires ni ajouts comme l'auto-amélioration récursive par agents. La meilleure référence citée dans son article, GPT-6-Astra en évaluation post-entraînement, atteint 22,48 % et 28,97. Sur un vrai robot bimanuel ALOHA, VPP2 totalise 58,5 % de réussite en zéro-shot sur 10 types de tâches (prise, dépose, empilement, pliage, versement), contre 40 % pour le pi0.5 de Physical Intelligence, et fait mieux sur neuf d'entre elles. Il obtient 45,0 % sur LIBERO-Pro et 63,9 % sur LIBERO-OOD. Associé à un modèle vision-langage comme planificateur de haut niveau, il fait passer certaines tâches longues de RoboDojo de 27,6 % à 57,6 %. L'intérêt tient à la manière dont le modèle traite la faiblesse connue des world action models : quand la prédiction vidéo est fausse, l'action la suit. Robotera entraîne en trois étapes. Un pré-entraînement vidéo au niveau de l'événement, bâti sur le Wan2.1-I2V-14B open source d'Alibaba, apprend à prédire une manipulation entière à partir de clips légendés de robots, d'humains et de vidéo générale. La prédiction est ensuite limitée à des clips fixes de huit secondes et distillée en une seule étape d'environ 0,12 seconde. Enfin, un Action DiT de 0,9 milliard de paramètres convertit les prédictions en mouvements, tandis que le modèle vidéo reste gelé et ne s'adapte que par LoRA. La latence totale d'un chunk d'actions est d'environ 0,22 seconde, compatible avec un contrôle réactif. Pour les ingénieurs et intégrateurs, le résultat suggère qu'une approche fondée sur la prédiction vidéo peut dépasser des VLA de référence en zéro-shot sur matériel réel. Des réserves s'imposent toutefois : la comparaison réelle ne porte que sur dix familles de tâches et un seul concurrent, et le classement repose sur les chiffres de l'article des auteurs eux-mêmes, non sur une validation indépendante. Le contexte est celui d'une course où chacun revendique la tête du même benchmark : Simate a annoncé le mois dernier la première place de RoboDojo pour son système Simate-beta, et les deux revendications coexistent sans arbitrage public. Côté industriel, Robotera exploite déjà des robots dans plus de dix centres logistiques répartis dans cinq provinces et municipalités chinoises, avec des partenaires dont China Post et SF Express. Cela ne signifie pas que VPP2 est déployé à grande échelle : il s'agit pour l'instant d'un résultat de recherche. Le code est publié en open source sur GitHub, ce qui permettra une reproduction externe, étape décisive pour confirmer les performances. D'autres acteurs avancent dans la même direction, comme Xiaomi avec son modèle de monde incarné Robotics-U0, également en open source, et Physical Intelligence avec la famille pi0.

LiteNWM : des modèles du monde latents efficaces pour la navigation visuelle embarquée en milieu naturel

LiteNWM, présenté dans un preprint arXiv (2610.12368), est un modèle de monde latent pour la navigation visuelle embarquée. Il vise à évaluer les conséquences futures de plusieurs trajectoires candidates sans générer de vidéo. Le système partage un seul encodage visuel entre tous les candidats. Il prédit conjointement leurs représentations futures conditionnées par l'action, à plusieurs horizons temporels. Un scoreur appris exploite ces prédictions pour choisir la meilleure trajectoire. Hors ligne, sur les jeux de données RECON, SCAND et SACSoN, l'erreur de trajectoire moyenne (macro-moyenne) baisse de 17,56 % par rapport à NoMaD couplé à NWM-XL. L'accélération de bout en bout atteint un facteur 128 sur une RTX 5090. Le même évaluateur passe de NoMaD à MBRA sans réentraînement propre au générateur de trajectoires, avec 16,2 % d'erreur en moins pour MBRA. Sur robot réel, dans des environnements intérieurs et extérieurs inconnus, le taux de réussite de navigation passe de 43,3 % à 83,3 % par rapport à NoMaD seul. L'intérêt tient à la levée d'un compromis. Les politiques directes comme NoMaD sont rapides mais ne vérifient pas ce que leurs actions provoquent. Les world models génératifs apportent cette anticipation, mais leurs déroulés visuels pixel par pixel sont trop coûteux dès qu'il faut comparer plusieurs candidats. Travailler dans l'espace latent et mutualiser l'encodage rend la planification avec anticipation compatible avec le calcul embarqué. Le fait que l'évaluateur se greffe sur un autre proposeur suggère aussi une brique modulaire, réutilisable sans refaire tout l'apprentissage. Il faut toutefois rester prudent : le gain de 128 fois est mesuré sur un GPU de bureau haut de gamme, pas sur un module embarqué type Jetson. Les résultats réels reposent sur un nombre d'essais probablement limité, le détail du protocole n'étant pas donné dans le résumé. La plateforme robotique n'y est pas précisée non plus. Ces travaux s'inscrivent dans la lignée des politiques de navigation généralistes entraînées sur de grandes collections de données de robots mobiles, dont NoMaD, et des Navigation World Models, qui ont introduit la simulation vidéo conditionnée par l'action pour la navigation. MBRA représente l'autre voie, celle de la réannotation des données pour améliorer les politiques. LiteNWM se positionne comme une couche d'évaluation commune à ces approches. La suite logique serait des tests sur matériel embarqué contraint, sur des parcours plus longs et dans des environnements plus denses. La publication de code et de poids conditionnera son adoption par la communauté.

UNITAS : un modèle d'action du monde natif 3D pour la manipulation incarnée

UNITAS, un modèle d'action-monde (WAM, world action model) publié sur arXiv par l'équipe derrière le dépôt DexForce, se présente comme le premier à travailler nativement en 3D. Il unifie observations, actions et dynamique de scène dans un repère métrique 3D partagé, avec une représentation commune pour différents robots et pour la main humaine. Les actions des mains et des pinces sont encodées en trajectoires de points 3D (« action flow »). Les déplacements des points de la scène (« scene flow ») sont prédits en conditionnant sur ces trajectoires. Des embeddings positionnels 3D alignés sur le monde ancrent les tokens visuels, avec ou sans entrée de profondeur. Un tokenizer de trajectoires en temps physique encode chaque trajectoire en un seul token, ancré à sa position 3D courante. Avec 1,7 milliard de paramètres, UNITAS affiche la meilleure prédiction de scène conditionnée par l'action sur RoboTwin parmi les méthodes comparées, avec jusqu'à 49 % d'erreur de déplacement en moins que PointWorld. Il atteint aussi 99,8 % de succès sur LIBERO et 85 % en moyenne sur des tâches en conditions réelles. Le code est publié sur GitHub. L'enjeu est un changement de représentation. La plupart des WAM actuels reposent sur des générateurs vidéo pré-entraînés et décrivent l'évolution du monde par des images ou des latents visuels. Or une image est une projection dépendante du point de vue, dont les distances en pixels ne correspondent pas aux distances physiques. En raisonnant directement en espace métrique, UNITAS vise à rapprocher la prédiction de ce que le robot doit réellement mesurer: où va sa pince, de combien l'objet se déplace. La représentation commune humain/robot ouvre aussi la voie à l'exploitation de données de mains humaines pour l'entraînement. Un modèle de 1,7 milliard de paramètres reste compact face aux gros VLA (vision-language-action) et aux modèles vidéo, ce qui compte pour le coût d'inférence embarquée. Les réserves habituelles s'appliquent: LIBERO est proche de la saturation à 99,8 %, donc peu discriminant, et la moyenne de 85 % en réel dépend de tâches, d'un nombre d'essais et d'un matériel que le résumé ne détaille pas. Les comparaisons de scène se limitent aux « méthodes comparées » choisies par les auteurs. Ce travail s'inscrit dans la montée des world models pour la manipulation, après les VLA de type Pi-0 ou GR00T, et des approches fondées sur la génération vidéo. Il se positionne contre ces dernières en s'inspirant de PointWorld, qui prédit déjà des mouvements de points 3D et sert ici de référence. Il s'agit à ce stade d'un préprint (v1) de recherche, sans produit commercial, déploiement industriel ni calendrier annoncé. La suite dépendra de la reproduction des résultats par d'autres équipes grâce au code ouvert, de la robustesse hors des benchmarks simulés et de la capacité du modèle à passer à l'échelle avec davantage de données humaines et multi-embodiments.

SpectralCache : accélérer les modèles du monde à base de diffusion grâce à un cache de caractéristiques spectrales

Des chercheurs proposent SpectralCache, une méthode d'accélération de l'inférence pour les modèles du monde (world models) à base de diffusion, décrite dans le préprint arXiv 2610.02660v1. Ces modèles génèrent des environnements interactifs de haute qualité, mais leur coût d'inférence reste élevé, car un Transformer doit être réévalué à chaque étape de débruitage. SpectralCache ne demande aucun réentraînement. Les auteurs ont observé que les features de ces modèles gardent des sous-espaces singuliers très stables d'une étape de débruitage à la suivante, alors que leurs valeurs singulières évoluent de façon prévisible. La méthode réutilise donc ces sous-espaces et n'estime que les valeurs singulières, de faible dimension, par extrapolation linéaire. Elle exploite aussi la cohérence spectrale entre features voisines issues de calculs complets pour sauter certaines évaluations coûteuses du backbone, grâce à un simple rééchelonnement des valeurs singulières. Sur HunyuanWorld-Voyager-13B, elle atteint une accélération de 5,22x avec un WorldScore de 65,90 sur les scènes statiques. Les auteurs affirment qu'elle dépasse nettement les méthodes de cache sans entraînement existantes en efficacité d'inférence. Pour les équipes qui construisent ou utilisent des simulateurs appris, ce résultat touche un goulot concret. La génération interactive d'environnements est trop lente pour servir de simulateur de génération de données ou d'évaluation de politiques robotiques à grande échelle. Une accélération d'un facteur supérieur à 5, obtenue sans réentraînement, abaisse le coût par rollout et rapproche ces modèles d'un usage en boucle. Elle pourrait servir à générer des données synthétiques, à tester des politiques VLA ou à explorer des scénarios. L'approche est surtout intéressante par son principe : au lieu de mettre en cache au niveau du token ou de la feature, elle s'appuie sur la structure algébrique des représentations. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par les pairs. Le chiffre de qualité ne porte que sur les scènes statiques, et le WorldScore est une métrique de génération visuelle, pas de fidélité physique ni de transfert sim-to-real. Le gain a été mesuré sur quelques modèles représentatifs et rien n'indique qu'il tienne en dynamique complexe ou en interaction avec des objets. Ces travaux s'inscrivent dans la série de méthodes de cache sans entraînement pour modèles de diffusion, qui exploitent la redondance temporelle entre étapes de débruitage au niveau des features ou des tokens. SpectralCache cherche à les dépasser en passant par la décomposition en valeurs singulières. La cible, HunyuanWorld-Voyager-13B, est un modèle de monde de 13 milliards de paramètres de la famille Hunyuan. Il appartient à une catégorie très active, où les modèles de monde sont pensés comme moteurs de simulation pour l'IA incarnée et la robotique. La suite logique serait une validation sur d'autres architectures, des scènes dynamiques et des métriques propres à la robotique, ainsi qu'une publication du code. Aucun calendrier de déploiement n'est annoncé à ce stade.

Revue des modèles du monde robotiques pour environnements dynamiques, fondés sur les graphes de facteurs et de scènes

Les modèles de monde fondés sur des graphes se sont imposés en robotique comme représentations internes de l'environnement, avec deux familles dominantes : les graphes de facteurs et les graphes de scène. Une revue de littérature publiée sur arXiv (2610.08800v1) fait le point sur la manière dont ces modèles prennent en compte la dynamique du monde réel. Les graphes de facteurs fournissent surtout des estimations géométriques sensibles à l'incertitude, par exemple pour la localisation et la cartographie. Les graphes de scène apportent une abstraction sémantique structurée des objets et de leurs relations. Beaucoup de ces modèles ont d'abord supposé un environnement statique, par simplification. Les auteurs organisent leur analyse autour de trois axes : les représentations adaptées, les pipelines de construction et de mise à jour, et l'exploitation de ces représentations pour des tâches aval. Ils couvrent les approches fondées sur l'un ou l'autre type de graphe. Ils insistent sur les modèles hybrides qui combinent les deux, et classent les schémas d'architecture récurrents ainsi que les types de dynamique modélisés. L'enjeu est pratique. Un robot en entrepôt, en usine ou en environnement domestique évolue parmi des personnes, des chariots et des objets déplacés. Une carte figée devient alors vite fausse, et le robot peut planifier à partir d'une scène qui n'existe plus. La revue montre que l'écart entre une représentation statique et la réalité reste un verrou structurel, y compris pour les systèmes qui s'appuient sur des modèles appris de perception. Elle met aussi en évidence un manque de méthode dans le domaine. Il n'existe pas de jeux de données ni de protocoles d'évaluation qui relient la qualité d'un modèle de monde à la performance de la tâche finale en environnement dynamique. Les comparaisons entre approches restent donc difficiles à interpréter pour un intégrateur qui doit choisir une pile logicielle. Il s'agit d'une revue de la littérature, sans produit ni déploiement annoncé, et elle ne fournit pas de chiffres de performance propres. Ce travail s'inscrit dans l'évolution de la robotique mobile. On est passé de la cartographie géométrique (SLAM) à des cartes enrichies de sémantique, puis à des graphes de scène hiérarchiques, avant que la dynamique ne devienne une préoccupation centrale. Les auteurs identifient quatre chantiers ouverts. Le premier est la propagation de l'incertitude de la perception apprise à travers les couches de la représentation. Le deuxième est l'observabilité du mouvement et de l'échelle des entités dynamiques avec un minimum de capteurs. Le troisième est la maintenance du modèle à grande échelle sur de longues durées d'exploitation. Le quatrième est la création de jeux de données et de protocoles d'évaluation adaptés. Ces pistes concurrencent d'autres approches de modèles de monde, notamment les modèles appris de bout en bout et les architectures VLA, qui encodent l'état du monde de façon implicite. La revue défend l'intérêt des représentations explicites et hybrides pour leur interprétabilité et leur gestion de l'incertitude. Aucune échéance n'est avancée, et les suites dépendront de la communauté de recherche.

Runway présente Praxis-1, un modèle du monde et d'action pour la robotique

Runway AI, la société new-yorkaise fondée en 2018 et connue pour ses modèles génératifs vidéo, a présenté cette semaine Praxis-1, un « world action model » à poids ouverts qui convertit son pré-entraînement vidéo à grande échelle en commandes pour robots. Le modèle s'appuie sur la même base que les world models généraux de l'entreprise (GWM-1, Gen-4.5, Aleph 2.0, Act-Two) et apprend surtout à partir de vidéos filmées à la troisième personne, non de démonstrations téléopérées. Il a été entraîné sur des tâches de manipulation allant du simple pick-and-place (soulever des canettes) à la manipulation d'objets déformables (emballer des sacs cadeaux). Runway affirme que la simulation de politiques robotiques dans son world model prédit les résultats réels avec une corrélation de 0,95, mieux que des techniques plus coûteuses fondées sur la reconstruction 3D, sans publier de détails méthodologiques. Des partenaires pilotes (Noble Machines, Standard Bots et Ultra) font tourner Praxis-1 sur leur propre matériel, des bras bimanuels aux humanoïdes, avec un fine-tuning léger. La sortie publique est annoncée « dans les prochains mois », sans date. L'enjeu est de savoir si la vidéo peut remplacer, au moins en partie, la donnée robot, rare et chère à collecter. Selon Kamil Sindi, directeur technique de Runway, la performance progresse avec le volume de vidéo, de sorte que le plafond du modèle dépendrait de la quantité de vidéo disponible plutôt que du nombre de démonstrations. Si cela se confirme, le goulot d'étranglement des politiques généralistes se déplacerait de la collecte téléopérée vers le curage de données vidéo. Pour les intégrateurs, la promesse d'un modèle unique adaptable à plusieurs morphologies avec peu de fine-tuning serait un gain de coût réel. Il faut toutefois rester prudent : aucun taux de réussite, aucun temps de cycle ni aucune comparaison avec des politiques existantes n'a été publié, et les retours des partenaires sont rapportés par Runway elle-même. Le chiffre de 0,95 mesure la fidélité de la simulation, pas la performance sur site. À ce stade, il s'agit d'une annonce avec des tests partenaires, pas d'un produit livré ni d'un déploiement en production. Runway arrive en robotique depuis la vidéo générative, après GWM-1 et des modèles interactifs temps réel comme Solaris et GWM Worlds 2, conçus pour créer des environnements d'entraînement d'agents. L'entreprise, qui a des bureaux à New York, San Francisco, Seattle, Londres, Paris, Tel Aviv et Tokyo, rejoint un champ où les approches VLA (vision-langage-action) et world models se disputent le terrain, face à des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix), qui s'appuient davantage sur des données robot. Le choix des poids ouverts est assumé : Sindi y voit un levier pour que les États-Unis retrouvent leur avance industrielle, en laissant aux fabricants de matériel de la flexibilité. Les prochaines étapes sont l'élargissement du cercle de partenaires avant la sortie publique et la validation sur davantage de robots, pour combler les écarts avant la disponibilité générale. Aucun acteur français ou européen n'est cité parmi les partenaires.

Les modèles du monde rendent-ils les robots meilleurs ? Un panorama des benchmarks d'évaluation pour l'IA incarnée prédictive

Une synthèse déposée sur arXiv fin septembre 2026 recense et vérifie une par une 160 benchmarks d'évaluation robotique publiés entre 2017 et 2026, dans le but de déterminer si les modèles du monde (world models), qui prédisent les observations futures, offrent un avantage mesurable en boucle fermée face aux politiques vision-langage-action (VLA), qui associent directement l'observation à l'action. Les 160 bancs d'essai sont répartis en quatre familles : suites d'évaluation de politiques, agents incarnés, évaluation pure des world models, et ponts prédiction-vers-action. Le bilan chiffré est net : 138 benchmarks sur 160, soit 86%, restent agnostiques au type de modèle, 11 seulement (7%) construisent une comparaison explicite VLA contre world model, et 4 seulement transforment une prédiction en action réellement exécutée sur un robot. La capacité contrefactuelle, c'est-à-dire anticiper ce qui se passerait sous une action alternative, n'est quasiment jamais mesurée dans l'ensemble du corpus étudié. Ce travail met en lumière un angle mort structurel du secteur : il est aujourd'hui impossible de trancher, preuves à l'appui, si entraîner un robot à prédire l'avenir améliore réellement ses performances en boucle fermée par rapport à une politique VLA directe. Les benchmarks de world models jugent la qualité de la prédiction sans jamais l'exécuter, tandis que les suites de succès de tâche n'hébergent qu'une seule politique à la fois et ne construisent jamais ce contraste. Pour les intégrateurs et décideurs qui arbitrent entre paradigmes de recherche et priorités d'investissement, la leçon est de rester prudent face aux annonces autour des world models : générer des vidéos futures convaincantes ne prouve aucun gain réel de succès de tâche en conditions réelles, faute de protocole capable d'isoler cet avantage. Ce fossé méthodologique vient du fait que les deux courants de recherche se sont développés en parallèle sans jamais vraiment se confronter, les politiques VLA étant jugées en boucle fermée sur le taux de réussite de tâches concrètes, les modèles du monde en boucle ouverte sur la seule qualité de leurs prédictions ou générations. Face à ce vide, les auteurs comparent leur couverture à celle des huit enquêtes les plus proches déjà publiées et revendiquent être les seuls à croiser capacité robotique et famille de modèle. Ils proposent une taxonomie opérationnelle des 160 bancs d'essai, une boucle d'évaluation conçue pour isoler spécifiquement l'avantage de la prédiction, et un protocole de quatre métriques ancrées sur des bancs d'essai nommés. Leur conclusion n'est pas que les world models aident ou non les robots, mais que répondre à cette question exige de construire des benchmarks conçus spécifiquement pour la poser.

Verti-WM : un modèle du monde extéroceptif assisté par la physique pour l'apprentissage par renforcement tout-terrain

Verti-WM, un modèle de monde physique et extéroceptif destiné à l'apprentissage par renforcement en navigation tout-terrain, a été présenté dans un article déposé sur arXiv sous la référence 2609.23118. Le système fusionne de façon récurrente un Transformer figé, dédié aux terrains rigides, et un modèle neuro-symbolique de terramécanique pour les terrains déformables, en interrogeant à chaque pose prédite une carte fournie pour en extraire l'élévation et la sémantique du sol, ce qui permet des simulations à six degrés de liberté sans accès supplémentaire à un simulateur. Cette approche réduit l'erreur de prédiction de 34,6% par rapport à une base purement data-driven et de 21,7% par rapport à une base purement physique. Des politiques entraînées uniquement dans Verti-WM atteignent des taux de réussite comparables à celles entraînées dans un simulateur haute-fidélité, tout en réduisant le temps de calcul d'un facteur 23,6. Les auteurs valident enfin l'approche sur des données réelles: une politique optimisée dans une dynamique apprise à partir du monde réel atteint 80% de réussite sur la plateforme robotique Verti-4-Wheeler, contre 40% pour un transfert sim-to-real direct. Ce travail cible une limite connue des world models utilisés en RL: la seule proprioception ne suffit pas à anticiper les interactions roue-sol en tout-terrain, où la nature du sol change radicalement la dynamique du véhicule. En combinant un module data-driven efficace sur sols rigides avec un modèle physique adapté aux sols déformables, Verti-WM atténue le compromis habituel entre fidélité physique et coût de collecte de données en simulation haute-fidélité. Pour les équipes robotiques travaillant sur des véhicules autonomes tout-terrain, agricoles, de défense ou d'exploration, la division par plus de 23 du temps de calcul change l'économie de l'entraînement de politiques, et l'écart entre 80% et 40% de réussite en conditions réelles constitue une indication chiffrée, bien que limitée à une seule plateforme, de réduction du fossé sim-to-real. Le travail s'inscrit dans la continuité des recherches sur les world models pour la RL, transposées ici au véhicule tout-terrain, domaine historiquement partagé entre approches data-driven et modèles physiques de terramécanique que Verti-WM cherche à combiner. La validation s'appuie sur la plateforme Verti-4-Wheeler, déjà utilisée dans des travaux antérieurs du même laboratoire sur la navigation verticale tout-terrain. L'article ne mentionne aucun partenaire industriel ni plan de déploiement commercial: il s'agit à ce stade d'une contribution académique, dont les suites attendues porteraient sur l'extension à d'autres plateformes, d'autres types de terrains déformables et une validation à plus grande échelle du transfert sim-to-real.

Praxis One de Huaruizhipu : jusqu'à 106 TOPS de calcul embarqué pour l'IA incarnée sur MediaTek Genio Pro 5100

Huaruizhipu, société chinoise basée à Guangzhou, a présenté Praxis One, une plateforme de calcul embarqué pour l'IA physique, en marge du 9e China Robot Summit à Hangzhou le 17 septembre 2026. Le produit repose sur le système sur puce Genio Pro 5100 de MediaTek, gravé en 3 nanomètres avec une architecture Arm v9.2 à huit cœurs « big » et un NPU de huitième génération annoncé à environ 106 TOPS. MediaTek et ses partenaires avancent une prise en charge jusqu'à 16 flux caméra FHD virtuels, du Wi-Fi 7, du Bluetooth 6.0 et une option 5G, ainsi qu'une inférence locale du modèle Qwen3-7B à environ 23 tokens par seconde, chiffre communiqué par le fabricant sans détail sur les conditions de mesure. La puce est donnée pour une plage de température industrielle de -40°C à 105°C, visant les déploiements en usine ou en extérieur. Huaruizhipu propose en parallèle une version allégée, Praxis Nano, bâtie sur le Genio 720 de MediaTek pour les robots de taille moyenne et les boucles mouvement-capteurs, Praxis One ciblant les charges plus lourdes: perception multimodale, politiques vision-langage-action (VLA), modèles du monde légers, inférence de grands modèles en local et planification de tâches complexes. L'argument central porte sur l'architecture: la plupart des plateformes robotiques séparent aujourd'hui un accélérateur cognitif d'un microcontrôleur de mouvement distinct, ce qui introduit de la latence entre puces, des pertes de données et de la complexité de carte. Praxis One réunit décision de haut niveau et contrôle moteur bas niveau sur un seul SoC, un choix qui, si les chiffres se confirment en conditions réelles, réduirait ces frictions pour les humanoïdes et robots gourmands en calcul. Pour les intégrateurs et décideurs industriels, l'intérêt tient surtout à l'inférence embarquée: faire tourner un modèle de langage de 7 milliards de paramètres sans dépendre du cloud change la donne pour des sites aux connexions instables. Il faut toutefois noter qu'il s'agit à ce stade d'une annonce de plateforme de calcul et non d'un robot livré en volume: aucun chiffre de déploiement réel, aucun client nommé ni calendrier de production en série n'accompagne la présentation, et les performances citées proviennent des communications de MediaTek et de Huaruizhipu, pas de bancs d'essai indépendants. Praxis One s'inscrit dans une offre plus large que Huaruizhipu construit autour de l'IA incarnée: une gamme de matériel de collecte de données de terrain sous la marque RuiMou, un modèle de monde latent contraint par la physique, des « scene robots » et des offres clé en main destinées aux fabricants et aux laboratoires de recherche. L'entreprise reste peu documentée en dehors des supports chinois et de son site harmony-robot.com, au point que sa dénomination anglaise officielle n'est pas fermement établie, d'où l'usage prudent des noms Huaruizhipu et Praxis One en attendant une confirmation de marque à l'international. Le lancement, adossé au China Robot Summit de Hangzhou, illustre la course chinoise au silicium dédié aux humanoïdes, un segment où des fournisseurs comme MediaTek cherchent à se positionner face aux solutions historiquement bâties autour de puces Nvidia ou Qualcomm dans les plateformes robotiques occidentales. Aucun partenariat, pilote ou date de disponibilité commerciale précise n'a été communiqué au-delà des deux références de gamme, Praxis One et Praxis Nano.

Sentir le terrain avant de le franchir : des modèles du monde pour la navigation tout-terrain

Une équipe de chercheurs présente, dans un article déposé sur arXiv (référence 2609.19863v1, catégorie "new"), Feel-WM, un modèle de monde ("world model") de navigation conçu pour les terrains accidentés hors piste. Contrairement aux modèles de navigation urbaine, qui se contentent de prédire la scène visuelle à venir, Feel-WM prédit en plus l'état proprioceptif futur du robot, c'est-à-dire son glissement, son inclinaison et ses vibrations le long d'une trajectoire envisagée, ainsi qu'un risque d'échec associé, le tout appris directement à partir de l'expérience du robot sans étiquetage humain. Le planificateur simule ce futur physique en parallèle de la scène visuelle et pondère le risque d'échec prédit face à la proximité avec l'objectif dans un score de décision séparé. Les auteurs ont testé le système sur des données réelles de terrain accidenté et en simulation, sur des plateformes à la fois à roues et à pattes, puis l'ont déployé en embarqué sur un robot à roues Husky lancé sur des sentiers de montagne, où il a anticipé les zones de sol difficile, les a contournées, et a terminé des parcours qu'une politique de bout en bout classique échouait à compléter. L'apport revendiqué est de démontrer que la seule prédiction visuelle ne suffit pas dès que l'interaction robot-terrain devient le facteur dominant, ce qui est le cas hors des environnements urbains structurés où circulent la plupart des robots mobiles commerciaux actuels. En ajoutant la proprioception comme donnée d'entrée, Feel-WM améliore la prédiction du futur physique et surpasse les modèles de navigation purement visuels, aussi bien en planification en boucle ouverte qu'en navigation en boucle fermée sur terrain difficile. Pour les intégrateurs de robots mobiles destinés à l'agriculture, la défense, la sylviculture ou le secours en zone non structurée, ce travail suggère une piste concrète pour réduire les échecs de navigation sans dépendre uniquement de caméras ou de lidars, un enjeu de fiabilité central pour les flottes autonomes en extérieur. Il nuance aussi l'idée reçue selon laquelle les modèles de monde visuels suffiraient à généraliser la planification robotique à tous les environnements. Ce travail s'inscrit dans la tendance de recherche consistant à planifier par anticipation, en simulant les conséquences de chaque action candidate plutôt qu'en associant directement observation et commande, une approche qui concurrence les politiques de bout en bout entraînées par imitation ou apprentissage par renforcement. La quasi-totalité des modèles de monde publiés jusqu'ici ciblait des environnements urbains ou structurés, où l'image seule constitue un proxy suffisant du futur pertinent pour la navigation. Feel-WM comble ce manque pour la robotique tout-terrain en exploitant des signaux proprioceptifs, issus par exemple de centrales inertielles ou d'encodeurs de roues et de jambes, appris de façon autonome. L'article ne mentionne à ce stade ni affiliation industrielle ni partenaire de déploiement commercial : il s'agit d'une validation expérimentale sur robot Husky et en simulation, sans calendrier de mise en production ni pilote industriel annoncé.

TacSushi : modélisation monde-action ancrée dans le tactile pour la manipulation dextérique de sushis

Une équipe de recherche présente TacSushi, une politique robotique world-action ancrée dans le toucher, bâtie sur un modèle de monde Cosmos3, destinée à la manipulation dextre d'aliments déformables comme le sushi. Le système encode l'image RGB courante, une consigne en langage naturel et l'état de la main, puis fusionne par un mécanisme de gating feature-wise les signaux tactiles des bouts de doigts dans la représentation d'action ; pendant l'entraînement seulement, un décodeur conditionné par les segments d'action démontrés prédit les observations visuelles futures, la progression de la tâche et le risque de contact, avant d'être retiré au déploiement. Entraîné sur 340 essais réussis et 50 essais échoués sur robot réel, TacSushi a été testé sur 600 rollouts couvrant trois tâches en distribution et deux variantes d'ingrédients hors distribution, la qualité du plat final étant jugée par un protocole mêlant à parts égales cinq notations humaines et trois notations de modèles vision-langage. Résultat : 68,3% de réussite moyenne en distribution et 37,5% hors distribution, contre 36,7%/10,0% sans la supervision par conséquences futures et 25,0%/17,5% avec une simple concaténation tactile au lieu de la fusion gated. Ces chiffres valident surtout deux choix d'architecture plutôt qu'une performance spectaculaire : la fusion tactile gated par caractéristique apporte un gain net face à une concaténation brute, et la supervision prédictive, entraînée mais jamais exécutée en production, améliore la généralisation sans coût au déploiement. Pour les équipes de manipulation dextre et les intégrateurs, l'écart entre réussite en distribution et hors distribution illustre une nouvelle fois le fossé persistant entre démonstration contrôlée et généralisation réelle des politiques vision-langage-action, un problème que le secteur peine encore à résoudre malgré les annonces. Évaluer la qualité perçue de l'aliment via des juges humains et des modèles vision-langage, plutôt qu'un seuil géométrique binaire, répond aussi à une limite méthodologique connue des benchmarks de manipulation alimentaire, où texture et présentation comptent autant que le succès du geste. TacSushi s'inscrit dans la lignée des politiques robotiques bâties sur des backbones de modèles de monde ou vision-langage-action, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, mais cible un terrain nettement moins couvert, la manipulation d'aliments fragiles, plutôt que la préhension d'objets rigides. Publié en prépublication sur arXiv sans affiliation industrielle mentionnée, le travail reste une évaluation de laboratoire sur rollouts contrôlés, sans partenaire commercial ni calendrier de déploiement annoncés, et son jeu d'entraînement de 340 démonstrations réussies pour seulement 50 échecs demeure modeste au regard des efforts de VLA à grande échelle menés par les grands laboratoires. La suite logique, non précisée par les auteurs, consisterait à élargir les tâches culinaires et les variantes d'ingrédients testées pour vérifier si les gains observés hors distribution résistent à une variabilité alimentaire encore plus large.

Xiaomi ouvre en open source son modèle du monde incarné Robotics-U0 et sa suite d'entraînement

Xiaomi a publié en open source Xiaomi-Robotics-U0, un modèle de monde incarné autorégressif qui traite la génération de contenu robotique comme une extension des modèles fondation image et vidéo, plutôt que comme un simple générateur de trajectoires. La version principale compte environ 38 milliards de paramètres, entraînée en continu pour l'intelligence incarnée ; une variante Xiaomi-Robotics-U0-4B et des déclinaisons FlashAR sont aussi publiées sur Hugging Face et ModelScope, avec code d'inférence, démos Gradio et scripts d'entraînement FSDP mis en ligne début septembre. Dans un seul cadre de prédiction de token, le modèle unifie génération texte-vers-image, édition d'image, synthèse de scènes multi-vues, transfert incarné contrôlable et déroulement de vidéo, en s'appuyant sur une tokenisation IBQ et des briques issues de Qwen3-32B et de la lignée EMU3.5. Le module d'inférence FlashAR+ remplace le décodage séquentiel token par token par une génération parallèle, couplée au batching vLLM, avec un gain revendiqué de 82,9 fois à près de 83 fois en génération 1024x1024, faisant chuter la latence d'un exemple type de 450,8 à 5,44 secondes, et un score EWMScore_P de 73,64 plaçant UNIS en tête du classement WorldArena. Pour l'industrie robotique, cette ouverture d'un modèle de monde de cette taille change la donne pour les intégrateurs qui cherchent à générer des données synthétiques d'entraînement sans multiplier les collectes réelles : Xiaomi affiche une progression du taux de réussite sur des tâches d'interférence de 36,9% à 63,2% sous fonds et éclairages inédits, en mélangeant données de transfert de style et démonstrations réelles pour le post-entraînement de politiques de contrôle. Cela nourrit le débat sur la résolution du fossé simulation-réel et la viabilité des modèles vision-langage-action (VLA) à grande échelle. Les comparaisons revendiquées face à GPT-Image-2 reposent toutefois sur des jeux de test internes non vérifiés de façon indépendante, et les checkpoints vidéo restent en retard sur les versions image et transfert, ce qui invite à la prudence avant de considérer ces poids ouverts comme une usine à données prête à l'emploi pour des robots en production. Cette publication s'inscrit dans la montée en puissance de Xiaomi sur la robotique incarnée, aux côtés d'acteurs comme Nvidia et son GR00T N2, Physical Intelligence et Pi-0, ou Figure et Helix, qui développent tous des modèles de fondation pour l'action robotique. En misant sur un modèle de monde génératif plutôt que sur une politique d'action directe, Xiaomi se positionne sur la brique amont de génération de données et de simulation, complémentaire des VLA de contrôle. Xiaomi invite lui-même les équipes à vérifier les termes de licence, le choix du moteur FlashAR et la reproductibilité des scores WorldArena par des tiers avant tout déploiement en production, signe que cette publication reste à ce stade un jeu d'outils de recherche plutôt qu'un produit clé en main pour l'industrie.

Shengshu Technology dévoile Motus2, un modèle du monde auto-évolutif pour la manipulation dextérique

Shengshu Technology a dévoilé Motus2, un modèle de monde pour la manipulation robotique fine, présenté par son cofondateur et PDG Luo Yihang au Bund Summit 2026 ; le papier technique (arXiv 2608.30237) associe l'identité de recherche GensPI de Shengshu à l'université Tsinghua. Le système fusionne politique, simulation et évaluation dans un seul réseau vidéo-action, via trois modules : un modèle monde-action qui propose des séquences de gestes, un modèle de monde conditionné par l'action qui en prédit les conséquences visuelles, et un modèle de valeur qui les note pour choisir la meilleure à l'exécution ou affiner la politique par renforcement en post-entraînement. Sur des tâches réelles de placement de téléphone et de manipulation multi-doigts, la politique de base atteint environ 65% de réussite, contre 67,5% avec la planification seule, 72,5% avec le renforcement seul, et 75% en combinant les deux ; un module tactile complémentaire fait grimper la réussite sur l'extraction de tasses et le déchirement de papier de 60% à 72,5%. L'entraînement mobilise environ 130 000 heures de vidéo égocentrique humaine et plus de 100 heures de trajectoires robotiques, sur des plateformes à haut degré de liberté (DoF) comme Sharpa Wave et Wuji Hand 2 pour des tâches comme visser une ampoule ou tourner une page. Pour les intégrateurs, l'apport concret n'est pas le qualificatif "auto-évolutif" mis en avant par Shengshu, mais la preuve chiffrée que planification et apprentissage par renforcement, adossés à un même modèle de monde, s'additionnent plutôt qu'ils ne se recouvrent, avec un gain net d'environ dix points sur la politique de base. Le bond obtenu grâce au retour tactile sur des tâches à contact riche cible directement le principal verrou du secteur, la manipulation fine, alors que la locomotion humanoïde est déjà largement démontrée par ailleurs. Ces chiffres restent des métriques de laboratoire communiquées par l'équipe elle-même, sur un nombre restreint de tâches et sans comparaison publique face aux modèles concurrents, ce qui laisse ouvert l'écart habituel entre démonstration filmée et fiabilité en conditions réelles. Shengshu cadre explicitement l'"auto-amélioration" comme un mécanisme récursif borné à des tâches définies, et non comme une autonomie ouverte en environnement non contraint. Motus2 s'inscrit dans la feuille de route que Shengshu présente comme une progression de modèles de monde généraux "de L3 à L4", portée par sa structure de recherche GensPI avec Tsinghua. Il rejoint un paysage déjà dense de modèles vision-langage-action, aux côtés de Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, tous engagés à transformer des heures de vidéo humaine en manipulation fiable sur robot réel. Aucun acteur français ou européen n'apparaît dans cette annonce, qui reste une publication de recherche assortie de démonstrations matérielles, sans calendrier de pilote industriel communiqué.

Le boom des robots humanoïdes en Chine (partie III) : quand aura lieu leur moment ChatGPT ?

Cinq entreprises chinoises ont concentré 86% des livraisons mondiales de robots humanoïdes au premier semestre 2026, selon Counterpoint Research, confirmant l'avance chinoise en volume sur ce marché naissant. Les levées de fonds suivent : la division robotique de XPeng a recueilli plus de 900 millions de dollars en août, la valorisant à plus de 6,3 milliards de dollars, et Galbot a levé 2,5 milliards de yuans (362 millions de dollars) en mars, après un tour de plus de 300 millions fin 2025 qui l'avait valorisée environ 3 milliards. Les humanoïdes sont testés dans l'automobile, l'électronique, la logistique, l'aérospatiale et l'énergie, mais la commercialisation reste précoce, entre achats unitaires, préorders et pilotes, sans commandes répétées à grande échelle. Au BEYOND Expo, Fu Sheng, PDG de Cheetah Mobile et président d'OrionStar, a rappelé que le vrai défi est "le dernier 1%" : un taux de succès de 99% laisse un échec toutes les cent tentatives. Selina Xu, du bureau IA d'Eric Schmidt, juge que les entreprises chinoises avancent plus vite et plus large que leurs rivales américaines. Cet écart entre volume et maturité commerciale est le point clé pour intégrateurs et décideurs industriels. Les modèles vision-langage-action et les "world models" restent précoces, et Nvidia domine la pile logicielle robotique de bout en bout, laissant de nombreuses startups chinoises dépendantes de ses puces Orin, même si des fondeurs locaux développent des alternatives. Pour Jiang Han, chercheur au Pangoal Institution, les commandes répétées et le délai de retour sur investissement client sont les vrais signaux qu'un robot résout un problème réel, plus que le coût de fabrication seul : l'avantage durable de la Chine tiendrait à la combinaison de coûts bas et d'itération rapide, matérielle et logicielle. La donnée reste un goulot d'étranglement : impossible d'extraire des exemples d'interaction physique depuis internet comme pour les grands modèles de langage, d'où le recours aux données synthétiques, à la simulation et à l'apprentissage par renforcement. Harry Mellsop, cofondateur d'Antioch, compare l'IA physique à "l'ère GPT-2", avant le saut de ChatGPT. Trois facteurs structurent cette avance, selon la troisième partie de l'enquête de TechNode sur le boom humanoïde chinois : le coût, l'accès au capital et un vaste terrain d'essai. La base industrielle chinoise, adossée à la chaîne d'approvisionnement des véhicules électriques pour batteries et capteurs, permet un sourcing local, une itération rapide et des prix plus bas que chez les rivaux américains. Face à la domination logicielle de Nvidia, des acteurs chinois cherchent des alternatives aux puces Orin, enjeu autant technologique que souverain. La sécurité reste un risque : un accident médiatisé pourrait déclencher un retour de bâton réglementaire. Reste le calendrier : Sam Altman évoque un "moment ChatGPT" pour l'humanoïde à quelques années, mais l'article souligne que ce basculement dépendra moins des démonstrations spectaculaires déjà vues que de la fiabilité et de la rentabilité prouvées dans la durée.

DUET-DINO : modélisation simultanée du monde multi-vue pour la planification latente en manipulation robotique

Des chercheurs affiliés au laboratoire UTN-AIR publient DUET-DINO, un modèle de monde latent conditionné par l'action, décrit dans une prépublication arXiv du 10 septembre 2026 (arXiv:2609.10506). Le système apprend simultanément à partir de deux flux vidéo, une caméra statique de scène et une caméra montée sur le poignet du bras robotique, en les faisant se conditionner mutuellement, pour prédire les conséquences visuelles d'une action sur l'ensemble des 7 degrés de liberté (DOF) d'un effecteur terminal. Entraîné à partir de zéro sur les jeux de données DROID et RoboArena, il atteint 92% de réussite sur des tâches d'atteinte spatiale (reach), 72,5% sur des tâches d'atteinte avec orientation fine (angled-reach) et 60,0% sur des tâches de préhension et levage d'objet (grasp-and-lift), surpassant des versions à vue unique ou à double vue non couplée. Les auteurs comparent aussi deux briques de vision : les prédictions du modèle V-JEPA 2 sur la vue poignet sous-estiment la dynamique visuelle induite par des actions fines, tandis que DINOv3 capture mieux ces changements et améliore la planification en aval. Le code et les poids seront publiés en open source, mais ne le sont pas encore à ce stade. L'enjeu technique visé est concret : les modèles de monde latents existants échouent souvent sur les actions spatiales et rotationnelles fines, ce qui limite leur usage pour un contrôle précis en 7 DOF, indispensable à des tâches d'insertion, de saisie orientée ou de manipulation fine en usine. En couplant vue globale de scène et vue centrée sur la pince, DUET-DINO cherche à combler cet écart pour permettre une planification zero-shot conditionnée par objectif, sans réentraînement spécifique à chaque tâche. Pour les intégrateurs et décideurs robotique, le résultat le plus utile n'est pas tant les scores de réussite, encore modestes sur des tâches de préhension complexes, que l'indication empirique que le choix du backbone visuel (DINOv3 plutôt que V-JEPA 2) conditionne directement la qualité de la planification en aval, un signal utile pour quiconque construit des architectures VLA ou de modèles de monde. Ce travail s'inscrit dans la lignée des modèles de monde auto-supervisés type V-JEPA de Meta et des familles DINOv2/DINOv3, plutôt que dans celle des politiques VLA de bout en bout comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui apprennent directement une politique d'action plutôt qu'un modèle prédictif séparé. DUET-DINO reste à ce stade une publication de recherche évaluée sur des bancs d'essai contrôlés, sans déploiement industriel annoncé ; les auteurs promettent la publication du code et des checkpoints ainsi qu'une page projet dédiée, mais aucun calendrier de mise à disposition n'est précisé.

RoboPhys-3D : évaluation complète des modèles du monde incarnés par reconstruction 3D

Une équipe de recherche présente RoboPhys-3D, un benchmark d'évaluation pour les world models vidéo embarqués (embodied world models, EWM), construit sur RoboTwin 2.0. Il couvre 50 tâches de manipulation réparties en quatre régimes, avec 5 000 épisodes et 25 000 vidéos multi-vues de référence. Particularité du protocole : les vidéos générées et les vidéos de référence passent par le même pipeline de reconstruction 3D, ce qui permet de distinguer l'erreur due à la reconstruction de celle due à la génération elle-même. Le benchmark organise 50 métriques en 18 sous-dimensions réparties sur quatre niveaux : fidélité au pixel, cohérence géométrique 3D, compréhension de l'état de la scène et complétude de la tâche. Deux scores composites en découlent : l'Average Full Score, qui moyenne les 50 métriques, et le RoboPhyscore, centré sur les métriques les plus corrélées au succès réel de la tâche. Sur quatre world models vidéo testés, Cosmos 3 obtient le meilleur RoboPhyscore (0,6330, soit 92,7% du score de référence), et ce score affiche une forte corrélation avec l'évaluation humaine (Pearson r = 0,9761, Spearman rho = 0,8962). Ce travail comble un angle mort de l'évaluation des world models pour la robotique : la plupart des benchmarks existants jugent la qualité visuelle ou sémantique des vidéos générées via des juges perceptuels ou des modèles vision-langage, sans vérifier si la scène 3D reste physiquement exploitable pour piloter un robot. Or les métriques ancrées dans l'état de la scène et dans l'exécutabilité des actions révèlent des échecs substantiels que ces jugements perceptuels ou VLM ne détectent pas, un écart classique entre qualité d'image perçue et utilité réelle pour la planification. Pour les équipes qui exploitent des world models comme moteurs de données synthétiques, planificateurs d'actions ou simulateurs, cela signale qu'un bon score de fidélité visuelle ne garantit pas un rollout exploitable en aval. La forte corrélation du RoboPhyscore avec le jugement humain suggère en revanche qu'une métrique compacte et ancrée dans l'exécution pourrait remplacer une évaluation humaine coûteuse à grande échelle. Ce besoin découle de l'absence, jusqu'ici, d'un standard 3D unifié pour vérifier si un rollout généré préserve l'état réel de la scène, les benchmarks EWM existants restant majoritairement 2D ou basés sur des scores subjectifs. RoboPhys-3D positionne Cosmos 3, la gamme de world models vidéo de NVIDIA, comme la plus performante parmi les quatre testées, sans détailler ici les trois autres modèles comparés ni de calendrier de déploiement industriel : il s'agit d'un travail de recherche en évaluation (preprint arXiv 2608.28718v1), pas d'une annonce produit. Il s'inscrit dans une dynamique plus large où les world models vidéo sont de plus en plus proposés comme substituts à la simulation physique classique pour entraîner des politiques de manipulation robotique, et la publication de ce protocole ouvre la voie à des comparaisons plus rigoureuses à mesure que de nouvelles versions de ces modèles sortiront.

Riemann-1.0 : un modèle d'action du monde incarné pour l'IA physique

Un preprint publie sur arXiv (2608.27033) présente Riemann-1.0, un "World Action Model" causal et autoregressif qui unifie, dans une seule séquence, observations visuelles multi-vues, états du robot et actions spécifiques a chaque embodiment. Le modèle est pré-entraine sur plus de 200 000 heures de données hétérogènes: vidéos humaines a la première personne, démonstrations avec pinces portables et trajectoires de robots varies. Il atteint 94,3% de réussite sur RoboTwin2.0, 99,0% sur LIBERO et 62,6% sur le benchmark compositionnel long-horizon RoboCasa-365, soit 8,4 points de plus que la meilleure méthode antérieure. Sur des taches réelles de manipulation longue durée, il obtient 85,0% de réussite (SR) et 94,4% de progression (PSR), soit 15 points de plus que le meilleur système open source de référence. Le résultat notable n'est pas seulement le score, mais l'architecture: un seul modèle fait a la fois office de politique de contrôle exécutable et de simulateur du monde conditionne par l'action, la ou la plupart des approches séparent prédiction vidéo et génération d'actions. Cela alimente le débat sur le passage a l'échelle des modèles vision-langage-action, en suggérant que des sources bon marche comme la vidéo humaine peuvent compléter des données robotiques rares pour améliorer la généralisation. Pour les intégrateurs, la prudence reste de mise: ces résultats proviennent d'un preprint non relu par les pairs, obtenus sur des benchmarks contrôles et des taches réelles décrites de façon générique, sans précision sur le site de test ni sur un déploiement en production. Riemann-1.0 se positionne contre trois familles de "world models" robotiques existantes, génération conjointe d'actions et d'images, prédiction vidéo suivie d'une politique séparée, ou architectures découplées, jugées limitantes par ses auteurs face a la fragmentation entre simulation du monde et contrôle du robot. L'article ne mentionne ni organisation commerciale a l'origine du projet, ni plateforme robotique associée, ni date de pilote ou de déploiement: il se presente comme un jalon de recherche plutôt que comme un produit livre. Les suites logiques, non confirmées dans le texte, porteraient sur l'extension a davantage d'embodiments et sur des essais en conditions réelles hors laboratoire, dans la lignée des travaux parallèles menés par d'autres laboratoires sur les modèles fondation pour la manipulation robotique.

CLAP : les modèles du monde vidéo à embodiment croisé, des simulateurs physiques sans apprentissage spécifique

Une nouvelle prépublication arXiv décrit CLAP, un framework de génération vidéo conditionnée par l'action capable d'apprendre simultanément sur des vidéos humaines et robotiques hétérogènes à l'échelle d'internet, plutôt que de rester cantonné à une seule plateforme comme la plupart des modèles existants. Il unifie les espaces d'action, incompatibles entre robots et absents des vidéos humaines, via trois représentations combinées : poses de l'effecteur terminal, instructions en langage naturel et actions latentes apprises automatiquement. L'entraînement suit un curriculum en deux temps, acquérant d'abord des a priori physiques génériques sur des vidéos non annotées avant de les ancrer dans l'espace des poses d'effecteur pour un déploiement zero-shot sur des tâches réelles. Sur le benchmark DROID, CLAP égale voire dépasse les modèles vidéo spécialisés à une seule plateforme, et a aussi été évalué sur Bridge, des robots bimanuels YAM et des humanoïdes G1 ; code et modèles sont publiés en open source sur omni-clap.github.io. L'enjeu dépasse la performance sur un benchmark : la plupart des modèles vidéo servant de simulateurs physiques pour entraîner ou évaluer des politiques robotiques restent liés à une seule plateforme, obligeant à recollecter des données coûteuses à chaque nouveau robot. En montrant qu'un modèle entraîné sur un corpus mixte humains et robots peut égaler des modèles spécialisés puis les dépasser via un fine-tuning few-shot, CLAP esquisse un paradigme où un modèle de monde générique s'adapte à moindre coût à chaque nouvel embodiment, un argument pertinent pour les intégrateurs qui multiplient bras bimanuels et humanoïdes. La promesse d'un simulateur physique « zero-shot » reste néanmoins à nuancer, les résultats portant sur des benchmarks académiques contrôlés plutôt que sur un déploiement industriel. Ce travail s'inscrit dans la multiplication des modèles de monde vidéo appliqués à la robotique, où la génération vidéo sert de plus en plus de proxy de simulation pour entraîner des politiques d'action sans multiplier les essais réels, un usage jusque-là limité par l'incompatibilité des espaces d'action et par l'absence de labels dans les vidéos humaines, qui composent pourtant l'essentiel des données disponibles à l'échelle d'internet. Les bancs d'essai (DROID, Bridge) et plateformes testées (bras bimanuels YAM, humanoïde G1) sont des références standard de la recherche en apprentissage robotique, ce qui situe CLAP comme un travail académique plutôt qu'un produit commercial. Les auteurs, qui publient l'ensemble du code et des modèles, présentent le fine-tuning few-shot comme la piste principale pour étendre ce paradigme à de nouvelles plateformes, sans calendrier de déploiement industriel annoncé.

Robots humanoïdes : AgiBot pousse les entreprises vers l'IA et redéfinit la compétition en IA incarnée

En 2026, la société chinoise AgiBot a poursuivi le développement de sa gamme de robots humanoïdes, dont le modèle Expedition A3, tout en construisant une pile logicielle complète pour l'IA incarnée. En avril, elle a lancé GO-2, son modèle fondation robotique, censé renforcer la compréhension, la planification et l'exécution de tâches par les robots. Sa plateforme de simulation Genie Sim 3.0 a ouvert plus de 10 000 heures de données synthétiques et un système d'évaluation couvrant plus de 100 000 scénarios, selon l'entreprise. Ces outils complètent AGIBOT WORLD, sa base de données rassemblant des millions d'échantillons collectés en conditions réelles, et le modèle GE-2 Action World Model. AgiBot a aussi lancé la Hive Data Co-Creation Initiative, visant une production de données à l'échelle de dizaines de millions d'heures d'ici fin 2026. Aucun prix ni volume de déploiement commercial n'est précisé. Cette bascule traduit un changement de fond dans la compétition humanoïde mondiale: la maîtrise mécanique, agilité, fiabilité, coût, cesse d'être le seul facteur différenciant à mesure que plusieurs acteurs règlent les bases du mouvement robotique. Le nouveau verrou se déplace vers l'apprentissage: un robot peut-il comprendre un environnement inconnu, exécuter une tâche non programmée, ou transférer l'expérience d'une unité à toute une flotte? Pour les intégrateurs et décideurs industriels, l'évaluation d'un fournisseur doit désormais porter autant sur le volume et la qualité des données d'entraînement, la robustesse des modèles fondation et la vitesse d'itération, que sur les spécifications du châssis. Le pari d'AgiBot, boucler un cycle continu entre données réelles, simulation, entraînement et exécution, reste à valider à grande échelle: les chiffres de simulation avancés par l'entreprise ne sont pas vérifiés de façon indépendante. Ce virage s'inscrit dans une trajectoire sectorielle plus large où les frontières entre fabricants de robots et laboratoires d'IA s'estompent, à l'image de Physical Intelligence (modèles Pi-0), NVIDIA (GR00T N2) ou Figure AI (modèle Helix), qui combinent tous hardware et modèles génériques entraînés sur de vastes corpus robotiques. Le matériel reste néanmoins loin d'être secondaire: fiabilité mécanique, maîtrise des coûts et capacité de fabrication à grande échelle continueront de déterminer si ces robots passent réellement de l'usine pilote à l'entrepôt en production. AgiBot ne communique, dans cette annonce, ni calendrier précis de déploiements pilotes ni partenaires industriels nommés pour l'Expedition A3 ou les prochaines itérations de GO-2 et Genie Sim, laissant ouverte la question du passage de cette architecture intégrée à des cas d'usage commerciaux vérifiables.

DreamX-Phi 1.0 : modèle du monde vidéo conditionné par l'action pour la manipulation robotique

DreamX-Phi 1.0, un modèle de monde vidéo conditionné par l'action pour la manipulation robotique, est présenté dans un article déposé sur arXiv (2608.13489v1). À partir d'une image observée, d'une instruction en langage naturel et d'une séquence d'actions prescrite, poses de l'effecteur terminal et états du gripper, le système prédit les observations vidéo futures correspondantes. Pour éviter qu'une vidéo réaliste en apparence déplace le mauvais bras ou fasse disparaître l'objet manipulé, les auteurs injectent des transformations géométriques SE(3) propres à chaque bras dans les couches d'attention via un encodage de type PRoPE, complété par une branche de profondeur pour la géométrie de la scène et des masques SAM3 associés à un modèle enseignant V-JEPA figé pour maintenir la cohérence des objets durant la saisie. Le générateur multi-étapes est ensuite distillé en un modèle étudiant à peu d'étapes pour accélérer le déploiement. Le modèle revendique la première place sur la Track 1 et la deuxième sur la Track 2 du WorldArena 2.0 Challenge, avec publication annoncée du modèle et du code. Cette approche s'attaque à un problème central des modèles de monde appliqués à la robotique: une vidéo générée peut paraître photoréaliste tout en étant physiquement incohérente avec les commandes envoyées au robot, ce qui invalide son usage pour l'entraînement de politiques ou la planification. En ancrant la génération vidéo sur la géométrie rigide réelle de chaque bras et en préservant l'identité des objets manipulés, DreamX-Phi cherche à combler l'écart entre démonstration visuelle convaincante et fidélité exploitable pour le contrôle. La distillation en modèle étudiant à peu d'étapes répond à une contrainte pratique bien connue des intégrateurs: les modèles de monde vidéo multi-étapes sont souvent trop lents pour une boucle de contrôle temps réel, ce qui limite sinon leur usage à la simulation ou à l'évaluation hors ligne. Le classement sur WorldArena 2.0 reste toutefois un résultat de benchmark académique et non une validation en conditions réelles sur un robot physique. DreamX-Phi s'inscrit dans une vague plus large de modèles de monde vidéo pour la robotique, qui cherchent à compléter ou remplacer les architectures vision-langage-action comme Pi-0 ou GR00T N2 par une simulation générative directe des conséquences d'une action. Le recours à SAM3 pour la segmentation et à V-JEPA comme enseignant figé situe le projet dans la lignée des modèles de représentation vidéo auto-supervisés récents plutôt que dans une pile propriétaire fermée. À ce stade, aucune information ne mentionne de déploiement sur un robot physique ni de partenariat industriel: il s'agit d'un article de recherche accompagné d'un résultat de compétition, le modèle et le code étant seulement annoncés comme à venir. La suite logique, si cette promesse de publication est tenue, sera l'adoption du modèle comme brique de simulation ou d'évaluation par d'autres équipes travaillant sur la manipulation robotique.

JEPA-WAM : des politiques vision-langage-action apprises par modélisation du monde à embarquement conjoint

JEPA-WAM, un nouveau modèle de monde latent (world action model, WAM) pour le contrôle robotique, est présenté dans un article publié le 11 août 2026 sur arXiv (2608.09381v1). Le système s'appuie sur l'espace latent pré-entraîné V-JEPA, l'architecture d'auto-supervision vidéo développée par Meta AI, et couple prédiction de transition et génération d'action continue via un prédicteur partagé, plutôt que de générer explicitement des vidéos futures comme le font les WAM à base vidéo, coûteux à déployer. Sur le benchmark LIBERO-Plus, JEPA-WAM atteint 79,2 % de réussite, le meilleur score parmi les méthodes sans pré-entraînement à grande échelle sur des politiques robotiques. Instancié sur le modèle pi0.5 déjà pré-entraîné, il grimpe à 86,3 %, la meilleure performance globale rapportée dans l'article. Des expériences complémentaires sur le simulateur RoboTwin 2.0 et sur des tâches de manipulation bimanuelle en conditions réelles confirment une bonne généralisation face aux variations visuelles et spatiales. Ce travail s'attaque à un compromis central dans l'apprentissage de politiques vision-langage-action (VLA) : les modèles de monde générant explicitement des vidéos futures sont coûteux en calcul et en latence, tandis que les approches latentes existantes sacrifient souvent la richesse de la représentation prédictive ou la séparent du chemin utilisé pour générer l'action. En démontrant qu'un même prédicteur partagé peut porter à la fois la supervision de transition et la prédiction d'action sans déconnecter représentation et politique, JEPA-WAM fournit un argument empirique en faveur de l'unification des deux tâches dans une même colonne vertébrale visuelle. Pour les équipes de recherche et les intégrateurs en robotique, l'intérêt pratique tient au fait que la méthode s'applique aussi à des politiques VLA déjà pré-entraînées, comme pi0.5, sans modifier leurs chemins de perception et d'action d'origine, ce qui laisse entrevoir un gain applicable à des systèmes existants plutôt qu'une architecture entièrement nouvelle à réentraîner. Il s'agit d'un article de recherche publié sur arXiv, sans annonce de produit ni de déploiement commercial : les résultats reposent sur des benchmarks de simulation (LIBERO-Plus, RoboTwin 2.0) complétés par des essais réels limités en manipulation bimanuelle, sans précision sur le nombre de robots ou les sites concernés. JEPA-WAM s'inscrit dans la lignée des architectures d'apprentissage par prédiction latente issues de V-JEPA, et se positionne face à l'écosystème grandissant des politiques VLA telles que pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Les auteurs ne précisent aucun calendrier de suite, pilote industriel ou partenariat, ce qui situe cette publication au stade de la recherche fondamentale plutôt qu'à une étape de déploiement à court terme.

BWM : un simulateur de monde haute-fidélité à faible coût pour l'apprentissage robotique

Boundless World Model (BWM) est un simulateur de monde open source, présenté fin juillet dans une prépublication arXiv, conçu pour l'apprentissage de la manipulation robotique. Le système est un modèle de monde conditionné par l'action : il combine un guidage par l'observation initiale, un historique visuel dynamique et un conditionnement temporellement aligné sur les actions du robot pour prédire, de façon autorégressive et avec état, les observations futures découlant d'une séquence de commandes. Les données d'entraînement sont construites par rejeu de trajectoires, échantillonnage de clips qui se chevauchent et enrichissement des observations initiales. Sur le benchmark WorldArena, BWM se classe premier toutes catégories confondues, en tête du Track 1 et des deux applications du Track 2, avec des validations complémentaires sur robots physiques. L'ensemble du code d'entraînement et d'inférence, les poids du modèle et les interfaces de génération de données et d'évaluation de politiques sont publiés en accès libre. L'intérêt pratique tient à deux usages distincts que le papier documente. D'abord comme moteur de données : BWM génère des rollouts alignés sur l'action pour augmenter les jeux de données d'apprentissage par imitation, un poste de dépense généralement coûteux en téléopération réelle. Ensuite comme évaluateur de politiques en boucle fermée, capable d'anticiper des échecs avant tout passage sur matériel physique et de classer plusieurs politiques candidates sans risque. Cette approche répond directement à une limite connue des simulateurs physiques classiques, qui exigent une construction et un calibrage d'assets coûteux tout en conservant un écart sim-to-real, et à celle des générateurs vidéo génériques, qui manquent de contrôle fin sur la réponse aux actions du robot. Un simulateur combinant fidélité visuelle et contrôlabilité par l'action, à faible coût, constituerait une brique utile pour les équipes qui manquent de données réelles denses. Le papier s'inscrit dans une tendance de recherche récente qui cherche à remplacer ou compléter les moteurs physiques (type MuJoCo ou Isaac Sim) par des modèles de monde appris, à la manière des approches vidéo-générative appliquées à la robotique. La victoire revendiquée au WorldArena Challenge reste toutefois à confirmer par une adoption indépendante : les métriques de classement d'un benchmark récent et la portabilité réelle vers des politiques de production restent les points à surveiller dans les prochains mois, notamment via les retours de la communauté sur l'écosystème open source publié.

Fluidifier la génération de mondes : Enfold intègre son calcul dans des représentations prédictives pour un contrôle incarné efficace

Des chercheurs présentent Enfold, une méthode qui transfère le calcul effectué par les modèles génératifs de "monde" (world models) dans une représentation prédite directement à partir de l'observation présente et de l'instruction en langage naturel, sans générer de vidéo future à chaque étape. Pendant l'entraînement, les états intermédiaires produits par le générateur lorsqu'il transforme une trajectoire future bruitée en séquence cohérente supervisent un encodeur qui ne voit que le présent. Cette représentation conditionne ensuite la génération future et alimente des têtes de contrôle spécifiques à la tâche, sans que les gradients de tâche ne modifient l'encodeur. Au déploiement, le système n'exécute plus du tout le générateur: seule la représentation prédite pilote l'action. Testée sur les benchmarks LIBERO et RoboTwin2.0 ainsi que sur des tâches robot réel, l'approche réduit la latence d'action d'un facteur 3,7 par rapport à la référence Fast-WAM, et la variante Enfold-Flash atteint un facteur 10,1. L'enjeu est concret pour la robotique: les modèles VLA (vision-language-action) adossés à des world models génératifs impressionnent en démonstration mais restent souvent trop lents pour un contrôle temps réel, car ils doivent générer explicitement une trajectoire future à chaque cycle de décision. En montrant qu'il est possible d'internaliser ce calcul dans une représentation compacte inférée depuis le seul présent, sans dégrader le contrôle, les auteurs s'attaquent à l'écart classique entre démonstration et déploiement réel qui freine l'adoption de ces architectures chez les intégrateurs. La représentation apprise filtre en outre les variations sans intérêt et privilégie les changements qui se déploient sur un horizon long, exactement ce dont un robot a besoin pour anticiper une tâche plutôt que réagir image par image. Signal encourageant: quand un humain modifie la scène en cours d'exécution, la continuation générée et les actions exécutées s'adaptent, ce qui exclut un simple rejeu de trajectoire figée. Enfold s'inscrit dans la lignée des travaux sur les world models appliqués au contrôle robotique, dont WAM sert ici de référence de comparaison, une famille d'approches popularisée par des systèmes comme Pi-0 ou GR00T N2 mais généralement pénalisée par le coût de calcul du générateur à l'inférence. En déplaçant ce coût vers l'entraînement et en ne conservant au déploiement qu'une représentation légère, les auteurs ouvrent une piste pour rapprocher ces architectures des cadences de contrôle réelles, préalable à tout déploiement industriel à grande échelle. Les résultats restent toutefois issus de simulation et d'un nombre limité de tâches réelles, une validation plus large sur cas d'usage industriels constituant la suite logique.

Robot-Factored World Models via le rendu de robots

Un article de recherche publié sur arXiv (2607.22535) propose une nouvelle architecture pour les "world models" en robotique, ces systèmes qui prédisent les observations futures d'une scène à partir d'une image initiale et d'un signal d'action. L'équipe identifie un problème structurel dans les approches existantes : conditionner le modèle directement sur les commandes d'action l'oblige à apprendre lui-même comment le corps du robot et son contrôleur traduisent ces commandes en mouvement réel, tandis que le conditionner sur les états futurs enregistrés revient à lui donner d'avance le résultat qu'il est censé prédire. La solution proposée, baptisée "robot-factored world model", sépare deux facteurs propres au robot en amont du modèle. D'abord, la trajectoire nominale : chaque commande est passée par le contrôleur et la cinématique du robot pour produire un signal intermédiaire disponible au déploiement. Ensuite, le rendu robotique : cette trajectoire est rendue via le fichier URDF du robot, extrayant sa géométrie et son apparence du modèle d'apprentissage. Pour lever l'ambiguïté de profondeur, les chercheurs associent la profondeur de l'effecteur terminal à celle de la scène. Cette approche cible un angle mort connu des modèles vidéo conditionnés par l'action utilisés en planification et simulation robotique, à savoir leur difficulté à généraliser au-delà du robot sur lequel ils ont été entraînés. Les résultats montrent que l'interface de rendu surpasse les méthodes de référence conditionnées par vecteurs d'action et généralise à des embodiments robotiques inédits au moment de l'inférence, un point sensible pour l'industrie alors que les modèles vision-langage-action (VLA) cherchent à s'affranchir de la dépendance à une plateforme matérielle unique. Le modèle parvient aussi à générer des vidéos de manipulation robotique à partir de démonstrations humaines, en retargetant le mouvement de la main vers une géométrie de robot. Ces travaux s'inscrivent dans une compétition plus large autour des world models et des politiques VLA à grande échelle, un terrain où Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) investissent massivement pour rendre leurs systèmes transférables d'un robot à l'autre. La piste du rendu explicite de la géométrie robotique, plutôt que son encodage implicite dans des vecteurs d'action, pourrait devenir un standard méthodologique si elle se confirme sur des déploiements réels au-delà des benchmarks académiques.

ViTacWorld : passage à l'échelle des modèles du monde visuo-tactiles pour la manipulation robotique riche en contacts

Des chercheurs présentent ViTacWorld, un modèle de monde visuo-tactile conditionné par l'action, conçu pour la manipulation robotique riche en contacts, décrit dans une prépublication arXiv (2607.22530v1). Le système s'appuie sur des jeux de données tactiles réels publics combinés à un environnement de simulation construit spécifiquement pour l'occasion, afin de générer à grande échelle des trajectoires visuo-tactiles-actions. Le modèle est d'abord préentraîné sur de larges volumes de trajectoires réelles et simulées, puis affiné avec des rollouts de politiques collectés en conditions réelles pour mieux coller aux comportements de manipulation visés. À partir d'une séquence d'actions du robot, ViTacWorld prédit conjointement les observations visuelles et le retour tactile correspondants, permettant de générer des rollouts visuo-tactiles-actions complets. Les auteurs présentent cela comme le premier cadre exploitant un modèle de monde pour la génération de trajectoires visuo-tactiles-actions et l'évaluation de politiques robotiques. L'enjeu central est le coût et la rareté des données tactiles réelles, qui freinent l'apprentissage robotique basé sur le toucher : matériel spécifique, collecte coûteuse, diversité de tâches et de scènes limitée. En misant sur le fait que le signal tactile, directement ancré dans le contact physique, souffre d'un écart simulation-vers-réel plus faible que la seule vision, ViTacWorld propose une voie pour combler ce manque de données sans multiplier les campagnes de collecte sur robot réel. Pour les équipes de recherche en manipulation fine (assemblage, insertion, préhension d'objets déformables), cela ouvre deux usages concrets : générer des données synthétiques pour améliorer des politiques tactiles en aval, et évaluer des politiques existantes en prédisant leurs résultats visuo-tactiles sous des séquences d'actions contrôlées, sans passer systématiquement par des essais physiques. C'est un signal de plus que les modèles de monde, déjà répandus en vision, commencent à s'étendre à d'autres modalités sensorielles pour la robotique de contact. Ce travail s'inscrit dans la lignée des modèles de monde appliqués à la robotique, jusqu'ici centrés presque exclusivement sur la modalité visuelle, et dans la continuité des efforts pour réduire la dépendance de l'apprentissage tactile aux capteurs propriétaires et aux collectes sur site. Les expériences menées par les auteurs sur des tâches de manipulation riches en contacts montrent que ViTacWorld génère des rollouts physiquement cohérents, améliore les performances de politiques via une augmentation de données scalable, et permet une évaluation de politiques conditionnée par l'action. Le projet est documenté sur vitacworld.github.io. L'article ne mentionne aucun partenariat industriel ni déploiement commercial à ce stade : il s'agit d'une contribution de recherche dont la portée réelle dépendra de sa reproduction sur des plateformes robotiques variées et de son adoption par des équipes travaillant sur l'assemblage ou la manipulation fine en environnement industriel.

Regardez : le premier modèle d'IA nativement incarnée promet des robots plus intelligents et plus performants

Robbyant, filiale d'intelligence artificielle incarnée du groupe chinois Ant Group (maison mère d'Alipay), a présenté LingBot-VA 2.0, un modèle de monde vidéo-action que l'entreprise qualifie de premier du secteur conçu nativement pour la robotique plutôt qu'adapté de systèmes de génération vidéo destinés au contenu numérique. Le modèle repose sur une architecture autorégressive entraînée depuis zéro : il prédit comment les actions d'un robot modifient son environnement, puis choisit l'action suivante à partir de ces relations causales. Robbyant met en avant quatre innovations : un tokenizer visuel-action sémantique compressant conjointement image et action, un pré-entraînement causal strict garantissant l'ordre temporel des prédictions, une architecture Mixture of Experts augmentant la capacité sans alourdir l'inférence, et un mécanisme d'inférence asynchrone qui recale en continu les prédictions sur les observations réelles pendant l'exécution. Selon l'entreprise, cette combinaison permet un contrôle en boucle fermée à 150 Hz sur un seul GPU, et le modèle s'adapte à une nouvelle tâche de manipulation avec seulement 20 démonstrations, par apprentissage en contexte, sans réentraînement. Robbyant a montré le système sur des tâches longues et précises : préparer un petit-déjeuner, déballer des colis, insérer des tubes, ramasser des vis, plier du linge, ouvrir des tiroirs. L'entreprise revendique aussi de meilleurs résultats que les méthodes existantes sur les benchmarks de simulation RoboTwin 2.0 et LIBERO. Ce lancement illustre un changement de philosophie dans les modèles fondation pour la robotique. La plupart des systèmes d'IA incarnée actuels réutilisent des modèles vidéo pensés pour générer du contenu grand public, qui privilégient qualité d'image et créativité au détriment de la précision physique et de la vitesse d'exécution. Adapter ces modèles à la robotique, selon Robbyant, dégrade la généralisation, un constat qui rejoint le débat récurrent dans le secteur des modèles vision-langage-action (VLA) sur l'écart entre démonstrations impressionnantes et fiabilité réelle. Si les chiffres avancés se confirment au-delà des vidéos sélectionnées par l'entreprise, ils positionneraient LingBot-VA 2.0 comme alternative face à des VLA généralistes comme Pi-0 ou GR00T N2, avec un argument clé pour les intégrateurs : moins de données pour déployer un nouveau geste, et un temps de cycle compatible avec du matériel limité à un seul GPU. La mémoire à long terme mise en avant, permettant de distinguer des situations visuellement identiques mais contextuellement différentes et d'exécuter des tâches multi-étapes avec comptage et répétition, répond à une limite connue des politiques robotiques actuelles sur les séquences longues. Robbyant a accéléré ses investissements en robotique humanoïde et modèles fondation physiques, dans un contexte où les groupes technologiques chinois, Ant Group mais aussi Unitree, AgiBot ou Xiaomi, intensifient la compétition face à des acteurs américains comme Figure AI ou Physical Intelligence. LingBot-VA 2.0 succède à une première version et s'inscrit dans une stratégie où l'entreprise dit vouloir accélérer le développement d'un écosystème ouvert, sans préciser de calendrier de commercialisation, de partenariats industriels ni de premiers déploiements pilotes. Pour l'instant, la démonstration reste cantonnée aux benchmarks de simulation et aux vidéos publiées par l'entreprise, sans validation indépendante en environnement de production, une réserve qui s'applique à la plupart des annonces de modèles fondation robotiques cette année.

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot

NVIDIA et Hugging Face annoncent l'intégration d'Isaac GR00T 1.7 et du framework Isaac TeleOp dans LeRobot, la bibliothèque open-source de robotique de Hugging Face. Isaac GR00T 1.7 est présenté comme le premier modèle de fondation robotique open-source et commercialement exploitable, une architecture vision-langage-action (VLA) permettant de post-entraîner et déployer des politiques de contrôle sur des robots humanoïdes réels. Isaac TeleOp est un framework de collecte de données par téléopération, qui capture des démonstrations humaines depuis des dispositifs externes dans des formats standardisés et interopérables, facilitant le partage de jeux de données au sein de la communauté. Les deux entreprises annoncent également l'arrivée prochaine de NVIDIA Cosmos 3, un modèle de monde frontière pour l'IA physique, sans donner de date précise. LeRobot compte déjà plus de 15 millions de téléchargements pour son jeu de données ouvert, qui regroupe plus de 350 000 trajectoires réelles et simulées ainsi que 57 millions de préhensions ("grasps"), en complément des frameworks de simulation Isaac Sim et Isaac Lab, dont Isaac Lab-Arena, désormais référencé dans le LeRobot Environment Hub. Cette annonce illustre la tentative de NVIDIA de reproduire, dans la robotique, la dynamique qui a fait le succès de l'IA générative open-source: mutualiser modèles, données et outils pour accélérer l'innovation collective plutôt que de la laisser fragmentée entre acteurs isolés. Pour les intégrateurs et développeurs robotique, l'enjeu concret est l'accès à un pipeline standardisé bout-en-bout, de la collecte de données jusqu'au déploiement, sans avoir à recomposer des briques propriétaires coûteuses. Le rapprochement entre les 3 millions de développeurs robotique de NVIDIA et les 16 millions d'utilisateurs IA de Hugging Face vise à fluidifier le passage entre recherche en IA générale et applications physiques. Toutefois, l'ampleur réelle de l'adoption d'Isaac GR00T 1.7 sur des déploiements industriels reste à démontrer: l'annonce reste pour l'instant centrée sur la disponibilité des outils et des frameworks, pas sur des cas d'usage chiffrés en production, et la mention de Cosmos 3 relève encore de la feuille de route plutôt que d'un produit livré. Ce partenariat s'inscrit dans la continuité de la stratégie NVIDIA autour de sa plateforme Isaac dédiée à la robotique et à l'IA physique, engagée depuis plusieurs années à travers Isaac Sim et Isaac Lab pour la simulation, puis étendue à des modèles de fondation comme GR00T. Hugging Face, de son côté, a positionné LeRobot comme l'équivalent robotique de ses bibliothèques Transformers pour le NLP, avec pour ambition de devenir le hub de référence pour les datasets et modèles robotiques ouverts. Sur le plan concurrentiel, cette annonce se situe face aux approches propriétaires de modèles VLA développés par d'autres laboratoires, à l'image de Pi-0 (Physical Intelligence) ou GR00T N2 concurrencés indirectement par des architectures fermées comme Helix (Figure AI). Thomas Wolf, cofondateur et directeur scientifique de Hugging Face, présente cette intégration comme une étape pour ancrer un cycle collaboratif ouvert dans la robotique, avec Cosmos 3 comme prochaine brique pour générer et simuler des données lorsque la collecte réelle est trop coûteuse ou limitée.

Exclusif : une startup issue de Tsinghua lève plusieurs centaines de millions de yuans, sans vouloir de l'étiquette « modèle du monde »

La startup chinoise Liqing Zhineng (厘清智能, "Clarity Intelligence"), fondée en avril 2026 à Pékin, a bouclé un tour d'amorçage de plusieurs centaines de millions de yuans (soit plusieurs dizaines de millions d'euros), révélé début juillet par le média chinois Zhinen Yongxian. Le tour réunit Shunwei Capital, Sequoia Chine, Hillhouse Ventures, FreeS Fund, Xinglian Capital, le fonds d'amorçage des alumni de Tsinghua, SEE Fund, ainsi que des investisseurs industriels comme AgiBot (智元机器人), Linker Hand (灵心巧手) et Century Golden Resources. L'équipe, adossée au laboratoire de Li Yiming, professeur assistant à l'école d'intelligence artificielle de Tsinghua et ancien chercheur Vision & Robotics chez Nvidia (bourse Nvidia 2024, dix lauréats dans le monde), compte une cinquantaine de membres d'une moyenne d'âge de 23 ans. Le produit central est une infrastructure baptisée "Physical AI Infra", construite autour de deux briques maison : un pipeline de collecte de données visant à passer de la centaine de milliers d'heures habituelle du secteur à plusieurs millions, voire dizaines de millions d'heures, via notamment des gants tactiles propriétaires dont le coût unitaire est ramené du niveau du dollar à celui du yuan ; et un moteur physique différentiable permettant une boucle "réel vers simulation vers réel", capable de modéliser des matériaux complexes (fluides, corps mous, déformations élastoplastiques). L'ensemble cible des gestes fins comme couper, visser, brancher, mélanger, presser ou enfiler, avec un objectif de portabilité entre différentes mains articulées et bras robotiques, pour des usages en usine, retail, hôtellerie, restauration et assistance médicale. Le positionnement de Li Yiming tranche avec l'engouement actuel pour les "world models" (modèles du monde), qu'il juge être la notion la plus galvaudée de 2026, tant les acteurs vidéo, 3D ou VLA (vision-langage-action) s'en réclament dès qu'ils touchent à la simulation physique. Sa thèse : le modèle du monde n'est qu'un composant technique parmi d'autres, sans valeur isolé du reste de la chaîne (données, matériel, déploiement) ; ce qui compte, c'est un système capable de généraliser à travers robots et scénarios. Il affirme ainsi pouvoir entraîner des politiques avec environ 1% du volume de données réelles habituellement nécessaire, en calibrant les transitions d'état du modèle de monde sur un petit échantillon de données réelles puis en laissant le robot s'entraîner par renforcement en simulation, l'exemple cité étant l'apprentissage de la découpe d'une pomme sans détruire des centaines d'exemplaires. Ces chiffres, avancés par le fondateur lui-même sans validation indépendante, restent à confirmer sur des déploiements réels plutôt que sur des démonstrations internes. Le parcours de Li Yiming inclut un doctorat à NYU avec des travaux co-signés avec Saining Xie (cofondateur et chercheur en chef d'AMI Labs), ainsi que plusieurs publications distinguées à CVPR et NeurIPS en collaboration avec Nvidia. La feuille de route affichée prévoit la sortie d'un modèle du monde généralisable à plusieurs scénarios B2B d'ici fin 2026, puis un passage à l'échelle commerciale visé pour 2028, avec pour ambition de livrer aux clients une solution matériel-logiciel intégrée plutôt qu'un simple modèle. Ce pari sur une intégration verticale complète, de la collecte de données au moteur physique en passant par le matériel de capture, reste rare en Chine où la plupart des équipes de robotique physique se concentrent sur un seul maillon de la chaîne ; il positionne Liqing Zhineng en concurrence indirecte avec les autres poids lourds chinois de l'IA incarnée comme AgiBot, qui figure aussi parmi ses investisseurs.

Apprentissage de dynamiques transférables : des modèles d'action aux modèles du monde

Des chercheurs ont publié en juin 2026 un préprint arXiv (2606.29501) décrivant A2World, un modèle de monde diffusion multi-vues conditionné par les actions, pré-entraîné sur de larges volumes de données de manipulation robotique avec annotations d'actions réelles. L'idée centrale est que prédire comment une action modifie visuellement une scène, plutôt que simplement générer des vidéos plausibles, force le modèle à capturer des dynamiques d'interaction réutilisables. Ce pré-entraînement produit ce que les auteurs appellent des "priors de dynamiques transférables". À partir des mêmes poids pré-entraînés, deux variantes sont dérivées : A2World-sim, adapté en simulateur spécialisé par tâche ou environnement, et A2World-policy, un modèle de prédiction jointe vidéo-action conditionné par des instructions visuelles. Les expériences sont validées sur des benchmarks de simulation et en conditions réelles, sans que les auteurs ne publient de métriques quantitatives précises dans le résumé. L'enjeu concret pour les équipes de robotique industrielle est le coût des données de rollout réel : A2World-sim vise à remplacer les passages physiques sur robot par des déroulements dans le modèle de monde, permettant une évaluation de politique à grande échelle et des analyses contrefactuelles ("que se passerait-il si...") sans mobiliser de hardware. C'est le noeud dur du problème sim-to-real : les simulateurs classiques (Isaac Sim, MuJoCo) échouent sur la fidélité visuelle et de contact, tandis qu'un modèle de monde appris sur des données réelles devrait, en théorie, hériter de la physique implicite du monde réel. A2World-policy s'inscrit dans la lignée des VLA (Vision-Language-Action models) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, en conditionnant la prédiction d'action sur le flux visuel et des instructions en langage naturel. Il s'agit toutefois d'un préprint non revu par les pairs, et les métriques présentées (benchmarks de simulation) restent à confirmer sur des déploiements réels à l'échelle. Ce travail s'inscrit dans une dynamique de recherche active sur les modèles de monde pour la robotique, portée depuis 2023-2024 par des approches comme UniSim (Google), RoboDreamer, ou Genie, qui toutes cherchent à découpler l'apprentissage de politique du coût de la collecte de données physiques. Physical Intelligence (pi-0, pi-0.5), Figure AI (Figure 02/03) et 1X Technologies misent sur des architectures VLA similaires pour la généralisation multi-tâches. La contribution spécifique d'A2World est de partager les poids pré-entraînés entre le simulateur et le modèle de politique, plutôt que de les traiter comme deux systèmes distincts. Les prochaines étapes attendues dans ce type de travaux sont la publication de benchmarks ouverts, une comparaison directe contre des rollouts réels, et, pour les acteurs industriels, la question de savoir si ces approches tiennent sur des environnements non structurés hors laboratoire.

Modélisation du monde en contexte pour le contrôle robotique

Des chercheurs ont publié le 25 juin 2026 un preprint arXiv (2606.26025) présentant ICWM (In-Context World Modeling), un cadre d'adaptation pour les modèles Vision-Language-Action (VLA) appliqués à la robotique. Les VLA actuels échouent dès que le contexte d'exécution change - angle de caméra différent, morphologie de robot modifiée - parce qu'ils supposent un contexte fixe, celui rencontré pendant l'entraînement, et nécessitent un fine-tuning intensif en données pour toute nouvelle configuration. ICWM traite l'identification du système comme un problème d'adaptation en contexte : avant d'exécuter une tâche, le robot génère de courtes interactions autonomes agnostiques à la tâche, dont l'historique est injecté dans la fenêtre de contexte du modèle. Celui-ci infère ainsi implicitement la dynamique du système courant - position de caméra, configuration mécanique - sans mise à jour de poids. Les expériences menées en simulation et sur plateformes réelles montrent que ICWM surpasse significativement les baselines VLA standards sur des configurations de caméra inédites. La généralisation des VLA est le verrou principal qui freine le déploiement industriel de la robotique généraliste. Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA et les modèles Google nécessitent tous du fine-tuning dès qu'on change la disposition d'une caméra ou la morphologie d'un robot, ce qui rend les pilotes industriels coûteux et longs à mettre en place. ICWM attaque ce problème sans modifier les poids du modèle : l'adaptation passe uniquement par le contexte, à l'image de ce que l'In-Context Learning a apporté aux LLMs. Pour un intégrateur ou un COO industriel, cela signifie potentiellement déployer un même modèle sur plusieurs lignes avec des géométries de capteurs différentes, sans pipeline de re-entraînement. La contribution est conceptuellement distincte : là où l'ICL classique spécifie quelle tâche effectuer, ICWM apprend comment le système fonctionne - une couche d'adaptation complémentaire aux approches existantes. Les modèles VLA ont connu une explosion depuis 2024 : RT-2 (Google DeepMind), Pi-0 de Physical Intelligence, GR00T N2 d'NVIDIA présenté à GTC 2025, et plus récemment Helix (Figure AI) illustrent la convergence entre fondations LLM et contrôle moteur. La fragilité aux variations contextuelles - ce qu'on appelle le "demo-to-deployment gap" - reste une critique récurrente formulée notamment par des acteurs européens comme Enchanted Tools ou Wandercraft, qui misent sur des architectures plus déterministes pour des environnements industriels contraints. ICWM s'inscrit dans une tendance plus large : importer les paradigmes d'adaptation du machine learning directement dans la boucle de contrôle robotique, sans passer par un cycle de collecte de données et de re-entraînement. Le preprint ne mentionne ni partenariat industriel, ni code open-source, ni dataset public : il s'agit d'une contribution de recherche pure, sans déploiement commercial annoncé à ce stade.

💬 Le vrai frein au déploiement robotique industriel, ce n'est pas la performance brute des VLA, c'est que la moindre caméra déplacée oblige à relancer un fine-tuning complet. ICWM importe dans la boucle de contrôle la même logique qui a rendu les LLMs flexibles, et si ça tient, c'est un changement de calcul économique pour les intégrateurs européens qui tentent des pilotes. Bon, pour l'instant c'est un preprint sans code ni partenaire industriel, donc on verra.

RoDyn : apprivoiser un modèle du monde 2.5D interactif pour la manipulation robotique

Des chercheurs ont publié sur arXiv (identifiant 2510.09036, seconde version) RoDyn, un modèle de monde 2.5D destiné à la manipulation robotique. L'architecture repose sur un espace latent géométriquement conscient plutôt que sur des flux vidéo 2D bruts. Son composant central, le Robot-Dynamic Tokenizer, couple les représentations visuelles sémantiques avec des informations spatiales et centrées sur l'agent via un mécanisme de cross-attention dominé par le canal RGB, complété d'un guidage par masque dynamique. Une architecture autorégressi guidée par ces masques oriente ensuite le modèle vers les zones d'interaction active entre le robot et les objets manipulés. Sur des jeux de données à grande échelle, RoDyn atteint l'état de l'art en fidélité de génération et affiche, point le plus saillant, une amélioration de 42% du taux de réussite en imitation learning dans le monde réel par rapport aux baselines purement 2D. Ce gain de 42% doit être lu avec soin: il est mesuré contre des modèles 2D, non contre d'autres approches 2.5D ou 3D, ce qui circonscrit la portée de la comparaison. Il illustre néanmoins un problème structurel bien documenté: les modèles vidéo 2D, aussi convaincants visuellement, ne capturent pas la géométrie ni la cinématique indispensables aux interactions physiques précises. En introduisant une représentation intermédiaire 2.5D, soit une profondeur estimée sans reconstruction 3D complète et coûteuse, RoDyn tente de combler ce fossé à moindre coût computationnel. Pour les équipes R&D en manipulation industrielle, l'intérêt concret réside dans l'accélération du reinforcement learning model-based (MBRL), qui réduit potentiellement le nombre d'interactions physiques requises à l'entraînement, et dans une meilleure généralisation aux objets non vus en simulation. Le champ des modèles de monde pour la robotique s'est densifié depuis 2023, porté par Dreamer (DeepMind), UniSim, et plus récemment les architectures VLA comme Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA). RoDyn occupe une niche spécifique: la simulation neuronale pour la manipulation de précision, avec un compromis géométrique explicite entre vidéo pure et reconstruction 3D complète. Cette publication reste à ce stade purement académique, sans annonce de déploiement commercial ni partenariat industriel mentionné. Les suites naturelles concerneront des tâches de manipulation plus exigeantes (assemblage fin, dépose contrainte) et une éventuelle intégration dans des pipelines VLA existants. Aucun acteur français ou européen n'est impliqué dans ces travaux.

Modèles du monde pour la manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.24742) un modèle généraliste de valeur pour la manipulation robotique, le WVM (World Value Model). La proposition centrale consiste à substituer les backbones VLM (Vision-Language Model) habituellement utilisés par un modèle de monde, nativement mieux adapté à la modélisation temporelle nécessaire pour évaluer la progression d'une tâche. Sur les benchmarks standards, WVM atteint les meilleures performances connues en Value-Order Correlation (VOC), la métrique de référence pour les modèles de valeur robotiques. L'équipe introduit également Suboptimal-Value-Bench, un benchmark multi-embodiment composé de 800 trajectoires sous-optimales annotées frame par frame par des humains, comblant un angle mort des évaluations existantes qui ne contenaient que des données expertes. L'enjeu est directement opérationnel pour quiconque entraîne des systèmes de manipulation à grande échelle : les données collectées en conditions réelles sont rarement uniformément expertes. Un modèle de valeur précis permet de pondérer ou filtrer ces trajectoires hétérogènes, améliorant la qualité de l'entraînement sans nettoyage manuel coûteux. WVM démontre des gains de performance sur plusieurs approches d'extraction de politique, en simulation comme en déploiement réel, ce qui renforce la thèse que l'estimation de valeur est un composant orthogonal et complémentaire au choix d'architecture de politique. La robustesse maintenue sur données sous-optimales est l'aspect le plus significatif : c'est précisément dans ce régime que les VLMs classiques décrochent, leurs préentraînements sur observations visuelles statiques ne suffisant pas à capturer les dynamiques temporelles longues. La montée en puissance des VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA a rendu critique la question de la qualité des données d'entraînement à grande échelle. L'approche WVM s'inscrit dans une tendance émergente qui consiste à spécialiser les composants : un backbone temporel dédié pour l'évaluation de la valeur, distinct du modèle d'action. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans cet article purement académique. Les prochaines étapes naturelles incluent l'intégration du WVM dans des pipelines d'imitation à grande échelle ou en combinaison avec du reinforcement learning offline (IQL, CQL), et une extension à des environnements multi-tâches plus complexes.

Des milliards investis dans l'IA incarnée, mais le déploiement en usine reste hors de portée

Au premier semestre 2026, le secteur chinois de la robotique embodied AI a absorbé 46 milliards de yuans (environ 6,2 milliards d'euros) répartis sur 288 opérations de financement impliquant 226 entreprises, selon les données d'IT Juzi. La concentration est massive : les cinq premiers acteurs (Qianxun Intelligence, Xiwang Sunrise, Xinghaitu, Zibianliang Robot et Jijia Vision) ont capté 17,1 milliards de yuans, soit 37 % du total, et le top 20 emporte 70 % des fonds. Qianxun Intelligence seule a levé 4,5 milliards de yuans en quatre tours en quatre mois. Le profil des investisseurs change : les grandes rondes au-dessus du milliard de yuans sont désormais pilotées à plus de 40 % par des industriels et des entités publiques (Baidu, ByteDance, Xiaomi, Meituan, SAIC, fonds gouvernementaux), le capital d'État participant à 42 % des transactions à plusieurs centaines de millions. Ce flux d'argent masque un écart criant entre vitrine et déploiement réel. Le cas Daluo est emblématique : valorisée à plus de 20 milliards de yuans, ayant levé 5,4 milliards, la société n'a vendu que 1,4 million de yuans de produits sur les sept premiers mois de 2025 tout en enregistrant 84,25 millions de pertes nettes. La cause structurelle identifiée par le secteur est le manque de données d'interaction physique de qualité : on estime à 500 000 heures seulement le volume mondial de données réelles utilisables pour entraîner des robots, contre des milliards de tokens texte pour les LLM. Les réponses sont proportionnelles : Xinghaitu a lancé une campagne "un million d'heures" à Yizhuang, Qianxun Intelligence a déployé 300 000 points de collecte à l'échelle nationale, JD.com vise 10 millions d'heures sous deux ans. Les résultats restent modestes : un responsable algorithmique a reconnu que des dizaines de millions de yuans investis pour collecter 100 000 heures n'avaient amélioré la capacité des modèles que de 5 %. Le secteur reste en phase de recherche appliquée, loin d'une industrialisation. L'état de l'art interne, estimé sur 100 points par un praticien du domaine, place les bras industriels à 50, les châssis à roues à 40, les quadrupèdes à 30, les humanoïdes bipèdes à 15, les mains dextères à 5, et l'IA embarquée de support à 3. Les approches VLA (Vision-Language-Action) et World Model convergent techniquement mais sans consensus sur la feuille de route. Les acteurs occidentaux comme Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) font face aux mêmes verrous de sim-to-real et de données, mais le déploiement à l'échelle usine reste introuvable partout. Malgré l'étiquette "année de la production de masse" accolée à 2026, aucun robot polyvalent fiable ne s'est encore imposé commercialement dans des environnements industriels non contrôlés.

DREAM-Chunk : regroupement d'actions réactif avec modèle du monde latent

DREAM-Chunk (arXiv:2606.18589, juin 2026) est une méthode d'inférence conçue pour corriger une fragilité structurelle des modèles vision-language-action (VLA) : l'exécution en boucle ouverte lors de l'action chunking. Ce paradigme, devenu standard dans les VLA actuels, consiste à inférer à basse fréquence un bloc d'actions (un "chunk") que le robot exécute séquentiellement à haute fréquence, sans rétroaction intermédiaire. Dès qu'un chunk est lancé, le robot le suit à l'aveugle, vulnérable aux perturbations dynamiques, aux erreurs matérielles et à l'observabilité partielle. DREAM-Chunk adresse ce problème sans modifier ni réentraîner la politique sous-jacente : à l'inférence, il génère plusieurs chunks candidats, simule leurs trajectoires dans un espace latent via un world model léger, et sélectionne celui dont l'état prédit correspond le mieux à l'observation réelle. La méthode est validée sur le benchmark Kinetix et sur quatre tâches de manipulation couvrant deux plateformes robotiques et deux architectures VLA distinctes. L'intérêt pratique est direct pour les intégrateurs industriels qui déploient des VLA pré-entraînés sans accès au pipeline d'entraînement : DREAM-Chunk s'insère comme une couche plug-and-play, sans fine-tuning requis. La méthode s'inscrit dans la tendance du test-time compute scaling, bien établie côté LLM mais encore naissante en robotique physique, où dépenser davantage de calcul à l'inférence peut compenser les limites d'un modèle sans passer par un nouveau cycle d'entraînement coûteux. Les résultats montrent que les gains augmentent avec le nombre de chunks candidats échantillonnés, et que l'avantage est particulièrement marqué lorsque les démonstrations contiennent des comportements correctifs, ce qui soulève une question pratique sur la composition des datasets de démo. Les world models latents en robotique ont une longue tradition (DREAMER, TD-MPC2, DreamerV3), mais leur couplage avec des VLA basés sur le chunking reste récent. Physical Intelligence avec pi-0, Figure AI et des équipes de Stanford, CMU et Berkeley explorent simultanément comment améliorer la robustesse en déploiement sans réentraînement complet. DREAM-Chunk se distingue par son caractère agnostique au modèle sous-jacent, ce qui facilite son adoption sur des architectures hétérogènes. La prochaine étape logique serait une validation sur des plateformes commerciales à manipulation dextre (Fourier GR1, Unitree G1) et des tâches à dynamiques hautement stochastiques comme l'assemblage de précision. Le papier ne mentionne ni partenaires industriels ni pilotes commerciaux annoncés.

💬 Le test-time compute scaling arrive enfin en robotique physique, et DREAM-Chunk en est un premier signal propre : générer des trajectoires candidates, simuler dans un espace latent, choisir la meilleure, sans toucher au modèle sous-jacent. Le chunking en boucle ouverte, c'est le point faible silencieux de tous les VLA actuels (ça marche dans 80% des cas, alors on n'en parle pas trop). Pour les intégrateurs qui déploient sans accès au pipeline d'entraînement, une couche qui corrige à l'inférence sans réentraîner, c'est la pièce manquante.

Mem-World : modèles du monde conditionnés par l'action et augmentés par la mémoire pour la manipulation robotique persistante

Des chercheurs ont publié Mem-World sur arXiv (réf. 2606.18960, juin 2026), un modèle du monde multi-vues augmenté par mémoire pour la manipulation robotique. Le problème adressé est fondamental aux modèles du monde conditionnés par l'action (action-conditioned world models) : lors d'une tâche de manipulation, l'effecteur terminal occulte fréquemment la scène, et les mouvements rapides de la caméra embarquée au poignet rendent l'observation courante insuffisante pour prédire les vues futures, poussant les modèles à halluciner ou oublier des détails observés antérieurement. L'innovation centrale est W-VMem, une mémoire indicée par surfels (éléments de surface 3D) en 4D, centrée sur la vue poignet, qui ancre les observations historiques à des éléments de surface évoluant dans le temps. Cette structure permet une récupération de contexte conditionnée sur les actions futures et consciente de la géométrie de scène, via rendu et scoring basés sur les surfels. Sur les tâches de long horizon, le taux de réussite progresse de 58 % à 72 % grâce à la génération de données synthétiques, et la corrélation de Pearson entre évaluations simulées et performances réelles s'améliore de 14,5 % par rapport à Ctrl-World, le modèle de référence. Ce gain en corrélation est directement actionnable pour les équipes robotique : il indique qu'on peut davantage faire confiance aux rollouts simulés pour prédire le comportement réel d'une politique, réduisant la dépendance aux expérimentations physiques coûteuses. L'hallucination de scène était jusqu'ici un verrou majeur à l'utilisation des world models pour l'entraînement de politiques dextres ; en séparant explicitement quand et où chaque élément a été observé, W-VMem produit un contexte historique non-redondant et pertinent. Il convient toutefois de noter que les scénarios de test et les métriques d'évaluation ne sont pas détaillés dans le résumé disponible, ce qui limite l'interprétation directe des chiffres annoncés. Les world models conditionnés par l'action sont apparus d'abord en jeu vidéo et conduite autonome (DreamerV3, GAIA-1) avant d'être adaptés à la manipulation, domaine plus exigeant en raison des occlusions proches et de la dynamique de caméra embarquée. Ctrl-World est la référence directe contre laquelle Mem-World se positionne. Cette publication reste un preprint, non encore évalué par des pairs, sans partenaire industriel ni timeline de déploiement annoncé. Les suites naturelles incluent une évaluation sur des benchmarks standardisés comme RLBench et une intégration dans des pipelines de modèles Visual Language Action (VLA), où la cohérence temporelle des rollouts est un prérequis à l'entraînement à grande échelle.

Alibaba et ByteDance redoublent d'efforts sur l'IA incarnée : l'apport des géants d'internet à la robotique

Le 16 juin 2026, Alibaba a lancé Qwen-Robot, sa première famille complète de modèles d'IA incarnée intégrée à la série Qwen. Elle regroupe trois composants distincts : Qwen-RobotManip pour la manipulation physique, Qwen-RobotNav pour la navigation autonome, et Qwen-RobotWorld comme modèle de monde, c'est-à-dire un moteur de raisonnement contextuel sur l'environnement physique. Ces modules peuvent être déployés séparément ou en coordination, selon le type de robot ciblé. Le positionnement d'Alibaba est explicitement logiciel : l'entreprise ne vise pas à construire des corps robotiques, mais à fournir le "cerveau intelligent" à des fabricants tiers. Simultanément, ByteDance a réorganisé ses efforts en robotique incarnée en élevant Seed Robotics au rang de division stratégique principale, désormais sous la supervision de Zhou Chang, responsable multi-modal du groupe. ByteDance a déjà produit plus de 1 000 robots, majoritairement des robots mobiles à roues pour la logistique en entrepôt et en usine, et compte parmi ses clients externes SF Express et BYD Electronics. Ce double mouvement illustre un changement structurel dans la course aux humanoïdes et à la robotique généraliste : les géants de l'internet entrent dans le secteur non par la mécanique, mais par la donnée et l'intelligence. La valeur qu'ils apportent repose sur trois piliers. D'abord, leurs grands modèles de langage compressent le temps d'adaptation à de nouvelles tâches : là où un ingénieur robotique traditionnel passerait plusieurs semaines à reprogrammer un bras ou un AGV pour un nouveau scénario, une approche VLA (vision-language-action) peut réduire cette itération à quelques jours. Ensuite, leur infrastructure opérationnelle génère des données d'entraînement à une échelle inaccessible aux startups : le réseau de livraison instantanée de Meituan, les entrepôts de JD Logistics, les chaînes d'approvisionnement e-commerce de ByteDance accumulent chaque jour des millions d'interactions physiques réelles. Enfin, et c'est peut-être le facteur le plus sous-estimé, ces entreprises sont leurs propres premiers clients. JD a validé ses robots logistiques dans ses propres entrepôts "Asia No.1" avant de les commercialiser. ByteDance fait circuler ses AMR sur de vraies routes opérationnelles avant de les vendre. Ce raccourci entre laboratoire et déploiement à l'échelle est ce qui manque le plus aux startups hardware-first. Pour autant, les analystes du secteur rappellent que l'avantage logiciel ne dissout pas les contraintes physiques. Les composants critiques comme les actionneurs, les capteurs de force ou les joints à haute précision restent des goulots d'étranglement de supply chain qui ne s'effacent pas parce qu'un géant tech entre dans la pièce. Alibaba et ByteDance font face à une concurrence à deux niveaux : d'un côté les acteurs hardware-first américains comme Figure AI, 1X, Boston Dynamics ou Agility Robotics qui avancent en parallèle sur la couche IA ; de l'autre les constructeurs chinois comme Unitree ou Fourier Intelligence qui maîtrisent déjà la chaîne de fabrication. La prochaine étape pour évaluer ces annonces sera de mesurer si les modèles Qwen-Robot passent l'épreuve du déploiement industriel répété en dehors des environnements contrôlés d'Alibaba, ce qui reste à ce stade une démonstration en cours, pas un produit livré.

Alibaba dévoile Qwen-Robot : trois modèles fondation pour l'IA incarnée

Alibaba a publié mardi une suite robotique composée de trois modèles fondamentaux : Qwen-RobotNav, Qwen-RobotManip et Qwen-RobotWorld. Qwen-RobotNav étend les capacités vision-langage à la robotique mobile en unifiant quatre tâches au sein d'un même framework : suivi d'instructions, navigation orientée objectif, tracking de cible et conduite autonome. Qwen-RobotManip standardise l'espace état-action et représente le mouvement de l'effecteur terminal sous forme de poses incrémentielles dans le référentiel caméra, une approche conçue pour faciliter la généralisation multi-plateforme. Ce modèle a été entraîné sur plus de 38 100 heures de données entièrement open source. Qwen-RobotWorld, le troisième composant, fonctionne comme un world model généraliste : il prédit des états futurs physiquement cohérents via une interface en langage naturel, couvrant simultanément la navigation, la conduite et la manipulation depuis un seul modèle. L'approche modulaire mais unifiée est la proposition de valeur centrale de cette suite. Un world model unique opérant sur trois domaines d'action représente une architecture qui, si elle tient ses promesses en conditions réelles, réduirait significativement les coûts d'intégration pour les équipes robotiques industrielles. L'utilisation de données entièrement open source pour Qwen-RobotManip est un signal notable dans un secteur où les datasets propriétaires constituent souvent un avantage concurrentiel défensif : Alibaba positionne ainsi Qwen-Robot davantage comme une infrastructure partagée que comme un produit fermé. Réserve importante cependant : l'annonce ne s'accompagne d'aucun benchmark public (RLBench, LIBERO, CARLA) ni de déploiement physique documenté. Il s'agit d'une publication de modèles, pas d'un produit shipé. L'équipe Qwen d'Alibaba est reconnue pour ses modèles multimodaux (Qwen2.5-VL, QwQ), mais ce lancement marque son entrée explicite dans l'embodied AI. Le terrain est disputé : Google DeepMind pousse ses dérivés de RT-2, Physical Intelligence a publié Pi-0 et Pi-0.5, Hugging Face soutient l'initiative LeRobot, et NVIDIA propose GR00T N2 comme backbone pour les robots humanoïdes partenaires. Côté chinois, Unitree, Agibot et Zhiyuan Robot accélèrent eux aussi leurs pipelines VLA (vision-language-action). La prochaine étape pour Alibaba sera de démontrer des résultats sur des plateformes matérielles réelles ; faute de quoi, Qwen-Robot restera un framework académique parmi d'autres dans une course déjà très chargée.

Alibaba lance Qwen-Robot, sa première famille de modèles d'IA incarnée

Alibaba a publié mardi la suite Qwen-Robot, sa première famille de modèles d'IA incarnée, destinée à relier les grands modèles de langage à l'action robotique dans le monde physique. La suite comprend trois modèles : Qwen-RobotNav pour la navigation visuo-langagière, entraîné sur 15,6 millions d'échantillons en unifiant instruction following, navigation par cible et suivi d'objets ; Qwen-RobotManip pour la manipulation robotique via une architecture VLA (Visual Language Action) basée sur un backbone Qwen3.5-4B VL couplé à une tête de diffusion par flow matching, entraîné sur plus de 38 100 heures de données issues exclusivement de sources open source ; et Qwen-RobotWorld, un modèle de monde prédit des futurs physiquement cohérents pour la manipulation, la conduite et la navigation via une interface en langage naturel. La démonstration centrale met en scène un robot quadrupède Unitree Go2 sur hardware NVIDIA Jetson Thor, équipé d'une unique caméra basse résolution : sans cartographie préalable, il navigue dans un appartement inconnu en suivant des instructions verbales, avec une latence d'inférence de 196 millisecondes. Alibaba a également présenté Qwen-RobotClaw, un framework agent permettant aux modèles Qwen VLM d'appeler les outils Qwen-Robot pour gérer des tâches longues et la mémoire de contexte, et mis en open source Chat2Robot, une plateforme d'évaluation navigateur supportant Qwen-RobotManip sur 50 tâches via le dataset RoboTwin-Clean. Pour les intégrateurs et décideurs industriels, deux points méritent attention. L'entraînement de Qwen-RobotManip exclusivement sur des données open source est un choix architectural significatif : il abaisse les barrières de reproduction et contourne le verrou des données propriétaires qui bloque nombre d'acteurs du secteur. La latence de 196 ms sur Jetson Thor illustre la viabilité de l'inférence embarquée pour la navigation, même si cette performance a été mesurée dans un environnement contrôlé et non en production industrielle. La robustesse à grande échelle reste à démontrer : les vidéos présentées constituent une preuve de concept, pas un déploiement validé. L'architecture Qwen-RobotClaw adresserait un problème concret si elle tient ses promesses en production : la gestion de tâches multi-étapes sans reprogrammation manuelle, qui reste le verrou central de l'adoption robotique en environnements non structurés. Alibaba entre tardivement dans l'espace des modèles de fondation robotiques face à des acteurs déjà positionnés : Physical Intelligence (pi0, levée de 400 M$ en 2024), Figure AI (Figure 03, partenariat BMW), Google DeepMind et NVIDIA avec GR00T N2. En Chine, Unitree (fournisseur du Go2 de la démo), Zhiyuan Robot et Agibot développent leurs propres stacks logicielles embarquées. En Europe, Enchanted Tools et Pollen Robotics avancent sur des plateformes collaboratives, mais sans modèle VLA de cette envergure à ce stade. Les prochaines étapes annoncées incluent l'extension de Chat2Robot à de nouvelles plateformes et tâches robotiques, ainsi qu'une intégration commerciale potentielle via Alibaba Cloud.