IA physiquePandaily 16 septembre 2026

Xiaomi ouvre en open source son modèle du monde incarné Robotics-U0 et sa suite d'entraînement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Xiaomi a publié en open source Xiaomi-Robotics-U0, un modèle de monde incarné autorégressif qui traite la génération de contenu robotique comme une extension des modèles fondation image et vidéo, plutôt que comme un simple générateur de trajectoires. La version principale compte environ 38 milliards de paramètres, entraînée en continu pour l'intelligence incarnée ; une variante Xiaomi-Robotics-U0-4B et des déclinaisons FlashAR sont aussi publiées sur Hugging Face et ModelScope, avec code d'inférence, démos Gradio et scripts d'entraînement FSDP mis en ligne début septembre. Dans un seul cadre de prédiction de token, le modèle unifie génération texte-vers-image, édition d'image, synthèse de scènes multi-vues, transfert incarné contrôlable et déroulement de vidéo, en s'appuyant sur une tokenisation IBQ et des briques issues de Qwen3-32B et de la lignée EMU3.5. Le module d'inférence FlashAR+ remplace le décodage séquentiel token par token par une génération parallèle, couplée au batching vLLM, avec un gain revendiqué de 82,9 fois à près de 83 fois en génération 1024x1024, faisant chuter la latence d'un exemple type de 450,8 à 5,44 secondes, et un score EWMScore_P de 73,64 plaçant UNIS en tête du classement WorldArena.

Pour l'industrie robotique, cette ouverture d'un modèle de monde de cette taille change la donne pour les intégrateurs qui cherchent à générer des données synthétiques d'entraînement sans multiplier les collectes réelles : Xiaomi affiche une progression du taux de réussite sur des tâches d'interférence de 36,9% à 63,2% sous fonds et éclairages inédits, en mélangeant données de transfert de style et démonstrations réelles pour le post-entraînement de politiques de contrôle. Cela nourrit le débat sur la résolution du fossé simulation-réel et la viabilité des modèles vision-langage-action (VLA) à grande échelle. Les comparaisons revendiquées face à GPT-Image-2 reposent toutefois sur des jeux de test internes non vérifiés de façon indépendante, et les checkpoints vidéo restent en retard sur les versions image et transfert, ce qui invite à la prudence avant de considérer ces poids ouverts comme une usine à données prête à l'emploi pour des robots en production.

Cette publication s'inscrit dans la montée en puissance de Xiaomi sur la robotique incarnée, aux côtés d'acteurs comme Nvidia et son GR00T N2, Physical Intelligence et Pi-0, ou Figure et Helix, qui développent tous des modèles de fondation pour l'action robotique. En misant sur un modèle de monde génératif plutôt que sur une politique d'action directe, Xiaomi se positionne sur la brique amont de génération de données et de simulation, complémentaire des VLA de contrôle. Xiaomi invite lui-même les équipes à vérifier les termes de licence, le choix du moteur FlashAR et la reproductibilité des scores WorldArena par des tiers avant tout déploiement en production, signe que cette publication reste à ce stade un jeu d'outils de recherche plutôt qu'un produit clé en main pour l'industrie.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 World models

À lire aussi

1arXiv cs.RO

Xiaomi-Robotics-U0 : synthèse incarnée unifiée avec modèle fondation du monde

Xiaomi Robotics a publié U0, un modèle multimodal autorégressif de 38 milliards de paramètres conçu pour unifier plusieurs tâches de génération liées à la robotique au sein d'un seul système. Décrit dans un article déposé sur arXiv, U0 traite la synthèse de contenus "incarnés" comme une extension directe des modèles de génération d'images et de vidéos fondationnels, en optimisant conjointement le texte-vers-image, l'édition d'images, la génération de scènes incarnées, le transfert incarné et la génération vidéo incarnée. Selon les auteurs, il s'agit du premier modèle capable de générer des scènes cohérentes en multi-vues pour plusieurs types de robots différents, et il introduit un mécanisme de transfert structuré et contrôlable permettant une édition fine tout en préservant la cohérence géométrique et la dynamique d'interaction. Les résultats rapportés indiquent que U0 dépasse GPT-Image-2.0 lors d'évaluations humaines sur la génération et le transfert de scènes incarnées, se classe premier sur le classement World Arena pour la génération vidéo incarnée, et fait passer le taux de succès hors distribution du modèle de manipulation pi0.5 de 36,9% à 63,2% sur des tâches de manipulation réelle jugées difficiles. Le code et les checkpoints sont mis à disposition sur le site de Xiaomi Robotics. L'enjeu principal ne se situe pas dans la démonstration visuelle mais dans l'usage de U0 comme moteur de données synthétiques pour l'entraînement de politiques robotiques. Le gain mesuré sur pi0.5, un modèle vision-langage-action tiers développé par Physical Intelligence, est le point le plus significatif: il suggère qu'un monde fondationnel bien conçu peut générer des données d'entraînement suffisamment réalistes pour améliorer la généralisation d'un VLA existant sur des tâches de manipulation réelles, et pas seulement sur des métriques internes. C'est une piste concrète pour réduire l'écart simulation-vers-réel qui freine encore le déploiement à grande échelle des robots humanoïdes et bras manipulateurs, en offrant une alternative à la collecte coûteuse de données physiques. Le travail part d'un constat classique dans le secteur: adapter un modèle fondationnel pré-entraîné avec des données robotiques limitées tend à dégrader les connaissances visuelles acquises lors du pré-entraînement à grande échelle. U0 cherche à préserver cette généralisation tout en l'adaptant aux contraintes des embodiments robotiques. Il se positionne face à des approches comme GR00T N2 de NVIDIA ou les modèles Pi de Physical Intelligence, dans une course où Xiaomi investit désormais explicitement la recherche en IA incarnée. Pour l'instant, la publication reste au stade recherche: code et poids sont ouverts, mais aucun déploiement produit ni pilote industriel n'est annoncé.

IA physiqueOpinion

1 source

2TechNode

Xiaomi rend open source son modèle fondation pour l'IA incarnée, Xiaomi-Robotics-1

Xiaomi a annoncé le 5 août l'ouverture en open source de son modèle fondateur d'IA incarnée Xiaomi-Robotics-1, dévoilé en juillet comme solution « prête à l'emploi », en publiant le pipeline complet, du post-entraînement sur robot réel jusqu'au déploiement, avec le code des évaluations de référence. Le modèle a été pré-entraîné sur plus de 100 000 heures de données UMI puis post-entraîné sur plus de 10 000 heures de données cross-embodiment, collectées sur différentes plateformes robotiques. La publication comprend les liens vers le projet, le dépôt GitHub et la page Hugging Face. Cette ouverture s'inscrit dans la course aux modèles fondateurs pour la robotique, censés généraliser des compétences de manipulation sur plusieurs types de robots plutôt que nécessiter un modèle par plateforme, et elle abaisse la barrière d'entrée pour les laboratoires et intégrateurs qui veulent tester des politiques cross-embodiment sans constituer eux-mêmes des jeux de données à cette échelle. Ce choix de l'open source, plutôt qu'une simple démonstration produit, met à l'épreuve une promesse encore débattue dans le secteur : que les modèles génériques de manipulation passent réellement à l'échelle, au-delà des démonstrations sélectionnées. Le groupe chinois, connu pour son électronique grand public et ses véhicules électriques, avait déjà affiché ses ambitions robotiques avec l'humanoïde CyberOne dévoilé en 2022, et rejoint désormais la course aux modèles fondateurs, aux côtés d'autres laboratoires chinois et internationaux qui multiplient ce type d'annonces depuis un an. Il s'agit ici d'une brique logicielle mise à disposition de la communauté, sans calendrier de déploiement industriel précisé : la suite dépendra de l'adoption du modèle par des équipes tierces sur leurs propres robots, seul vrai test de sa capacité de généralisation au-delà des données d'entraînement de Xiaomi.

UELes laboratoires et intégrateurs européens peuvent librement tester ce modèle open source pour leurs propres robots, mais aucun déploiement ni partenariat français ou européen n'est mentionné.

IA physiqueActu

1 source

3Pandaily

ACE Robotics et NTU dévoilent Puffin-World, un modèle du monde multimodal open source

ACE Robotics et le S-Lab de l'Université technologique de Nanyang, avec des collaborateurs de l'Université Jiaotong de Pékin et de l'Université du Michigan, ont mis en open source Puffin-World, un modèle du monde multimodal unifié traitant physique, géométrie et apparence comme des états natifs d'un monde en trois dimensions. La publication inclut le code, les modèles et le jeu de données Puffin-16M, soit environ 15 millions de triplets vision-langage-caméra (Puffin-Cam-15M) et 1 million de trajectoires complexes couvrant tangage, lacet, roulis et mouvements composés en intérieur, extérieur, synthèse et conduite (Puffin-Traj-1M). L'équipe a aussi utilisé Puffin-World pour ajouter des étiquettes de pose caméra absolue à 28 jeux de données publics, soit environ 44,5 millions d'images publiées pour la recherche. Sur quatre benchmarks caméra-vers-monde (Stanford2D3D, MegaDepth, TartanAir, LaMAR), le modèle revendique des erreurs médianes état de l'art : sur Stanford2D3D, 0,29° de roulis, 0,53° de tangage et 1,62° de champ de vision vertical, avec un roulis sous le degré également en tête sur MegaDepth (0,28°), TartanAir (0,31°) et LaMAR (0,26°). L'architecture combine un encodeur visuel aligné sur la géométrie, un modèle de langage, un générateur par diffusion et un connecteur léger, permettant de partager compréhension, génération et reconstruction dans un seul cadre. Contrairement à la plupart des modèles du monde génératifs qui se contentent de prédire les pixels d'une image future, Puffin-World modélise conjointement un état physique sensible à la gravité, un état géométrique reconstruit par profondeur et un état d'apparence rendu en RGB, le tout relié par une représentation Omni-Camera fusionnant repères de caméra absolus et relatifs. Cette distinction compte pour les intégrateurs et laboratoires de robotique embarquée : à partir d'une seule image, le modèle estime roulis, tangage et champ de vision vertical absolus, et peut ensuite synthétiser des trajectoires en vue libre, reconstruire une géométrie dense et corriger en boucle fermée la dérive de gravité et de pose pendant qu'une caméra traverse une scène générée. C'est un pas vers des modèles du monde robot-ready, utilisables pour la perception et la simulation plutôt que pour la seule génération vidéo, et cela comble un manque identifié dans les corpus de caméra purement relatifs, incapables d'enseigner l'alignement sur la gravité. Les métriques avancées (erreurs sous le degré, PSNR et LPIPS en tête sur RealEstate10K) proviennent des propres benchmarks du projet et méritent d'être considérées avec la prudence habituelle réservée aux résultats auto-rapportés, en l'absence d'évaluation indépendante à ce stade. Le projet s'inscrit dans la course actuelle des laboratoires de recherche en robotique et vision par ordinateur à produire des modèles du monde capables de dépasser la simple prédiction de trame suivante, à l'image des efforts parallèles sur des modèles vision-langage-action comme Pi-0 ou GR00T N2 destinés au contrôle robotique. En publiant à la fois le code, les poids et un jeu de données massif de 16 millions d'échantillons annotés en pose absolue, ACE Robotics et NTU cherchent à positionner Puffin-World comme une brique de base réutilisable par la communauté, plutôt que comme un produit fermé. Le dépôt fournit un point de contrôle unique combinant perception de la physique de caméra, simulation de points de vue contrôlables et reconstruction 3D cohérente, sans modules de géométrie externes spécifiques à une tâche. Aucun calendrier de déploiement industriel, pilote client ou intégration matérielle n'a été communiqué à ce stade : il s'agit pour l'instant d'une contribution de recherche ouverte, dont l'adoption par des acteurs de la robotique embarquée dépendra des validations indépendantes à venir.

IA physiquePaper

1 source

4Pandaily

Robotique-U0 de Xiaomi : un modèle génératif incarné à 38 milliards de paramètres unifiant quatre tâches robotiques

Xiaomi a mis en open source Xiaomi-Robotics-U0, un modèle génératif embarqué multimodal autorégressif de 38 milliards de paramètres, code et poids disponibles sur GitHub, HuggingFace et ModelScope. L'entreprise chinoise le présente comme le premier modèle génératif unifié du secteur de l'IA embarquée capable de gérer simultanément quatre tâches robotiques distinctes : la génération de scènes multi-vues à partir de descriptions textuelles (établis, cuisines, entrepôts, environnements ouverts) pour un matériel robotique donné ; le transfert de trajectoires existantes vers de nouveaux environnements en modifiant éclairage, arrière-plan, matériaux ou objets cibles tout en conservant les poses du bras et la disposition de la scène ; la génération de vidéos d'interaction robotique prolongeant des observations initiales selon des instructions données, avec généralisation zero-shot à des scénarios inédits ; et des capacités classiques de génération et d'édition d'images texte-image. Sur le benchmark WorldArena, Xiaomi revendique le meilleur score parmi 126 modèles participants. Sur robot réel, en conditions hors distribution (éclairages et arrière-plans inconnus), le taux de réussite des tâches aurait progressé de 26 % en moyenne grâce à l'entraînement sur données augmentées par U0. L'architecture d'inférence UNIS annoncée accélérerait la génération d'environ 83 fois par rapport au paradigme autorégressif brut. Ces chiffres proviennent des communications de Xiaomi et n'ont pas fait l'objet de vérification indépendante à ce stade. L'enjeu dépasse la simple démonstration technique : la rareté des données réelles reste l'un des principaux goulots d'étranglement du développement de l'IA embarquée, et un modèle capable de générer ou d'augmenter des jeux de données synthétiques, y compris pour des scénarios dangereux ou rares physiquement inaccessibles, réduit potentiellement le coût de collecte terrain pour les intégrateurs et laboratoires. Pour les décideurs B2B et les équipes robotique, cela déplace une partie de l'effort d'ingénierie de la collecte physique vers la génération contrôlée de données, à condition que le gain de performance annoncé se vérifie hors du cadre contrôlé du fabricant. C'est aussi un signal de plus que les grands acteurs chinois de l'électronique grand public investissent lourdement la pile complète de l'IA embarquée, du matériel au modèle fondation. Cette sortie s'inscrit dans la continuité du déploiement d'usines robotisées par Xiaomi et positionne le groupe comme acteur intégré sur toute la chaîne : fabrication de robots, déploiement réel et recherche en modèles fondation. Elle intervient dans un paysage déjà occupé par Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix), où la course porte désormais autant sur la disponibilité de données d'entraînement à grande échelle que sur l'architecture des modèles eux-mêmes. Aucune feuille de route de déploiement commercial ni de partenariat industriel n'a pour l'instant été précisée au-delà de la publication open source du modèle.

IA physiqueActu

1 source