IA physiquePandaily 15 juillet 2026

Robotique-U0 de Xiaomi : un modèle génératif incarné à 38 milliards de paramètres unifiant quatre tâches robotiques

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Xiaomi a mis en open source Xiaomi-Robotics-U0, un modèle génératif embarqué multimodal autorégressif de 38 milliards de paramètres, code et poids disponibles sur GitHub, HuggingFace et ModelScope. L'entreprise chinoise le présente comme le premier modèle génératif unifié du secteur de l'IA embarquée capable de gérer simultanément quatre tâches robotiques distinctes : la génération de scènes multi-vues à partir de descriptions textuelles (établis, cuisines, entrepôts, environnements ouverts) pour un matériel robotique donné ; le transfert de trajectoires existantes vers de nouveaux environnements en modifiant éclairage, arrière-plan, matériaux ou objets cibles tout en conservant les poses du bras et la disposition de la scène ; la génération de vidéos d'interaction robotique prolongeant des observations initiales selon des instructions données, avec généralisation zero-shot à des scénarios inédits ; et des capacités classiques de génération et d'édition d'images texte-image. Sur le benchmark WorldArena, Xiaomi revendique le meilleur score parmi 126 modèles participants. Sur robot réel, en conditions hors distribution (éclairages et arrière-plans inconnus), le taux de réussite des tâches aurait progressé de 26 % en moyenne grâce à l'entraînement sur données augmentées par U0. L'architecture d'inférence UNIS annoncée accélérerait la génération d'environ 83 fois par rapport au paradigme autorégressif brut. Ces chiffres proviennent des communications de Xiaomi et n'ont pas fait l'objet de vérification indépendante à ce stade.

L'enjeu dépasse la simple démonstration technique : la rareté des données réelles reste l'un des principaux goulots d'étranglement du développement de l'IA embarquée, et un modèle capable de générer ou d'augmenter des jeux de données synthétiques, y compris pour des scénarios dangereux ou rares physiquement inaccessibles, réduit potentiellement le coût de collecte terrain pour les intégrateurs et laboratoires. Pour les décideurs B2B et les équipes robotique, cela déplace une partie de l'effort d'ingénierie de la collecte physique vers la génération contrôlée de données, à condition que le gain de performance annoncé se vérifie hors du cadre contrôlé du fabricant. C'est aussi un signal de plus que les grands acteurs chinois de l'électronique grand public investissent lourdement la pile complète de l'IA embarquée, du matériel au modèle fondation.

Cette sortie s'inscrit dans la continuité du déploiement d'usines robotisées par Xiaomi et positionne le groupe comme acteur intégré sur toute la chaîne : fabrication de robots, déploiement réel et recherche en modèles fondation. Elle intervient dans un paysage déjà occupé par Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix), où la course porte désormais autant sur la disponibilité de données d'entraînement à grande échelle que sur l'architecture des modèles eux-mêmes. Aucune feuille de route de déploiement commercial ni de partenariat industriel n'a pour l'instant été précisée au-delà de la publication open source du modèle.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Xiaomi-Robotics-U0 : synthèse incarnée unifiée avec modèle fondation du monde

Xiaomi Robotics a publié U0, un modèle multimodal autorégressif de 38 milliards de paramètres conçu pour unifier plusieurs tâches de génération liées à la robotique au sein d'un seul système. Décrit dans un article déposé sur arXiv, U0 traite la synthèse de contenus "incarnés" comme une extension directe des modèles de génération d'images et de vidéos fondationnels, en optimisant conjointement le texte-vers-image, l'édition d'images, la génération de scènes incarnées, le transfert incarné et la génération vidéo incarnée. Selon les auteurs, il s'agit du premier modèle capable de générer des scènes cohérentes en multi-vues pour plusieurs types de robots différents, et il introduit un mécanisme de transfert structuré et contrôlable permettant une édition fine tout en préservant la cohérence géométrique et la dynamique d'interaction. Les résultats rapportés indiquent que U0 dépasse GPT-Image-2.0 lors d'évaluations humaines sur la génération et le transfert de scènes incarnées, se classe premier sur le classement World Arena pour la génération vidéo incarnée, et fait passer le taux de succès hors distribution du modèle de manipulation pi0.5 de 36,9% à 63,2% sur des tâches de manipulation réelle jugées difficiles. Le code et les checkpoints sont mis à disposition sur le site de Xiaomi Robotics. L'enjeu principal ne se situe pas dans la démonstration visuelle mais dans l'usage de U0 comme moteur de données synthétiques pour l'entraînement de politiques robotiques. Le gain mesuré sur pi0.5, un modèle vision-langage-action tiers développé par Physical Intelligence, est le point le plus significatif: il suggère qu'un monde fondationnel bien conçu peut générer des données d'entraînement suffisamment réalistes pour améliorer la généralisation d'un VLA existant sur des tâches de manipulation réelles, et pas seulement sur des métriques internes. C'est une piste concrète pour réduire l'écart simulation-vers-réel qui freine encore le déploiement à grande échelle des robots humanoïdes et bras manipulateurs, en offrant une alternative à la collecte coûteuse de données physiques. Le travail part d'un constat classique dans le secteur: adapter un modèle fondationnel pré-entraîné avec des données robotiques limitées tend à dégrader les connaissances visuelles acquises lors du pré-entraînement à grande échelle. U0 cherche à préserver cette généralisation tout en l'adaptant aux contraintes des embodiments robotiques. Il se positionne face à des approches comme GR00T N2 de NVIDIA ou les modèles Pi de Physical Intelligence, dans une course où Xiaomi investit désormais explicitement la recherche en IA incarnée. Pour l'instant, la publication reste au stade recherche: code et poids sont ouverts, mais aucun déploiement produit ni pilote industriel n'est annoncé.

IA physiqueOpinion

1 source

2Pandaily

Xiaomi ouvre en open source son modèle du monde incarné Robotics-U0 et sa suite d'entraînement

Xiaomi a publié en open source Xiaomi-Robotics-U0, un modèle de monde incarné autorégressif qui traite la génération de contenu robotique comme une extension des modèles fondation image et vidéo, plutôt que comme un simple générateur de trajectoires. La version principale compte environ 38 milliards de paramètres, entraînée en continu pour l'intelligence incarnée ; une variante Xiaomi-Robotics-U0-4B et des déclinaisons FlashAR sont aussi publiées sur Hugging Face et ModelScope, avec code d'inférence, démos Gradio et scripts d'entraînement FSDP mis en ligne début septembre. Dans un seul cadre de prédiction de token, le modèle unifie génération texte-vers-image, édition d'image, synthèse de scènes multi-vues, transfert incarné contrôlable et déroulement de vidéo, en s'appuyant sur une tokenisation IBQ et des briques issues de Qwen3-32B et de la lignée EMU3.5. Le module d'inférence FlashAR+ remplace le décodage séquentiel token par token par une génération parallèle, couplée au batching vLLM, avec un gain revendiqué de 82,9 fois à près de 83 fois en génération 1024x1024, faisant chuter la latence d'un exemple type de 450,8 à 5,44 secondes, et un score EWMScore_P de 73,64 plaçant UNIS en tête du classement WorldArena. Pour l'industrie robotique, cette ouverture d'un modèle de monde de cette taille change la donne pour les intégrateurs qui cherchent à générer des données synthétiques d'entraînement sans multiplier les collectes réelles : Xiaomi affiche une progression du taux de réussite sur des tâches d'interférence de 36,9% à 63,2% sous fonds et éclairages inédits, en mélangeant données de transfert de style et démonstrations réelles pour le post-entraînement de politiques de contrôle. Cela nourrit le débat sur la résolution du fossé simulation-réel et la viabilité des modèles vision-langage-action (VLA) à grande échelle. Les comparaisons revendiquées face à GPT-Image-2 reposent toutefois sur des jeux de test internes non vérifiés de façon indépendante, et les checkpoints vidéo restent en retard sur les versions image et transfert, ce qui invite à la prudence avant de considérer ces poids ouverts comme une usine à données prête à l'emploi pour des robots en production. Cette publication s'inscrit dans la montée en puissance de Xiaomi sur la robotique incarnée, aux côtés d'acteurs comme Nvidia et son GR00T N2, Physical Intelligence et Pi-0, ou Figure et Helix, qui développent tous des modèles de fondation pour l'action robotique. En misant sur un modèle de monde génératif plutôt que sur une politique d'action directe, Xiaomi se positionne sur la brique amont de génération de données et de simulation, complémentaire des VLA de contrôle. Xiaomi invite lui-même les équipes à vérifier les termes de licence, le choix du moteur FlashAR et la reproductibilité des scores WorldArena par des tiers avant tout déploiement en production, signe que cette publication reste à ce stade un jeu d'outils de recherche plutôt qu'un produit clé en main pour l'industrie.

IA physiqueOpinion

1 source

3Pandaily

LingBot-Vision d'Ant Group : 12 premières mondiales, un modèle de 1,1 milliard de paramètres bat DINOv3 (7 milliards)

Ant Group, via sa division robotique LingBot, a dévoilé LingBot-Depth 2.0, un modèle de perception spatiale construit sur un nouveau modèle de vision baptisé LingBot-Vision, présenté comme le premier modèle de fondation vision nativement conçu pour la perception spatiale en IA incarnée. L'entreprise revendique douze résultats inédits sur des benchmarks publics et privés, une affirmation à prendre avec précaution puisqu'elle émane de son propre communiqué. Avec environ 1,1 milliard de paramètres, soit environ un septième des 7 milliards de DINOv3 de Meta, et moins d'un tiers de son volume d'entraînement, LingBot-Vision affirme surpasser DINOv3 sur le benchmark d'estimation de profondeur NYUv2. Le modèle cible trois défauts classiques de l'estimation de profondeur: le flou des contours, la détection des petits objets et le bruit sur les longues distances. LingBot-Depth 2.0 revendique une clarté de contours suffisante pour de la planification de trajectoire de bras robotique au millimètre près, une meilleure détection des câbles et fils fins, un filtrage du bruit pour les obstacles distants, et des cartes de profondeur stables face aux surfaces réfléchissantes, objets transparents, obscurité et environnements encombrés. Le modèle et son code sont disponibles en open source sur Hugging Face, ModelScope et GitHub, avec un rapport technique publié sur arXiv. Ant Group a aussi noué un partenariat avec ORBBEC, fabricant chinois de capteurs 3D, dont le laboratoire Depth Vision Lab a validé le modèle; la collaboration produit un nouveau dispositif de collecte EGO-RGBD, une intégration SDK pour le matériel ORBBEC, et une future caméra intégrée sans réglage algorithmique complexe. La sortie illustre un pari de plus en plus partagé en IA incarnée: les modèles de vision entraînés sur des images web généralistes, comme DINOv3, reconnaissent des objets mais ignorent leur géométrie précise, ce qui limite leur usage pour des robots devant saisir, éviter ou manipuler des objets réels. En intégrant la compréhension spatiale dès l'entraînement, LingBot-Vision s'attaque à l'écart entre perception "de spectateur" et perception "d'acteur", un enjeu central pour les modèles vision-langage-action qui pilotent bras robotiques et humanoïdes. Le passage du papier de recherche à un partenariat matériel concret avec ORBBEC, plutôt qu'une simple démonstration, est le signal le plus tangible pour les intégrateurs: un début de commercialisation réelle plutôt qu'un prototype isolé. Gérer nativement les cas difficiles, surfaces réfléchissantes, câblage fin, objets transparents, est précisément ce qui bloque aujourd'hui le déploiement en environnement réel non contrôlé. Ant Group, mieux connu pour Alipay, a multiplié ces derniers mois les investissements en robotique et IA incarnée via LingBot, dans un contexte de compétition intense entre laboratoires chinois et américains sur les modèles de fondation pour robots. La comparaison affichée avec DINOv3, modèle phare de Meta, positionne explicitement l'entreprise face aux géants américains sur la perception, pendant que d'autres acteurs, Figure AI avec Figure 03, Tesla avec Optimus, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2 ou Google DeepMind avec Helix, se concentrent davantage sur les modèles d'action et le contrôle moteur. LingBot-Vision se positionne ainsi comme une brique de perception complémentaire, potentiellement intégrable en amont de ces systèmes. Le partenariat avec ORBBEC laisse présager un déploiement progressif dans les prochains mois, avec l'arrivée annoncée d'une caméra grand public intégrant directement le traitement 3D, un jalon qui déterminera si les gains annoncés sur benchmarks se traduisent en performance réelle chez les intégrateurs industriels.

IA physiqueActu

1 source

4arXiv cs.RO

Efficient-WAM : un modèle monde-action de 1 milliard de paramètres à faible coût d'anticipation

Une équipe de recherche présente Efficient-WAM, un World-Action Model (WAM) d'un milliard de paramètres conçu pour la manipulation robotique en temps réel, dont les résultats sont publiés sur arXiv (2606.10040) en juin 2026. Les WAMs constituent une classe de modèles qui couplent la prédiction visuelle du futur avec la génération d'actions motrices : le robot "imagine" ce que va ressembler la scène dans quelques instants avant de décider quoi faire. Efficient-WAM ramène la latence d'inférence à environ 100 ms par chunk lors du déploiement physique, soit un gain de 30x par rapport aux WAMs existants. Pour y parvenir, trois leviers techniques sont combinés : un expert vidéo compact distillé depuis WAN-2.2-5B (modèle de génération vidéo à 5 milliards de paramètres), des représentations vidéo token-sparse, et un débruitage asymétrique qui alloue moins d'étapes d'échantillonnage à la branche vidéo qu'à la branche action. Les évaluations portent sur le benchmark RoboTwin 2.0 et des tâches de manipulation en conditions réelles. Le résultat central est contre-intuitif : Efficient-WAM maintient des performances d'action compétitives même si ses prédictions visuelles sont visiblement grossières, ce qui invalide l'hypothèse implicite que la fidélité photorealiste de l'imagination future est nécessaire au contrôle. Pour un intégrateur ou un responsable robotique, cela signifie que le goulot d'étranglement computationnel des WAMs n'est pas une fatalité architecturale mais un problème de design résolu ici par une re-priorisation : la vidéo future n'est plus un objectif visuel mais un signal de guidage compact pour la génération d'actions. À 100 ms par chunk, le modèle entre dans la fenêtre de faisabilité pour des boucles de contrôle sur manipulateurs industriels ou cobots, là où les WAMs précédents restaient confinés à la démonstration labo. Les WAMs s'inscrivent dans une compétition dense avec les Vision-Language-Action models (VLAs) comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA, qui traitent directement la génération d'actions sans passer par la prédiction vidéo explicite. L'argument des WAMs est que l'imagination du futur améliore la robustesse en dehors de la distribution d'entraînement, mais leur coût computationnel a jusqu'ici limité leur adoption. Efficient-WAM rééquilibre ce trade-off. La distillation depuis WAN-2.2-5B, un modèle de génération vidéo généraliste, suggère une stratégie de transfer learning inter-domaine qui pourrait s'étendre à d'autres architectures. Les prochaines étapes naturelles sont l'évaluation sur des plateformes humanoïdes complètes et des déploiements en environnements semi-structurés, deux dimensions absentes de ce papier.

IA physiqueActu

1 source