Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
IA physiquePandaily 

TaichuAI ouvre le code source de ZDTaichu5.0-9B, son modèle multimodal spatial

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

TaichuAI a mis en accès libre ZDTaichu5.0-9B, un modèle multimodal fondation d'environ 9 milliards de paramètres, annoncé le 15 septembre et repéré par TMTPost. L'architecture associe un backbone linguistique Qwen3.5-9B à un encodeur visuel C-RADIOv4-H, traite du texte, une ou plusieurs images ainsi que de la vidéo à toute résolution, et gère un contexte allant jusqu'à 128 000 tokens. Sur sa fiche modèle publique, TaichuAI revendique un rang de tête parmi les VLM généralistes de taille comparable (environ 10 milliards de paramètres), avec des scores notables sur des benchmarks spatiaux et incarnés : ViewSpatial 62,50, MMSI-Bench 47,20, MindCube-tiny 78,27, ERQA 48,00 et RoboSpatial 56,00. Sur les suites orientées agents et instructions, le modèle affiche 87,70 sur TAU2-Bench, 71,40 en moyenne générale sur Claw-Eval et 93,70 sur IFEval. La fiche technique décrit aussi un mécanisme de raisonnement récurrent adaptatif à seuil d'entropie, censé allouer davantage d'étapes de calcul aux tokens les plus complexes. Les poids sont disponibles sur Hugging Face sous licence NVIDIA Open Model, avec conservation des mentions Apache 2.0 héritées de Qwen3.5, et le déploiement s'appuie sur une branche personnalisée de vLLM 0.26.0 ainsi qu'une image Docker fournie par TaichuAI pour exposer des points d'accès compatibles OpenAI.

Pour les intégrateurs et chercheurs en IA incarnée, ce lancement fournit un artefact concret et réutilisable plutôt qu'une simple démonstration : un modèle open source de taille moyenne combinant perception spatiale, raisonnement multi-vues et planification de tâches, conçu pour nourrir des pipelines de type VLA (vision-langage-action) au-delà des seuls laboratoires fermés qui dominent ce segment. La couverture fonctionnelle annoncée (comptage dense, ordonnancement de profondeur, distinction égocentrique/allocentrique, planification d'affordances) touche directement aux briques nécessaires à la manipulation robotique et à la navigation. Toutefois, comme pour la plupart des fiches modèles publiées par leurs propres concepteurs, les scores doivent être considérés comme non vérifiés tant que des laboratoires tiers n'ont pas reproduit ces résultats dans des conditions de prompt et de jugement identiques ; l'écart entre performance annoncée et performance réelle reste un point de vigilance classique dans ce secteur.

ZDTaichu5.0-9B s'inscrit dans une vague de modèles multimodaux ouverts à vocation spatiale et incarnée, aux côtés d'efforts comme Pi-0 ou GR00T N2 portés par d'autres acteurs de la robotique générale. En misant sur un format relativement compact (9 milliards de paramètres) plutôt que sur des modèles massifs, TaichuAI cible une adoption plus large par des équipes de recherche disposant de ressources de calcul limitées. Aucune feuille de route de déploiement pilote ni de partenariat industriel n'est mentionnée à ce stade ; le modèle reste, pour l'instant, un artefact de recherche à évaluer plutôt qu'un produit commercial déployé sur le terrain.

Dans nos dossiers

IA physique & VLANVIDIA GR00TManipulation robotique

À lire aussi

Light Origins ouvre le code source de LightNav-0, son cerveau de navigation généraliste
1Pandaily 

Light Origins ouvre le code source de LightNav-0, son cerveau de navigation généraliste

Light Origins a publié en open source LightNav-0, un modèle de navigation généraliste compact bâti sur un socle Qwen3-VL-4B, avec poids, code, rapport technique et kit d'évaluation INSIGHT-Bench, sous licence Apache 2.0 (GitHub lightorigins/LightNav-0, Hugging Face LightOriginsHQ/LightNav-0). Le modèle partage une interface à token unique pour le suivi d'instructions, la navigation vers des objets en vocabulaire ouvert et le suivi visuel, sans têtes de prédiction dédiées par tâche. Son entraînement repose sur un pipeline Real2Sim2Real convertissant plus de 2000 scènes réelles glanées sur internet en simulateurs réutilisables, générant plus de 4000 heures de données vision-langage-action, avant trois phases d'apprentissage (pré-entraînement de raisonnement incarné, fine-tuning supervisé sur trajectoires alignées, puis renforcement en ligne) et une randomisation de la hauteur, du champ de vision et de l'inclinaison de caméra. Light Origins affirme que sa version monoculaire RGB arrive première parmi les méthodes à caméra unique sur dix bancs d'essai (VLN-CE, navigation d'objets sur Matterport3D/HM3D, HM3D-OVON, suivi EVT-Bench), tout en restant compétitive face aux systèmes panoramiques, via des tokens de pointage spatial et un tokenizer d'action à quantification vectorielle résiduelle générant des séquences de dix points de passage avec une erreur de reconstruction centimétrique selon les propres tests de l'équipe. Des démonstrations zero-shot transfèrent le même modèle sur des robots humanoïdes, quadrupèdes, à roues et aériens, en intérieur comme en extérieur, jusqu'au suivi dans une rue encombrée. Pour l'industrie robotique, l'intérêt ne tient pas tant au score de navigation qu'à la démonstration d'une boucle reproductible: scènes réelles vers simulation, puis retour vers des corps hétérogènes, ce qui pourrait réduire la dépendance à la téléopération pour collecter des données de navigation. La publication complète sous licence permissive tranche avec des modèles VLA plus fermés comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, et donne aux intégrateurs une base testable plutôt qu'une démonstration fermée. Le fait qu'un même checkpoint pilote sans réentraînement des humanoïdes, quadrupèdes, plateformes à roues et drones appuie l'idée qu'un cerveau de navigation générique et transférable entre morphologies est atteignable, hypothèse encore débattue dans le secteur. Il faut cependant nuancer les chiffres avancés: le classement sur dix bancs d'essai et l'erreur de reconstruction centimétrique proviennent des propres évaluations et ablations de Light Origins, sans validation indépendante rapportée, ce qui invite à traiter ces résultats comme des annonces à confirmer plutôt que des faits établis. LightNav-0 s'inscrit dans la vague des modèles vision-langage-action ouverts qui cherchent à concurrencer des systèmes propriétaires en misant sur la reproductibilité et l'adoption communautaire plutôt que sur la démonstration marketing. L'article ne mentionne aucun acteur français ou européen ni de partenariat de déploiement industriel; la comparaison implicite se fait avec des laboratoires et fabricants positionnés sur la navigation et la manipulation par VLA, tels que Physical Intelligence ou Nvidia. Aucun calendrier de pilote commercial n'est communiqué: les artefacts sont disponibles immédiatement, ouvrant la voie à des fine-tunings communautaires sur de nouvelles morphologies plutôt qu'à un déploiement annoncé chez un client.

IA physiqueOpinion
1 source
ACE Robotics et NTU dévoilent Puffin-World, un modèle du monde multimodal open source
2Pandaily 

ACE Robotics et NTU dévoilent Puffin-World, un modèle du monde multimodal open source

ACE Robotics et le S-Lab de l'Université technologique de Nanyang, avec des collaborateurs de l'Université Jiaotong de Pékin et de l'Université du Michigan, ont mis en open source Puffin-World, un modèle du monde multimodal unifié traitant physique, géométrie et apparence comme des états natifs d'un monde en trois dimensions. La publication inclut le code, les modèles et le jeu de données Puffin-16M, soit environ 15 millions de triplets vision-langage-caméra (Puffin-Cam-15M) et 1 million de trajectoires complexes couvrant tangage, lacet, roulis et mouvements composés en intérieur, extérieur, synthèse et conduite (Puffin-Traj-1M). L'équipe a aussi utilisé Puffin-World pour ajouter des étiquettes de pose caméra absolue à 28 jeux de données publics, soit environ 44,5 millions d'images publiées pour la recherche. Sur quatre benchmarks caméra-vers-monde (Stanford2D3D, MegaDepth, TartanAir, LaMAR), le modèle revendique des erreurs médianes état de l'art : sur Stanford2D3D, 0,29° de roulis, 0,53° de tangage et 1,62° de champ de vision vertical, avec un roulis sous le degré également en tête sur MegaDepth (0,28°), TartanAir (0,31°) et LaMAR (0,26°). L'architecture combine un encodeur visuel aligné sur la géométrie, un modèle de langage, un générateur par diffusion et un connecteur léger, permettant de partager compréhension, génération et reconstruction dans un seul cadre. Contrairement à la plupart des modèles du monde génératifs qui se contentent de prédire les pixels d'une image future, Puffin-World modélise conjointement un état physique sensible à la gravité, un état géométrique reconstruit par profondeur et un état d'apparence rendu en RGB, le tout relié par une représentation Omni-Camera fusionnant repères de caméra absolus et relatifs. Cette distinction compte pour les intégrateurs et laboratoires de robotique embarquée : à partir d'une seule image, le modèle estime roulis, tangage et champ de vision vertical absolus, et peut ensuite synthétiser des trajectoires en vue libre, reconstruire une géométrie dense et corriger en boucle fermée la dérive de gravité et de pose pendant qu'une caméra traverse une scène générée. C'est un pas vers des modèles du monde robot-ready, utilisables pour la perception et la simulation plutôt que pour la seule génération vidéo, et cela comble un manque identifié dans les corpus de caméra purement relatifs, incapables d'enseigner l'alignement sur la gravité. Les métriques avancées (erreurs sous le degré, PSNR et LPIPS en tête sur RealEstate10K) proviennent des propres benchmarks du projet et méritent d'être considérées avec la prudence habituelle réservée aux résultats auto-rapportés, en l'absence d'évaluation indépendante à ce stade. Le projet s'inscrit dans la course actuelle des laboratoires de recherche en robotique et vision par ordinateur à produire des modèles du monde capables de dépasser la simple prédiction de trame suivante, à l'image des efforts parallèles sur des modèles vision-langage-action comme Pi-0 ou GR00T N2 destinés au contrôle robotique. En publiant à la fois le code, les poids et un jeu de données massif de 16 millions d'échantillons annotés en pose absolue, ACE Robotics et NTU cherchent à positionner Puffin-World comme une brique de base réutilisable par la communauté, plutôt que comme un produit fermé. Le dépôt fournit un point de contrôle unique combinant perception de la physique de caméra, simulation de points de vue contrôlables et reconstruction 3D cohérente, sans modules de géométrie externes spécifiques à une tâche. Aucun calendrier de déploiement industriel, pilote client ou intégration matérielle n'a été communiqué à ce stade : il s'agit pour l'instant d'une contribution de recherche ouverte, dont l'adoption par des acteurs de la robotique embarquée dépendra des validations indépendantes à venir.

IA physiquePaper
1 source
Unitree ouvre la page du projet UnifoLM-WLA-1.0, son modèle fondation pour humanoïdes
3Pandaily 

Unitree ouvre la page du projet UnifoLM-WLA-1.0, son modèle fondation pour humanoïdes

Unitree a mis en ligne le 10 septembre la page projet de UnifoLM-WLA-1.0, un modèle de fondation vision-langage-action pour humanoïdes généralistes d'environ 6 milliards de paramètres. Un checkpoint unique, entraîné sur environ 2500 heures de données réelles collectées sur robot, coordonnerait 64 tâches réparties entre 10 mouvements impliquant tout le corps et 54 manipulations de table, avec compatibilité pinces à deux doigts et mains dextres à cinq doigts. Distinct de la précédente démonstration de combat UnifoLM-X2, ce modèle cible les tâches domestiques et de bureau courantes. L'architecture associe une modélisation du monde centrée sur l'interaction, un module de raisonnement incarné baptisé UnifoLM-ER-1 et bâti sur Qwen3-VL-4B (plus de 5 millions d'échantillons couvrant détection, trajectoires 2D, détection 3D et raisonnement spatial), une prédiction de zones dynamiques par flux optique compressée via un VQ-VAE, et un apprentissage d'actions discrètes par quantification vectorielle résiduelle alimentant un expert MMDiT. Sur seize bancs d'essai multimodaux, Unitree revendique la tête parmi les modèles ouverts sur sept d'entre eux, et un score supérieur au modèle propriétaire GPT-6 Astra sur des tests spatiaux comme Where2Place ou CV-Bench, illustré par des vidéos tournées sur robot G1 (plier du linge, faire un lit, ranger des chaussures, nettoyer une salle de bain). Cette annonce s'inscrit dans la course engagée autour des modèles de fondation pour humanoïdes, aux côtés de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, où l'enjeu est de faire tenir dans une seule politique la manipulation fine et la locomotion du corps entier. Sa portée pratique reste toutefois limitée à ce stade : la page projet promet un accès open source, mais code, poids et jeux de données affichent tous la mention "coming soon". Les vidéos de démonstration restent des séquences choisies par le fabricant, sans validation indépendante, et la comparaison à GPT-6 Astra provient d'une évaluation interne non vérifiée par un tiers. Pour les intégrateurs et décideurs industriels, le signal utile à ce jour est donc une feuille de route et une architecture documentées, pas encore un checkpoint prêt à déployer sur du matériel tiers. Unitree, fabricant chinois connu pour ses humanoïdes H1 et G1, avait déjà exposé UnifoLM-X2, une démonstration de sparring centrée sur la réactivité motrice plutôt que sur la polyvalence cognitive. UnifoLM-WLA-1.0 s'inscrit dans une compétition mondiale où Tesla avance avec Optimus Gen 3, Figure AI avec Figure 03 et son modèle Helix, et Nvidia avec GR00T N2, chacun cherchant à démontrer qu'un même modèle vision-langage-action peut généraliser à des dizaines de tâches ménagères ou industrielles sans réentraînement spécifique. Aucune date ferme n'a été communiquée pour la publication effective du code, des poids et des corpus d'entraînement (Unitree Open Datasets, BitRobot-HIW-500) annoncés comme open source. En attendant, chercheurs et intégrateurs devront se contenter du tableau de benchmarks et de la description architecturale publiés sur la page projet.

IA physiqueOpinion
1 source
Xiaomi ouvre en open source son modèle du monde incarné Robotics-U0 et sa suite d'entraînement
4Pandaily 

Xiaomi ouvre en open source son modèle du monde incarné Robotics-U0 et sa suite d'entraînement

Xiaomi a publié en open source Xiaomi-Robotics-U0, un modèle de monde incarné autorégressif qui traite la génération de contenu robotique comme une extension des modèles fondation image et vidéo, plutôt que comme un simple générateur de trajectoires. La version principale compte environ 38 milliards de paramètres, entraînée en continu pour l'intelligence incarnée ; une variante Xiaomi-Robotics-U0-4B et des déclinaisons FlashAR sont aussi publiées sur Hugging Face et ModelScope, avec code d'inférence, démos Gradio et scripts d'entraînement FSDP mis en ligne début septembre. Dans un seul cadre de prédiction de token, le modèle unifie génération texte-vers-image, édition d'image, synthèse de scènes multi-vues, transfert incarné contrôlable et déroulement de vidéo, en s'appuyant sur une tokenisation IBQ et des briques issues de Qwen3-32B et de la lignée EMU3.5. Le module d'inférence FlashAR+ remplace le décodage séquentiel token par token par une génération parallèle, couplée au batching vLLM, avec un gain revendiqué de 82,9 fois à près de 83 fois en génération 1024x1024, faisant chuter la latence d'un exemple type de 450,8 à 5,44 secondes, et un score EWMScore_P de 73,64 plaçant UNIS en tête du classement WorldArena. Pour l'industrie robotique, cette ouverture d'un modèle de monde de cette taille change la donne pour les intégrateurs qui cherchent à générer des données synthétiques d'entraînement sans multiplier les collectes réelles : Xiaomi affiche une progression du taux de réussite sur des tâches d'interférence de 36,9% à 63,2% sous fonds et éclairages inédits, en mélangeant données de transfert de style et démonstrations réelles pour le post-entraînement de politiques de contrôle. Cela nourrit le débat sur la résolution du fossé simulation-réel et la viabilité des modèles vision-langage-action (VLA) à grande échelle. Les comparaisons revendiquées face à GPT-Image-2 reposent toutefois sur des jeux de test internes non vérifiés de façon indépendante, et les checkpoints vidéo restent en retard sur les versions image et transfert, ce qui invite à la prudence avant de considérer ces poids ouverts comme une usine à données prête à l'emploi pour des robots en production. Cette publication s'inscrit dans la montée en puissance de Xiaomi sur la robotique incarnée, aux côtés d'acteurs comme Nvidia et son GR00T N2, Physical Intelligence et Pi-0, ou Figure et Helix, qui développent tous des modèles de fondation pour l'action robotique. En misant sur un modèle de monde génératif plutôt que sur une politique d'action directe, Xiaomi se positionne sur la brique amont de génération de données et de simulation, complémentaire des VLA de contrôle. Xiaomi invite lui-même les équipes à vérifier les termes de licence, le choix du moteur FlashAR et la reproductibilité des scores WorldArena par des tiers avant tout déploiement en production, signe que cette publication reste à ce stade un jeu d'outils de recherche plutôt qu'un produit clé en main pour l'industrie.

IA physiqueOpinion
1 source