Aller au contenu principal
Créer des jeux de données d'IA physique prêts pour l'entraînement avec deux prompts dans NVIDIA CosmosIllustration générée par IA
IA physiqueNVIDIA Developer Blog 

Créer des jeux de données d'IA physique prêts pour l'entraînement avec deux prompts dans NVIDIA Cosmos

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

NVIDIA a présenté Cosmos Data Factory (CDF), une couche de la plateforme ouverte Cosmos, qui regroupe cinq blueprints cloud-native et six compétences d'agent composables (Auto Labeling, AnomalyGen, Augmentation, Curation and Retrieval, Simulation et Orchestration) destinées à automatiser la curation, le traitement et la génération de données synthétiques pour l'IA physique. Le principe : deux prompts adressés à un agent de code suffisent. Le premier lance un contrôle préalable (preflight) qui inspecte l'environnement sans le modifier et signale les éléments manquants, puis prépare la configuration. Le second exécute le blueprint voulu, la compétence d'orchestration coordonnant les étapes, déployant les services requis et gérant l'exécution sur le cluster. Cinq cas d'usage sont couverts : génération de scénarios de conduite pour l'entraînement de véhicules autonomes, augmentation d'attributs d'images (par exemple les vêtements) pour la recherche et la ré-identification de personnes, augmentation de vidéos selon la météo, l'éclairage et l'environnement, génération de vidéos d'événements rares, et génération d'images de défauts pour l'inspection visuelle. Pour les scénarios AV, la chaîne enchaîne Cosmos Curator (extraction de métadonnées), Cosmos Dataset Search (recherche par embeddings), le transfert de style image-vers-vidéo Cosmos3-Super-Image2Video, puis Cosmos Evaluator, qui vérifie la plausibilité physique des vidéos produites. NVIDIA annonce, sur la base d'une mesure de débit quotidien sur un serveur cloud à huit GPU RTX PRO 6000 Blackwell, un assemblage de datasets jusqu'à 60 fois plus rapide et une génération de scénarios AV 45 fois moins chère que les méthodes traditionnelles.

Pour les intégrateurs et les équipes data, l'enjeu dépasse l'outil : le goulot d'étranglement de l'IA physique reste la donnée, notamment les cas rares (défauts, incidents de nuit, situations dangereuses) coûteux ou risqués à capturer. En proposant un pipeline orchestré de bout en bout, de la recherche à l'évaluation de plausibilité, NVIDIA vise à transformer un assemblage d'outils disparates et de travail manuel en flux reproductible, et à positionner l'agent de code comme interface d'exploitation. Les chiffres appellent toutefois de la prudence : ce sont des mesures internes, la référence « méthodes traditionnelles » n'est pas définie dans le texte, et rien n'indique que la qualité des données générées ait un effet mesuré sur la performance des modèles en aval. Le gain de coût ne dit rien non plus du « sim-to-real gap » : un évaluateur de plausibilité physique réduit le risque d'artefacts, mais ne remplace pas la validation sur données réelles. L'autonomie « sans pilotage humain » reste, à ce stade, une promesse de démonstration plutôt qu'un déploiement documenté en production.

Ces annonces s'inscrivent dans la stratégie de NVIDIA de fédérer l'écosystème de l'IA physique autour de Cosmos, plateforme ouverte de modèles de fondation du monde, de jeux de données, de frameworks et de compétences, en complément de ses outils de simulation et de ses GPU. Elle se heurte à d'autres approches de données synthétiques et de modèles de monde, portées par des acteurs de la conduite autonome et de la robotique qui entraînent leurs propres générateurs en interne, ainsi que par des éditeurs de simulation et d'annotation. L'orientation vers des « skills » pour agents de code reflète une tendance plus large à confier l'orchestration des pipelines de données à des agents. Les blueprints sont disponibles à l'exploration, et NVIDIA propose un livestream consacré à la construction de datasets pour véhicules autonomes, robotique et agents de vision. Les prochaines étapes à surveiller sont les retours d'utilisateurs sur la qualité réelle des données générées, des benchmarks indépendants et l'adoption par des industriels pour l'inspection visuelle et la perception.

Dans nos dossiers

À lire aussi

IA physique : raisonnement, modèles du monde et d'action avec NVIDIA Cosmos 3
Illustration générée par IA
1NVIDIA Developer Blog 

IA physique : raisonnement, modèles du monde et d'action avec NVIDIA Cosmos 3

NVIDIA a annoncé Cosmos 3, un modèle fondamental de frontière dédié à l'IA physique, conçu pour doter les robots, les véhicules autonomes et les espaces intelligents d'une capacité de compréhension du monde réel. L'architecture de Cosmos 3 repose sur trois composantes intégrées : des modèles de raisonnement physique, des modèles de monde et des modèles d'action, permettant à un système de percevoir son environnement, d'anticiper les événements à venir et de produire des séquences d'actions adaptées à une incarnation physique et à une tâche spécifiques. Ce type d'approche unifiant raisonnement, simulation et action au sein d'un seul modèle fondamental représente un changement de paradigme pour les intégrateurs robotiques. Jusqu'ici, ces trois briques étaient souvent développées séparément, ce qui générait des lacunes au niveau du transfert sim-to-real. Un modèle entraîné à raisonner sur la physique du monde avant de planifier l'action offre théoriquement une meilleure généralisation sur des tâches non vues en production, bien que les benchmarks industriels indépendants restent à confirmer. NVIDIA avait introduit la plateforme Cosmos en janvier 2025 au CES, positionnant alors ses modèles génératifs de monde comme infrastructure pour les fabricants de robots et les constructeurs automobiles. Cosmos 3 s'inscrit dans cette trajectoire d'itération rapide, face à une concurrence directe : Google DeepMind avec les modèles Gemini Robotics et RT-2, Physical Intelligence (pi) avec Pi-0, et Figure AI avec ses propres VLA. L'enjeu pour NVIDIA est de s'imposer comme couche d'infrastructure fondamentale de l'IA physique, au-delà du seul matériel GPU.

UENVIDIA Cosmos 3 pourrait devenir une couche d'infrastructure fondamentale adoptée par les intégrateurs robotiques européens (ABB, KUKA, Stäubli), mais l'impact réel dépendra des benchmarks industriels indépendants et des conditions d'accès à la plateforme.

💬 Le vrai pari de NVIDIA avec Cosmos 3, c'est de s'imposer comme couche d'infrastructure logicielle de l'IA physique, au-delà du GPU. Raisonner sur la physique avant de planifier l'action, et unifier les trois briques dans un seul fondamental, c'est exactement ce qui manquait pour réduire les galères de transfert sim-to-real qui plombent les déploiements robotiques depuis des années. Sans benchmarks industriels indépendants, ça reste du déclaratif, mais la direction est la bonne.

IA physiqueOpinion
1 source
Créer des modèles du monde pour la simulation interactive avec NVIDIA Cosmos
Illustration générée par IA
2NVIDIA Developer Blog 

Créer des modèles du monde pour la simulation interactive avec NVIDIA Cosmos

NVIDIA publie un guide technique destiné aux développeurs de physical AI qui travaillent avec des world models, ces modèles capables de prédire l'évolution d'un environnement physique. Le constructeur identifie deux difficultés distinctes: adapter les modèles à ses propres capteurs, tâches et données, puis les intégrer de façon fiable dans des applications. Cosmos, présentée comme une plateforme de world foundation models et d'outils de développement pour la physical AI, est positionnée sur ces deux fronts. Son volet Cosmos Framework fournit des « agent skills » et des recettes d'entraînement de world models, avec pour cible la simulation interactive. Le matériel disponible ne chiffre ni performances, ni latences, ni tailles de modèles, ni clients. L'enjeu pour l'industrie tient moins au modèle qu'à l'outillage. Le goulot d'étranglement de la robotique apprise reste l'écart entre démonstration et production: données propres à chaque capteur, reproductibilité, passage du prototype au logiciel déployé. En proposant des recettes de post-entraînement et un chemin vers l'application, NVIDIA vise à réduire le coût d'adaptation pour les intégrateurs et les équipes R&D. Faute de benchmarks publiés, la fidélité physique de ces simulateurs apprenus et leur transfert sim-to-real restent à démontrer. Ce lancement prolonge la stratégie de NVIDIA, qui cherche à devenir la couche logicielle de référence de la physical AI, en complément de ses GPU, de la simulation Isaac et de ses modèles GR00T pour humanoïdes. Il s'inscrit dans une concurrence croissante sur les world models, où Google DeepMind, Meta et plusieurs laboratoires académiques avancent leurs propres approches. Les prochaines étapes à surveiller sont les premiers retours d'utilisateurs industriels et les évaluations indépendantes.

IA physiqueActu
1 source
CometVLA : co-entraînement sur une pyramide de données incarnées pour la compréhension physique
Illustration générée par IA
3arXiv cs.RO 

CometVLA : co-entraînement sur une pyramide de données incarnées pour la compréhension physique

Un article publié sur arXiv (2608.30289v1) fin août 2026 présente CometVLA, un nouveau modèle vision-langage-action (VLA) pour la manipulation robotique. Le constat de départ : les jeux de données de question-réponse visuelle (VQA) physique sont désincarnés, mal alignés avec les données d'action réelles des robots, et les vidéos égocentriques ne servent qu'à un pré-entraînement auxiliaire, sans preuve claire que la compréhension physique du VLM améliore la génération d'actions en aval. Les auteurs construisent donc CometData et CometBench, un corpus et un benchmark de VQA physique alignés sur l'embodiment et les données d'action du robot, puis introduisent les "Global Action Prior" (GAP), des tokens formant un goulot d'étranglement appris qui isole les régularités de mouvement indépendantes de la tâche pour nourrir la tête d'action sans corrompre le backbone VLM pré-entraîné. Co-entraîné sur une "pyramide de données incarnées" (téléopération, simulation, trajectoires égocentriques, VQA), CometVLA surpasse de façon constante des baselines VLA solides sur des tâches de manipulation réelle et sur le simulateur RoboTwin. Le résultat clé est une corrélation directe entre les scores sur CometBench et le taux de succès en manipulation réelle : la compréhension physique du VLM se traduit en de meilleures actions, et non en un simple gain cosmétique sur des benchmarks de langage déconnectés du terrain. Pour les laboratoires et intégrateurs qui bâtissent des modèles fondation pour la manipulation, ce travail suggère que l'alignement strict entre données perception-langage et données d'action pèse plus lourd que le volume de VQA générique ajouté au pré-entraînement, une piste transposable à des architectures comme Pi-0, GR00T ou Helix. Ce travail prolonge la lignée des VLA qui, depuis RT-2 et OpenVLA, cherchent à fusionner compréhension visuelle et génération de mouvements, avec pour écueil récurrent la désynchronisation entre corpus de pré-entraînement et données de téléopération réelles. En s'appuyant sur RoboTwin, benchmark de simulation déjà établi pour la manipulation bimanuelle, et en publiant CometData et CometBench comme ressources réutilisables, les auteurs présentent CometVLA comme une contribution de recherche méthodologique, sans déploiement industriel, partenaire intégrateur ni date de mise sur le marché annoncés. La suite logique serait une extension à d'autres embodiments et une validation indépendante avant toute adoption commerciale.

IA physiqueActu
1 source
General Intuition lève 320 millions de dollars pour entraîner des robots avec des données de jeux vidéo
Illustration générée par IA
4The Robot Report 

General Intuition lève 320 millions de dollars pour entraîner des robots avec des données de jeux vidéo

General Intuition US Inc. a annoncé cette semaine une levée de fonds de 320 millions de dollars en Série A, portant sa valorisation à 2,3 milliards de dollars et son financement total à 454 millions, après un premier tour de 134 millions en octobre 2025. Le round est mené par General Catalyst et inclut Jeff Bezos, fondateur d'Amazon, et Eric Schmidt, ex-PDG de Google. L'entreprise new-yorkaise, fondée en 2015 par Pim de Witte, développe deux familles de modèles : des action models, qui décident quelle action entreprendre, et des world models, qui prédisent les conséquences de ces actions dans des environnements virtuels ou physiques. La particularité de son approche est la source des données d'entraînement : non pas des vidéos de manipulation robotique ou des simulations synthétiques, mais des milliards de clips de gameplay issus de Medal, une plateforme de partage de moments gaming que de Witte a également cofondée. Ces vidéos sont accompagnées de labels d'action embarqués, qui enregistrent précisément quelle touche le joueur appuie et à quel instant, offrant une supervision dense sur la relation perception-décision-action. L'intérêt de cette approche pour l'IA physique tient à une hypothèse centrale : les modèles entraînés sur du texte décrivent la réalité, ils ne la modélisent pas. Le jeu vidéo, lui, capture un humain qui perçoit un environnement tridimensionnel, anticipe des dynamiques et agit en conséquence, dans des milliers de configurations différentes. Si l'hypothèse tient à l'échelle, cela représenterait un raccourci significatif pour le sim-to-real gap qui plombe la généralisation des politiques robotiques : plutôt que de collecter des téléopérations coûteuses ou de concevoir des environnements simulés ad hoc, General Intuition récupère de la diversité environnementale pour presque rien. La question non résolue reste la transférabilité effective de ces représentations vers des corps physiques avec des dynamiques mécaniques réelles, un point que la société n'a pas encore documenté publiquement avec des benchmarks tiers. General Intuition évolue dans un espace de plus en plus encombré. Des acteurs comme DeepMind avec RT-2 et ses successeurs, Physical Intelligence (pi) avec Pi-0, ou encore Covariant avec RFM-1 misent également sur des fondations visuelles générales pour l'apprentissage de politiques robotiques. La différence revendiquée est l'échelle et la labellisation des données gaming, un corpus que la concurrence ne possède pas. L'entreprise prévoit de rendre son API accessible publiquement à l'été 2026 et d'utiliser le financement pour augmenter sa capacité de calcul et entraîner la prochaine version de son modèle de préentraînement. Aucune annonce de partenariat industriel ou de déploiement sur plateforme robotique physique n'a été communiquée à ce stade : il s'agit d'une phase de précommercialisation axée infrastructure et modèle.

IA physiqueOpinion
1 source