Aller au contenu principal
Post-entraîner NVIDIA Cosmos 3 Edge pour le contrôle de robots embarquéIllustration générée par IA
IA physiqueNVIDIA Developer Blog 

Post-entraîner NVIDIA Cosmos 3 Edge pour le contrôle de robots embarqué

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

NVIDIA a présenté Cosmos 3 Edge, une version allégée de sa famille de modèles du monde Cosmos 3, taillée pour tourner sur le calculateur embarqué des robots plutôt que dans le cloud. Le modèle associe un omni-modèle de 4 milliards de paramètres à un module de raisonnement de 2 milliards de paramètres bâti sur l'architecture Nemotron. NVIDIA a publié un guide de post-entraînement pour ce modèle, sans communiquer de tarif ni de benchmarks chiffrés de temps de cycle ou de charge utile.

Cette démarche s'inscrit dans une tendance: réduire la taille des modèles VLA (vision-language-action) et des world models pour les faire tenir sur des puces embarquées sans sacrifier leur capacité à généraliser. Pour les intégrateurs et fabricants de robots, un modèle du monde compact et ajustable en local réduit la dépendance au cloud, la latence, et permet d'affiner le modèle sur des données propres à un site industriel. NVIDIA renforce ainsi sa présence dans la couche logicielle du contrôle robotique, au-delà de son rôle de fournisseur de calculateurs Jetson.

Cosmos, la plateforme de modèles du monde de NVIDIA pour la simulation et l'entraînement de politiques robotiques, s'est élargie en une famille de tailles variées, dont Cosmos 3 Edge est la déclinaison pensée pour l'inférence embarquée. Elle se positionne face à des modèles de contrôle généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. Le document ne mentionne ni partenaire robotique ni calendrier: il s'agit pour l'instant d'un outil pour développeurs, en amont d'un déploiement produit.

À lire aussi

NVIDIA et LG Group construisent une usine IA pour entraîner des robots et alimenter la mobilité du futur
Illustration générée par IA
1Interesting Engineering 

NVIDIA et LG Group construisent une usine IA pour entraîner des robots et alimenter la mobilité du futur

NVIDIA et le groupe sud-coréen LG ont annoncé lors du Computex 2026 un partenariat stratégique multisectoriel visant à construire un écosystème d'intelligence artificielle physique couvrant la robotique industrielle, les robots domestiques, la mobilité autonome et les infrastructures de calcul. La collaboration mobilise plusieurs entités du conglomérat LG : LG Electronics, LG CNS, LG Innotek, LG Uplus et LG Energy Solution, chacune apportant un périmètre spécifique. Concrètement, LG prévoit de déployer NVIDIA Isaac Sim et Isaac Lab dans ses workflows robotique pour entraîner ses robots domestiques en environnements virtuels avant tout déploiement physique, et d'explorer le modèle de fondation GR00T pour renforcer leurs capacités de raisonnement. LG Electronics construit par ailleurs ce qu'il appelle une "data factory pour l'IA physique", utilisant les world models NVIDIA Cosmos pour générer des datasets synthétiques destinés à la robotique et à l'automatisation industrielle. Sur le volet infrastructure, LG Uplus s'engage à construire des centres de données à grande échelle compatibles avec les dernières générations de GPU NVIDIA, LG Electronics travaillera sur des technologies de refroidissement liquide alignées avec la plateforme NVIDIA DSX, et LG Energy Solution évalue des architectures d'alimentation en courant continu 800 volts pour les installations nouvelle génération. L'intérêt de ce partenariat pour les décideurs industriels tient moins à l'annonce elle-même qu'à ce qu'elle révèle sur la maturité du cycle de développement robotique. L'adoption d'Isaac Sim comme environnement d'entraînement primaire signale que le sim-to-real gap, longtemps le principal obstacle au déploiement à grande échelle, est considéré comme suffisamment maîtrisé pour structurer une chaîne industrielle dessus. La création d'une data factory synthétique répond à l'un des goulots d'étranglement les plus critiques du secteur : la rareté des données labellisées de qualité pour entraîner des VLA (Vision-Language-Action models). Pour les intégrateurs et les COO industriels, le message est que les outils de simulation et les modèles de fondation convergent vers une stack unifiée, ce qui devrait réduire les coûts et délais de portage de nouvelles applications robotiques. Il convient toutefois de noter que l'annonce reste au stade de la feuille de route : aucun chiffre de déploiement, aucun timeline de livraison ni prix n'ont été communiqués. Le contexte de ce rapprochement est celui d'une course mondiale à l'IA physique dans laquelle NVIDIA cherche à s'imposer comme couche d'infrastructure universelle face à des concurrents comme Boston Dynamics Atlas (désormais intégré chez Hyundai), Figure AI avec son modèle Helix, ou encore Physical Intelligence (pi-0) côté recherche. LG, de son côté, investit depuis plusieurs années dans la robotique de service avec ses robots CLOi, sans avoir encore atteint une adoption commerciale significative. Le groupe fait aussi face à la pression de concurrents coréens comme Samsung, qui développe ses propres robots domestiques avec Ballie. Les prochaines étapes annoncées incluent l'intégration des technologies NVIDIA DRIVE dans les systèmes ADAS de LG Electronics pour les véhicules définis par logiciel, et le déploiement de la plateforme d'automatisation industrielle de LG CNS enrichie de briques NVIDIA. La concrétisation de ces engagements sur les 12 à 24 prochains mois sera le véritable indicateur de la profondeur du partenariat.

UECe partenariat accélère la convergence vers une stack NVIDIA (Isaac Sim, GR00T, Cosmos) comme infrastructure d'entraînement robotique de référence, forçant les intégrateurs et OEM européens à évaluer leur alignement avec cet écosystème dans leurs roadmaps 2026-2027.

💬 Le truc intéressant, c'est pas le deal NVIDIA-LG, c'est ce qu'il révèle : le sim-to-real gap est maintenant considéré comme suffisamment sous contrôle pour construire une filière industrielle dessus. Isaac Sim comme environnement d'entraînement primaire dans une data factory à l'échelle d'un conglomérat coréen, ça signale un vrai changement de maturité, pas juste un POC de plus. Sur le papier, du moins, parce qu'aucun chiffre ni calendrier n'a filtré.

IA physiqueOpinion
1 source
TAPESTRY : un seul socle pour la génération de vidéo et le contrôle de robots
Illustration générée par IA
2arXiv cs.RO 

TAPESTRY : un seul socle pour la génération de vidéo et le contrôle de robots

TAPESTRY, présenté sur arXiv par une équipe académique, est un « world action model » qui transforme un transformeur de diffusion vidéo préentraîné en politique de contrôle robotique, sans générer de vidéo au moment de l'inférence. Le principe consiste à traiter chaque pas de temps d'une action comme un jeton d'un seul patch dans l'espace latent du modèle vidéo. Une simple projection linéaire l'aligne sur la dimension des patchs du VAE préentraîné, puis les mêmes couches de patchification et le même transformeur que pour la vidéo traitent ces jetons. Le backbone partagé est optimisé avec trois objectifs de diffusion tirés au hasard pour chaque élément de minibatch. Le premier porte sur la vidéo seule, avec des latents issus de vidéos de robots et d'humains, pour établir des a priori de dynamique. Le deuxième est une diffusion conjointe vidéo et action sur des démonstrations robotiques, avec un pas de diffusion couplé et un masque d'attention asymétrique. Le troisième est une diffusion d'action seule, conditionnée par des latents d'image propres. À l'inférence, un seul pas DDIM depuis du bruit pur produit une séquence compacte de jetons d'action, soit 84 ms par bloc d'actions (« action chunk ») sur du matériel grand public. L'intérêt pour l'industrie tient à un compromis que les politiques actuelles résolvent mal. Les modèles vidéo contiennent de riches connaissances sur les interactions physiques, mais les exploiter exigeait jusqu'ici soit de générer de la vidéo au moment du test, ce qui est coûteux et incompatible avec un contrôle réactif, soit d'ajouter des têtes d'action entraînées de zéro, qui sous-utilisent le modèle préentraîné. Si l'approche tient ses promesses, un seul réseau servirait à la fois de modèle de dynamique et de politique, avec une latence compatible avec des GPU de consommation, ce qui compte pour les intégrateurs qui ne peuvent pas embarquer de baie de calcul. Les auteurs affirment des performances solides en simulation et sur robots réels, avec un coût d'inférence nettement inférieur à celui des politiques vidéo-action conjointes comparables. Il faut toutefois rester prudent : le résumé ne donne ni taux de réussite, ni nombre de tâches, ni plateforme robotique, ni la taille du modèle, et il s'agit d'une prépublication non évaluée par des pairs, sans déploiement industriel. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) comme Pi-0 ou GR00T, et dans la tendance plus récente à greffer des a priori vidéo sur le contrôle, avec des approches qui génèrent explicitement des futurs avant d'agir. TAPESTRY cherche à garder l'apport de la vidéo en pré-entraînement tout en supprimant ce coût à l'exécution. Les prochaines étapes à surveiller sont la publication du code et des poids, des comparaisons directes avec les VLA établis sur des benchmarks communs, et des tests sur des tâches longues ou plus dextres. Des informations complémentaires figurent sur la page du projet, tapestry-wam.github.io.

IA physiquePaper
1 source
Comment entraîner une politique de navigation à cross-embodiment pour robots avec des agents IA
Illustration générée par IA
3NVIDIA Developer Blog 

Comment entraîner une politique de navigation à cross-embodiment pour robots avec des agents IA

Un article technique intitulé « How to Train a Cross-Embodiment Robot Navigation Policy with AI Agents » présente une méthode pour entraîner des politiques de navigation robotique capables de fonctionner sur plusieurs types de robots, une approche dite « cross-embodiment » reposant sur des agents IA. Le texte distingue navigation et locomotion : la locomotion assure un mouvement stable comme la marche ou l'équilibre, tandis que la navigation doit en continu localiser le robot, interpréter un environnement changeant, choisir un itinéraire et éviter les obstacles pour atteindre un objectif en sécurité. Selon l'article, transférer cette capacité vers un nouveau robot ou un nouvel environnement exige généralement de nouvelles données d'entraînement, de nouveaux assets de simulation et de nouvelles interfaces robot spécifiques, un goulot d'étranglement que la méthode proposée cherche à réduire en confiant à des agents IA la génération ou l'adaptation automatique de ces éléments. Cette approche vise un problème central pour les intégrateurs et laboratoires de robotique : la difficulté de porter une politique de navigation d'un robot ou d'un environnement à un autre sans tout recréer manuellement. Si la génération assistée par IA des données de simulation et des interfaces tient ses promesses, elle pourrait réduire le temps et le coût de déploiement d'un même système de navigation sur des flottes hétérogènes, mobiles ou humanoïdes, un enjeu alors que le secteur cherche à généraliser les modèles vision-langage-action au-delà de la manipulation vers la mobilité autonome. L'article, cependant, ne fournit aucune métrique chiffrée, taux de réussite, temps de cycle, nombre de robots ou de scènes testées, ni de date de disponibilité, ce qui en fait pour l'instant une démonstration méthodologique plutôt qu'un produit prêt à déployer. Cette publication s'inscrit dans la tendance sectorielle à découpler les compétences robotiques, perception, locomotion, navigation, manipulation, de la plateforme matérielle, dans la lignée des efforts autour des modèles génériques de type VLA et de l'entraînement massif en simulation. Le texte source ne précise ni l'organisme à l'origine de la méthode au-delà du titre, ni les robots ou environnements utilisés pour la valider, ni de calendrier de publication d'outils ou de suite associée, laissant ouvertes les questions de reproductibilité et de disponibilité pratique de cette approche.

IA physiquePaper
1 source
Modélisation du monde en contexte pour le contrôle robotique
Illustration générée par IA
4arXiv cs.RO 

Modélisation du monde en contexte pour le contrôle robotique

Des chercheurs ont publié le 25 juin 2026 un preprint arXiv (2606.26025) présentant ICWM (In-Context World Modeling), un cadre d'adaptation pour les modèles Vision-Language-Action (VLA) appliqués à la robotique. Les VLA actuels échouent dès que le contexte d'exécution change - angle de caméra différent, morphologie de robot modifiée - parce qu'ils supposent un contexte fixe, celui rencontré pendant l'entraînement, et nécessitent un fine-tuning intensif en données pour toute nouvelle configuration. ICWM traite l'identification du système comme un problème d'adaptation en contexte : avant d'exécuter une tâche, le robot génère de courtes interactions autonomes agnostiques à la tâche, dont l'historique est injecté dans la fenêtre de contexte du modèle. Celui-ci infère ainsi implicitement la dynamique du système courant - position de caméra, configuration mécanique - sans mise à jour de poids. Les expériences menées en simulation et sur plateformes réelles montrent que ICWM surpasse significativement les baselines VLA standards sur des configurations de caméra inédites. La généralisation des VLA est le verrou principal qui freine le déploiement industriel de la robotique généraliste. Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA et les modèles Google nécessitent tous du fine-tuning dès qu'on change la disposition d'une caméra ou la morphologie d'un robot, ce qui rend les pilotes industriels coûteux et longs à mettre en place. ICWM attaque ce problème sans modifier les poids du modèle : l'adaptation passe uniquement par le contexte, à l'image de ce que l'In-Context Learning a apporté aux LLMs. Pour un intégrateur ou un COO industriel, cela signifie potentiellement déployer un même modèle sur plusieurs lignes avec des géométries de capteurs différentes, sans pipeline de re-entraînement. La contribution est conceptuellement distincte : là où l'ICL classique spécifie quelle tâche effectuer, ICWM apprend comment le système fonctionne - une couche d'adaptation complémentaire aux approches existantes. Les modèles VLA ont connu une explosion depuis 2024 : RT-2 (Google DeepMind), Pi-0 de Physical Intelligence, GR00T N2 d'NVIDIA présenté à GTC 2025, et plus récemment Helix (Figure AI) illustrent la convergence entre fondations LLM et contrôle moteur. La fragilité aux variations contextuelles - ce qu'on appelle le "demo-to-deployment gap" - reste une critique récurrente formulée notamment par des acteurs européens comme Enchanted Tools ou Wandercraft, qui misent sur des architectures plus déterministes pour des environnements industriels contraints. ICWM s'inscrit dans une tendance plus large : importer les paradigmes d'adaptation du machine learning directement dans la boucle de contrôle robotique, sans passer par un cycle de collecte de données et de re-entraînement. Le preprint ne mentionne ni partenariat industriel, ni code open-source, ni dataset public : il s'agit d'une contribution de recherche pure, sans déploiement commercial annoncé à ce stade.

UESi ICWM tient ses promesses, les intégrateurs européens pourraient déployer un même modèle VLA sur plusieurs lignes à géométries de capteurs différentes sans pipeline de ré-entraînement, réduisant directement le coût des pilotes industriels, mais aucun déploiement ni partenariat européen n'est annoncé à ce stade.

💬 Le vrai frein au déploiement robotique industriel, ce n'est pas la performance brute des VLA, c'est que la moindre caméra déplacée oblige à relancer un fine-tuning complet. ICWM importe dans la boucle de contrôle la même logique qui a rendu les LLMs flexibles, et si ça tient, c'est un changement de calcul économique pour les intégrateurs européens qui tentent des pilotes. Bon, pour l'instant c'est un preprint sans code ni partenaire industriel, donc on verra.

IA physiqueOpinion
1 source