Aller au contenu principal
NVIDIA étend LeRobot (open source) avec des outils IA humanoïde pour accélérer le développement des robotsIllustration générée par IA
IA physiqueInteresting Engineering 

NVIDIA étend LeRobot (open source) avec des outils IA humanoïde pour accélérer le développement des robots

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource uniqueImpact UE
Voir la vidéo de cet article sur YouTube

NVIDIA et Hugging Face élargissent leur collaboration autour de LeRobot, la plateforme robotique open source de Hugging Face, avec l'ajout de deux nouveaux outils. Le premier est NVIDIA Isaac GR00T 1.7, présenté par NVIDIA comme son premier modèle de fondation robotique vision-langage-action (VLA) ouvert et commercialement exploitable, conçu pour simplifier le post-entraînement et le déploiement sur différents designs de robots. Le second est NVIDIA Isaac Teleop, un framework open source permettant de collecter des données d'entraînement de haute qualité via des démonstrations humaines avec des dispositifs de contrôle externes, dans un format standardisé et partageable au sein de l'écosystème LeRobot. Un troisième modèle, Cosmos 3, dédié à la génération de données synthétiques et à la simulation d'environnements, sera intégré ultérieurement. Ces annonces s'appuient sur des briques déjà disponibles sur LeRobot, dont un jeu de données ouvert de plus de 350 000 trajectoires robotiques réelles et simulées et 57 millions d'exemples de préhension, ainsi que les outils de simulation Isaac Sim et Isaac Lab, l'environnement Isaac Lab-Arena pour l'entraînement de politiques, et l'intégration du calculateur embarqué Jetson Thor sur le robot humanoïde Reachy 2. NVIDIA a par ailleurs récemment lancé Halos for Robotics, une plateforme de sécurité complète associant matériel, logiciel, capteurs et outils de validation pour les robots autonomes évoluant aux côtés d'humains.

Pour l'industrie robotique, l'enjeu affiché est de reproduire pour la robotique la dynamique d'ouverture qui a accéléré le développement en IA logicielle, où le partage de modèles et de jeux de données a fait baisser les coûts d'entrée. NVIDIA met en avant la connexion entre sa communauté de plus de trois millions de développeurs robotiques et les seize millions de développeurs IA de Hugging Face, dans le but de standardiser un flux de travail encore fragmenté, entre collecte de données coûteuse, simulation, puissance de calcul et validation. Si ces chiffres de communauté restent des éléments de communication à prendre avec prudence, l'initiative traduit une tendance de fond: la bascule des modèles VLA de la démonstration marketing vers des briques réutilisables et déployables par des tiers, un test concret de la promesse d'un "sim-to-real" et d'une généralisation multi-robots qui reste à prouver à grande échelle.

L'initiative prolonge le partenariat déjà engagé entre les deux entreprises autour de LeRobot et des outils de simulation NVIDIA Isaac, dans un secteur où les modèles fondation pour la robotique se multiplient face à des approches concurrentes comme Pi-0 ou GR00T N2. Les prochaines étapes attendues concernent l'arrivée effective de Cosmos 3 sur la plateforme et l'élargissement du catalogue de robots et de tâches supportés via Isaac Teleop et le jeu de données partagé.

Impact France/UE

Le robot humanoïde français Reachy 2 (Pollen Robotics) intègre le calculateur embarqué Jetson Thor de NVIDIA dans le cadre de cet écosystème LeRobot.

À lire aussi

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot pour la communauté robotique ouverte
Illustration générée par IA
1NVIDIA Blog Robotics 

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot pour la communauté robotique ouverte

NVIDIA et Hugging Face annoncent l'intégration du modèle NVIDIA Isaac GR00T 1.7 et du framework NVIDIA Isaac Teleop dans LeRobot, la bibliothèque open source de Hugging Face pour la robotique, avec l'arrivée prochaine de NVIDIA Cosmos 3, un modèle monde pour l'IA physique. Isaac Teleop capture des démonstrations humaines via des dispositifs externes dans des formats standardisés, directement dans LeRobot, pour constituer et partager des jeux de données. Isaac GR00T 1.7, présenté par NVIDIA comme le premier modèle fondation robotique open source et commercialement exploitable, facilite le post-entraînement et le déploiement via les workflows LeRobot sur de nouvelles morphologies de robots, avec des benchmarks publiés.

UEImpact indirect: Reachy 2, développe par Pollen Robotics (racheté par Hugging Face), gagne en visibilité via l'intégration Jetson Thor, mais aucun acteur français n'est directement implique dans cette annonce NVIDIA/Hugging Face.

IA physiqueActu
1 source
NVIDIA dévoile une plateforme complète pour robots humanoïdes, robotaxis et usines intelligentes
Illustration générée par IA
2Interesting Engineering 

NVIDIA dévoile une plateforme complète pour robots humanoïdes, robotaxis et usines intelligentes

Lors du GTC Taipei, NVIDIA a dévoilé une plateforme full-stack destinée aux robots humanoïdes, aux véhicules autonomes et à l'automatisation industrielle. Le cœur de l'annonce est Cosmos 3, un omnimodèle fondational open-source construit sur une architecture mixture-of-transformers, capable de traiter simultanément texte, images, vidéo, son et commandes d'action dans un seul système. Il se décline en Cosmos 3 Super, orienté haute précision pour la robotique et les véhicules autonomes, et Cosmos 3 Nano, optimisé pour l'inférence rapide. NVIDIA lance également l'Isaac GR00T Reference Humanoid Robot, un design de référence intégrant le robot Unitree H2 Plus, les mains articulées Sharpa, le calculateur embarqué Jetson Thor et la pile logicielle GR00T, adopté par Ai2, ETH Zurich, Stanford Robotics Center et UC San…

UEEnchanted Tools et Wandercraft pourraient exploiter Cosmos 3 pour la génération de données d'entraînement, et ETH Zurich figure parmi les partenaires de recherche du GR00T Reference Robot, mais aucun déploiement commercial en Europe n'est confirmé à ce stade.

💬 NVIDIA ne vend plus du silicium, il vend une plateforme verticale, de la simulation jusqu'au robot en prod. Le détail qui m'a accroché : le choix d'Unitree, concurrent chinois direct, comme base matérielle du robot de référence GR00T. C'est soit du pragmatisme pur, soit une façon de dire que l'avantage NVIDIA est dans le software, pas le hardware.

IA physiqueOpinion
1 source
Adapter les mouvements humains aux robots avec NVIDIA SOMA Retargeter
Illustration générée par IA
3NVIDIA Developer Blog 

Adapter les mouvements humains aux robots avec NVIDIA SOMA Retargeter

NVIDIA a publié la version 0.2 de SOMA Retargeter, un outil open source qui adapte des données de mouvement humain aux proportions, à la structure articulaire et aux amplitudes d'un robot humanoïde donné. Le pipeline lit une animation au format BVH (Biovision Hierarchy) exprimée sur le squelette de base SOMA, met à l'échelle les cibles de mouvement selon les dimensions du robot, résout la cinématique inverse avec Newton, un moteur construit sur NVIDIA Warp, puis applique des corrections de post-traitement comme l'ajustement des appuis au sol. Le résultat est un fichier CSV contenant, image par image, la position et l'orientation de la racine ainsi que les angles articulaires.

UEAucun acteur européen n'est supporté nativement, mais le Robot Configurator open source pourrait permettre d'intégrer des plateformes françaises comme Wandercraft ou Enchanted Tools.

IA physiqueOpinion
1 source
Nouveau framework NVIDIA pour aider les robots à s'orienter dans des lieux inconnus
Illustration générée par IA
4Interesting Engineering 

Nouveau framework NVIDIA pour aider les robots à s'orienter dans des lieux inconnus

NVIDIA a présenté COMPASS (Cross-Embodiment Mobility Policy via Residual RL and Skill Synthesis), un framework qui combine agents IA, simulation et apprentissage par renforcement pour accélérer l'adaptation des systèmes de navigation robotique à de nouveaux robots ou environnements. Plutôt que de reconstruire une pile de navigation complète à chaque changement, COMPASS part de la politique préentraînée X-Mobility de NVIDIA et entraîne par renforcement un module correctif spécialisé pour le robot et le lieu ciblés. La démonstration s'appuie sur le quadrupède Spot de Boston Dynamics, testé d'abord dans un entrepôt simulé intégré, puis sur des scènes issues de SAGE-10K, un jeu de 10 000 environnements intérieurs générés par NVIDIA couvrant 50 types de pièces, et sur des lieux réels reconstruits via…

IA physiquePaper
1 source