Aller au contenu principal
NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot pour la communauté robotique ouverteIllustration générée par IA
IA physiqueNVIDIA Blog Robotics 

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot pour la communauté robotique ouverte

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource uniqueImpact UE

NVIDIA et Hugging Face annoncent l'intégration du modèle NVIDIA Isaac GR00T 1.7 et du framework NVIDIA Isaac Teleop dans LeRobot, la bibliothèque open source de Hugging Face pour la robotique, avec l'arrivée prochaine de NVIDIA Cosmos 3, un modèle monde pour l'IA physique. Isaac Teleop capture des démonstrations humaines via des dispositifs externes dans des formats standardisés, directement dans LeRobot, pour constituer et partager des jeux de données. Isaac GR00T 1.7, présenté par NVIDIA comme le premier modèle fondation robotique open source et commercialement exploitable, facilite le post-entraînement et le déploiement via les workflows LeRobot sur de nouvelles morphologies de robots, avec des benchmarks publiés. Ces briques s'appuient sur des ressources déjà connectées à LeRobot: le plus grand jeu de données open source d'IA physique, téléchargé plus de 15 millions de fois, avec plus de 350 000 trajectoires réelles et simulées et 57 millions de prises (grasps); les frameworks de simulation Isaac Sim et Isaac Lab; Isaac Lab-Arena, intégré au LeRobot Environment Hub pour prototyper des environnements et entraîner des politiques généralistes comme GR00T, Pi ou SmolVLA; et l'intégration de Jetson Thor avec le robot humanoïde open source Reachy 2 pour déployer des modèles VLA (vision-langage-action). Thomas Wolf, cofondateur et chief science officer de Hugging Face, décrit cette collaboration comme un moyen de faire passer la recherche avancée à un stade où la communauté peut l'étudier, l'adapter et la faire évoluer.

Pour les intégrateurs et équipes R&D, l'enjeu est de standardiser un pipeline jusque-là fragmenté, collecte de données, entraînement, évaluation, déploiement, en connectant les 3 millions de développeurs robotique de NVIDIA aux 16 millions de builders IA de Hugging Face. Cela réduit le coût d'entrée pour tester des modèles VLA sur du matériel réel sans dépendre d'une pile propriétaire fermée. La mise en avant du caractère "commercialement viable" de GR00T 1.7 tranche avec des modèles concurrents (Pi de Physical Intelligence, Helix de Figure) souvent montrés en démonstration mais rarement publiés en open source avec benchmarks vérifiables. Coupler cela à un futur modèle monde comme Cosmos 3, censé générer des données synthétiques quand les données réelles sont trop chères ou rares à collecter, répond directement à l'un des goulots d'étranglement les plus documentés du secteur humanoïde.

Cette annonce prolonge un partenariat plus ancien entre NVIDIA et Hugging Face autour de LeRobot, devenu une référence pour le partage ouvert de données et de politiques robotiques. Elle s'inscrit dans la stratégie de verticalisation physical AI de NVIDIA, de la simulation (Isaac Sim, Isaac Lab) au calcul embarqué (Jetson Thor) en passant par les modèles fondation et, prochainement, les modèles monde. Elle positionne NVIDIA face à des acteurs misant sur des piles intégrées fermées, comme Figure ou Physical Intelligence, en jouant la carte de l'infrastructure ouverte et mutualisée. Aucun acteur français n'apparaît directement, mais Reachy 2 est développé par Pollen Robotics, racheté par Hugging Face, ce qui donne une visibilité indirecte à cet acteur français dans l'écosystème. Les prochaines étapes annoncées restent pour l'instant limitées à la sortie de Cosmos 3 dans LeRobot, sans calendrier de déploiement industriel précisé.

Impact France/UE

Impact indirect: Reachy 2, développe par Pollen Robotics (racheté par Hugging Face), gagne en visibilité via l'intégration Jetson Thor, mais aucun acteur français n'est directement implique dans cette annonce NVIDIA/Hugging Face.

À lire aussi

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot
Illustration générée par IA
1The Robot Report 

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot

NVIDIA et Hugging Face annoncent l'intégration d'Isaac GR00T 1.7 et du framework Isaac TeleOp dans LeRobot, la bibliothèque open-source de robotique de Hugging Face. Isaac GR00T 1.7 est présenté comme le premier modèle de fondation robotique open-source et commercialement exploitable, une architecture vision-langage-action (VLA) permettant de post-entraîner et déployer des politiques de contrôle sur des robots humanoïdes réels. Isaac TeleOp est un framework de collecte de données par téléopération, qui capture des démonstrations humaines depuis des dispositifs externes dans des formats standardisés et interopérables, facilitant le partage de jeux de données au sein de la communauté. Les deux entreprises annoncent également l'arrivée prochaine de NVIDIA Cosmos 3, un modèle de monde frontière pour l'IA physique, sans donner de date précise. LeRobot compte déjà plus de 15 millions de téléchargements pour son jeu de données ouvert, qui regroupe plus de 350 000 trajectoires réelles et simulées ainsi que 57 millions de préhensions ("grasps"), en complément des frameworks de simulation Isaac Sim et Isaac Lab, dont Isaac Lab-Arena, désormais référencé dans le LeRobot Environment Hub. Cette annonce illustre la tentative de NVIDIA de reproduire, dans la robotique, la dynamique qui a fait le succès de l'IA générative open-source: mutualiser modèles, données et outils pour accélérer l'innovation collective plutôt que de la laisser fragmentée entre acteurs isolés. Pour les intégrateurs et développeurs robotique, l'enjeu concret est l'accès à un pipeline standardisé bout-en-bout, de la collecte de données jusqu'au déploiement, sans avoir à recomposer des briques propriétaires coûteuses. Le rapprochement entre les 3 millions de développeurs robotique de NVIDIA et les 16 millions d'utilisateurs IA de Hugging Face vise à fluidifier le passage entre recherche en IA générale et applications physiques. Toutefois, l'ampleur réelle de l'adoption d'Isaac GR00T 1.7 sur des déploiements industriels reste à démontrer: l'annonce reste pour l'instant centrée sur la disponibilité des outils et des frameworks, pas sur des cas d'usage chiffrés en production, et la mention de Cosmos 3 relève encore de la feuille de route plutôt que d'un produit livré. Ce partenariat s'inscrit dans la continuité de la stratégie NVIDIA autour de sa plateforme Isaac dédiée à la robotique et à l'IA physique, engagée depuis plusieurs années à travers Isaac Sim et Isaac Lab pour la simulation, puis étendue à des modèles de fondation comme GR00T. Hugging Face, de son côté, a positionné LeRobot comme l'équivalent robotique de ses bibliothèques Transformers pour le NLP, avec pour ambition de devenir le hub de référence pour les datasets et modèles robotiques ouverts. Sur le plan concurrentiel, cette annonce se situe face aux approches propriétaires de modèles VLA développés par d'autres laboratoires, à l'image de Pi-0 (Physical Intelligence) ou GR00T N2 concurrencés indirectement par des architectures fermées comme Helix (Figure AI). Thomas Wolf, cofondateur et directeur scientifique de Hugging Face, présente cette intégration comme une étape pour ancrer un cycle collaboratif ouvert dans la robotique, avec Cosmos 3 comme prochaine brique pour générer et simuler des données lorsque la collecte réelle est trop coûteuse ou limitée.

IA physiqueActu
1 source
Nouveau framework NVIDIA pour aider les robots à s'orienter dans des lieux inconnus
Illustration générée par IA
2Interesting Engineering 

Nouveau framework NVIDIA pour aider les robots à s'orienter dans des lieux inconnus

NVIDIA a présenté COMPASS (Cross-Embodiment Mobility Policy via Residual RL and Skill Synthesis), un framework qui combine agents IA, simulation et apprentissage par renforcement pour accélérer l'adaptation des systèmes de navigation robotique à de nouveaux robots ou environnements. Plutôt que de reconstruire une pile de navigation complète à chaque changement, COMPASS part de la politique préentraînée X-Mobility de NVIDIA et entraîne par renforcement un module correctif spécialisé pour le robot et le lieu ciblés. La démonstration s'appuie sur le quadrupède Spot de Boston Dynamics, testé d'abord dans un entrepôt simulé intégré, puis sur des scènes issues de SAGE-10K, un jeu de 10 000 environnements intérieurs générés par NVIDIA couvrant 50 types de pièces, et sur des lieux réels reconstruits via Omniverse NuRec. Les modèles entraînés sont jugés sur le taux d'atteinte de l'objectif, la fréquence de chute et le temps de parcours, tandis que des agents de codage automatisent la préparation des scènes, les tests et le lancement des entraînements, sous validation humaine à chaque étape clé (scène prête, test initial concluant, modèle promu). Une fois approuvée, une politique pilote le robot à partir d'images caméra, d'odométrie et d'un objectif de navigation, avec l'option cuVSLAM de NVIDIA pour l'odométrie visuelle si besoin. Ce travail cible un problème concret pour l'industrie : chaque changement de robot ou de site oblige aujourd'hui les intégrateurs à recollecter des données, reconstruire des environnements de simulation et retester des interfaces logicielles, un cycle coûteux et difficile à reproduire. En gardant l'humain dans la boucle pour valider les scènes, les tests initiaux et la promotion des modèles, NVIDIA positionne COMPASS comme un outil de productivité pour les équipes de R&D plutôt qu'une promesse d'autonomie totale, une nuance qui compte alors que le secteur de la robotique mobile et humanoïde multiplie les annonces de généralisation instantanée entre plateformes. Il s'agit pour l'instant d'un framework de recherche démontré sur une seule plateforme, sans chiffre de déploiement en production ni comparaison publiée face à des approches concurrentes de navigation cross-embodiment. COMPASS s'appuie sur X-Mobility, politique de navigation que NVIDIA avait déjà développée, et s'inscrit dans son écosystème Omniverse et Isaac, aux côtés de NuRec pour la reconstruction de scènes réelles et de cuVSLAM pour la localisation visuelle. La démarche recoupe une tendance plus large de la recherche en robotique mobile, où plusieurs laboratoires cherchent à réduire le travail de portage d'une politique d'un robot à l'autre plutôt que de repartir de zéro à chaque nouvelle plateforme. NVIDIA ne communique aucun calendrier de pilote ni de partenaire robot commercial au-delà de Spot, choisi comme plateforme de référence pour valider le workflow ; les suites évoquées portent sur l'extension à d'autres robots et environnements via les mêmes outils de simulation et d'automatisation par agents.

IA physiquePaper
1 source
NVIDIA étend LeRobot (open source) avec des outils IA humanoïde pour accélérer le développement des robots
Illustration générée par IA
3Interesting Engineering 

NVIDIA étend LeRobot (open source) avec des outils IA humanoïde pour accélérer le développement des robots

NVIDIA et Hugging Face élargissent leur collaboration autour de LeRobot, la plateforme robotique open source de Hugging Face, avec l'ajout de deux nouveaux outils. Le premier est NVIDIA Isaac GR00T 1.7, présenté par NVIDIA comme son premier modèle de fondation robotique vision-langage-action (VLA) ouvert et commercialement exploitable, conçu pour simplifier le post-entraînement et le déploiement sur différents designs de robots. Le second est NVIDIA Isaac Teleop, un framework open source permettant de collecter des données d'entraînement de haute qualité via des démonstrations humaines avec des dispositifs de contrôle externes, dans un format standardisé et partageable au sein de l'écosystème LeRobot. Un troisième modèle, Cosmos 3, dédié à la génération de données synthétiques et à la simulation d'environnements, sera intégré ultérieurement. Ces annonces s'appuient sur des briques déjà disponibles sur LeRobot, dont un jeu de données ouvert de plus de 350 000 trajectoires robotiques réelles et simulées et 57 millions d'exemples de préhension, ainsi que les outils de simulation Isaac Sim et Isaac Lab, l'environnement Isaac Lab-Arena pour l'entraînement de politiques, et l'intégration du calculateur embarqué Jetson Thor sur le robot humanoïde Reachy 2. NVIDIA a par ailleurs récemment lancé Halos for Robotics, une plateforme de sécurité complète associant matériel, logiciel, capteurs et outils de validation pour les robots autonomes évoluant aux côtés d'humains. Pour l'industrie robotique, l'enjeu affiché est de reproduire pour la robotique la dynamique d'ouverture qui a accéléré le développement en IA logicielle, où le partage de modèles et de jeux de données a fait baisser les coûts d'entrée. NVIDIA met en avant la connexion entre sa communauté de plus de trois millions de développeurs robotiques et les seize millions de développeurs IA de Hugging Face, dans le but de standardiser un flux de travail encore fragmenté, entre collecte de données coûteuse, simulation, puissance de calcul et validation. Si ces chiffres de communauté restent des éléments de communication à prendre avec prudence, l'initiative traduit une tendance de fond: la bascule des modèles VLA de la démonstration marketing vers des briques réutilisables et déployables par des tiers, un test concret de la promesse d'un "sim-to-real" et d'une généralisation multi-robots qui reste à prouver à grande échelle. L'initiative prolonge le partenariat déjà engagé entre les deux entreprises autour de LeRobot et des outils de simulation NVIDIA Isaac, dans un secteur où les modèles fondation pour la robotique se multiplient face à des approches concurrentes comme Pi-0 ou GR00T N2. Les prochaines étapes attendues concernent l'arrivée effective de Cosmos 3 sur la plateforme et l'élargissement du catalogue de robots et de tâches supportés via Isaac Teleop et le jeu de données partagé.

UELe robot humanoïde français Reachy 2 (Pollen Robotics) intègre le calculateur embarqué Jetson Thor de NVIDIA dans le cadre de cet écosystème LeRobot.

IA physiqueActu
1 source
FLORA : une suite de modèles ouverts pour le passage à l'échelle des moteurs de données en robotique
Illustration générée par IA
4arXiv cs.RO 

FLORA : une suite de modèles ouverts pour le passage à l'échelle des moteurs de données en robotique

Une équipe de recherche, dont les travaux alimentent l'entraînement des modèles fondation GR00T, publie sur arXiv Flora, une suite de modèles ouverts qui sert de moteur d'annotation pour les données robotiques. Un même système produit trois types de labels. Il génère des récompenses de résultat (la tâche a-t-elle réussi ?) pour surveiller les déploiements réels. Il produit des récompenses de processus pour le post-entraînement par apprentissage par renforcement. Il fournit aussi des légendes horodatées pour filtrer et rééquilibrer les données de pré-entraînement. Les auteurs annoncent des scores à l'état de l'art sur le benchmark de légendage WGO-Bench et sur les benchmarks de récompense RoboReward et Robometer. Sur leurs benchmarks internes, Flora serait comparable à GPT-6 Astra et supérieur aux autres modèles frontière. Le coût serait environ 125 fois inférieur à celui de GPT-6 Astra via API. Côté production, le système étiquette 200 000 heures de données par jour sur 512 GPU GB300, soit environ 390 heures de vidéo par GPU et par jour. Le code et les modèles sont publiés en open source. Le goulot d'étranglement de la robotique par apprentissage se déplace de la collecte vers l'annotation. Les politiques VLA (vision-langage-action) dépendent de données propres, légendées et notées. Faire passer ce travail par des API de modèles propriétaires devient prohibitif quand on traite des centaines de milliers d'heures. Un facteur 125 sur le coût, s'il se confirme hors du laboratoire, rend l'annotation de grands jeux de données accessible à des équipes bien plus petites. Des récompenses de processus fiables sont aussi la condition pour passer du clonage de comportement au RL sur robot réel. Une réserve s'impose toutefois : la comparaison à GPT-6 Astra repose sur des benchmarks internes, non reproductibles à ce stade, et le chiffre de débit vient des auteurs eux-mêmes. L'avantage de coût dépend aussi du matériel de référence retenu. Ce travail s'inscrit dans la course aux modèles généralistes, où GR00T de NVIDIA côtoie Pi-0 de Physical Intelligence et Helix de Figure. Chacun de ces acteurs a besoin de sa propre chaîne d'annotation, souvent restée interne. En ouvrant la sienne, l'équipe de Flora cherche à fédérer la recherche autour de ses outils. Elle cite deux usages émergents : l'auto-recherche physique, où des agents pilotent eux-mêmes des expériences, et le transfert de l'humain vers le robot à partir de vidéos de démonstration. La suite dépendra des reproductions indépendantes et de l'adoption par les laboratoires académiques et les intégrateurs, y compris européens, qui disposent rarement de telles capacités de calcul.

UEDes laboratoires et intégrateurs européens pourraient annoter leurs données robotiques à moindre coût, mais disposent rarement de la puissance de calcul nécessaire.

IA physiqueActu
1 source