NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot pour la communauté robotique ouverte

NVIDIA et Hugging Face annoncent l'intégration du modèle NVIDIA Isaac GR00T 1.7 et du framework NVIDIA Isaac Teleop dans LeRobot, la bibliothèque open source de Hugging Face pour la robotique, avec l'arrivée prochaine de NVIDIA Cosmos 3, un modèle monde pour l'IA physique. Isaac Teleop capture des démonstrations humaines via des dispositifs externes dans des formats standardisés, directement dans LeRobot, pour constituer et partager des jeux de données. Isaac GR00T 1.7, présenté par NVIDIA comme le premier modèle fondation robotique open source et commercialement exploitable, facilite le post-entraînement et le déploiement via les workflows LeRobot sur de nouvelles morphologies de robots, avec des benchmarks publiés. Ces briques s'appuient sur des ressources déjà connectées à LeRobot: le plus grand jeu de données open source d'IA physique, téléchargé plus de 15 millions de fois, avec plus de 350 000 trajectoires réelles et simulées et 57 millions de prises (grasps); les frameworks de simulation Isaac Sim et Isaac Lab; Isaac Lab-Arena, intégré au LeRobot Environment Hub pour prototyper des environnements et entraîner des politiques généralistes comme GR00T, Pi ou SmolVLA; et l'intégration de Jetson Thor avec le robot humanoïde open source Reachy 2 pour déployer des modèles VLA (vision-langage-action). Thomas Wolf, cofondateur et chief science officer de Hugging Face, décrit cette collaboration comme un moyen de faire passer la recherche avancée à un stade où la communauté peut l'étudier, l'adapter et la faire évoluer. Pour les intégrateurs et équipes R&D, l'enjeu est de standardiser un pipeline jusque-là fragmenté, collecte de données, entraînement, évaluation, déploiement, en connectant les 3 millions de développeurs robotique de NVIDIA aux 16 millions de builders IA de Hugging Face. Cela réduit le coût d'entrée pour tester des modèles VLA sur du matériel réel sans dépendre d'une pile propriétaire fermée. La mise en avant du caractère "commercialement viable" de GR00T 1.7 tranche avec des modèles concurrents (Pi de Physical Intelligence, Helix de Figure) souvent montrés en démonstration mais rarement publiés en open source avec benchmarks vérifiables. Coupler cela à un futur modèle monde comme Cosmos 3, censé générer des données synthétiques quand les données réelles sont trop chères ou rares à collecter, répond directement à l'un des goulots d'étranglement les plus documentés du secteur humanoïde. Cette annonce prolonge un partenariat plus ancien entre NVIDIA et Hugging Face autour de LeRobot, devenu une référence pour le partage ouvert de données et de politiques robotiques. Elle s'inscrit dans la stratégie de verticalisation physical AI de NVIDIA, de la simulation (Isaac Sim, Isaac Lab) au calcul embarqué (Jetson Thor) en passant par les modèles fondation et, prochainement, les modèles monde. Elle positionne NVIDIA face à des acteurs misant sur des piles intégrées fermées, comme Figure ou Physical Intelligence, en jouant la carte de l'infrastructure ouverte et mutualisée. Aucun acteur français n'apparaît directement, mais Reachy 2 est développé par Pollen Robotics, racheté par Hugging Face, ce qui donne une visibilité indirecte à cet acteur français dans l'écosystème. Les prochaines étapes annoncées restent pour l'instant limitées à la sortie de Cosmos 3 dans LeRobot, sans calendrier de déploiement industriel précisé.

Vidéo : un nouveau modèle d'IA permet aux robots humanoïdes de réussir 90 % des missions complexes

Flexion Robotics a dévoilé Reflect v1.0, une plateforme d'intelligence robotique destinée aux humanoïdes, capable d'exécuter des missions longues et multi-étapes sans intervention humaine pendant l'exécution. Pour illustrer les capacités du système, la société a présenté une démonstration en environnement de bureau : un robot humanoïde reçoit une instruction en langage naturel, récupère un colis de snacks livré au bâtiment, emprunte escaliers et ascenseur, déballe le carton à l'aide d'outils, puis range les articles dans un tiroir désigné. Selon Flexion, l'intégration du reinforcement learning sur plusieurs couches du système a fait passer le taux de complétion end-to-end d'une mission interne à 16 étapes de 38 % à 90 %, contre un modèle supervisé seul. La plateforme gère des charges comprises entre 100 grammes et 3,5 kilogrammes, et le robot est capable de repositionner un colis via des mouvements coordonnés du corps entier, d'opérer un ascenseur, de traverser des escaliers répétés et de contourner des obstacles dynamiques tout en portant des objets. Ce résultat est significatif parce qu'il s'attaque directement au problème de l'autonomie longue durée, considéré comme l'un des verrous majeurs de la robotique humanoïde commerciale. Dans une séquence de tâches, l'accumulation d'erreurs de navigation, de manipulation ou de perception finit statistiquement par faire échouer le système : c'est le "long-horizon failure mode" que les industriels connaissent bien. Reflect v1.0 le traite via un modèle vision-langage (VLM) personnalisé qui fait office de contrôleur de mission, surveille en continu l'avancement, raisonne sur l'environnement et re-planifie à la demande. La couche de mouvement combine des vision-language-action models (VLA) entraînés sur données réelles et des primitives issues du reinforcement learning, tandis qu'un contrôleur corps-entier temps réel assure équilibre et précision des gestes. Pour un COO industriel ou un intégrateur, le signal concret est le suivant : on passe de 38 % à 90 % de succès sur une mission à 16 étapes grâce au RL seul, ce qui suggère que le sim-to-real gap et la fiabilité multi-tâche sont partiellement solubles sans refonte matérielle. Flexion Robotics est une startup relativement récente dans l'écosystème humanoïde, qui se positionne comme fournisseur de couche logicielle agnostique au hardware, à l'image de ce que Apptronik ou 1X cherchent à faire sur leurs propres plateformes. L'article mentionne également ShengShu Technology et son modèle Motubrain, un "cerveau général" combinant perception, raisonnement et action, qui vise le même marché. La concurrence directe inclut Figure (Helix), Physical Intelligence (pi0), Boston Dynamics (Atlas Gen 2) et Tesla (Optimus Gen 3), tous engagés dans une course à l'autonomie longue horizon. Flexion reconnaît que Reflect v1.0 reste limité à des environnements définis, ce qui tempère le chiffre de 90 % : il s'agit d'une évaluation interne sur mission contrôlée, pas d'un déploiement industriel validé en conditions réelles. Les prochaines étapes annoncées concernent l'extension à des environnements moins structurés et la capacité à recevoir des instructions modifiées en cours de mission, deux marqueurs qui, s'ils sont confirmés en production, rapprocheraient Reflect d'une utilisabilité opérationnelle sérieuse.

Des fondamentaux à l'application : améliorer les modèles VLA en pratique

Les chercheurs à l'origine du modèle VLA (vision-language-action) LingBot dévoilent LingBot-VLA 2.0, une version améliorée conçue pour réduire l'écart entre les performances en laboratoire et les conditions réelles de déploiement, un problème récurrent des modèles fondation pour la robotique. Trois axes de travail sont mis en avant. D'abord, la généralisation entre tâches et morphologies de robots a été retravaillée via un nouveau pipeline de traitement de données, avec environ 60 000 heures de données de pré-entraînement, dont 50 000 heures de trajectoires robotiques couvrant 20 configurations de robots différentes et 10 000 heures de vidéos égocentriques humaines. Ensuite, l'espace d'action a été étendu au-delà des plateformes à double bras classiques, pour inclure les degrés de liberté (DOF) de la tête, du buste, de la base mobile et des mains dextres. Enfin, le système intègre une modélisation prédictive de la dynamique, en formulant la prédiction du futur comme tâche annexe, appuyée par un modèle de représentation vidéo pour les indices sémantiques et un modèle d'estimation de profondeur pour les indices géométriques. Les évaluations ont été menées sur le benchmark GM-100 en configuration généraliste. Cette annonce illustre une tendance de fond dans la robotique humanoïde et manipulatrice: le passage de bras robotiques figés à des systèmes corps entier, capables de coordonner tête, buste, base mobile et mains, à l'image des approches poursuivies par Pi-0, GR00T N2 ou Helix. L'accent mis sur la généralisation cross-embodiment et sur le raisonnement temporel prédictif répond directement à une critique fréquente des modèles VLA actuels: leur difficulté à transférer des compétences apprises entre différents robots et à anticiper les conséquences physiques de leurs actions dans des tâches longues et complexes de manipulation mobile. Il s'agit ici d'une publication de recherche (arXiv), pas d'un produit commercialisé ni d'un déploiement industriel annoncé. LingBot-VLA 2.0 s'inscrit dans la succession directe de la première version LingBot-VLA, dans un paysage où les laboratoires chinois et américains multiplient les modèles fondation généralistes pour la robotique, sans que les auteurs ne précisent à ce stade de calendrier de mise en production ou de partenariats industriels.

FailSafe : raisonnement et récupération face aux défaillances dans les modèles VLA

Une équipe de chercheurs a publié FailSafe, un système de génération automatique de scénarios d'échec et d'actions de récupération pour les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique. Présenté dans un preprint arXiv (v3, 2026), le système s'appuie sur LLaVA-OneVision-7B, un modèle de 7 milliards de paramètres affiné pour détecter des pannes en cours de tâche et produire des actions correctives exécutables, donnant naissance à FailSafe-VLM. Les évaluations conduites dans le simulateur ManiSkill montrent que cette couche de récupération améliore en moyenne jusqu'à 22,6% les performances de trois architectures VLA de référence : Pi-0-FAST (Physical Intelligence), OpenVLA et OpenVLA-OFT. Le système se généralise à différentes configurations spatiales, angles de caméra, objets manipulés et morphologies de bras robotiques. L'enjeu est structurel : les datasets de manipulation robotique existants, simulés ou réels, se limitent presque exclusivement à des trajectoires correctes. Un robot entraîné sur ces données ne dispose d'aucun mécanisme pour se remettre d'une prise ratée, d'un objet déplacé ou d'une perturbation imprévue. FailSafe comble ce vide en générant automatiquement, à partir de tâches existantes et d'un planificateur de mouvement, des paires (échec, action de récupération) annotées et directement exploitables en fine-tuning. Pour les équipes R&D et les intégrateurs, c'est une brique scalable sans collecte de données humaines supplémentaire. Le gain de 22,6% reste toutefois un delta relatif sur plusieurs tâches en simulation, et les auteurs ne rapportent aucun test en conditions physiques réelles : le sim-to-real gap pour les scénarios d'échec eux-mêmes reste une question ouverte. Les VLA représentent la convergence des grands modèles de vision-langage avec la commande motrice basse-fréquence, un axe de recherche en forte croissance depuis 2023. Pi-0 de Physical Intelligence, OpenVLA développé par Berkeley et Stanford, et leurs variantes constituent aujourd'hui le benchmark dominant dans ce domaine. FailSafe se positionne non comme un nouveau modèle de base, mais comme une surcouche de robustesse greffable sur ces architectures existantes, une approche pragmatique qui évite de repartir de zéro. Les quelques datasets existants traitant de la détection d'échec se limitaient à des explications textuelles difficilement exploitables directement par un VLA, ce que FailSafe résout en produisant des actions exécutables. La prochaine étape logique sera une validation hors simulateur, notamment sur des manipulateurs industriels réels, pour confirmer si les scénarios synthétiques d'échec transfèrent effectivement au monde physique.

💬 Entraîner les VLA uniquement sur des trajectoires réussies crée un angle mort structurel : le modèle n'a jamais appris à se planter ni à se rattraper. FailSafe résout ça sans collecte humaine supplémentaire, et c'est là la vraie valeur ajoutée. Le +22,6% en simulateur, c'est encourageant, mais le sim-to-real sur des scénarios d'échec reste entier.