NVIDIA GR00T 2 transfère des compétences humaines aux robots avec seulement cinq démonstrations par tâche

Un nouveau modèle robotique apprend des compétences physiques à partir d'une seule démonstration de 3 à 12 secondes

Generalist AI a présenté GEN-1.5, un modèle de fondation pour robots capable d'apprendre une tâche physique à partir d'une seule démonstration de 3 à 12 secondes, sans mise à jour de gradient ni fine-tuning préalable. Testé sur dix tâches de manipulation courtes et simples (dévisser le couvercle d'un bocal en verre, récupérer de l'argent dans un sac à main, empiler des gobelets, balayer des déchets, ouvrir un livre, dézipper une trousse à crayons, retirer un embout d'aspirateur), le modèle atteint un taux de réussite moyen de 59% avec une seule démonstration. Ce taux monte à 83% avec cinq minutes de données spécifiques à la tâche et dix étapes de gradient, soit l'équivalent de 10 à 50 démonstrations. GEN-1.5 est un modèle multimodal traitant vidéo, données de capteurs, langage et proprioception, qui conserve 30 secondes de contexte et génère des trajectoires d'action à 100 Hz. La démonstration, capturée via des pinces tenues à la main ou exécutée par le robot lui-même, sert de "prompt physique" placé dans la fenêtre de contexte du modèle. Cette approche s'oppose à l'entraînement robotique classique, où chaque nouvelle tâche exige habituellement des données spécifiques abondantes et des cycles d'optimisation répétés. Generalist AI affirme ne pas avoir spécifiquement entraîné GEN-1.5 à l'apprentissage en contexte, ni ajouté de boucles de méta-apprentissage ou de modifications architecturales dédiées, ce qui rend le résultat notable dans le champ des modèles vision-langage-action (VLA). Pour les intégrateurs industriels, la promesse est une baisse du coût de déploiement: montrer un geste une fois plutôt que réentraîner un robot pour chaque nouvelle référence. Le modèle a aussi enchaîné deux prompts physiques distincts, dézipper une trousse puis en extraire de l'argent, en générant lui-même les mouvements de transition absents des démonstrations, et a transféré un geste appris en simulation vers un robot réel sans données simulées dans son pré-entraînement, ce qui va dans le sens d'un fossé sim-to-real partiellement comblé. Les taux annoncés (59% à 83%) restent toutefois loin des standards de fiabilité industrielle, et l'évaluation, menée en interne sur des tâches volontairement simples, n'a pas été validée de façon indépendante. Generalist AI s'inscrit dans la vague de laboratoires développant des modèles de fondation généralistes pour la robotique, aux côtés d'acteurs comme Physical Intelligence ou NVIDIA, qui poursuivent des objectifs similaires de réduction de l'entraînement tâche par tâche. Le modèle a montré des comportements improvisés: après avoir appris à balayer un bloc vers un bol avec une brosse, il a utilisé une banane en substitut, puis développé une stratégie différente (soulever et verser) avec une pelle à poussière. Un test a montré le robot reproduire, avec ses propres mains, un geste démontré par un humain visible via ses caméras. Ces résultats relèvent pour l'instant de la démonstration de recherche, sans date de disponibilité, pilote industriel ni déploiement en usine annoncé. L'entreprise les présente comme une étape vers une reprogrammation des robots par simple démonstration plutôt que par instructions codées, un pari qui reste à confirmer hors des tests contrôlés en laboratoire.

OLogic explique comment les robots peuvent apprendre par démonstration humaine à RoboBusiness

OLogic, société californienne de recherche et développement en systèmes embarqués, annonce que son cofondateur et PDG Ted Larson animera une session intitulée « Egocentric Robot Learning: Teaching Robots Through Human Experience » lors de RoboBusiness 2026, qui se tiendra les 20 et 21 octobre à Santa Clara, en Californie. L'intervention est programmée le deuxième jour du salon, à 10h45. Larson y présentera les fondements de l'apprentissage égocentrique, une méthode consistant à entraîner des robots à partir de démonstrations humaines filmées à la première personne, captées via caméras portables, systèmes de téléopération ou plateformes d'IA incarnée. OLogic met en avant les plus de 25 ans d'expérience de Larson en robotique et électronique grand public, et a par le passé contribué à des robots commerciaux tels que l'AMR de Bear Robotics, l'AMR de Locus Robotics, le robot social KiKi de Zoetic, le robot d'inventaire Tally de Simbe Robotics et le robot personnel de Misty Robotics. Diplômé de Cal Poly en informatique, Larson a aussi travaillé avec Google, Hasbro, Savioke et Panasonic, et intervient régulièrement à RoboBusiness depuis plusieurs éditions. L'enjeu dépasse le simple créneau de conférence : l'apprentissage par imitation à partir de données égocentriques s'impose comme une réponse à la pénurie de main-d'œuvre, à la demande croissante de personnalisation et à la complexité opérationnelle qui freinent l'automatisation dans la fabrication, la logistique, la santé et la robotique de service. Elle promet, en théorie, de réduire le temps, le coût et l'expertise nécessaires pour déployer un robot, en le faisant apprendre du comportement humain plutôt que par programmation manuelle. Pour les intégrateurs et décideurs B2B, cette session confirme que la bascule vers des modèles de fondation appliqués à la robotique, portée par des acteurs comme NVIDIA, Google DeepMind et Meta, continue de structurer les feuilles de route au-delà des seuls laboratoires de recherche. Il faut toutefois noter que l'article ne fournit aucun résultat chiffré, ni taux de réussite, ni volume de déploiement : il s'agit d'une annonce de conférence promouvant une intervention à venir, pas d'un lancement produit ni d'un déploiement documenté. Ce mouvement s'inscrit dans une dynamique où l'apprentissage égocentrique gagne du terrain depuis les travaux publiés par de grands laboratoires sur la collecte de données multimodales et les modèles de fondation pour la robotique, entraînant dans leur sillage un écosystème croissant de startups spécialisées en imitation learning et en intelligence incarnée. OLogic se positionne comme prestataire de R&D embarquée plutôt que fabricant de robots propriétaire, bâtissant sa légitimité sur des collaborations répétées avec des acteurs variés du secteur, de Bear Robotics à Misty Robotics en passant par Simbe Robotics et Zoetic. RoboBusiness reste l'un des rendez-vous de référence pour les développeurs de robotique commerciale, avec keynotes, sessions techniques et espaces de réseautage ; les inscriptions sont ouvertes, avec des tarifs réduits pour le monde académique, les associations et les groupes d'entreprises. Aucun pilote client ni calendrier de déploiement lié spécifiquement à cette présentation n'est annoncé pour l'instant, au-delà de l'intervention elle-même.

La recherche NVIDIA montre que des robots entraînés en simulation peuvent accomplir des tâches réelles

NVIDIA a présenté huit travaux de recherche en robotique à l'International Conference on Robotics and Automation (ICRA) 2026, tous centrés sur la réduction du "sim-to-real gap" -- l'écart de performance entre un robot entraîné en simulation et ce même robot confronté au monde physique. Parmi les systèmes mis en avant, COMPASS entraîne des robots exclusivement dans Isaac Lab (le simulateur NVIDIA) avant de transférer les politiques apprises vers des corps physiques différents. Sur 20 essais réels impliquant des robots mobiles autonomes et des humanoïdes, le framework atteint un taux de succès de 80 % en navigation, soit 4,5 fois supérieur aux baselines par imitation learning. Le système Grasp-MPC, dédié à la préhension en environnement encombré, a été entraîné sur 2 millions de trajectoires simulées couvrant 8 000 objets distincts, et atteint 75 % de succès sur des objets inconnus contre 41 % pour les méthodes de référence. Le framework SPARR, appliqué à l'assemblage industriel, découpe la tâche en deux couches -- une politique apprise en sim, corrigée en temps réel sur le hardware réel -- et affiche 38 % de gain sur le taux de succès d'assemblage et 30 % de réduction du temps de cycle par rapport aux baselines zero-shot sim-to-real. Enfin, PEEK améliore l'attention visuelle des robots (filtrage du bruit visuel non pertinent), avec une précision multipliée jusqu'à 41 fois pour des politiques purement simulées. Une collaboration avec Carnegie Mellon, l'Université de l'Utah et l'Université de Sydney a produit SEAL, un framework qui contraint le robot à n'exécuter que les séquences d'actions cohérentes avec son raisonnement planifié. Ces résultats sont significatifs pour les intégrateurs et les décideurs industriels, car ils montrent que le sim-to-real gap -- longtemps considéré comme le verrou structurel de la robotique apprise -- commence à se refermer de façon mesurable, au moins en conditions de laboratoire. Le gain de 30 % sur le temps de cycle (SPARR) est un chiffre qui parle directement aux opérateurs de lignes d'assemblage. Il convient cependant de nuancer : les taux de succès rapportés (75-80 %) sont mesurés dans des protocoles contrôlés par les chercheurs eux-mêmes, sans déploiement industriel validé en production. Les vidéos sélectionnées pour illustrer ces travaux suivent les conventions habituelles des communications académiques, qui ne montrent pas les échecs. La progression reste réelle, mais le passage de 80 % à 99 % de fiabilité -- seuil requis pour la plupart des applications industrielles critiques -- reste un problème ouvert. NVIDIA positionne cette recherche comme la couche logicielle et de simulation de son écosystème robotique plus large, qui inclut Isaac Lab, Isaac GR00T X Embodiment Sim et Omniverse NuRec. La compagnie ne fabrique pas de robots mais ambitionne de devenir l'infrastructure sur laquelle l'industrie entraîne ses systèmes, face à des concurrents comme Google DeepMind (avec ses travaux sur RT-2 et Gemini Robotics), Meta (V-JEPA) et Physical Intelligence (pi0). Sur le segment de la simulation pour la robotique, des acteurs comme Mujoco (DeepMind) et Genesis (MIT/CMU) occupent également le terrain. Les prochaines étapes annoncées par NVIDIA passent par l'extension des datasets ouverts et la montée en échelle des plateformes de simulation, sans timeline de commercialisation précisée pour les frameworks présentés à l'ICRA.

💬 Le 30% de gain sur le temps de cycle, c'est le seul chiffre qui va faire bouger un décideur industriel. NVIDIA ne fabrique pas de robots mais joue exactement le même coup qu'avec les GPU : devenir l'infrastructure incontournable avant que le marché soit mature, face à DeepMind, Meta et les autres. Reste que passer de 80% à 99% de fiabilité, le vrai seuil pour les lignes critiques, c'est encore une autre histoire.

Comment Generalist utilise des données de démonstration humaine pour l'apprentissage robotique

Generalist, startup robotique valorisée à 2 milliards de dollars, construit ses modèles sur les travaux de recherche "Universal Manipulation Interface" (UMI), publiés par le Toyota Research Institute (TRI), l'université Columbia et l'université Stanford. Cette plateforme de collecte de données s'appuie sur des effecteurs terminaux de type marionnette, maniés par des opérateurs humains et filmés par des caméras GoPro, pour capturer des tâches réelles comme la vaisselle ou la préhension d'objets ; ces démonstrations deviennent ensuite des données d'entraînement pour des modèles fondation destinés aux cobots. En juin 2026, lors du salon Automate au McCormick Center de Chicago, Generalist a montré en direct des bras Universal Robots (UR) pliant et assemblant des boîtes en carton, ainsi que des bras Flexiv réparant des aspirateurs robots. Environ un mois plus tard, l'entreprise publiait un billet de blog intitulé "Towards Machines with a Thousand Hands", détaillant l'usage d'une variété de pinces et d'outils, dont des spatules, sur différents systèmes robotiques. Samantha Castellanos, ingénieure mécanique fondatrice de Generalist, précise que le préhenseur maison ne compte qu'un seul degré de liberté (1 DoF), un choix assumé de simplicité mécanique plutôt que de complexité articulaire. Cette approche interroge l'hypothèse dominante du secteur selon laquelle la performance des modèles VLA (vision-language-action) dépend avant tout de la sophistication du hardware. En misant sur une pince minimaliste et sur le volume de données plutôt que sur la complexité mécanique, Generalist parie que le modèle, plus que la main, constitue l'avantage concurrentiel durable : selon Castellanos, le modèle est "le moat qui va nous différencier des autres." Pour les intégrateurs, la démonstration d'Automate montre qu'un même modèle peut piloter des bras de fournisseurs différents (UR, Flexiv) sur des tâches distinctes, assemblage de cartons d'un côté, réparation d'aspirateurs de l'autre, ce qui suggère une portabilité inter-marques rare en automatisation classique. Ces démonstrations restent toutefois des vitrines de salon en conditions contrôlées, non des déploiements en production : la capacité de récupération en temps réel vantée sur les réseaux sociaux n'a pas été vérifiée indépendamment, et aucun chiffre de temps de cycle, taux de réussite ou volume déployé n'a été communiqué. L'étude UMI, cosignée par des chercheurs de TRI, Columbia et Stanford, avait montré qu'il était possible d'entraîner des cobots à l'autonomie à partir de démonstrations humaines captées hors laboratoire, sans robot physique présent lors de la collecte ; cette recherche académique a rapidement servi de socle à la création de Generalist. L'entreprise évolue dans un secteur de l'IA robotique déjà très capitalisé, plus de 4 milliards de dollars levés cumulativement par ses concurrents : Skild AI (2 milliards), Physical Intelligence (1 milliard), Field AI (300 millions) et RLWRLD (41 millions). Face à cette concurrence, Generalist mise sur la diversité des effecteurs plutôt que sur un bras ou une pince unique, stratégie résumée dans son billet de blog par la formule "des machines aux mille mains." L'entreprise n'a communiqué ni calendrier de déploiement commercial ni client pilote nommé : à ce stade, les démonstrations de juin et juillet 2026 relèvent de la vitrine technologique plutôt que d'un produit livré en série.