IA physiqueNVIDIA Blog Robotics 10 septembre 2026

Skild AI utilise l'IA physique de NVIDIA pour apprendre de nouvelles tâches aux robots à partir d'une seule vidéo

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Skild AI a lancé la semaine dernière S1, un modèle de fondation robotique capable d'apprendre une tâche inédite à partir d'une seule vidéo de démonstration, sans réentraînement ni mise à jour de ses poids, une méthode dite d'apprentissage "en contexte". Entraîné sur l'infrastructure NVIDIA (simulation Isaac Lab, modèles de monde Cosmos), S1 interprète l'intention, les objets et la séquence montrés, puis les transpose en actions pour le robot présent, même hors de ses données d'entraînement. Il exécute des tâches de jusqu'à dix minutes, rempotage de plantes, préparation de pancakes, café filtre, assemblage de kits, en enchaînant des dizaines d'étapes de manipulation. Lors d'un test de rempotage, onze minutes ont suffi entre l'enregistrement de la démonstration et l'exécution autonome sur le robot. Skild annonce 66% de réussite par étape sur des tâches multi-étapes nouvelles, contre 9% pour un système comparable non identifié, soit un facteur sept, et estime qu'une seule vidéo équivaut à environ 380 exemples d'entraînement manuels, soit 50 à 100 heures de collecte. Cofondée par Deepak Pathak, la startup revendique un taux de revenu annualisé de 100 millions de dollars dix mois après son premier déploiement commercial, avec plus de 60 partenariats en logistique, inspection, sécurité, restauration et industrie manufacturière.

L'enjeu pour l'industrie est de sortir de la reprogrammation systématique: chaque changement de produit, de process ou de disposition de ligne impose d'ordinaire une nouvelle collecte de données et un nouvel entraînement, un frein connu à l'adoption des robots sur des sites qui évoluent en permanence. Si ces résultats se confirment hors des tests internes de Skild, cela rapprocherait les modèles vision-langage-action d'un usage industriel réel plutôt que d'une démonstration de laboratoire, avec un argument concret face à des modèles concurrents comme Pi-0 de Physical Intelligence, GR00T N2 ou Helix. Les chiffres avancés (66% contre 9%, équivalence à 380 exemples) restent toutefois des mesures internes, sans protocole indépendant ni identification du système comparé, à lire comme une tendance plutôt qu'une preuve définitive. Le déploiement le plus tangible reste celui mené avec Foxconn: Skild et NVIDIA font tourner le "Skild Brain" sur des bras manipulateurs bimanuels pour l'assemblage de précision de systèmes NVIDIA Blackwell, un robot posant une busbar et un bloc de fin de course puis vissant 16 vis tout en s'adaptant aux aléas.

S1 s'inscrit dans une collaboration plus large entre Skild et NVIDIA, couvrant génération de données synthétiques, entraînement, simulation et déploiement en conditions réelles, illustrant la stratégie de NVIDIA consistant à fournir l'infrastructure de toute la chaîne robotique plutôt qu'à concurrencer directement les fabricants de robots. Skild revendique plus de 60 partenariats noués en dix mois, signe d'une commercialisation rapide dans un secteur où beaucoup d'acteurs en sont encore au stade du pilote. Ni le calendrier d'extension du déploiement chez Foxconn ni l'ouverture de S1 à d'autres intégrateurs ne sont précisés, et les vidéos diffusées sur le blog de NVIDIA relèvent de la démonstration commerciale plutôt que d'un rapport technique indépendant, dans une tendance de fond où les modèles de fondation robotiques, entraînés sur des données vidéo et simulées à grande échelle, cherchent à remplacer la programmation tâche par tâche qui limite depuis des décennies la flexibilité des robots industriels.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T NVIDIA Isaac & Cosmos Physical Intelligence — π0

À lire aussi

1Interesting Engineering

Un nouveau modèle robotique apprend des compétences physiques à partir d'une seule démonstration de 3 à 12 secondes

Generalist AI a présenté GEN-1.5, un modèle de fondation pour robots capable d'apprendre une tâche physique à partir d'une seule démonstration de 3 à 12 secondes, sans mise à jour de gradient ni fine-tuning préalable. Testé sur dix tâches de manipulation courtes et simples (dévisser le couvercle d'un bocal en verre, récupérer de l'argent dans un sac à main, empiler des gobelets, balayer des déchets, ouvrir un livre, dézipper une trousse à crayons, retirer un embout d'aspirateur), le modèle atteint un taux de réussite moyen de 59% avec une seule démonstration. Ce taux monte à 83% avec cinq minutes de données spécifiques à la tâche et dix étapes de gradient, soit l'équivalent de 10 à 50 démonstrations. GEN-1.5 est un modèle multimodal traitant vidéo, données de capteurs, langage et proprioception, qui conserve 30 secondes de contexte et génère des trajectoires d'action à 100 Hz. La démonstration, capturée via des pinces tenues à la main ou exécutée par le robot lui-même, sert de "prompt physique" placé dans la fenêtre de contexte du modèle. Cette approche s'oppose à l'entraînement robotique classique, où chaque nouvelle tâche exige habituellement des données spécifiques abondantes et des cycles d'optimisation répétés. Generalist AI affirme ne pas avoir spécifiquement entraîné GEN-1.5 à l'apprentissage en contexte, ni ajouté de boucles de méta-apprentissage ou de modifications architecturales dédiées, ce qui rend le résultat notable dans le champ des modèles vision-langage-action (VLA). Pour les intégrateurs industriels, la promesse est une baisse du coût de déploiement: montrer un geste une fois plutôt que réentraîner un robot pour chaque nouvelle référence. Le modèle a aussi enchaîné deux prompts physiques distincts, dézipper une trousse puis en extraire de l'argent, en générant lui-même les mouvements de transition absents des démonstrations, et a transféré un geste appris en simulation vers un robot réel sans données simulées dans son pré-entraînement, ce qui va dans le sens d'un fossé sim-to-real partiellement comblé. Les taux annoncés (59% à 83%) restent toutefois loin des standards de fiabilité industrielle, et l'évaluation, menée en interne sur des tâches volontairement simples, n'a pas été validée de façon indépendante. Generalist AI s'inscrit dans la vague de laboratoires développant des modèles de fondation généralistes pour la robotique, aux côtés d'acteurs comme Physical Intelligence ou NVIDIA, qui poursuivent des objectifs similaires de réduction de l'entraînement tâche par tâche. Le modèle a montré des comportements improvisés: après avoir appris à balayer un bloc vers un bol avec une brosse, il a utilisé une banane en substitut, puis développé une stratégie différente (soulever et verser) avec une pelle à poussière. Un test a montré le robot reproduire, avec ses propres mains, un geste démontré par un humain visible via ses caméras. Ces résultats relèvent pour l'instant de la démonstration de recherche, sans date de disponibilité, pilote industriel ni déploiement en usine annoncé. L'entreprise les présente comme une étape vers une reprogrammation des robots par simple démonstration plutôt que par instructions codées, un pari qui reste à confirmer hors des tests contrôlés en laboratoire.

IA physiqueActu

1 source

2arXiv cs.RO

Apprendre à agir par le contact : une vision unifiée de l'apprentissage multi-tâches pour les robots

Des chercheurs ont publié sur arXiv (2510.03599v2) un cadre unifié d'apprentissage de politiques pour la locomotion et la manipulation robotique multi-tâches, fondé sur une représentation dite "contact-explicite". Le principe central consiste à définir chaque tâche non pas par des trajectoires articulaires spécifiques, mais par une séquence d'objectifs de contact: positions de contact souhaitées, timings, et effecteurs actifs. Une politique unique, entraînée par apprentissage par renforcement (RL) conditionné aux objectifs, prend ces plans de contact en entrée et les exécute. Le framework a été validé sur plusieurs morphologies robotiques: un quadrupède exécutant différentes allures (trot, galop, etc.), un humanoïde réalisant des locomotions bipèdes et quadrupèdes, et ce même humanoïde effectuant des tâches de manipulation bimanuelles d'objets. Dans les trois cas, une seule politique gère l'ensemble des comportements. L'intérêt industriel est direct: l'approche contact-explicite améliore significativement la généralisation à des scénarios non vus pendant l'entraînement, ce qui s'attaque frontalement au "sim-to-real gap" qui pénalise la plupart des politiques entraînées en simulation. Pour un intégrateur ou un OEM robotique, cela signifie moins de politiques spécialisées à maintenir, moins de re-training à chaque variante de tâche, et une architecture potentiellement plus robuste aux variations de terrain ou d'objet. Le fait qu'une seule politique puisse couvrir à la fois locomotion et manipulation (loco-manipulation) dans un cadre commun réduit également la complexité d'orchestration en production. Les résultats présentés semblent solides en simulation, mais les auteurs n'annoncent pas de déploiement physique à l'échelle, ce qui invite à distinguer démonstration de recherche et produit shipé. Les approches classiques traitent locomotion et manipulation comme deux sous-problèmes séparés, avec des planificateurs et des politiques dédiées. L'espace des politiques générales est aujourd'hui dominé par des VLA (Vision-Language-Action models) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui s'appuient sur de larges datasets visuels et du transfert de fondation. La contribution ici prend le parti inverse: une représentation géométrique structurée des contacts, plus frugale en données mais plus contrainte en hypothèses. Dans le domaine de la locomotion quadrupède unifiée, les groupes de l'ETH Zurich (ANYmal), de CMU et de Berkeley restent les références. La suite logique de ces travaux serait d'interfacer la planification de contacts avec un module de compréhension du langage naturel, pour permettre des instructions de haut niveau, une direction déjà explorée par plusieurs laboratoires académiques et startups de la robotique incarnée.

IA physiquePaper

1 source

3Pandaily

Un robot qui apprend à partir de vidéos courtes en 29 secondes : HOST, la nouvelle recette d'IA incarnée de X Square Robot

Le robot humanoïde chinois X Square Robot a mis en open source HOST, un framework d'apprentissage par vidéo qui permet à un robot de reproduire une tâche dès sa première tentative, après avoir simplement regardé un clip de démonstration de 29 secondes. Sur ce test, HOST atteint un taux de réussite de 62%, contre 38% pour la méthode standard actuelle qui nécessite environ 50 démonstrations expertes et quatre heures de fine-tuning. Le système repose sur deux modules: un module de vision qui reconstruit la scène observée du point de vue du robot, et un module d'action qui calcule la trajectoire articulaire correspondante, le tout aligné par un mécanisme de dynamic time warping qui réduit l'erreur d'alignement d'un facteur dix environ. Fondée fin 2023 à Pékin, X Square Robot a levé plus d'un milliard de yuans sur huit tours de table, avec Meituan Strategic Investment, Alibaba Cloud, Lenovo Capital et Delian Capital parmi ses investisseurs. L'enjeu dépasse la simple prouesse technique: la collecte de données par téléopération, aujourd'hui dominante dans le secteur, repose sur des ingénieurs équipés de casques VR qui pilotent un bras robotique geste par geste, des dizaines de fois, pour chaque tâche. Un robot de collecte coûte plusieurs centaines de milliers de dollars et chaque démonstration peut dépasser cent dollars en coût marginal, un modèle que même les "fabriques de données" en Inde ou les travailleurs à temps partiel des zones rurales chinoises ne parviennent pas à rendre réellement scalable. En inversant la logique, c'est à dire en apprenant à l'inférence plutôt qu'en réentraînant hors ligne sur des données massives, HOST attaque directement ce goulot d'étranglement économique. Si l'approche tient à l'échelle au-delà du benchmark de recherche, elle rebattrait les cartes pour les intégrateurs et décideurs industriels en réduisant drastiquement le coût d'acquisition de nouvelles compétences robotiques, un argument central dans la course actuelle entre laboratoires embodied-AI. Il faut toutefois noter que le chiffre de 62% reste une mesure de recherche sur benchmark, pas une performance de déploiement en conditions réelles, et l'article ne précise pas la diversité des tâches testées ni les conditions d'évaluation. L'approche s'inspire de la théorie cognitive de la simulation, selon laquelle l'humain répète mentalement le résultat visé avant d'agir, une logique que l'équipe chinoise transpose à l'apprentissage robotique en remplaçant l'imitation articulation par articulation par une reconstruction de la scène finale suivie d'un calcul de trajectoire. Le choix de l'open source vise explicitement à capter l'attention des développeurs comme tremplin vers des pilotes en entreprise, une stratégie de positionnement qui s'inscrit dans la compétition plus large entre approches VLA telles que Pi-0, GR00T N2 ou Helix, où la question du passage à l'échelle depuis la démonstration jusqu'au déploiement industriel reste largement ouverte.

IA physiqueOpinion

1 source

4arXiv cs.RO

Apprendre la physique à partir de modèles vidéo préentraînés : modèles du monde continus et séquentiels pour la manipulation robotique

Une équipe de chercheurs propose PhysGen, un cadre d'apprentissage publié en prépublication sur arXiv (réf. 2603.00110v2), qui exploite des modèles de génération vidéo pré-entraînés comme substituts de simulateurs physiques pour la manipulation robotique. L'idée centrale est de traiter la vidéo générée de manière autorégressive comme un proxy du monde physique, et d'y greffer des actions robotiques continues via une représentation unifiée baptisée "physical tokens", des jetons partagés qui fusionnent la modalité vidéo et les commandes motrices. Pour assurer la convergence, PhysGen intègre du masquage causal, de la cinématique inverse, une prédiction multi-tokens anticipative (L-MTP) et du cache clé-valeur (KV caching). Sur les benchmarks Libero et ManiSkill, le système surpasse OpenVLA de 13,8 points et WorldVLA de 8,8 points. Plus frappant : en conditions réelles, PhysGen atteint les performances de π₀ (Physical Intelligence) sur des tâches physiquement exigeantes, notamment la saisie d'objets transparents, sans avoir bénéficié d'un pré-entraînement spécifique aux données d'action. L'enjeu pour l'industrie est direct : la pénurie de données robotiques à grande échelle reste le principal frein à la généralisation des politiques de manipulation. PhysGen contourne ce goulot en recyclant des modèles vidéo entraînés sur des corpus massifs d'internet pour en extraire une intuition physique implicite, permanence des objets, dynamique de contact, sans collecter de trajectoires robot. Le fait de rivaliser avec π₀ sans son pré-entraînement propriétaire sur des données d'action est une validation partielle de l'hypothèse que le "sim-to-real gap" peut être réduit par la connaissance du monde visuel plutôt que par des démonstrations téléopérées. Cela dit, les résultats restent issus d'un papier de recherche avec des benchmarks sélectifs ; la robustesse sur des scènes industrielles non structurées reste à démontrer. PhysGen s'inscrit dans un courant actif qui voit les laboratoires de robotique piller les architectures de génération multimodale pour nourrir leurs politiques de contrôle : UniSim, Genie, et surtout WorldVLA avaient déjà exploré cette piste. Physical Intelligence (π₀) représente aujourd'hui la référence en termes de performances sur tâches réelles grâce à son pré-entraînement massif sur données d'action hétérogènes, ce qui rend la comparaison de PhysGen d'autant plus significative. OpenVLA (Berkeley) constitue le concurrent open-source direct. La prochaine étape logique pour les auteurs serait une évaluation sur des manipulateurs industriels multi-DOF en environnement non contrôlé, et une intégration avec des pipelines de données synthétiques pour réduire encore la dépendance aux démonstrations humaines.

IA physiqueOpinion

1 source