Aller au contenu principal
IA physiqueNVIDIA Developer Blog 

Adapter les mouvements humains aux robots avec NVIDIA SOMA Retargeter

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource uniqueImpact UE

NVIDIA a publié la version 0.2 de SOMA Retargeter, un outil open source qui adapte des données de mouvement humain aux proportions, à la structure articulaire et aux amplitudes d'un robot humanoïde donné. Le pipeline lit une animation au format BVH (Biovision Hierarchy) exprimée sur le squelette de base SOMA, met à l'échelle les cibles de mouvement selon les dimensions du robot, résout la cinématique inverse avec Newton, un moteur construit sur NVIDIA Warp, puis applique des corrections de post-traitement comme l'ajustement des appuis au sol. Le résultat est un fichier CSV contenant, image par image, la position et l'orientation de la racine ainsi que les angles articulaires. La version 0.2 fournit des configurations de référence et des exemples de mouvements retargetés pour cinq robots : Unitree G1, Unitree H2, Booster T1, AgiBot X2 Ultra et AgiBot A3T3. Les mouvements d'exemple proviennent du jeu de données BONES-SEED, fourni par Bones. En amont, trois sources de mouvement sont prises en charge : la capture de mouvement (BONES-SEED), la reconstruction 3D du corps entier à partir d'une seule vidéo (GEM-X) et la génération à partir de texte et de contraintes de pose (Kimodo, et ARDY qui ajoute un pilotage interactif), ces deux derniers produisant directement sur le squelette SOMA.

L'intérêt pour les équipes robotique tient moins à l'algorithme, classique, qu'à la standardisation. Le retargeting reste un goulot d'étranglement : chaque source de mouvement a son squelette et son format, et chaque robot réclame un réglage manuel de la cartographie des articulations et des priorités de cinématique inverse. En imposant SOMA comme représentation pivot, NVIDIA propose de réduire ce travail à la seule configuration de l'embodiment. Des outils l'accompagnent : un Robot Configurator pour aligner les poses de référence et cartographier les squelettes, et un optimiseur de poids de cinématique inverse pour obtenir des trajectoires plus fluides. Les CSV s'exportent vers des formats de bibliothèques de mouvement utilisables dans des workflows d'entraînement de politiques comme SONIC et ProtoMotions, avec évaluation en simulation de l'équilibre, des contacts et de la précision de suivi. Les cas d'usage restent toutefois ceux de la recherche : la publication ne fournit ni comparaison chiffrée avec d'autres méthodes, ni mesure de qualité, ni résultat sur robot réel. Les mouvements retargetés sont des références cinématiques, dont la faisabilité dynamique dépend encore de l'entraînement de la politique en aval.

Ce lancement s'inscrit dans la stratégie de NVIDIA, qui cherche à fournir la pile logicielle commune de l'humanoïde : modèles de fondation, simulation, données et outils de génération de mouvement, autour de SOMA-X. Le choix de robots majoritairement chinois (Unitree, Booster, AgiBot), plateformes courantes en recherche académique en raison de leur prix, reflète la base installée des laboratoires. Aucun acteur européen n'apparaît dans la liste, mais le Robot Configurator permet d'ajouter un nouvel embodiment, ce qui ouvre la voie à des plateformes comme celles de Wandercraft ou d'Enchanted Tools, sans que rien ne soit annoncé à ce stade. NVIDIA invite les développeurs à consulter le dépôt GitHub, le guide du Robot Configurator et le guide de retargeting par lots pour traiter des collections entières de mouvements sans passer par le visualiseur. Reste à voir si SOMA s'imposera face aux pipelines maison des fabricants et aux autres formats de squelette utilisés par la communauté.

Impact France/UE

Aucun acteur européen n'est supporté nativement, mais le Robot Configurator open source pourrait permettre d'intégrer des plateformes françaises comme Wandercraft ou Enchanted Tools.

À lire aussi

NVIDIA GR00T 2 transfère des compétences humaines aux robots avec seulement cinq démonstrations par tâche
Illustration générée par IA
1Interesting Engineering 

NVIDIA GR00T 2 transfère des compétences humaines aux robots avec seulement cinq démonstrations par tâche

NVIDIA a présenté GR00T 2, une nouvelle génération de modèle de fondation pour robots, le 9 novembre à la Conference on Robot Learning d'Austin (Texas). Il s'agit d'un « world-action model » : il prédit conjointement la vidéo future et les mouvements du robot, ce qui lui permet d'apprendre comment les interactions physiques se déroulent et d'en déduire les actions à exécuter. Le modèle vise plusieurs morphologies : bras à pince parallèle, mains dexterès à cinq doigts et humanoïdes. Il s'entraîne sur 402 730 heures de vidéos humaines en vue subjective, 10 184 heures de démonstrations à la pince manuelle et 23 500 heures de téléopération de robots, dont 100 000 heures du jeu Human-1M sont publiées en accès ouvert. Sur 50 tâches jamais démontrées sur le robot cible, le taux de réussite moyen atteint 40 % sans entraînement spécifique, puis 95 % après cinq démonstrations par tâche et 30 minutes de fine-tuning sur une seule RTX 5090, soit moins de trois minutes de données robot par tâche. Selon NVIDIA, cette approche de « cross-adaptation » (X-Adapt) fonctionne même quand la démonstration vient d'un autre corps : une main à cinq doigts a doublé un filtre papier dans un entonnoir de laboratoire et l'a mouillé dans 65 % des essais à partir d'une démonstration purement humaine, et le bras YAM a assemblé un camion benne jouet dans 60 % des cas après démonstration avec une pince UMI. Couplé à un modèle de raisonnement qui découpe la tâche et pilote le robot par API, le système a réussi au moins 97 essais sur 100 sur trois assemblages de jouets, en récupérant après erreurs et interruptions. Un guidage visuel marquant les points de saisie et de dépose fait passer le succès sur tâches courtes de 40 % à 92 % sur YAM. Une version réduite, GR00T 2 Turbo, tourne sur un Unitree G1 avec un Jetson Thor embarqué, avec 124 ms par prédiction, et a réussi 48 essais sur 48 pour servir du popcorn et 93 % pour débarrasser une table. L'enjeu pour l'industrie est le coût de la donnée. La téléopération reste le goulot d'étranglement des VLA, et montrer qu'une vidéo humaine ou un geste filmé à la pince manuelle peut alimenter un robot différent, avec moins de trois minutes de données robot par tâche, déplace la collecte vers des moyens bien moins chers et plus faciles à passer à l'échelle. Le fine-tuning en 30 minutes sur un GPU grand public rendrait l'adaptation accessible à un intégrateur sans cluster, ce qui compte davantage que le score de 95 %. Il faut toutefois lire ces chiffres avec prudence : les 40 % en zéro-shot signifient qu'une tâche inconnue échoue encore plus d'une fois sur deux, les taux de 60 à 65 % en transfert inter-morphologie restent loin des exigences d'une ligne de production, et les tâches testées (jouets, popcorn, laboratoire) sont des démonstrations contrôlées, sans cadence, fiabilité sur des milliers de cycles ni sécurité documentées. Il s'agit d'un résultat de recherche, pas d'un produit déployé en usine. Ce lancement prolonge la stratégie de NVIDIA, qui vise à devenir la couche logicielle et matérielle commune de la robotique, avec les modèles GR00T, Jetson Thor et ses outils de simulation, face aux approches plus verticales de Physical Intelligence (Pi-0), de Figure (Helix) ou de Tesla (Optimus). L'usage de données humaines à grande échelle rejoint aussi les pistes explorées par plusieurs laboratoires, dont des acteurs européens comme Enchanted Tools ou Wandercraft, qui gagneraient à tirer parti de modèles ouverts de ce type. Le choix du Unitree G1, plateforme de recherche bon marché, indique que l'équipe cible d'abord la communauté académique et les développeurs. La suite à surveiller : la publication des poids et du code, les reproductions indépendantes, et surtout les premiers pilotes industriels mesurant le taux de réussite sur la durée.

IA physiqueActu
1 source
NVIDIA étend LeRobot (open source) avec des outils IA humanoïde pour accélérer le développement des robots
Illustration générée par IA
2Interesting Engineering 

NVIDIA étend LeRobot (open source) avec des outils IA humanoïde pour accélérer le développement des robots

NVIDIA et Hugging Face élargissent leur collaboration autour de LeRobot, la plateforme robotique open source de Hugging Face, avec l'ajout de deux nouveaux outils. Le premier est NVIDIA Isaac GR00T 1.7, présenté par NVIDIA comme son premier modèle de fondation robotique vision-langage-action (VLA) ouvert et commercialement exploitable, conçu pour simplifier le post-entraînement et le déploiement sur différents designs de robots. Le second est NVIDIA Isaac Teleop, un framework open source permettant de collecter des données d'entraînement de haute qualité via des démonstrations humaines avec des dispositifs de contrôle externes, dans un format standardisé et partageable au sein de l'écosystème LeRobot. Un troisième modèle, Cosmos 3, dédié à la génération de données synthétiques et à la simulation d'environnements, sera intégré ultérieurement. Ces annonces s'appuient sur des briques déjà disponibles sur LeRobot, dont un jeu de données ouvert de plus de 350 000 trajectoires robotiques réelles et simulées et 57 millions d'exemples de préhension, ainsi que les outils de simulation Isaac Sim et Isaac Lab, l'environnement Isaac Lab-Arena pour l'entraînement de politiques, et l'intégration du calculateur embarqué Jetson Thor sur le robot humanoïde Reachy 2. NVIDIA a par ailleurs récemment lancé Halos for Robotics, une plateforme de sécurité complète associant matériel, logiciel, capteurs et outils de validation pour les robots autonomes évoluant aux côtés d'humains. Pour l'industrie robotique, l'enjeu affiché est de reproduire pour la robotique la dynamique d'ouverture qui a accéléré le développement en IA logicielle, où le partage de modèles et de jeux de données a fait baisser les coûts d'entrée. NVIDIA met en avant la connexion entre sa communauté de plus de trois millions de développeurs robotiques et les seize millions de développeurs IA de Hugging Face, dans le but de standardiser un flux de travail encore fragmenté, entre collecte de données coûteuse, simulation, puissance de calcul et validation. Si ces chiffres de communauté restent des éléments de communication à prendre avec prudence, l'initiative traduit une tendance de fond: la bascule des modèles VLA de la démonstration marketing vers des briques réutilisables et déployables par des tiers, un test concret de la promesse d'un "sim-to-real" et d'une généralisation multi-robots qui reste à prouver à grande échelle. L'initiative prolonge le partenariat déjà engagé entre les deux entreprises autour de LeRobot et des outils de simulation NVIDIA Isaac, dans un secteur où les modèles fondation pour la robotique se multiplient face à des approches concurrentes comme Pi-0 ou GR00T N2. Les prochaines étapes attendues concernent l'arrivée effective de Cosmos 3 sur la plateforme et l'élargissement du catalogue de robots et de tâches supportés via Isaac Teleop et le jeu de données partagé.

UELe robot humanoïde français Reachy 2 (Pollen Robotics) intègre le calculateur embarqué Jetson Thor de NVIDIA dans le cadre de cet écosystème LeRobot.

IA physiqueActu
1 source
Vidéo : le nouveau modèle omni d'Unitree permet aux robots humanoïdes de penser, se déplacer et assister les humains
Illustration générée par IA
3Interesting Engineering 

Vidéo : le nouveau modèle omni d'Unitree permet aux robots humanoïdes de penser, se déplacer et assister les humains

Unitree, le fabricant chinois de robotique connu pour ses robots quadrupèdes et humanoïdes low-cost, a dévoilé UnifoLM-OminiA-0.3, un modèle d'IA unifié destiné à ses robots humanoïdes. Ce système combine dans une seule architecture la perception omni-modale, le raisonnement, le dialogue et la manipulation mobile du corps entier, sans passer par des modules séparés pour la reconnaissance vocale, la détection d'objets, la navigation et la manipulation. Dans les vidéos de démonstration diffusées par Unitree, un robot humanoïde saisit un coussin et le pose sur un canapé, identifie des couleurs, compte des boîtes de médicaments, va chercher un médicament précis sur une étagère, trie du linge dans un panier, charge une assiette dans un lave-vaisselle et ajuste un lit médicalisé de type hospitalier. Une séquence montre le robot interrompre immédiatement l'ajustement du lit lorsqu'un utilisateur lui demande d'arrêter en pleine tâche, illustrant une réactivité dynamique aux instructions. L'annonce intervient peu après qu'Unitree a présenté un robot humanoïde à buste haut vendu à partir de 26 900 yuans, soit environ 4 290 dollars, positionné comme une alternative bon marché sur le marché. Sur le fond, l'intérêt revendiqué par Unitree n'est pas la nouveauté de chaque tâche individuelle, déjà démontrées séparément par d'autres constructeurs humanoïdes, mais la coordination de l'ensemble du flux (compréhension du langage, perception visuelle, décision, navigation, contrôle moteur) par un seul modèle plutôt qu'une chaîne de sous-systèmes. C'est la promesse centrale des architectures vision-langage-action (VLA) que le secteur cherche à valider à grande échelle: remplacer des routines programmées tâche par tâche par une généralisation across environnements, un enjeu jugé crucial pour les usages domestiques, hospitaliers et de soin où les objets bougent et les consignes changent en temps réel. Reste que ces démonstrations proviennent de vidéos sélectionnées par le fabricant, sans données chiffrées sur le taux de réussite, le temps de cycle, la charge utile ou le nombre de degrés de liberté, ni validation indépendante en conditions réelles de déploiement, ce qui invite à distinguer nettement la démonstration marketing du produit réellement livré ou déployé chez un client. UnifoLM-OminiA-0.3 s'inscrit dans le programme d'IA incarnée UnifoLM d'Unitree, qui a débuté en 2025 avec UnifoLM-WMA-0, un cadre open-source de modélisation du monde et de l'action destiné à prédire les effets physiques des interactions robot-environnement. Ce socle a été suivi début 2026 par UnifoLM-VLA-0, un modèle vision-langage-action, avant cette version omni-modale axée sur l'assistance à domicile et les soins. Unitree ne précise pas de calendrier de déploiement pilote ni de partenaires hospitaliers ou domestiques identifiés, la trajectoire du programme suggérant toutefois une progression méthodique vers des systèmes de plus en plus généralistes plutôt qu'un produit fini prêt à l'emploi.

IA physiqueActu
1 source
Retargeting de mouvement humain adapté à la morphologie pour la locomotion-manipulation d'un humanoïde à roues
Illustration générée par IA
4arXiv cs.RO 

Retargeting de mouvement humain adapté à la morphologie pour la locomotion-manipulation d'un humanoïde à roues

Un preprint arXiv (2609.11357v1) présente un pipeline transférant des mouvements humains captés par motion capture vers le Galaxea R1 Pro, humanoïde à roues sans jambes : base à trois roues, torse et deux bras. Bâtie sur deux frameworks existants, GMR pour le retargeting de mouvement et BeyondMimic pour l'apprentissage en simulation physique, la chaîne convertit des données SMPLX issues de plusieurs jeux de données en mouvements exécutables via prétraitement morphologique, normalisation de la base, cinématique inverse adaptée à la morphologie, retargeting hiérarchique des bras et substitution du torse pour les flexions. Une couche de planification traduit ensuite le déplacement en commandes de direction et roulement des trois roues. Une politique de contrôle à 21 dimensions, baptisée BaseDecode, a été entraînée dans le simulateur Isaac Lab. La majorité des travaux de retargeting humain-humanoïde ciblent des humanoïdes à jambes ; les plateformes à roues, qui combinent mobilité et manipulation sans articulation de jambe, restent peu couvertes alors qu'elles intéressent les intégrateurs logistiques pour leur stabilité et leur coût de contrôle plus faible qu'un bipède. Le problème central résolu est la redistribution du mouvement des jambes humaines vers la base roulante et la posture du torse, sans déformer la géométrie des bras nécessaire à la manipulation. Le système produit un mouvement physiquement exécutable et non une simple animation, dans la lignée des efforts récents pour transformer des démonstrations humaines en politiques robotiques déployables. Les auteurs précisent toutefois que les comparaisons quantitatives entre politiques restent reportées à une révision ultérieure. Le travail s'inscrit dans la vague de recherche sur l'imitation de mouvement humain pour entraîner des politiques de manipulation, aux côtés d'approches comme Pi-0, GR00T N2 ou Helix, mais appliqué à une plateforme humanoïde à roues commerciale, le R1 Pro de Galaxea, plutôt qu'à un bipède comme l'Optimus de Tesla. Il réutilise les briques GMR et BeyondMimic plutôt que de repartir de zéro. Aucun acteur français ou européen n'est associé à ces travaux. La suite annoncée par les auteurs est la publication, dans une révision ultérieure du preprint, de comparaisons quantitatives entre politiques entraînées, pour vérifier si les performances confirment les démonstrations qualitatives de cette première version.

IA physiquePaper
1 source