RecherchearXiv cs.RO 21 juillet 2026

Vision-Langage vers Exécution Humanoïde : Retargeting Guidé pour l'Éxécution de la Langue des Signes avec Atténuation des Collisions

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le laboratoire de robotique a publié le 24 juillet 2026 sur arXiv (2607.17769v1) un système reliant la génération de langue des signes (SLG, sign language generation) à l'exécution sur robot humanoïde. Les modèles SLG récents produisent des représentations corporelles 3D denses au format SMPL-X, jugées plus fidèles pour préserver la cinématique et la géométrie du corps entier en vue d'un transfert vers un robot. Le problème identifié : ces mouvements générés présentent fréquemment des auto-intersections, notamment des pénétrations main-main et main-torse. Tolérables en rendu vidéo offline, ces artefacts deviennent bloquants à l'exécution réelle, car ils produisent des solutions de cinématique inverse (IK) infaisables, des collisions et des trajectoires retargetées instables. Les auteurs proposent deux briques : un module volumétrique de mitigation des collisions sur SMPL-X qui reprojette les postures générées vers des configurations physiquement plausibles en s'écartant le moins possible de la trajectoire d'origine, et un algorithme de retargeting guidé par un modèle vision-langage (VLM), construit sur un socle IK, où le VLM agit comme critique visuel sur le mouvement humanoïde rendu, détecte les modes d'échec propres à l'embodiment, et déclenche des corrections ciblées dans l'espace des tâches.

Cette contribution s'attaque à un angle mort concret de la course aux humanoïdes polyvalents : la plupart des démonstrations de génération de mouvement (langue des signes comprise) restent évaluées en rendu visuel, sans jamais passer le test du transfert vers un corps robotique réel avec ses contraintes articulaires et ses risques de collision physique. En pointant explicitement le fossé entre motion generation qui a l'air correcte à l'écran et motion generation exécutable sans collision sur un robot, les auteurs infirment implicitement l'hypothèse selon laquelle un bon modèle génératif SMPL-X suffit à garantir un retargeting robuste. Pour les intégrateurs travaillant sur l'accessibilité ou l'interaction homme-robot (interprétation automatisée en langue des signes par humanoïde), c'est un rappel que la chaîne complète, génération plus collision-checking plus correction perceptuelle en boucle, reste nécessaire avant tout déploiement, et que le retargeting IK seul ne suffit pas à garantir la sécurité et la stabilité des trajectoires.

Le travail s'inscrit dans la lignée des systèmes de génération de langue des signes qui ont basculé ces dernières années vers des sorties 3D corps entier plutôt que des séquences 2D ou des squelettes simplifiés, afin de mieux capturer les nuances gestuelles nécessaires à une communication fidèle. Il rejoint aussi une tendance plus large de la robotique humanoïde consistant à utiliser des modèles vision-langage non pas comme générateurs de commandes bas niveau, mais comme superviseurs ou critiques de mouvements déjà produits, une approche qui recoupe les architectures VLA (vision-language-action) évoquées dans des systèmes comme Helix ou GR00T N2, sans toutefois se positionner comme un concurrent direct de ces plateformes de bout en bout. Le papier reste à ce stade une contribution de recherche publiée en preprint, sans mention de partenaire industriel, de plateforme humanoïde spécifique ni de calendrier de déploiement pilote, ce qui en fait une brique méthodologique plutôt qu'une annonce produit.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

EmoPose : génération de gestes sensibles aux émotions guidée par un modèle vision-langage pour robots humanoïdes

Un article publié sur arXiv (2609.23414v1) présente EmoPose, un système associant un modèle vision-langage (VLM) et un contrôleur robotique déterministe pour générer des gestes porteurs d'émotion chez les robots humanoïdes : à partir d'un texte, d'un historique de dialogue et d'un contexte visuel optionnel, le VLM choisit un plan de gestes ordonné (classe communicative, variante, intensité, point d'ancrage vocal), puisé dans une bibliothèque de mouvements propre au robot qui fournit des cibles articulaires à 14 degrés de liberté (DoF). L'outil Pose Studio génère automatiquement les trajectoires, les prévisualise sous le simulateur MuJoCo et synchronise les nouvelles entrées avec le guide du VLM, tandis que des modules déterministes côté robot valident les plans, construisent les trajectoires et gèrent l'ordonnancement, la mise en file et l'interruption des gestes. Sur le banc d'essai EmoPose-Bench, une planification structurée avec GPT-5.5 atteint 98,25 % (± 0,52) sur le niveau facile et 76,50 % (± 0,54) au global, un score supérieur à un prompting à étiquette directe avec le même modèle. Le système exécute la suite nominale sous MuJoCo et reproduit les 29 variantes de la bibliothèque sur un robot Unitree G1 physique, démontré lors d'une visite de laboratoire en quatre étapes mêlant narration expressive avec interruption, dialogue ancré sur la caméra et navigation. Cette architecture répond à un problème concret pour les intégrateurs : confier le contrôle articulaire brut à un modèle de fondation reste imprévisible, tandis qu'un robot purement scripté manque de flexibilité sociale. En cantonnant le VLM à un rôle de sélection sémantique dans une bibliothèque de mouvements pré-validée et en laissant le contrôle bas niveau à des modules déterministes, EmoPose permet d'étendre le répertoire expressif à de nouveaux contextes sociaux sans modifier l'interface de contrôle ni recertifier la sécurité du mouvement. C'est un argument dans le débat sur le passage à l'échelle des modèles vision-langage-action (VLA) : plutôt que de démontrer qu'un VLA génère directement des trajectoires fiables de bout en bout, les auteurs montrent qu'un VLM peut piloter une bibliothèque de gestes pré-validés, approche plus proche de ce qu'un intégrateur industriel peut auditer et déployer en sécurité. Les chiffres de précision restent néanmoins issus d'un benchmark maison et d'une démonstration en laboratoire contrôlé, pas d'un déploiement en conditions réelles à grande échelle. EmoPose s'inscrit dans la vague de travaux cherchant à combler l'écart entre les modèles vision-langage-action généralistes, tels Pi-0 ou GR00T N2, et le besoin d'un contrôle fiable et spécifique à chaque corps physique ; contrairement à ces approches de génération de mouvement de bout en bout, EmoPose sépare explicitement raisonnement social et exécution motrice. Le choix du Unitree G1, plateforme humanoïde largement utilisée par les laboratoires de recherche pour son coût accessible, souligne la nature académique de la démonstration plutôt qu'un déploiement commercial. Les auteurs ne mentionnent ni partenaire industriel ni calendrier de commercialisation : à ce stade, la publication reste une validation de méthode sur banc d'essai et lors d'une visite de laboratoire, sans pilote client ni déploiement annoncé en environnement réel.

RecherchePaper

1 source

2arXiv cs.RO

Retargeting de contacts guidé par VLM et modélisation générative du partenaire pour l'interaction humanoïde-humain

Des chercheurs présentent REACT, un framework d'apprentissage de politiques d'interaction humanoïde-humain à partir de démonstrations humain-humain, publié sur arXiv (2610.28523). Le système a été évalué en simulation et sur un robot réel Unitree G1, sur cinq interactions riches en contacts physiques. La chaîne de traitement comporte trois étapes. Un VLM (modèle vision-langage) identifie d'abord les contacts sémantiquement pertinents dans les données de capture de mouvement, puis les retransfère sur la géométrie humanoïde-humain en préservant la structure de l'interaction. Des politiques « privilégiées », qui accèdent à l'état complet du partenaire, apprennent ensuite des comportements physiquement cohérents grâce à des récompenses de contact sensibles à l'interaction. Elles sont enfin distillées en politiques déployables fondées sur la profondeur égocentrique, entraînées uniquement avec les capteurs embarqués grâce à un rendu photoréaliste de profondeur humaine. Des objectifs de modélisation générative de l'état du partenaire prédisent son mouvement à partir de vues occultées. Selon les auteurs, la modélisation sémantique des contacts améliore nettement la préservation des interactions démontrées, et la modélisation générative améliore le rappel de contact sur quatre interactions sur cinq, surtout en cas de forte occultation. Sur le matériel réel, les cinq interactions sont exécutées avec les seuls capteurs embarqués. L'enjeu porte sur un verrou central de l'interaction physique : au contact rapproché, le partenaire humain est occulté, tronqué ou hors du champ de vision, ce qui fait échouer l'estimation de pose. Beaucoup de démonstrations reposent donc sur un suivi externe (capture de mouvement, caméras fixes) ou sur l'état humain privilégié, des dispositifs inutilisables hors laboratoire. Une politique qui fonctionne sans eux rapproche l'humanoïde de cas d'usage réalistes : assistance, soins, collaboration en atelier. Le travail traite aussi un problème de données souvent négligé, les erreurs de capture dues aux occultations mutuelles entre humains. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par les pairs, sur un seul robot, avec seulement cinq interactions. Le résumé ne donne ni taux de réussite chiffrés, ni durées d'essai, ni mesure de robustesse face à des morphologies ou comportements humains variés. L'écart entre démonstration en laboratoire et déploiement fiable reste donc entier. Le contexte est celui d'une course où l'humanoïde Unitree G1, relativement abordable, sert de plateforme de recherche standard. Les approches dominantes d'apprentissage de politiques de corps entier se concentrent surtout sur la locomotion et la manipulation, l'interaction humain-robot restant plus rare, car plus risquée et plus difficile à simuler. REACT s'inscrit dans la tendance à utiliser des modèles de fondation (ici un VLM) comme source de supervision sémantique, plutôt que de simples heuristiques géométriques. Les prochaines étapes naturelles seraient des tests sur d'autres plateformes, davantage d'interactions et des évaluations avec des participants variés, ainsi que des garanties de sécurité en contact. Aucun partenaire industriel, calendrier de pilote ni déploiement commercial n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéos

Une nouvelle méthode d'apprentissage par imitation pour robots humanoïdes vient d'être publiée sur arXiv (2605.23762, mai 2026), proposant un cadre à étape unique baptisé Direct Dynamic Retargeting (DDR). L'objectif est d'apprendre des comportements moteurs complexes à partir de simples vidéos monoculaires de démonstration humaine, sans capteurs de mouvement ni combinaisons de capture. Le défi central est morphologique : un humain et un robot humanoïde ne partagent ni les mêmes proportions, ni les mêmes centres de masse, ni les mêmes contraintes articulaires, ce qui rend la transposition directe des trajectoires impossible. Les approches standards, dites Geometric Retargeting ou Indirect Dynamic Retargeting, projettent d'abord le mouvement humain dans un espace cinématique intermédiaire avant de générer les commandes robot, introduisant ce que les auteurs appellent un biais géométrique qui restreint l'espace de solutions et produit des comportements sous-optimaux. DDR supprime cette étape intermédiaire en formulant le problème directement dans l'espace des tâches (task space), couplé à un solveur de contrôle prédictif par modèle (Model Predictive Control, MPC) à base d'échantillonnage, exécuté au sein d'un simulateur physique. Ce couplage permet au système d'optimiser nativement les séquences de contact sol-pied tout en limitant la dérive des entrées, garantissant la faisabilité dynamique des trajectoires générées. Les expériences montrent que DDR surpasse les méthodes de référence en précision de suivi des démonstrations. Plus significatif pour les praticiens : fournir ces références physiquement viables à un agent d'apprentissage par renforcement accélère la convergence de l'entraînement et améliore l'exécution finale de comportements agiles et d'équilibrage dynamique. L'apprentissage par imitation à partir de vidéo est devenu un axe majeur de la robotique humanoïde, porté par des travaux comme Pi-0 de Physical Intelligence ou les pipelines de données de téléopération développés chez Figure AI et Agility Robotics. Ces approches cherchent à exploiter l'immense corpus de vidéos de mouvements humains disponibles en ligne pour réduire le coût prohibitif de la collecte de données sur robot. DDR s'inscrit dans cette tendance mais attaque le problème par la dynamique plutôt que par la géométrie, un pari prometteur qui reste à valider en conditions réelles : aucun résultat physique sur robot n'est présenté dans cet article, uniquement des évaluations en simulation. Le code source sera rendu public, ce qui permettra à la communauté de reproduire et d'étendre ces résultats.

RecherchePaper

1 source

4arXiv cs.RO

VICAR : imitation vidéo avec retargeting sensible aux contacts pour les compétences interactives des humanoïdes

VICAR, présenté sur arXiv (2610.13079), est un pipeline qui apprend des compétences interactives à un humanoïde à partir de simples vidéos d'humains filmés à la troisième personne, sans ingénierie de récompense propre à chaque tâche, sans téléopération ni démonstrations scriptées à la main. Le système reconstruit d'abord le mouvement humain et les obstacles pertinents de la scène à partir d'une vidéo monoculaire, puis retargete ce mouvement vers le robot en préservant les poses de contact dans le repère monde, la vitesse du geste et les marges de collision. Les mouvements obtenus entraînent un générateur de mouvement conditionné par les contacts, dont les entrées incluent des points de contact mobiles. Les auteurs l'ont testé sur dix compétences : six services de tennis de table, trois tâches de ramassage d'objets et une montée d'échelle, avec un déploiement sur matériel réel. Le résumé ne donne ni plateforme humanoïde, ni taux de réussite, ni temps de cycle, et ce sont des points à vérifier dans l'article complet. L'intérêt tient à un verrou précis de l'imitation depuis la vidéo. Les systèmes récents savent déjà extraire des mouvements, des trajectoires d'objets et des contacts bruités de vidéos non structurées, mais la tâche y est souvent définie par des contacts ancrés dans le monde (la main sur un barreau, la raquette sur la balle) dont la position, le timing et la vitesse doivent survivre à la différence de morphologie entre humain et robot. Les méthodes classiques de retargeting se contentent de supprimer les pénétrations ou de conserver la géométrie locale d'interaction. VICAR traite les contacts et le dégagement de collision comme des termes de pénalité lagrangiens prioritaires, tout en gardant la trajectoire globale fluide. Si les résultats tiennent, cela réduit le coût de collecte de données pour des tâches de loco-manipulation, face à la téléopération, qui reste le goulot d'étranglement des acteurs industriels. Il faut cependant rester prudent : dix compétences, dont six sont des variantes d'une même tâche, constituent un échantillon étroit, et une preuve de concept académique ne dit rien de la robustesse en production. Ce travail s'inscrit dans la vague de recherche qui cherche à transformer la vidéo humaine, abondante et peu chère, en compétences humanoïdes déployables, en alternative aux pipelines de suivi de mouvement par apprentissage par renforcement en simulation et à la téléopération massive pratiquée par les acteurs commerciaux de l'humanoïde. Le point nouveau revendiqué est l'adaptation à l'exécution: le générateur accepte de nouvelles positions de contact, ce qui évite de réentraîner à chaque déplacement d'objet. Il s'agit d'une publication de recherche (v1, non évaluée par les pairs), sans produit ni pilote industriel annoncé. La suite logique serait une validation sur davantage de tâches et de morphologies, avec des mesures de fiabilité publiées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source