RecherchearXiv cs.RO 21 octobre 2026

Retargeting de contacts guidé par VLM et modélisation générative du partenaire pour l'interaction humanoïde-humain

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent REACT, un framework d'apprentissage de politiques d'interaction humanoïde-humain à partir de démonstrations humain-humain, publié sur arXiv (2610.28523). Le système a été évalué en simulation et sur un robot réel Unitree G1, sur cinq interactions riches en contacts physiques. La chaîne de traitement comporte trois étapes. Un VLM (modèle vision-langage) identifie d'abord les contacts sémantiquement pertinents dans les données de capture de mouvement, puis les retransfère sur la géométrie humanoïde-humain en préservant la structure de l'interaction. Des politiques « privilégiées », qui accèdent à l'état complet du partenaire, apprennent ensuite des comportements physiquement cohérents grâce à des récompenses de contact sensibles à l'interaction. Elles sont enfin distillées en politiques déployables fondées sur la profondeur égocentrique, entraînées uniquement avec les capteurs embarqués grâce à un rendu photoréaliste de profondeur humaine. Des objectifs de modélisation générative de l'état du partenaire prédisent son mouvement à partir de vues occultées. Selon les auteurs, la modélisation sémantique des contacts améliore nettement la préservation des interactions démontrées, et la modélisation générative améliore le rappel de contact sur quatre interactions sur cinq, surtout en cas de forte occultation. Sur le matériel réel, les cinq interactions sont exécutées avec les seuls capteurs embarqués.

L'enjeu porte sur un verrou central de l'interaction physique : au contact rapproché, le partenaire humain est occulté, tronqué ou hors du champ de vision, ce qui fait échouer l'estimation de pose. Beaucoup de démonstrations reposent donc sur un suivi externe (capture de mouvement, caméras fixes) ou sur l'état humain privilégié, des dispositifs inutilisables hors laboratoire. Une politique qui fonctionne sans eux rapproche l'humanoïde de cas d'usage réalistes : assistance, soins, collaboration en atelier. Le travail traite aussi un problème de données souvent négligé, les erreurs de capture dues aux occultations mutuelles entre humains. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par les pairs, sur un seul robot, avec seulement cinq interactions. Le résumé ne donne ni taux de réussite chiffrés, ni durées d'essai, ni mesure de robustesse face à des morphologies ou comportements humains variés. L'écart entre démonstration en laboratoire et déploiement fiable reste donc entier.

Le contexte est celui d'une course où l'humanoïde Unitree G1, relativement abordable, sert de plateforme de recherche standard. Les approches dominantes d'apprentissage de politiques de corps entier se concentrent surtout sur la locomotion et la manipulation, l'interaction humain-robot restant plus rare, car plus risquée et plus difficile à simuler. REACT s'inscrit dans la tendance à utiliser des modèles de fondation (ici un VLM) comme source de supervision sémantique, plutôt que de simples heuristiques géométriques. Les prochaines étapes naturelles seraient des tests sur d'autres plateformes, davantage d'interactions et des évaluations avec des participants variés, ainsi que des garanties de sécurité en contact. Aucun partenaire industriel, calendrier de pilote ni déploiement commercial n'est annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

VICAR : imitation vidéo avec retargeting sensible aux contacts pour les compétences interactives des humanoïdes

VICAR, présenté sur arXiv (2610.13079), est un pipeline qui apprend des compétences interactives à un humanoïde à partir de simples vidéos d'humains filmés à la troisième personne, sans ingénierie de récompense propre à chaque tâche, sans téléopération ni démonstrations scriptées à la main. Le système reconstruit d'abord le mouvement humain et les obstacles pertinents de la scène à partir d'une vidéo monoculaire, puis retargete ce mouvement vers le robot en préservant les poses de contact dans le repère monde, la vitesse du geste et les marges de collision. Les mouvements obtenus entraînent un générateur de mouvement conditionné par les contacts, dont les entrées incluent des points de contact mobiles. Les auteurs l'ont testé sur dix compétences : six services de tennis de table, trois tâches de ramassage d'objets et une montée d'échelle, avec un déploiement sur matériel réel. Le résumé ne donne ni plateforme humanoïde, ni taux de réussite, ni temps de cycle, et ce sont des points à vérifier dans l'article complet. L'intérêt tient à un verrou précis de l'imitation depuis la vidéo. Les systèmes récents savent déjà extraire des mouvements, des trajectoires d'objets et des contacts bruités de vidéos non structurées, mais la tâche y est souvent définie par des contacts ancrés dans le monde (la main sur un barreau, la raquette sur la balle) dont la position, le timing et la vitesse doivent survivre à la différence de morphologie entre humain et robot. Les méthodes classiques de retargeting se contentent de supprimer les pénétrations ou de conserver la géométrie locale d'interaction. VICAR traite les contacts et le dégagement de collision comme des termes de pénalité lagrangiens prioritaires, tout en gardant la trajectoire globale fluide. Si les résultats tiennent, cela réduit le coût de collecte de données pour des tâches de loco-manipulation, face à la téléopération, qui reste le goulot d'étranglement des acteurs industriels. Il faut cependant rester prudent : dix compétences, dont six sont des variantes d'une même tâche, constituent un échantillon étroit, et une preuve de concept académique ne dit rien de la robustesse en production. Ce travail s'inscrit dans la vague de recherche qui cherche à transformer la vidéo humaine, abondante et peu chère, en compétences humanoïdes déployables, en alternative aux pipelines de suivi de mouvement par apprentissage par renforcement en simulation et à la téléopération massive pratiquée par les acteurs commerciaux de l'humanoïde. Le point nouveau revendiqué est l'adaptation à l'exécution: le générateur accepte de nouvelles positions de contact, ce qui évite de réentraîner à chaque déplacement d'objet. Il s'agit d'une publication de recherche (v1, non évaluée par les pairs), sans produit ni pilote industriel annoncé. La suite logique serait une validation sur davantage de tâches et de morphologies, avec des mesures de fiabilité publiées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Modèle de cognition du monde pour l'interaction humain-robot généralisable

Un article scientifique publié sur arXiv (référence 2607.22999v1) présente WCM, pour World-Cognition Model, un agent robotique conçu pour rendre l'interaction homme-robot aussi fluide que celle qu'offrent déjà les agents conversationnels dans le logiciel. Le système repose sur une architecture baptisée SLAK, acronyme de Sensing, Logic, Action et Knowledge, qui sépare explicitement la perception, le raisonnement, le contrôle moteur et la mémoire. Cette séparation s'appuie sur un runtime asynchrone permettant au raisonnement, au dialogue et à l'exécution de se dérouler en parallèle plutôt que séquentiellement. WCM ajoute un mode d'apprentissage supervisé par l'humain, où l'utilisateur peut enseigner interactivement au robot des tâches longues ou complexes ; ces épisodes d'enseignement, combinés aux exécutions autonomes, sont ensuite convertis en données de supervision par chaîne de raisonnement (chain-of-thought) pour affiner le modèle en continu. Sur neuf tâches réelles d'interaction homme-robot, le système atteint un taux de réussite moyen de 73,8 %, y compris sur des tâches exclues de l'entraînement par chaîne de raisonnement et sur une tâche longue apprise uniquement par démonstration humaine. L'enjeu dépassé ici n'est pas tant la performance brute que la question de la contrôlabilité. Les approches dominantes actuelles, qu'il s'agisse des politiques vision-langage-action (VLA) ou des planificateurs fondés sur des modèles du monde, sont optimisées pour exécuter une instruction, mais laissent peu de visibilité à l'utilisateur sur les raisons d'une action donnée et peu de moyens de corriger ou réorienter le robot en cours de tâche. En proposant un mécanisme explicite de correction et d'enseignement en temps réel, WCM répond à un point de friction identifié par les intégrateurs industriels : un robot qui exécute bien mais s'explique mal reste difficile à déployer et à faire confiance sur des tâches non anticipées. Le travail s'inscrit dans la lignée des recherches récentes sur les modèles de fondation pour la robotique, où des architectures comme les VLA ont cherché à généraliser l'exécution de tâches à partir de démonstrations massives. WCM se positionne en complément plutôt qu'en rupture, en ajoutant une couche cognitive et interactive au-dessus du contrôle bas niveau. Les auteurs ne précisent pas de calendrier de déploiement industriel ni de partenaire commercial ; il s'agit à ce stade d'une publication de recherche, dont la prochaine étape logique serait l'extension à un plus grand nombre de tâches et de plateformes robotiques.

RecherchePaper

1 source

3arXiv cs.RO

HumanX : des compétences d'interaction humanoïdes agiles et généralisables, apprises à partir de vidéos humaines

Des chercheurs présentent HumanX, un cadre unifié qui convertit de simples vidéos monoculaires de humains en compétences d'interaction pour robots humanoïdes, sans conception spécifique à chaque tâche. Le système repose sur deux briques co-conçues. XGen, un pipeline de génération de données centré sur des « ancres », produit à partir d'une vidéo des données d'interaction physiquement plausibles pour le robot, puis les augmente pour constituer un jeu d'entraînement varié. XMimic, un cadre d'apprentissage qui donne la priorité à l'interaction avec l'objet ou le partenaire, en tire des compétences généralisables à partir de quelques secondes de démonstration. L'évaluation couvre cinq domaines (basket, football, badminton, ramassage de colis et combat réactif), soit 9 compétences distinctes, transférées en zero-shot sur un Unitree G1 réel. Parmi les résultats cités figurent un tir en fadeaway après feinte et demi-tour, réalisé sans aucune perception externe, ainsi que des échanges de passes soutenus avec un humain sur plus de 10 cycles consécutifs, appris à partir d'une seule vidéo. L'intérêt tient à la contrainte que ce travail cherche à lever. L'apprentissage de l'interaction pour humanoïdes bute d'ordinaire sur deux obstacles : la rareté de données d'interaction réalistes, et la nécessité d'ingénierie de récompense minutieuse, tâche par tâche, qui empêche le passage à l'échelle. Si les résultats se confirment, une vidéo unique suffirait à produire une politique transférable en simulation vers le réel, ce qui réduit fortement le coût d'ajout d'une compétence. Les auteurs affirment une meilleure généralisation que les méthodes antérieures, mais le texte ne détaille pas ici les références comparées ni les taux de réussite. Il faut aussi relativiser la portée : la méthode vaut pour une classe d'interactions « ancrables », donc pas pour toute manipulation. Les démonstrations portent sur un seul robot, le G1, et le tir sans perception externe montre davantage la qualité du contrôle que de l'adaptation à un environnement imprévu. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. Ce travail s'inscrit dans la vague de l'apprentissage de mouvements humanoïdes à partir de vidéos humaines et de capture de mouvement, où le Unitree G1, peu coûteux et très répandu dans les laboratoires, sert de plateforme de référence. Les approches concurrentes se divisent entre imitation avec récompenses conçues à la main, pipelines de retargeting de mouvement et modèles vision-langage-action généralistes (VLA) comme Pi-0, GR00T N2 ou Helix, plus orientés manipulation et instruction en langage naturel que dynamique agile. HumanX se positionne à l'inverse sur l'agilité et la réactivité physique. Cette version v2 de l'article sur arXiv (2602.02473) indique une révision du manuscrit. Parmi les suites à surveiller figurent une validation sur d'autres morphologies, un élargissement au-delà des interactions ancrables et une mesure plus systématique de la robustesse face à des conditions non contrôlées.

RecherchePaper

1 source

4arXiv cs.RO

iGPC : priors de mouvement génératifs pour l'interaction humanoïde sensible aux objets

Des chercheurs proposent iGPC, un cadre qui étend le Generative Pretrained Controller (GPC), un contrôleur humanoïde préentraîné sur de larges corpus de mouvements humains, à l'interaction corps entier avec des objets. Le travail, publié sur arXiv (2610.08120v1), procède en deux étapes. D'abord, GPC est adapté en « experts d'interaction » conditionnés par des indices d'affordance de la scène et par des informations d'état privilégiées (accessibles en simulation, mais pas sur un robot réel). Ces experts conservent le prior de mouvement humain tout en apprenant des comportements de contact propres à chaque tâche : atteindre un objet, s'agripper à un support de l'environnement pour se stabiliser, pousser un objet mobile. Ensuite, un « étudiant » piloté par la perception reprend la politique GPC préentraînée et distille les compétences des experts à partir des seules observations de capteurs embarqués. Deux objectifs d'entraînement complémentaires comblent l'écart entre observations privilégiées et signaux sensoriels. Les auteurs annoncent des résultats concluants sur plusieurs tâches corps entier. Le résumé ne donne ni plateforme matérielle, ni taux de réussite, ni nombre de degrés de liberté, ni validation chiffrée en conditions réelles. L'enjeu est le passage du mouvement naturel à l'interaction physique guidée par la perception, point de blocage récurrent pour les humanoïdes. Les priors issus de données humaines donnent des mouvements fluides et variés, mais ils sont rarement exploités pour des contacts riches avec l'environnement, où la perception bruitée et l'absence d'information privilégiée fragilisent les politiques. Si les résultats tiennent, ils plaident pour un modèle de fond de mouvement réutilisable, adapté ensuite à des tâches de manipulation et de stabilisation, plutôt qu'une politique entraînée de zéro pour chaque scénario. Pour un intégrateur, la capacité à s'appuyer sur un support ou à pousser une charge sans cartographie parfaite de la scène serait pertinente en logistique ou en maintenance. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par des pairs, sans chiffres publics dans le résumé. Il ne permet donc pas d'évaluer l'écart entre démonstration et fiabilité en production. Ce travail s'inscrit dans la lignée des approches de distillation enseignant-étudiant, devenues standard pour le transfert simulation-réel en locomotion et en contrôle corps entier. Il prolonge GPC, proposé récemment pour le contrôle humanoïde général à partir de mouvements humains à grande échelle. Il rejoint aussi les efforts sur les politiques généralistes corps entier des acteurs industriels et académiques, comme GR00T chez NVIDIA, sans rapport de performance direct démontré ici. La suite logique serait une validation sur un robot physique, avec des métriques de robustesse et des comparaisons à des méthodes de référence. Aucune échéance de déploiement ni partenaire industriel n'est mentionné à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source