RecherchearXiv cs.RO 1 septembre 2026

RoboGesture : génération en temps réel de gestes de parole synchronisés sémantiquement pour l'interaction humanoïde

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

RoboGesture, un framework de recherche destiné à permettre aux robots humanoïdes de générer des gestes synchronisés et sémantiquement cohérents en réponse à la parole humaine, a été décrit dans un article publié sur arXiv fin août 2026 (arXiv:2608.28693). Le système s'appuie sur un jeu de données dédié couvrant plus de 300 catégories de gestes, construit via un pipeline automatisé produisant des paires audio-mouvement spécifiques au robot et garanties sans collision. L'architecture combine un "Hierarchical Semantic-Acoustic Aligner", qui extrait des indices prosodiques et sémantiques à plusieurs échelles directement depuis les tokens audio bruts, et un générateur de mouvement en continu basé sur un transformer de diffusion avec conditional flow matching. Une technique nommée "Anti-Inertia CFG Masking" empêche le modèle de retomber dans des schémas de mouvement répétitifs en le forçant à puiser activement dans le signal audio, tandis qu'un filtre de sécurité basé sur du contrôle prédictif (MPC) assure une exécution en temps réel sans collision sur le matériel physique. Les expériences ont été menées sur un humanoïde Unitree G1, avec des résultats présentés comme plus sûrs, plus rythmiquement cohérents et plus pertinents sémantiquement que les méthodes de référence existantes.

Ce travail cible un angle mort du secteur humanoïde, focalisé jusqu'ici surtout sur la locomotion et la manipulation d'objets : la gestuelle expressive et conversationnelle, pourtant déterminante pour l'acceptabilité d'un robot en interaction sociale (accueil, guidage, service client). Les auteurs pointent un problème technique précis, "l'éclipse modale", où les modèles génératifs ignorent le signal audio et se contentent de prolonger l'inertie cinématique du mouvement précédent, produisant des gestes désynchronisés de la parole. Le filtre MPC vise à combler l'écart classique entre simulation et réel sur un point sensible : un humanoïde qui gesticule près d'un humain sans garantie anticollision est difficilement déployable. Ces résultats restent néanmoins issus d'un cadre évalué sur une seule plateforme, sans déploiement commercial annoncé : une preuve de concept méthodologique, pas un produit prêt à l'emploi.

RoboGesture s'inscrit dans la vague plus large des modèles vision-langage-action qui cherchent à doter les humanoïdes d'un comportement naturel, aux côtés d'initiatives comme GR00T N2 de Nvidia, Helix de Figure AI ou Pi-0 de Physical Intelligence, mais avec un focus rare sur la gestuelle sociale plutôt que la manipulation ou la locomotion. Le choix du Unitree G1, plateforme chinoise relativement accessible et très utilisée par les laboratoires de recherche, souligne la nature académique du projet plus qu'une orientation produit immédiate. L'article ne mentionne aucune date de mise en œuvre industrielle ni partenariat commercial ; les prochaines étapes évoquées par les chercheurs portent sur l'élargissement du jeu de données et la validation en interaction réelle prolongée avec des utilisateurs humains.

Dans nos dossiers

Figure Unitree IA physique & VLA NVIDIA GR00T

À lire aussi

1arXiv cs.RO

PAMoR : génération en temps réel de mouvements affectifs paramétrés pour robots humanoïdes

Des chercheurs ont publié le 28 août 2026 sur arXiv (2608.28213) un système baptisé PAMoR, qui génère des mouvements de robot humanoïde porteurs d'une émotion mesurable, plutôt qu'imitée depuis une vidéo de référence ou un simple mot-clé comme le font les systèmes existants pour avatars virtuels. Le système calcule en forme fermée une coordonnée de valence-arousal directement depuis la cinématique du robot, à partir de l'expansion posturale et de l'énergie du mouvement, sans aucune annotation humaine. Un modèle d'action et deux modèles affectifs, entraînés dans un espace latent partagé, se combinent à chaque étape de débruitage: le premier fixe la tâche exécutée, les seconds en modulent la tonalité émotionnelle. Le mouvement corps entier tourne en temps réel, en boucle autorégressive, sur un Unitree G1 à 29 degrés de liberté, action et émotion restant modifiables à la volée. Lors d'une étude perceptuelle, des évaluateurs humains ont identifié l'émotion commandée dans 38% des essais, contre 44% pour des mouvements joués par des acteurs humains. Le secteur humanoïde communique surtout sur la manipulation et la locomotion; l'expressivité émotionnelle des robots reste le plus souvent démontrée par des vidéos sélectionnées plutôt que mesurée par un protocole contrôlé. PAMoR propose un paramètre affectif quantifiable et éditable en temps réel, exploitable dans une boucle de contrôle, ce qui intéresse les intégrateurs travaillant sur l'accueil, l'assistance ou l'interaction sociale, sans dégrader la fidélité texte-mouvement des modèles d'action pure. Le score de reconnaissance de 38%, inférieur au niveau humain mais validé par une comparaison perceptuelle explicite plutôt que par une démo triée, fournit une mesure rare et vérifiable de l'expressivité d'un humanoïde, un exercice auquel peu d'annonces du secteur se prêtent. La génération de mouvement expressif existait déjà pour les avatars virtuels, où le style émotionnel provient d'un clip de référence ou d'un mot d'émotion, deux entrées jugées non quantifiables par les auteurs de PAMoR. Le travail transpose cette approche à la robotique physique via le Unitree G1, plateforme de recherche largement utilisée en académie: il s'agit d'une démonstration reproductible et non d'un produit commercial, issue d'une publication arXiv non encore évaluée par les pairs. Elle se distingue des efforts commerciaux centrés sur la manipulation et la locomotion, à l'image des modèles vision-langage-action Pi-0 ou GR00T N2, en ciblant spécifiquement l'affect social du mouvement. Aucun calendrier de transfert vers une plateforme commerciale ni partenariat industriel n'est mentionné à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

SocioGesture : perception adaptative en temps réel des gestes sociaux pour l'interaction homme-robot

Des chercheurs présentent SocioGesture, un système de perception gestuelle sociale conçu pour l'interaction humain-robot en temps réel, décrit dans un article publié sur arXiv le 4 septembre 2026 (arXiv:2609.04545v1). L'objectif est de faire reconnaître à un robot non seulement des commandes explicites, mais aussi des signaux sociaux comme une invitation, un refus ou un signe d'indisponibilité, à partir de capteurs embarqués imparfaits, sujets aux occlusions partielles et aux changements de point de vue. Le système repose sur une représentation compacte du squelette corps-mains avec score de confiance, couplée à un modèle léger à deux flux qui fusionne le mouvement du corps et l'articulation des mains pour une reconnaissance à faible latence directement sur le robot. Pour renforcer la robustesse, les chercheurs entraînent le modèle avec une méthode de corruption volontaire du squelette simulant des mains manquantes, des bras occultés ou des points-clés instables dans le temps, sans alourdir le coût de calcul à l'inférence. Testé sur un jeu de données de gestes sociaux collecté en environnements mixtes intérieur-extérieur, SocioGesture atteint une bonne reconnaissance sur des sujets non vus à l'entraînement, améliore nettement la robustesse face aux occlusions structurées, et tourne en temps réel sur un dispositif de calcul embarqué (edge). Cette avancée cible un angle mort concret de la robotique de service et industrielle: la plupart des systèmes actuels traitent les gestes comme des commandes isolées, mais ignorent les signaux sociaux implicites qui régulent une interaction naturelle en environnement partagé avec des humains, ce qui limite l'acceptabilité et la fluidité des robots déployés en espace public ou en usine. En prouvant qu'un modèle léger peut tourner en embarqué avec robustesse face à l'occlusion, un problème récurrent en conditions réelles, sans démonstration vidéo sélective ni matériel de calcul déporté, l'étude apporte un signal utile aux intégrateurs qui cherchent à dépasser le stade de la démo contrôlée en laboratoire. Le mécanisme d'apprentissage continu, qui met de côté les séquences ambiguës pour un étiquetage différé et permet d'étendre le vocabulaire gestuel sans dégrader les classes déjà apprises, répond aussi à un frein classique au déploiement long terme des robots sociaux. Le travail s'inscrit dans la lignée des recherches en HRI (human-robot interaction) cherchant à rapprocher la perception gestuelle des conditions réelles de terrain, plutôt que des jeux de données propres en studio, une problématique partagée par les laboratoires travaillant sur les modèles vision-langage-action (VLA) et la navigation sociale de robots mobiles ou d'AMR. L'article ne mentionne ni partenariat industriel, ni date de déploiement pilote, ni comparaison chiffrée directe avec des systèmes concurrents commerciaux: il s'agit à ce stade d'une contribution de recherche publiée en preprint, dont la prochaine étape logique serait une validation sur des plateformes robotiques commerciales et des comparaisons benchmark publiques.

RecherchePaper

1 source

3arXiv cs.RO

EgoPriMo : génération de mouvement égocentrique pour le contrôle interactif d'humanoïdes

Des chercheurs ont publié le 9 juin 2026 sur arXiv (réf. 2606.08495) EgoPriMo, un cadre unifié d'apprentissage de prior de mouvement pour robots humanoïdes, entraîné exclusivement à partir de démonstrations humaines en vue égocentrique (caméra portée sur la personne). Le système prend en entrée une séquence vidéo égocentrique et un prompt texte, puis reconstruit, génère ou prédit des mouvements corps entier au format SMPL (Skinned Multi-Person Linear model, le standard académique de représentation du squelette humain). L'architecture centrale est un Triple-stream Diffusion Transformer (DiT) qui modélise conjointement la dynamique corporelle, le contexte visuel égocentriique et le langage naturel via un seul checkpoint partagé, des masques de conditionnement de tâche routant les trois cas d'usage sans architecture distincte. Évalué sur les datasets Nymeria et EgoExo4D, EgoPriMo surpasse UniEgoMotion sur la génération égocentrique, et les trajectoires SMPL produites ont été exécutées avec succès sur le contrôleur humanoïde Unitree (probablement G1 ou H1). Il s'agit d'un papier de recherche, pas d'un déploiement industriel. L'intérêt de cette approche tient à son vecteur de données : les vidéos égocentrique humaines (Nymeria, EgoExo4D) sont disponibles à grande échelle, contrairement aux démonstrations téléopérées sur robots qui restent coûteuses et lentes à collecter. En utilisant le langage comme signal de contrôle haut niveau plutôt que comme spécification complète du mouvement, EgoPriMo vise la généralisation comportementale sans avoir à décrire exhaustivement chaque trajectoire, ce qui est l'un des verrous historiques des systèmes VLA (Vision-Language-Action). Le fait qu'un seul checkpoint gère reconstruction, génération et prévision simplifie le déploiement et réduit la dette de maintenance. La validation sur Unitree démontre une transition sim-to-real partielle, bien qu'aucun chiffre de robustesse en environnement non contrôlé ne soit communiqué dans l'abstract. Ce travail s'inscrit dans une compétition dense autour des priors de mouvement pour humanoïdes. Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Figure (03) investissent massivement dans des pipelines VLA capables de généraliser à des tâches variées. L'originalité d'EgoPriMo est de contourner la dépendance aux données robot en exploitant l'observation humaine égocentrique, une direction explorée également par des travaux issus de CMU et Stanford sur l'imitation via vidéo. Le choix de Unitree comme cible hardware est cohérent avec sa diffusion large dans les labos académiques. Les prochaines étapes naturelles seraient une validation en environnement semi-industriel et une intégration dans une boucle de contrôle fermée, deux dimensions absentes de ce preprint.

RechercheOpinion

1 source

4arXiv cs.RO

WaveSync : optimisation par front d'onde contraint pour les gestes co-verbaux synchronisés des robots humanoïdes

Des chercheurs du laboratoire PAIRS ont publié sur arXiv (arXiv:2606.16600) un système baptisé WaveSync, dédié à la synchronisation des gestes coverbaux d'un robot humanoïde avec sa parole. L'architecture est hybride : un grand modèle de langage décompose les réponses dialoguées en schémas sémantiques structurés et attribue un poids d'importance à chaque mot, construisant une "Semantic Importance Wave", courbe continue représentant l'emphase du discours mot par mot. Les trajectoires gestuelles sont ensuite générées via des Dynamic Movement Primitives (DMP), qui assurent la faisabilité cinématique tout en modulant l'expressivité. Une étape de Wavefront Optimization aligne les pics gestuels avec les pics d'emphase vocale, et résout les violations cinématiques résiduelles par compression de durée et propagation avant. Évalué sur cinq scénarios de dialogue, WaveSync surpasse trois baselines en évaluation objective et subjective. Ce travail s'attaque à un problème structurel de l'HRI sur plateforme physique : contrairement aux avatars virtuels, un humanoïde ne peut enchaîner des mouvements rapides ou chevauchants sans risquer de violer ses contraintes dynamiques. Le couplage entre synchronisation parole-geste et planification cinématiquement sûre était jusqu'ici traité séparément, produisant des gestes soit fluides mais désynchronisés, soit synchronisés mais potentiellement dangereux. WaveSync propose une résolution conjointe de ces deux contraintes, ce qui est non trivial sur hardware réel. Pour les intégrateurs HRI, cela ouvre une voie vers des interfaces vocales naturelles sur robots d'accueil ou de service, sans bibliothèque gestuelle pré-enregistrée. La recherche sur les gestes coverbaux en robotique reste dominée par des corpus humains comme le Trinity Speech-Gesture Dataset, ou des méthodes end-to-end par diffusion telles que GestureDiffuCLIP. WaveSync se distingue par une approche neurosymbolique, combinant contrôle explicite via DMP et compréhension sémantique du LLM, là où les méthodes purement data-driven abandonnent le contrôle cinématique au profit de la fluidité. Le code et les vidéos sont publiés sur GitHub (pairs-lab/WaveSync). Il s'agit d'une publication académique sans déploiement industriel annoncé; la validation sur plateforme réelle hors conditions contrôlées reste à démontrer.

RecherchePaper

1 source