Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
WaveSync : optimisation par front d'onde contraint pour les gestes co-verbaux synchronisés des robots humanoïdes
RecherchearXiv cs.RO 

WaveSync : optimisation par front d'onde contraint pour les gestes co-verbaux synchronisés des robots humanoïdes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs du laboratoire PAIRS ont publié sur arXiv (arXiv:2606.16600) un système baptisé WaveSync, dédié à la synchronisation des gestes coverbaux d'un robot humanoïde avec sa parole. L'architecture est hybride : un grand modèle de langage décompose les réponses dialoguées en schémas sémantiques structurés et attribue un poids d'importance à chaque mot, construisant une "Semantic Importance Wave", courbe continue représentant l'emphase du discours mot par mot. Les trajectoires gestuelles sont ensuite générées via des Dynamic Movement Primitives (DMP), qui assurent la faisabilité cinématique tout en modulant l'expressivité. Une étape de Wavefront Optimization aligne les pics gestuels avec les pics d'emphase vocale, et résout les violations cinématiques résiduelles par compression de durée et propagation avant. Évalué sur cinq scénarios de dialogue, WaveSync surpasse trois baselines en évaluation objective et subjective.

Ce travail s'attaque à un problème structurel de l'HRI sur plateforme physique : contrairement aux avatars virtuels, un humanoïde ne peut enchaîner des mouvements rapides ou chevauchants sans risquer de violer ses contraintes dynamiques. Le couplage entre synchronisation parole-geste et planification cinématiquement sûre était jusqu'ici traité séparément, produisant des gestes soit fluides mais désynchronisés, soit synchronisés mais potentiellement dangereux. WaveSync propose une résolution conjointe de ces deux contraintes, ce qui est non trivial sur hardware réel. Pour les intégrateurs HRI, cela ouvre une voie vers des interfaces vocales naturelles sur robots d'accueil ou de service, sans bibliothèque gestuelle pré-enregistrée.

La recherche sur les gestes coverbaux en robotique reste dominée par des corpus humains comme le Trinity Speech-Gesture Dataset, ou des méthodes end-to-end par diffusion telles que GestureDiffuCLIP. WaveSync se distingue par une approche neurosymbolique, combinant contrôle explicite via DMP et compréhension sémantique du LLM, là où les méthodes purement data-driven abandonnent le contrôle cinématique au profit de la fluidité. Le code et les vidéos sont publiés sur GitHub (pairs-lab/WaveSync). Il s'agit d'une publication académique sans déploiement industriel annoncé; la validation sur plateforme réelle hors conditions contrôlées reste à démontrer.

Dans nos dossiers

arXiv cs.RO

À lire aussi

RoboGesture : génération en temps réel de gestes de parole synchronisés sémantiquement pour l'interaction humanoïde
1arXiv cs.RO 

RoboGesture : génération en temps réel de gestes de parole synchronisés sémantiquement pour l'interaction humanoïde

RoboGesture, un framework de recherche destiné à permettre aux robots humanoïdes de générer des gestes synchronisés et sémantiquement cohérents en réponse à la parole humaine, a été décrit dans un article publié sur arXiv fin août 2026 (arXiv:2608.28693). Le système s'appuie sur un jeu de données dédié couvrant plus de 300 catégories de gestes, construit via un pipeline automatisé produisant des paires audio-mouvement spécifiques au robot et garanties sans collision. L'architecture combine un "Hierarchical Semantic-Acoustic Aligner", qui extrait des indices prosodiques et sémantiques à plusieurs échelles directement depuis les tokens audio bruts, et un générateur de mouvement en continu basé sur un transformer de diffusion avec conditional flow matching. Une technique nommée "Anti-Inertia CFG Masking" empêche le modèle de retomber dans des schémas de mouvement répétitifs en le forçant à puiser activement dans le signal audio, tandis qu'un filtre de sécurité basé sur du contrôle prédictif (MPC) assure une exécution en temps réel sans collision sur le matériel physique. Les expériences ont été menées sur un humanoïde Unitree G1, avec des résultats présentés comme plus sûrs, plus rythmiquement cohérents et plus pertinents sémantiquement que les méthodes de référence existantes. Ce travail cible un angle mort du secteur humanoïde, focalisé jusqu'ici surtout sur la locomotion et la manipulation d'objets : la gestuelle expressive et conversationnelle, pourtant déterminante pour l'acceptabilité d'un robot en interaction sociale (accueil, guidage, service client). Les auteurs pointent un problème technique précis, "l'éclipse modale", où les modèles génératifs ignorent le signal audio et se contentent de prolonger l'inertie cinématique du mouvement précédent, produisant des gestes désynchronisés de la parole. Le filtre MPC vise à combler l'écart classique entre simulation et réel sur un point sensible : un humanoïde qui gesticule près d'un humain sans garantie anticollision est difficilement déployable. Ces résultats restent néanmoins issus d'un cadre évalué sur une seule plateforme, sans déploiement commercial annoncé : une preuve de concept méthodologique, pas un produit prêt à l'emploi. RoboGesture s'inscrit dans la vague plus large des modèles vision-langage-action qui cherchent à doter les humanoïdes d'un comportement naturel, aux côtés d'initiatives comme GR00T N2 de Nvidia, Helix de Figure AI ou Pi-0 de Physical Intelligence, mais avec un focus rare sur la gestuelle sociale plutôt que la manipulation ou la locomotion. Le choix du Unitree G1, plateforme chinoise relativement accessible et très utilisée par les laboratoires de recherche, souligne la nature académique du projet plus qu'une orientation produit immédiate. L'article ne mentionne aucune date de mise en œuvre industrielle ni partenariat commercial ; les prochaines étapes évoquées par les chercheurs portent sur l'élargissement du jeu de données et la validation en interaction réelle prolongée avec des utilisateurs humains.

RecherchePaper
1 source
Robot semi-humanoïde NICO imite des gestes du bras par démonstration
2arXiv cs.RO 

Robot semi-humanoïde NICO imite des gestes du bras par démonstration

Le robot semi-humanoïde NICO peut désormais imiter des gestes du bras humain à partir d'une simple caméra RGB monoculaire, selon un article publié sur arXiv (2607.18197). Le système combine géométrie analytique et le modèle pré-entraîné MediaPipe pour l'estimation de pose. Pour chaque image vidéo, MediaPipe extrait les coordonnées 3D des points clés du corps humain pertinents (articulations du bras, poignets, mains). Ces coordonnées sont ensuite converties en angles articulaires via des relations géométriques dérivées mathématiquement, puis transposées vers la configuration moteur de NICO pour exécuter une séquence de mouvement prédéfinie. Les chercheurs ont testé la méthode sur plusieurs gestes du bras représentatifs avec six participants de tailles différentes, afin de vérifier la robustesse du système face à la morphologie variable des utilisateurs. Ce travail s'inscrit dans un enjeu central de l'interaction homme-robot (HRI) : la capacité d'un robot à reproduire des gestes humains de façon fluide et naturelle, un prérequis pour des usages comme l'apprentissage par démonstration, l'assistance sociale ou la collaboration physique. L'intérêt de l'approche tient à sa simplicité matérielle: pas de capteurs de mouvement, pas de caméra de profondeur, une seule caméra RGB suffit grâce à MediaPipe. C'est un signal utile pour les intégrateurs cherchant des solutions d'imitation gestuelle à faible coût, sans dépendre de capteurs spécialisés coûteux. Les auteurs restent toutefois transparents sur les limites: les gestes complexes et les mouvements du poignet posent problème, ce qui rappelle que l'imitation gestuelle générique et robuste reste un défi ouvert, loin d'être résolu par cette seule démonstration préliminaire. NICO est une plateforme robotique semi-humanoïde de taille enfant, utilisée en recherche pour explorer le développement cognitif et l'interaction sociale robot-humain. L'utilisation de MediaPipe, framework open source de Google pour l'estimation de pose en temps réel, s'inscrit dans une tendance plus large de recherche en robotique consistant à réutiliser des modèles de vision par ordinateur grand public plutôt qu'à développer des systèmes de perception propriétaires coûteux. Les auteurs présentent ce travail comme une étude préliminaire; les prochaines étapes attendues concerneraient l'amélioration de la précision sur les poses complexes et les mouvements fins du poignet, ainsi qu'une possible extension à l'imitation bimanuelle ou à des interactions plus dynamiques.

RecherchePaper
1 source
Robots humanoïdes : la planification de trajectoire diversifiée par inférence de Stein contrainte globalisée
3arXiv cs.RO 

Robots humanoïdes : la planification de trajectoire diversifiée par inférence de Stein contrainte globalisée

Des chercheurs viennent de publier sur arXiv (référence 2607.12732v1) une nouvelle méthode baptisée SteinSQP, pour Stein Variational Sequential Quadratic Programming, destinée à la planification de mouvement robotique. Le constat de départ est simple: les planificateurs classiques ne renvoient généralement qu'une seule trajectoire, alors que le problème est par nature multimodal, avec plusieurs solutions à faible coût possibles. Les approches probabilistes existantes tentent de maintenir une distribution de mouvements plutôt qu'une trajectoire unique, mais peinent à garantir que chaque échantillon respecte les contraintes strictes propres à la robotique: évitement de collisions, limites articulaires, conditions de contact et cohérence dynamique. SteinSQP fait évoluer un ensemble de particules en interaction, à la manière des méthodes Stein variationnelles classiques, tout en intégrant directement ces contraintes dans un sous-problème de programmation quadratique séquentielle en espace noyau. Ce sous-problème contraint de type Stein-Newton est résolu via un algorithme primal-dual sans matrice explicite, optimisé pour le GPU, ce qui permet des mises à jour groupées de l'ensemble de particules. Sur cinq tâches de planification sous contraintes, la méthode produit des ensembles entièrement faisables tout en conservant des alternatives de mouvement diversifiées. L'enjeu dépasse la seule performance algorithmique. Pour les intégrateurs et les équipes de recherche en robotique, disposer de plusieurs trajectoires faisables plutôt que d'une seule change la donne pour le replanning en temps réel, la gestion des échecs d'exécution ou l'arbitrage entre plusieurs stratégies de mouvement selon le contexte. La méthode s'attaque frontalement à un écart connu du secteur: beaucoup de techniques d'échantillonnage diversifié fonctionnent bien sans contraintes, mais s'effondrent dès qu'il faut garantir la faisabilité physique de chaque particule à l'échelle du robot. Les auteurs affirment une convergence plus rapide et plus robuste, une meilleure faisabilité par particule, et un temps de résolution par lot inférieur à celui obtenu avec des bases Stein de premier ordre ou du multistart séquentiel en programmation non linéaire. Ce travail s'inscrit dans la lignée des méthodes d'inférence variationnelle de Stein (SVGD) appliquées à la planification de mouvement, un champ qui cherche à dépasser les limites des planificateurs mono-solution historiques comme CHOMP ou TrajOpt. Il s'agit ici d'une publication de recherche, sans déploiement matériel ni partenaire industriel annoncé; les auteurs comparent leur approche à des méthodes concurrentes de premier ordre et à des solveurs NLP classiques, sans préciser de calendrier vers une intégration en conditions réelles.

RecherchePaper
1 source
CMoE : mélange d'experts contrastif pour le contrôle de mouvement et l'adaptation au terrain des robots humanoïdes
4arXiv cs.RO 

CMoE : mélange d'experts contrastif pour le contrôle de mouvement et l'adaptation au terrain des robots humanoïdes

Une équipe de recherche présente CMoE (Contrastive Mixture of Experts), un framework d'apprentissage par renforcement en une seule étape pour la locomotion de robots humanoïdes sur terrains complexes. L'article, référencé arXiv:2603.03067v2 et publié en version révisée, part d'un constat technique : dans une architecture classique de mixture of experts (MoE), le réseau de gating censé activer sélectivement des experts selon le terrain finit en pratique par répartir presque uniformément l'activation entre eux, annulant l'intérêt de la spécialisation. CMoE corrige ce défaut par une contrainte d'apprentissage contrastif qui rend les activations d'experts cohérentes sur un même type de terrain tout en les différenciant d'un terrain à l'autre. Testée sur le robot humanoïde Unitree G1, la méthode permet de franchir des marches continues jusqu'à 20 cm de haut et des espaces jusqu'à 80 cm de large, avec une démarche jugée robuste et naturelle sur des terrains mixtes, des résultats présentés comme supérieurs aux méthodes existantes. Le code est publié en accès libre. Pour l'industrie robotique, ce travail cible un goulot d'étranglement précis : la généralisation de la locomotion sur terrain non structuré, condition nécessaire à tout déploiement hors laboratoire. L'architecture MoE gagne du terrain pour doter un même modèle de comportements moteurs spécialisés, mais l'étude montre que sa spécialisation théorique ne se matérialise pas sans mécanisme correctif dédié, un avertissement pour les équipes qui empilent des experts sans vérifier leur activation réelle. Les chiffres de franchissement donnent un repère concret pour comparer les capacités locomotrices annoncées par différents laboratoires, mais restent des résultats obtenus en conditions expérimentales contrôlées sur une seule plateforme, sans validation en déploiement réel. CMoE s'inscrit dans la lignée des travaux adaptant les architectures mixture of experts, popularisées par les grands modèles de langage, au contrôle moteur des robots à pattes et humanoïdes, un domaine où plusieurs équipes cherchent à dépasser les limites des politiques de marche uniques entraînées par renforcement. Le choix du Unitree G1 confirme le rôle de ce robot chinois disponible dans le commerce comme banc d'essai de référence pour la recherche académique en locomotion humanoïde. En publiant leur code, les auteurs visent à permettre à la communauté de reproduire et d'étendre leurs résultats, sans annoncer de partenariat industriel, de pilote commercial ni de calendrier de transfert vers un produit, ce qui situe ce travail au stade de la recherche plutôt que du déploiement.

RecherchePaper
1 source