Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
WaveSync : optimisation par front d'onde contraint pour les gestes co-verbaux synchronisés des robots humanoïdes
RecherchearXiv cs.RO 

WaveSync : optimisation par front d'onde contraint pour les gestes co-verbaux synchronisés des robots humanoïdes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs du laboratoire PAIRS ont publié sur arXiv (arXiv:2606.16600) un système baptisé WaveSync, dédié à la synchronisation des gestes coverbaux d'un robot humanoïde avec sa parole. L'architecture est hybride : un grand modèle de langage décompose les réponses dialoguées en schémas sémantiques structurés et attribue un poids d'importance à chaque mot, construisant une "Semantic Importance Wave", courbe continue représentant l'emphase du discours mot par mot. Les trajectoires gestuelles sont ensuite générées via des Dynamic Movement Primitives (DMP), qui assurent la faisabilité cinématique tout en modulant l'expressivité. Une étape de Wavefront Optimization aligne les pics gestuels avec les pics d'emphase vocale, et résout les violations cinématiques résiduelles par compression de durée et propagation avant. Évalué sur cinq scénarios de dialogue, WaveSync surpasse trois baselines en évaluation objective et subjective.

Ce travail s'attaque à un problème structurel de l'HRI sur plateforme physique : contrairement aux avatars virtuels, un humanoïde ne peut enchaîner des mouvements rapides ou chevauchants sans risquer de violer ses contraintes dynamiques. Le couplage entre synchronisation parole-geste et planification cinématiquement sûre était jusqu'ici traité séparément, produisant des gestes soit fluides mais désynchronisés, soit synchronisés mais potentiellement dangereux. WaveSync propose une résolution conjointe de ces deux contraintes, ce qui est non trivial sur hardware réel. Pour les intégrateurs HRI, cela ouvre une voie vers des interfaces vocales naturelles sur robots d'accueil ou de service, sans bibliothèque gestuelle pré-enregistrée.

La recherche sur les gestes coverbaux en robotique reste dominée par des corpus humains comme le Trinity Speech-Gesture Dataset, ou des méthodes end-to-end par diffusion telles que GestureDiffuCLIP. WaveSync se distingue par une approche neurosymbolique, combinant contrôle explicite via DMP et compréhension sémantique du LLM, là où les méthodes purement data-driven abandonnent le contrôle cinématique au profit de la fluidité. Le code et les vidéos sont publiés sur GitHub (pairs-lab/WaveSync). Il s'agit d'une publication académique sans déploiement industriel annoncé; la validation sur plateforme réelle hors conditions contrôlées reste à démontrer.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Robot semi-humanoïde NICO imite des gestes du bras par démonstration
1arXiv cs.RO 

Robot semi-humanoïde NICO imite des gestes du bras par démonstration

Le robot semi-humanoïde NICO peut désormais imiter des gestes du bras humain à partir d'une simple caméra RGB monoculaire, selon un article publié sur arXiv (2607.18197). Le système combine géométrie analytique et le modèle pré-entraîné MediaPipe pour l'estimation de pose. Pour chaque image vidéo, MediaPipe extrait les coordonnées 3D des points clés du corps humain pertinents (articulations du bras, poignets, mains). Ces coordonnées sont ensuite converties en angles articulaires via des relations géométriques dérivées mathématiquement, puis transposées vers la configuration moteur de NICO pour exécuter une séquence de mouvement prédéfinie. Les chercheurs ont testé la méthode sur plusieurs gestes du bras représentatifs avec six participants de tailles différentes, afin de vérifier la robustesse du système face à la morphologie variable des utilisateurs. Ce travail s'inscrit dans un enjeu central de l'interaction homme-robot (HRI) : la capacité d'un robot à reproduire des gestes humains de façon fluide et naturelle, un prérequis pour des usages comme l'apprentissage par démonstration, l'assistance sociale ou la collaboration physique. L'intérêt de l'approche tient à sa simplicité matérielle: pas de capteurs de mouvement, pas de caméra de profondeur, une seule caméra RGB suffit grâce à MediaPipe. C'est un signal utile pour les intégrateurs cherchant des solutions d'imitation gestuelle à faible coût, sans dépendre de capteurs spécialisés coûteux. Les auteurs restent toutefois transparents sur les limites: les gestes complexes et les mouvements du poignet posent problème, ce qui rappelle que l'imitation gestuelle générique et robuste reste un défi ouvert, loin d'être résolu par cette seule démonstration préliminaire. NICO est une plateforme robotique semi-humanoïde de taille enfant, utilisée en recherche pour explorer le développement cognitif et l'interaction sociale robot-humain. L'utilisation de MediaPipe, framework open source de Google pour l'estimation de pose en temps réel, s'inscrit dans une tendance plus large de recherche en robotique consistant à réutiliser des modèles de vision par ordinateur grand public plutôt qu'à développer des systèmes de perception propriétaires coûteux. Les auteurs présentent ce travail comme une étude préliminaire; les prochaines étapes attendues concerneraient l'amélioration de la précision sur les poses complexes et les mouvements fins du poignet, ainsi qu'une possible extension à l'imitation bimanuelle ou à des interactions plus dynamiques.

RecherchePaper
1 source
Robots humanoïdes : la planification de trajectoire diversifiée par inférence de Stein contrainte globalisée
2arXiv cs.RO 

Robots humanoïdes : la planification de trajectoire diversifiée par inférence de Stein contrainte globalisée

Des chercheurs viennent de publier sur arXiv (référence 2607.12732v1) une nouvelle méthode baptisée SteinSQP, pour Stein Variational Sequential Quadratic Programming, destinée à la planification de mouvement robotique. Le constat de départ est simple: les planificateurs classiques ne renvoient généralement qu'une seule trajectoire, alors que le problème est par nature multimodal, avec plusieurs solutions à faible coût possibles. Les approches probabilistes existantes tentent de maintenir une distribution de mouvements plutôt qu'une trajectoire unique, mais peinent à garantir que chaque échantillon respecte les contraintes strictes propres à la robotique: évitement de collisions, limites articulaires, conditions de contact et cohérence dynamique. SteinSQP fait évoluer un ensemble de particules en interaction, à la manière des méthodes Stein variationnelles classiques, tout en intégrant directement ces contraintes dans un sous-problème de programmation quadratique séquentielle en espace noyau. Ce sous-problème contraint de type Stein-Newton est résolu via un algorithme primal-dual sans matrice explicite, optimisé pour le GPU, ce qui permet des mises à jour groupées de l'ensemble de particules. Sur cinq tâches de planification sous contraintes, la méthode produit des ensembles entièrement faisables tout en conservant des alternatives de mouvement diversifiées. L'enjeu dépasse la seule performance algorithmique. Pour les intégrateurs et les équipes de recherche en robotique, disposer de plusieurs trajectoires faisables plutôt que d'une seule change la donne pour le replanning en temps réel, la gestion des échecs d'exécution ou l'arbitrage entre plusieurs stratégies de mouvement selon le contexte. La méthode s'attaque frontalement à un écart connu du secteur: beaucoup de techniques d'échantillonnage diversifié fonctionnent bien sans contraintes, mais s'effondrent dès qu'il faut garantir la faisabilité physique de chaque particule à l'échelle du robot. Les auteurs affirment une convergence plus rapide et plus robuste, une meilleure faisabilité par particule, et un temps de résolution par lot inférieur à celui obtenu avec des bases Stein de premier ordre ou du multistart séquentiel en programmation non linéaire. Ce travail s'inscrit dans la lignée des méthodes d'inférence variationnelle de Stein (SVGD) appliquées à la planification de mouvement, un champ qui cherche à dépasser les limites des planificateurs mono-solution historiques comme CHOMP ou TrajOpt. Il s'agit ici d'une publication de recherche, sans déploiement matériel ni partenaire industriel annoncé; les auteurs comparent leur approche à des méthodes concurrentes de premier ordre et à des solveurs NLP classiques, sans préciser de calendrier vers une intégration en conditions réelles.

RecherchePaper
1 source
Ancrage physique des politiques génératives : diffusion guidée par l'optimisation pour le contrôle robotique
3arXiv cs.RO 

Ancrage physique des politiques génératives : diffusion guidée par l'optimisation pour le contrôle robotique

Des chercheurs ont publié le 24 juin 2026 sur arXiv (référence 2606.24208) une méthode visant à corriger un angle mort des politiques robotiques génératives : les sorties produites par les modèles de diffusion peuvent être statistiquement valides mais physiquement infaisables. En pratique, un modèle génératif de haute qualité peut planifier une saisie (grasp), un waypoint ou une trajectoire qui viole des contraintes d'atteignabilité (reachability), d'évitement de collision ou d'exécutabilité en boucle fermée, rendant le déploiement direct sur robot impossible. Les auteurs proposent un cadre d'optimisation à l'inférence qui formule le guidage diffusionnel comme un problème d'optimisation sous contraintes. La clé : remplacer la perturbation d'échantillonnage dans le processus de débruitage (backward process) par une correction optimisée, ce qui permet d'imposer des contraintes dures ou souples lors du sampling sans ré-entraîner le modèle. Évalué sur la synthèse de saisies dextères avec contraintes de reachability et d'évitement de collision, et sur la manipulation dynamique avec contraintes de suivi au niveau contrôleur, la méthode améliore le taux de succès jusqu'à 20 points de pourcentage sur la saisie dextère et 23 points de pourcentage sur la manipulation visuomotrice par rapport à la meilleure baseline testée. L'enjeu est ce que les auteurs nomment l'"embodiment gap" : une politique entraînée dans un espace de tâches générique peut produire des comportements conceptuellement transférables, mais leur exécution sur un corps physique spécifique échoue faute de contraintes cinématiques ou dynamiques respectées. Pour les intégrateurs et les OEM robotiques, cela signifie que les modèles généralistes comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) ne peuvent pas être déployés tels quels sur n'importe quel bras ou manipulateur sans couche d'adaptation. L'approche proposée ici opère uniquement en temps d'inférence, sans modification des poids du modèle, ce qui réduit drastiquement le coût d'adaptation à un nouvel embodiment et la rend potentiellement intégrable dans des pipelines existants sans refonte de l'architecture. Le travail s'inscrit dans la dynamique des politiques de diffusion en robotique, initiée notamment par Diffusion Policy (Chi et al., 2023) et prolongée par les architectures VLA de nouvelle génération. Les méthodes concurrentes de guidage par gradient (gradient guidance) et de projection constituent les baselines, et la méthode proposée les surpasse en préservant mieux la qualité des saisies tout en augmentant l'exécutabilité au niveau contrôleur. Dans un secteur où Physical Intelligence, Covariant ou 1X Technologies misent sur des politiques génératives à grande échelle pour atteindre la généralisation inter-robots, cette approche d'optimisation à l'inférence offre un levier d'adaptation pragmatique sans nécessiter de nouvelles données d'entraînement ni de fine-tuning coûteux.

RechercheActu
1 source
CWI : système d'imitation du corps entier pour la loco-manipulation de robots humanoïdes
4arXiv cs.RO 

CWI : système d'imitation du corps entier pour la loco-manipulation de robots humanoïdes

Des chercheurs ont publié fin juin 2026 sur arXiv (réf. 2606.27676) le framework CWI (Composite Whole-Body Imitation), une architecture de contrôle pour robots humanoïdes visant à coordonner locomotion et manipulation bimanuelle en simultané. Le système a été évalué en simulation puis déployé sur un LimX Oli, humanoïde pleine taille du fabricant chinois LimX Robotics. L'approche repose sur une dissociation du recours aux données de capture de mouvement (MoCap) : les données MoCap de manipulation diversifiées pilotent le contrôle du haut du corps, tandis que la locomotion est guidée par deux discriminateurs adversariaux (Adversarial Motion Prior, AMP) entraînés sur des clips curatés de marche et d'accroupissement. Une architecture multi-critique réduit les conflits entre objectifs de locomotion, de manipulation et de style de mouvement ; une étape de distillation enseignant-élève produit ensuite une politique conditionnée uniquement sur les poses des mains et des commandes de vitesse et hauteur. La loco-manipulation reste l'un des verrous majeurs de la robotique humanoïde. Les méthodes purement par renforcement, sans MoCap, souffrent de récompenses creuses et nécessitent des curricula finement réglés ; les méthodes imitant le corps entier butent sur le déséquilibre des datasets, les trajectoires de locomotion trop dynamiques dégradant la stabilité globale. CWI propose une dissociation architecturale qui contourne les deux écueils. Le résultat pratique est une téléopération sans équipement MoCap complet, ce qui abaisse le seuil d'intégration industrielle. Pour les intégrateurs et les décideurs B2B, cela signifie qu'un humanoïde capable d'agir dans des environnements mixtes (déplacements et saisie d'objets) devient envisageable sans infrastructure de capture de mouvement coûteuse. Cela dit, la publication ne fournit aucune métrique de temps de cycle ni de volumes de déploiement, ce qui invite à lire ces résultats comme une preuve de concept compétitive, pas comme un produit shipé. CWI s'inscrit dans une vague de travaux combinant apprentissage par renforcement et imitation de mouvement humain, dont l'Adversarial Motion Prior (AMP) de Peng et al. constitue la brique fondatrice. LimX Robotics reste un acteur discret face aux mastodontes du secteur : Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) ou encore Boston Dynamics (Atlas) travaillent sur des architectures comparables intégrant contrôle corps entier et politiques Vision-Language-Action (VLA). CWI ne mentionne ni calendrier de déploiement industriel, ni partenariat commercial : il s'agit d'un preprint arXiv sans revue par les pairs publiée. Les prochaines étapes probables passeront par une validation en conditions réelles plus variées et une publication dans une conférence robotique de référence (ICRA, IROS ou RAL).

RecherchePaper
1 source