Aller au contenu principal
Gestes rythmiques et sémantiques accompagnant la parole pour le dialogue émotionnel des robotsIllustration générée par IA
RecherchearXiv cs.RO 

Gestes rythmiques et sémantiques accompagnant la parole pour le dialogue émotionnel des robots

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs a publié sur arXiv (référence 2611.13472v1) un système de gestes de co-parole pour robots sociaux, capable de produire en temps réel à la fois des gestes iconiques, qui illustrent le sens d'un mot ou d'une idée, et des gestes de battement (beats), qui suivent le rythme de la parole. Le système prend en entrée le texte à prononcer et l'état émotionnel interne du robot. Les auteurs formalisent la tâche de génération de gestes « béat-iconique » conditionnée par l'émotion et proposent des modèles légers : un premier prédit le moment et l'intensité des gestes iconiques, puis les intervalles restants sont comblés par des beats dont l'intensité dépend de l'émotion. L'entraînement s'appuie sur le jeu de données BEAT2, et le déploiement a été réalisé sur Haru, un robot social de bureau expressif. Une étude utilisateur en ligne auprès de 60 participants indique un meilleur alignement entre parole et gestes, ainsi qu'une préférence pour cette méthode par rapport aux approches de référence. Le résumé ne fournit ni latences précises, ni taille des modèles, ni détail sur les baselines comparées.

L'intérêt tient à une limite récurrente des systèmes pilotés par les données : la plupart produisent soit des mouvements rythmiques sans contenu sémantique, soit des gestes iconiques sans continuité rythmique, ce qui donne des robots soit « agités » sans sens, soit saccadés entre deux gestes significatifs. Combiner les deux dans une architecture légère, exécutable en temps réel, répond à un besoin concret pour les intégrateurs de robots d'accueil, de compagnie ou d'assistance, où l'engagement et la compréhension de la parole conditionnent l'adoption. Il faut toutefois relativiser : il s'agit d'un travail académique sur un robot de recherche, évalué par un questionnaire en ligne sur 60 personnes, donc probablement à partir de vidéos plutôt que d'interactions en face à face. Cela ne démontre ni robustesse en environnement réel, ni gain mesuré sur la compréhension ou la satisfaction à long terme, et aucune application industrielle n'est annoncée.

Ce travail s'inscrit dans une lignée de recherches sur la génération de gestes co-verbaux, nourrie par des corpus comme BEAT et BEAT2 (captures de mouvement synchronisées avec la parole et annotées en émotions) et par des modèles de diffusion ou de type transformeur, souvent conçus pour des avatars virtuels et difficiles à transposer sur des robots aux degrés de liberté limités. Haru, plateforme de recherche en interaction humain-robot, sert de banc d'essai à ce type de comportements expressifs. Côté concurrence, l'expressivité gestuelle est aussi explorée par les humanoïdes commerciaux dotés de modèles vision-langage-action, mais l'accent y est mis sur la manipulation plutôt que sur la communication. Les prochaines étapes naturelles seraient des tests en présentiel, des comparaisons sur d'autres morphologies de robots et une intégration avec des modèles de dialogue de grande taille, mais l'article n'annonce à ce stade ni calendrier ni pilote.

À lire aussi

GestAdapt : génération de gestes accompagnant la parole pour robots humanoïdes, conditionnée par l'espace de travail
Illustration générée par IA
1arXiv cs.RO 

GestAdapt : génération de gestes accompagnant la parole pour robots humanoïdes, conditionnée par l'espace de travail

Des chercheurs publient sur arXiv GestAdapt, un cadre de génération de gestes d'accompagnement de la parole (co-speech gestures) conditionné par l'espace de travail disponible pour les poignets du robot. L'idée de départ est que, pour une même phrase, plusieurs gestes sont plausibles. Un robot placé près d'un mur, par exemple, doit choisir un geste adapté à cette contrainte, et non produire un geste libre qu'on déformerait ensuite. Le système s'entraîne sur six corpus de gestes co-verbaux, réunis grâce à une représentation commune du mouvement, ce qui permet de retransposer les gestes vers différents robots. Dans l'étude utilisateurs, les gestes générés sous contraintes d'espace modifiées obtiennent une note moyenne de 3,24/5. La variante sans conditionnement d'espace obtient 2,43/5 et les mouvements de référence 3,68/5. Sur le robot humanoïde Reachy2, les mouvements issus de GestAdapt arrivent en tête dans 69,7 % des comparaisons. Tous les mouvements comparés sont soumis aux mêmes contraintes d'espace, y compris les mouvements humains de référence, retransposés puis contraints après coup. Le résultat touche à un point peu visible des démonstrations d'humanoïdes : la gestuelle d'un robot de service ou d'accueil se déploie dans des lieux réels, avec des comptoirs, des cloisons, des passants, et pas dans une pièce dégagée. L'étude indique que contraindre le geste pendant sa génération donne de meilleurs résultats que de corriger a posteriori une trajectoire libre, au risque d'en dégrader le naturel. Pour les intégrateurs d'humanoïdes interactifs, cela plaide pour intégrer la géométrie de l'environnement dans le modèle de génération plutôt que dans une couche de filtrage en aval. Il faut toutefois relativiser. Avec 3,24/5, le système reste nettement sous les gestes humains de référence, et l'écart avec la variante sans contrainte (0,81 point) est mesuré dans une étude utilisateurs dont la taille d'échantillon n'est pas précisée dans le résumé. Le classement sur robot ne porte que sur un seul modèle. Le choix de Reachy2 est notable pour l'écosystème européen. Ce bras-torse humanoïde est développé par Pollen Robotics, société française de la région bordelaise, et il sert de plateforme d'évaluation dans ce travail. Cela confirme sa place dans la recherche en interaction homme-robot, même si le résumé ne dit pas si l'équipe est liée à Pollen. GestAdapt s'inscrit dans la génération de gestes pilotée par la parole, qui repose surtout sur des modèles entraînés sur des données humaines, avec peu de prise en compte des limites physiques de l'espace de travail. Il s'agit d'une publication de recherche, sans produit, sans déploiement ni calendrier annoncés. Les prochaines étapes probables sont des évaluations sur d'autres morphologies et en conditions d'usage réelles, avec des contraintes d'espace plus variées.

UEReachy2, bras-torse humanoïde de la société française Pollen Robotics, sert de plateforme d'évaluation, ce qui confirme son rôle dans la recherche européenne en interaction homme-robot.

RecherchePaper
1 source
GraphPoint : graphes d'entités sémantiques et trajectoires de points pour la manipulation robotique compositionnelle
Illustration générée par IA
2arXiv cs.RO 

GraphPoint : graphes d'entités sémantiques et trajectoires de points pour la manipulation robotique compositionnelle

Un article déposé sur arXiv (référence 2609.18358) début septembre 2026 présente GraphPoint, une méthode de manipulation robotique associée à un nouveau benchmark baptisé CoMani. Le travail part d'un constat répandu en robotique : les politiques de manipulation entraînées par apprentissage peinent à généraliser au-delà de leurs démonstrations, même quand une nouvelle instruction combine des objets et des comportements déjà vus séparément. Les auteurs expliquent que lorsque langage et scène visuelle sont trop fortement corrélés pendant l'entraînement, la politique finit par mémoriser un mapping visuo-moteur fixe au lieu de réellement suivre l'instruction donnée. CoMani propose des scènes initiales appariées et des variations contrôlées portant sur un seul facteur sémantique à la fois, afin de forcer les modèles évalués à s'appuyer sur le langage plutôt que sur des raccourcis visuels. Deux niveaux de généralisation compositionnelle sont testés : à l'intérieur d'une sous-tâche, en recombinant entités, types d'action et modificateurs déjà connus, et entre sous-tâches, en réutilisant des comportements appris dans des tâches longues et inédites. GraphPoint, la méthode proposée, relie des graphes d'entités sémantiques à un contrôle géométrique en prédisant la trajectoire future du point de préhension du gripper, convertie ensuite en commandes moteur via la géométrie du robot ; le gripper et les objets sont organisés par rôles sémantiques et leurs interactions conditionnées par le type et le modificateur d'action demandés, tandis qu'une estimation de progression guide les transitions entre étapes. L'enjeu dépasse la seule démonstration technique : il touche directement le problème de l'écart entre performance affichée sur des tâches déjà vues et robustesse réelle en usage, un point sensible pour tout intégrateur évaluant une politique vision-langage-action avant déploiement industriel. En isolant précisément si un modèle suit l'instruction ou reconnaît simplement une scène mémorisée, CoMani offre aux équipes de recherche un outil de diagnostic plus rigoureux que les démonstrations vidéo sélectionnées qui dominent souvent la communication du secteur autour des capacités de généralisation. Le papier s'inscrit dans la vague récente de benchmarks cherchant à mesurer la généralisation compositionnelle des politiques de manipulation plutôt que leur seule réussite sur des tâches figées. Les auteurs indiquent que le code sera publié en accès libre sous le nom GraphPoint, sans préciser de calendrier ni d'institution porteuse. Aucun partenariat industriel, déploiement réel ou chiffre de performance chiffré au-delà des résultats d'ablation sur CoMani n'est mentionné à ce stade, ce qui situe cette publication au stade de la recherche amont plutôt que du produit commercialisable.

RecherchePaper
1 source
IA à base d'agents, pilotée par LLM : synthèse d'actions robotiques à partir de la parole, des gestes et de la musique
Illustration générée par IA
3arXiv cs.RO 

IA à base d'agents, pilotée par LLM : synthèse d'actions robotiques à partir de la parole, des gestes et de la musique

Des chercheurs publient sur arXiv (arXiv:2606.31158, soumission nouvelle non encore validée par les pairs) un framework qui utilise un grand modèle de langage (LLM) pour générer des actions robotiques à partir d'entrées humaines multimodales combinant parole naturelle, gestes de la main et musique ou rythme sonore. L'architecture assemble trois briques : un module de transcription vocale, un module de reconnaissance de gestes, et un pipeline de traitement du signal dédié à la détection de battements musicaux. Ces flux sont contextualisés via des templates de prompts, puis transmis à un LLM qui, informé d'un espace d'actions robotiques prédéfini, raisonne sur l'ensemble pour produire une séquence d'actions cohérente. Cette séquence alimente une file d'exécution pilotée via ROS (Robot Operating System) sur un robot quadrupède. L'abstract ne précise ni le modèle de LLM utilisé, ni de métriques de performance chiffrées, ni le nom commercial du robot testé : à ce stade, il s'agit d'une preuve de concept méthodologique documentée dans un preprint, pas d'un produit ou d'un déploiement. L'intérêt tient à la fusion de trois canaux hétérogènes dans un seul raisonnement : commandes sémantiques issues de la parole, information déictique (pointage, direction) issue des gestes, et cues rythmiques issues de la musique. Cela dépasse les systèmes de commande rigides et pré-programmés qui dominent encore l'interaction homme-robot (HRI), et s'inscrit dans la tendance plus large consistant à confier aux LLM le rôle de "cerveau de raisonnement" pour des comportements robotiques créatifs et contextuels, plutôt que pour la seule manipulation d'objets. Ce type d'approche vise davantage les robots d'accueil, de divertissement ou compagnons sociaux que l'industrie lourde, le quadrupède servant ici de plateforme de démonstration générique. Le travail s'inscrit dans la vague récente de recherches associant LLM et VLA (vision-language-action) à la robotique, aux côtés d'efforts comme GR00T N2 ou Pi-0 orientés manipulation. Ce papier se distingue en ciblant spécifiquement l'interaction créative multimodale plutôt que la tâche industrielle. L'abstract ne mentionne ni affiliation ni auteurs identifiables, ni calendrier de suite ; les prochaines étapes attendues pour ce type de travail restent une évaluation utilisateur et l'extension à d'autres morphologies de robots.

RecherchePaper
1 source
S³-Nav : prise de décision spatiale et sémantique structurée pour la navigation de robots guidée par le langage
Illustration générée par IA
4arXiv cs.RO 

S³-Nav : prise de décision spatiale et sémantique structurée pour la navigation de robots guidée par le langage

S³-Nav, publié sur arXiv (2610.19431), est un cadre de décision structuré spatio-sémantique pour la navigation de robots guidée par le langage en observabilité partielle. Les auteurs ne supposent pas qu'une représentation complète de l'environnement est disponible d'emblée. Le système construit de manière incrémentale un état spatio-sémantique persistant, puis n'expose à la politique de haut niveau qu'une vue de capacité contrôlée, conditionnée par la tâche. Les sorties de cette politique sont traitées comme provisoires. Avant toute exécution physique ou clôture de la tâche, elles sont ancrées et validées séparément, à la fois contre les preuves sémantiques persistantes et contre les observations géométriques courantes. Les évaluations couvrent plusieurs environnements et deux familles de tâches, avec des objectifs d'objet et des objectifs de relation. Le résumé annonce une meilleure fiabilité en boucle fermée et un coût de raisonnement réduit pour la politique. Il ne donne ni chiffres, ni noms de modèles, ni précisions sur les plateformes testées. L'intérêt tient à une séparation que beaucoup de systèmes de navigation par modèles de langage ou VLA (vision-langage-action) ne font pas. Ce que le robot doit mémoriser, ce que la politique doit examiner et ce qui autorise l'action sont trois choses distinctes. Dans de nombreuses architectures, un grand modèle reçoit un contexte qui grossit à chaque pas et sa sortie déclenche directement le mouvement. Cela alourdit le raisonnement et rend les hallucinations coûteuses. Ici, la vue exposée a une taille bornée et un module de validation garde l'autorité d'exécution. Pour un intégrateur, c'est un schéma de sécurité et de maîtrise des coûts d'inférence. Il touche deux points bloquants du passage du démonstrateur à l'exploitation : la dérive en environnement réel et la facture de calcul embarqué. Les gains restent à confirmer. Un résumé sans valeurs chiffrées, sans comparaison nommée avec des méthodes existantes et sans mention d'essais sur robot réel ne permet pas de dire si l'amélioration est marginale ou structurelle. Le travail s'inscrit dans la lignée de la navigation sémantique à vocabulaire ouvert, qui associe cartes persistantes, graphes de scène et grands modèles de langage pour des objectifs formulés en langage naturel. Les limites de ces approches sont connues : contexte qui enfle, décisions peu vérifiables, échecs en boucle fermée. S³-Nav répond à ces trois problèmes par la structure plutôt que par un modèle plus gros. C'est un papier de recherche, pas un produit. Aucun déploiement, aucun partenaire industriel et aucun calendrier de pilote ne sont annoncés. Les prochaines étapes à surveiller sont la publication du code et des benchmarks, des tests sur plateformes physiques et une comparaison directe avec les approches fondées sur des graphes de scène et des VLA de bout en bout.

RecherchePaper
1 source