Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Robotique sociale : projection multimodale de l'activité vocale pour la gestion des tours de parole avec des encodeurs préentraînés liés à l'activité vocale
RecherchearXiv cs.RO 

Robotique sociale : projection multimodale de l'activité vocale pour la gestion des tours de parole avec des encodeurs préentraînés liés à l'activité vocale

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Les chercheurs à l'origine de ce travail présentent MM-VAP (Multimodal Voice Activity Projection), un système de prédiction des tours de parole conçu pour les robots sociaux impliqués dans des interactions humain-humain, en particulier en contexte de médiation. Contrairement à l'approche VAP originale qui ne traite que l'audio, MM-VAP synchronise les flux audio et visuel tout en conservant l'objectif d'apprentissage auto-supervisé de projection future. Le système s'appuie sur des architectures audio-visuelles pré-entraînées, initialement conçues pour des tâches liées à la parole, adaptées au problème du tour de parole via la technique LoRA (Low-Rank Adaptation), qui permet un fine-tuning léger sans réentraîner l'intégralité des poids. Après un encodage indépendant de chaque locuteur, une couche d'attention inter-locuteurs modélise les dynamiques relationnelles nécessaires pour anticiper l'activité vocale future, complétée par une fonction de perte de cohérence sémantique régularisant un espace de sortie à 256 états selon des patterns de dialogue de plus haut niveau. Les tests ont été menés sur les corpus NoXi et NoXi+J, avec une évaluation complémentaire sur le corpus Haru EDR.

Ce travail s'inscrit dans un enjeu clé pour les robots conversationnels et sociaux : anticiper la dynamique d'une conversation plutôt que réagir mécaniquement aux silences, ce qui reste un point faible des systèmes de dialogue actuels. Pour les concepteurs de robots de médiation ou d'assistance sociale (accueil, animation de réunion, robots compagnons), une meilleure prédiction des tours de parole se traduit directement par des interactions moins mécaniques et plus naturelles. Les résultats montrent des améliorations par rapport aux références existantes, notamment sur certains types spécifiques d'événements de tour de parole, ce qui suggère que l'ajout de la modalité visuelle apporte un signal réellement exploitable, au-delà du simple audio, pour ce type de tâche.

Le champ du "turn-taking" prédictif s'appuie historiquement sur des modèles purement acoustiques, le cadre VAP servant de référence. Cette extension multimodale s'inscrit dans une tendance plus large de l'interaction humain-robot consistant à combiner plusieurs canaux sensoriels pour améliorer la robustesse des modèles conversationnels, avec le corpus Haru comme banc d'essai orienté robotique de médiation, ouvrant la voie à des évaluations sur des plateformes robotiques réelles au-delà des corpus d'interaction humain-humain enregistrés.

À lire aussi

Projection multimodale de l'activité vocale pour la médiation robotique sociale : comportement attendu et contraintes de déploiement
1arXiv cs.RO 

Projection multimodale de l'activité vocale pour la médiation robotique sociale : comportement attendu et contraintes de déploiement

Une équipe de recherche présente, dans une preprint arXiv publiée en septembre 2026 (arXiv:2609.28317v1), un modèle baptise MM-VAP (Multimodal Voice Activity Projection), conçu comme une couche de perception pour des robots sociaux appelés a jouer un rôle de médiateur dans des interactions humain-humain plutôt que d'interlocuteur direct. Le système combine des encodeurs audio-visuels pré-entraines spécialisés dans l'activité vocale, une adaptation LoRA (low-rank adaptation) et un mécanisme d'attention inter-locuteurs pour estimer, a partir de flux audio et vidéo synchronises, l'évolution future du floor conversationnel, c'est-a-dire qui va parler, se taire ou intervenir. A partir de ces projections, le modèle infère en zero-shot des événements de tour de parole : maintien (Hold), changement de locuteur (Shift), anticipation de changement (Shift prédiction), anticipation de back-channel (signaux d'écoute active) et états de chevauchement de parole. Les auteurs testent l'approche sur trois corpus de dialogues filmes, NoXi, NoXi+J et Haru EDR, et rapportent des résultats juges encourageants notamment pour les événements de gestion du floor lies a la préparation du regard, a l'écoute active et a une intervention prudente du robot. Le papier propose également une interface de sortie destinée a un robot réel et discute des contraintes de déploiement : inférence temps réel, latence de pre-traitement, synchronisation multimodale et surveillance de la qualité des entrées. L'intérêt de ce travail dépasse le cas d'usage étroit du dialogue humain-robot classique : il s'attaque a un problème différent de la plupart des robots vocaux actuels, conçus pour répondre a un utilisateur, en visant des robots capables de se positionner dans une conversation entre deux ou plusieurs humains sans y participer directement, ce qui suppose de savoir quand ne pas parler, orienter le regard, attendre, éviter d'interrompre ou préparer une intervention équilibrée. Pour les intégrateurs et chercheurs en robotique sociale, cela déplace le curseur des métriques de reconnaissance vocale classiques vers une prédiction fine et anticipée de la dynamique conversationnelle, utile pour des robots de médiation, d'accueil ou d'assistance en groupe. Le travail rappelle aussi que la prédiction de tour de parole reste, a ce stade, un problème de recherche : les auteurs eux-mêmes cadrent leurs résultats comme un support de faisabilité et non comme une solution prête a déployer, et consacrent une part explicite du papier aux contraintes concrètes, latence, synchronisation, qualité des flux d'entrée, qui séparent un modèle valide hors ligne d'un système embarque fonctionnant en temps réel sur un robot physique. Ce travail s'inscrit dans la lignée des modèles dits VAP (Voice Activity Projection), une famille d'approches de prédiction du tour de parole issue de la recherche en traitement du dialogue parle, ici étendue au multimodal (audio et vidéo) et adaptée via LoRA pour réduire le cout d'entrainement par rapport a un reentrainement complet des encodeurs pré-entraines. Contrairement aux annonces de robots humanoïdes commerciaux structurées autour de la manipulation ou de la locomotion, ce papier se situe dans le champ plus restreint de la robotique sociale et de l'interaction humain-robot, publie comme une preprint académique sans mention de partenaire industriel, de robot physique spécifique ou de calendrier de déploiement. Les auteurs indiquent avoir défini une interface de sortie destinée a un robot réel, ce qui laisse présager une prochaine étape d'intégration et de test sur plateforme physique, mais aucun pilote ni échéance n'est précise a ce stade.

RecherchePaper
1 source
M2R2 : représentation robotique multimodale pour la segmentation temporelle des actions
2arXiv cs.RO 

M2R2 : représentation robotique multimodale pour la segmentation temporelle des actions

Des chercheurs ont publié fin avril 2025 sur arXiv (2504.18662) un extracteur de représentations multimodal baptisé M2R2 (MultiModal Robotic Representation for Robotic TAS), conçu pour la segmentation temporelle d'actions (TAS) en robotique. L'approche combine des informations proprioceptives (encodeurs, capteurs force-couple, état des articulations) et extéroceptives (caméras RGB) dans un extracteur de features commun, accompagné d'une stratégie d'entraînement inédite permettant la réutilisation de ces représentations sur plusieurs architectures de segmentation indépendantes. Les résultats annoncés positionnent M2R2 à l'état de l'art sur trois jeux de données de référence en robotique : REASSEMBLE (assemblage de composants), (Im)PerfectPour (versage de liquide) et JIGSAWS (chirurgie robotique laparoscopique simulée). Une étude d'ablation extensive quantifie la contribution respective de chaque modalité. L'intérêt principal de M2R2 réside dans la modularité de son extracteur : les approches multimodales existantes en robotique fusionnaient les modalités directement à l'intérieur du modèle de segmentation, rendant les features non réutilisables entre architectures. Ici, le découplage extracteur/modèle de TAS ouvre la voie à une bibliothèque de représentations partageable, ce qui réduit le coût de réentraînement lors du changement de tâche ou de robot. Sur les scénarios à faible visibilité d'objet, les extracteurs purement visuels issus du computer vision chutent en performance, là où l'ajout de la proprioception maintient la robustesse. C'est un résultat concret sur la fragilité des approches vision-seule dans des environnements industriels ou chirurgicaux réels, où occlusions et éclairage variable sont la norme. La segmentation temporelle d'actions est un verrou historique pour l'autonomie des robots manipulateurs : sans identifier les frontières entre skills (saisir, aligner, visser...), il est impossible de planifier, corriger ou réutiliser des séquences de gestes. En chirurgie robotique, JIGSAWS est le benchmark de référence depuis 2016, utilisé notamment dans les travaux autour des plateformes da Vinci (Intuitive Surgical). En robotique industrielle, des acteurs comme Wandercraft ou les équipes de manipulation de Boston Dynamics s'appuient sur des approches similaires pour les transitions de phases motrices. M2R2 reste à ce stade une contribution de recherche académique sans déploiement industriel annoncé, mais son extracteur réutilisable représente un candidat sérieux pour des pipelines d'imitation learning dans lesquels labelliser chaque skill manuellement est le principal goulot d'étranglement.

UEL'extracteur modulaire M2R2 pourrait bénéficier aux équipes de manipulation françaises (notamment Wandercraft) en réduisant le coût de labellisation dans les pipelines d'imitation learning, mais reste une contribution académique sans déploiement industriel annoncé.

RecherchePaper
1 source
Affection robotique : opportunités de l'IA haptique pour le toucher social des robots par approche multi-deep-learning
3arXiv cs.RO 

Affection robotique : opportunités de l'IA haptique pour le toucher social des robots par approche multi-deep-learning

Une équipe de chercheurs propose, dans un article de positionnement déposé sur arXiv en mai 2025 (arXiv:2605.02538), une architecture multi-modèles pour traiter le toucher social affectif en robotique. Le problème ciblé est précis : si la préhension et la dextérité robotiques ont significativement progressé grâce au retour haptique, les gestes affectifs - poignées de main, caresses rassurantes, contacts sociaux codifiés - restent non résolus en interaction humain-robot (HRI). Les auteurs proposent de décomposer le toucher affectif en sous-tâches spécialisées, chacune traitée par un modèle dédié, dans une architecture distribuée en boucle fermée inspirée de la neurobiologie. Ce cadre repose sur un protocole de partage d'état pair-à-pair et s'intègre dans un pipeline Sim-to-Real pour faciliter le transfert de l'entraînement en simulation vers les plateformes physiques. Il s'agit à ce stade d'un cadre conceptuel sans validation expérimentale publiée. Le verrou adressé est réel : un robot capable de saisir un objet de cinq kilos avec précision peut échouer à simuler une poignée de main naturelle. Les auteurs introduisent la notion de "vallée de l'étrange haptique" (haptic uncanny valley), par analogie avec son équivalent visuel - un toucher robotique "presque juste" génère un inconfort plus marqué qu'un contact clairement artificiel. L'approche multi-modèles distribuée, à l'opposé d'un mouvement moteur monolithique, permettrait un développement cumulatif et modulaire : les équipes spécialisées en haptique, en IA et en robotique peuvent contribuer indépendamment. Pour les intégrateurs de robots sociaux dans les secteurs médical, thérapeutique ou d'assistance à la personne, cela ouvre une voie vers des interactions physiques acceptables et objectivement mesurables. La robotique sociale s'est longtemps concentrée sur l'expressivité faciale et vocale - Pepper de SoftBank Robotics, Paro de l'AIST japonais - en laissant le toucher en marge. Les travaux sur le retour haptique dans la manipulation (MIT, Stanford) ont ouvert la voie, mais sans cibler spécifiquement la dimension affective. Les acteurs industriels aujourd'hui dominants - Figure AI avec Figure 02, Boston Dynamics, 1X Technologies - concentrent leurs efforts sur la locomotion et la manipulation de charges, pas sur la qualité sociale du contact physique. Ce papier de positionnement structure un agenda de recherche interdisciplinaire dont les prochaines étapes attendues seront l'implémentation et l'évaluation sur des robots compagnons ou d'assistance, segments où des acteurs européens comme Enchanted Tools (France) et des projets d'assistance à la dépendance commencent à émerger.

UELa proposition d'un cadre modulaire pour le toucher affectif représente une piste de R&D pertinente pour des acteurs français comme Enchanted Tools, actifs sur les robots d'assistance et de compagnie.

RecherchePaper
1 source
IA à base d'agents, pilotée par LLM : synthèse d'actions robotiques à partir de la parole, des gestes et de la musique
4arXiv cs.RO 

IA à base d'agents, pilotée par LLM : synthèse d'actions robotiques à partir de la parole, des gestes et de la musique

Des chercheurs publient sur arXiv (arXiv:2606.31158, soumission nouvelle non encore validée par les pairs) un framework qui utilise un grand modèle de langage (LLM) pour générer des actions robotiques à partir d'entrées humaines multimodales combinant parole naturelle, gestes de la main et musique ou rythme sonore. L'architecture assemble trois briques : un module de transcription vocale, un module de reconnaissance de gestes, et un pipeline de traitement du signal dédié à la détection de battements musicaux. Ces flux sont contextualisés via des templates de prompts, puis transmis à un LLM qui, informé d'un espace d'actions robotiques prédéfini, raisonne sur l'ensemble pour produire une séquence d'actions cohérente. Cette séquence alimente une file d'exécution pilotée via ROS (Robot Operating System) sur un robot quadrupède. L'abstract ne précise ni le modèle de LLM utilisé, ni de métriques de performance chiffrées, ni le nom commercial du robot testé : à ce stade, il s'agit d'une preuve de concept méthodologique documentée dans un preprint, pas d'un produit ou d'un déploiement. L'intérêt tient à la fusion de trois canaux hétérogènes dans un seul raisonnement : commandes sémantiques issues de la parole, information déictique (pointage, direction) issue des gestes, et cues rythmiques issues de la musique. Cela dépasse les systèmes de commande rigides et pré-programmés qui dominent encore l'interaction homme-robot (HRI), et s'inscrit dans la tendance plus large consistant à confier aux LLM le rôle de "cerveau de raisonnement" pour des comportements robotiques créatifs et contextuels, plutôt que pour la seule manipulation d'objets. Ce type d'approche vise davantage les robots d'accueil, de divertissement ou compagnons sociaux que l'industrie lourde, le quadrupède servant ici de plateforme de démonstration générique. Le travail s'inscrit dans la vague récente de recherches associant LLM et VLA (vision-language-action) à la robotique, aux côtés d'efforts comme GR00T N2 ou Pi-0 orientés manipulation. Ce papier se distingue en ciblant spécifiquement l'interaction créative multimodale plutôt que la tâche industrielle. L'abstract ne mentionne ni affiliation ni auteurs identifiables, ni calendrier de suite ; les prochaines étapes attendues pour ce type de travail restent une évaluation utilisateur et l'extension à d'autres morphologies de robots.

RecherchePaper
1 source