RecherchearXiv cs.RO 24 septembre 2026

Projection multimodale de l'activité vocale pour la médiation robotique sociale : comportement attendu et contraintes de déploiement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente, dans une preprint arXiv publiée en septembre 2026 (arXiv:2609.28317v1), un modèle baptise MM-VAP (Multimodal Voice Activity Projection), conçu comme une couche de perception pour des robots sociaux appelés a jouer un rôle de médiateur dans des interactions humain-humain plutôt que d'interlocuteur direct. Le système combine des encodeurs audio-visuels pré-entraines spécialisés dans l'activité vocale, une adaptation LoRA (low-rank adaptation) et un mécanisme d'attention inter-locuteurs pour estimer, a partir de flux audio et vidéo synchronises, l'évolution future du floor conversationnel, c'est-a-dire qui va parler, se taire ou intervenir. A partir de ces projections, le modèle infère en zero-shot des événements de tour de parole : maintien (Hold), changement de locuteur (Shift), anticipation de changement (Shift prédiction), anticipation de back-channel (signaux d'écoute active) et états de chevauchement de parole. Les auteurs testent l'approche sur trois corpus de dialogues filmes, NoXi, NoXi+J et Haru EDR, et rapportent des résultats juges encourageants notamment pour les événements de gestion du floor lies a la préparation du regard, a l'écoute active et a une intervention prudente du robot. Le papier propose également une interface de sortie destinée a un robot réel et discute des contraintes de déploiement : inférence temps réel, latence de pre-traitement, synchronisation multimodale et surveillance de la qualité des entrées.

L'intérêt de ce travail dépasse le cas d'usage étroit du dialogue humain-robot classique : il s'attaque a un problème différent de la plupart des robots vocaux actuels, conçus pour répondre a un utilisateur, en visant des robots capables de se positionner dans une conversation entre deux ou plusieurs humains sans y participer directement, ce qui suppose de savoir quand ne pas parler, orienter le regard, attendre, éviter d'interrompre ou préparer une intervention équilibrée. Pour les intégrateurs et chercheurs en robotique sociale, cela déplace le curseur des métriques de reconnaissance vocale classiques vers une prédiction fine et anticipée de la dynamique conversationnelle, utile pour des robots de médiation, d'accueil ou d'assistance en groupe. Le travail rappelle aussi que la prédiction de tour de parole reste, a ce stade, un problème de recherche : les auteurs eux-mêmes cadrent leurs résultats comme un support de faisabilité et non comme une solution prête a déployer, et consacrent une part explicite du papier aux contraintes concrètes, latence, synchronisation, qualité des flux d'entrée, qui séparent un modèle valide hors ligne d'un système embarque fonctionnant en temps réel sur un robot physique.

Ce travail s'inscrit dans la lignée des modèles dits VAP (Voice Activity Projection), une famille d'approches de prédiction du tour de parole issue de la recherche en traitement du dialogue parle, ici étendue au multimodal (audio et vidéo) et adaptée via LoRA pour réduire le cout d'entrainement par rapport a un reentrainement complet des encodeurs pré-entraines. Contrairement aux annonces de robots humanoïdes commerciaux structurées autour de la manipulation ou de la locomotion, ce papier se situe dans le champ plus restreint de la robotique sociale et de l'interaction humain-robot, publie comme une preprint académique sans mention de partenaire industriel, de robot physique spécifique ou de calendrier de déploiement. Les auteurs indiquent avoir défini une interface de sortie destinée a un robot réel, ce qui laisse présager une prochaine étape d'intégration et de test sur plateforme physique, mais aucun pilote ni échéance n'est précise a ce stade.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Robotique sociale : projection multimodale de l'activité vocale pour la gestion des tours de parole avec des encodeurs préentraînés liés à l'activité vocale

Les chercheurs à l'origine de ce travail présentent MM-VAP (Multimodal Voice Activity Projection), un système de prédiction des tours de parole conçu pour les robots sociaux impliqués dans des interactions humain-humain, en particulier en contexte de médiation. Contrairement à l'approche VAP originale qui ne traite que l'audio, MM-VAP synchronise les flux audio et visuel tout en conservant l'objectif d'apprentissage auto-supervisé de projection future. Le système s'appuie sur des architectures audio-visuelles pré-entraînées, initialement conçues pour des tâches liées à la parole, adaptées au problème du tour de parole via la technique LoRA (Low-Rank Adaptation), qui permet un fine-tuning léger sans réentraîner l'intégralité des poids. Après un encodage indépendant de chaque locuteur, une couche d'attention inter-locuteurs modélise les dynamiques relationnelles nécessaires pour anticiper l'activité vocale future, complétée par une fonction de perte de cohérence sémantique régularisant un espace de sortie à 256 états selon des patterns de dialogue de plus haut niveau. Les tests ont été menés sur les corpus NoXi et NoXi+J, avec une évaluation complémentaire sur le corpus Haru EDR. Ce travail s'inscrit dans un enjeu clé pour les robots conversationnels et sociaux : anticiper la dynamique d'une conversation plutôt que réagir mécaniquement aux silences, ce qui reste un point faible des systèmes de dialogue actuels. Pour les concepteurs de robots de médiation ou d'assistance sociale (accueil, animation de réunion, robots compagnons), une meilleure prédiction des tours de parole se traduit directement par des interactions moins mécaniques et plus naturelles. Les résultats montrent des améliorations par rapport aux références existantes, notamment sur certains types spécifiques d'événements de tour de parole, ce qui suggère que l'ajout de la modalité visuelle apporte un signal réellement exploitable, au-delà du simple audio, pour ce type de tâche. Le champ du "turn-taking" prédictif s'appuie historiquement sur des modèles purement acoustiques, le cadre VAP servant de référence. Cette extension multimodale s'inscrit dans une tendance plus large de l'interaction humain-robot consistant à combiner plusieurs canaux sensoriels pour améliorer la robustesse des modèles conversationnels, avec le corpus Haru comme banc d'essai orienté robotique de médiation, ouvrant la voie à des évaluations sur des plateformes robotiques réelles au-delà des corpus d'interaction humain-humain enregistrés.

RecherchePaper

1 source

2arXiv cs.RO

Cadre socialement conscient et multimodal pour l'interaction humain-robot en réalité virtuelle

Une équipe de chercheurs publie sur arXiv (2610.34534) un cadre multimodal qui combine parole, vision et toucher pour qu'un robot social génère des réponses vocales et des mouvements adaptés au contexte. Le système a été testé en réalité virtuelle auprès de 18 participants, sur cinq scénarios d'interaction sociale. Il a été comparé à une référence pilotée par un opérateur humain en téléopération. Les participants ont noté le système autonome au-dessus du point médian neutre, aussi bien pour le naturel que pour la pertinence sociale. La version téléopérée a toutefois obtenu des notes significativement plus élevées sur les deux critères. Le codage des comportements et les retours qualitatifs pointent trois facteurs principaux de l'écart: le timing de la conversation, la clarification des demandes ambiguës et la coordination spatiale entre le robot et l'humain. Ce résultat est utile surtout parce qu'il est honnête. Le système autonome est jugé acceptable, mais pas au niveau d'un humain aux commandes, et l'écart ne vient pas de la perception brute. Il vient de la gestion des tours de parole, du réflexe de demander des précisions et du placement dans l'espace. Pour les intégrateurs et les décideurs qui envisagent des robots d'accueil, d'assistance ou de service, c'est un rappel que la qualité d'une interaction se joue sur ces détails plus que sur la richesse des capteurs. L'étude invite aussi à la prudence sur les démonstrations vidéo, qui masquent souvent ces défauts. Les limites sont claires: échantillon de 18 personnes, environnement simulé et robot virtuel. La transposition à un robot physique reste à prouver. Le travail s'inscrit dans la tendance des robots sociaux pilotés par des modèles de langage et des modèles multimodaux, où la réalité virtuelle sert de banc d'essai peu coûteux avant un déploiement physique. L'article ne mentionne ni produit, ni pilote, ni calendrier commercial. Il s'agit d'une contribution de recherche, qui désigne les chantiers prioritaires: la latence conversationnelle, la désambiguïsation active et le contrôle spatial. Les prochaines étapes logiques sont des tests sur matériel réel, avec des échantillons plus larges et des contextes d'usage variés.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

GAWM : un modèle latent compact du monde et de l'action pour la manipulation robotique multitâche

Des chercheurs présentent GAWM (Geometry-Aware World Model), un modèle monde-action (WAM) compact pour la manipulation robotique multitâche, décrit dans un article arXiv de type letter. Le système prédit les observations futures dans l'espace latent d'un encodeur DINOv3 gelé. Les caractéristiques de chaque caméra sont compressées en un petit nombre de tokens. Un prédicteur léger, conditionné par la tâche et non par les actions, anticipe ces tokens à deux horizons futurs. Sa supervision repose sur les caractéristiques denses par patch des images futures, ce qui l'oblige à encoder la disposition spatiale de la scène. Un décodeur d'actions régresse ensuite directement un « chunk » d'actions à partir des tokens courants et prédits. Avec moins de 100 millions de paramètres et sans préentraînement robotique ni vidéo, GAWM dépasse des WAM à plusieurs milliards de paramètres sur RoboTwin 2.0. Il fait jeu égal avec des VLA (modèles vision-langage-action) de taille comparable sur LIBERO. Sur un robot bimanuel, il obtient une erreur de prédiction d'actions plus faible sur des démonstrations tenues à l'écart qu'un VLA milliardaire affiné, avec une latence d'inférence nettement réduite. Le code est publié sur GitHub. L'enjeu est celui du coût de la politique robotique. La plupart des WAM s'appuient sur des backbones vision-langage ou de génération vidéo à plusieurs milliards de paramètres, ce qui pèse sur l'entraînement et surtout sur la latence d'inférence, un point critique pour le contrôle en boucle fermée sur du matériel embarqué. GAWM suggère qu'une prédiction du futur utile à la politique n'exige pas de générer des pixels ni d'hériter d'un gros préentraînement : un espace de caractéristiques gelé et riche en géométrie peut suffire. Les ablations indiquent que le modèle monde latent apporte l'essentiel de son gain quand les données ou le temps d'entraînement sont limités, un scénario courant chez les intégrateurs qui n'ont que quelques dizaines de démonstrations par tâche. Une réserve s'impose : les benchmarks RoboTwin 2.0 et LIBERO sont en grande partie simulés, et la validation réelle se limite à une erreur d'action hors ligne sur un robot bimanuel, pas à un taux de réussite de tâches en conditions réelles. L'écart entre erreur de prédiction et succès effectif reste donc à démontrer. Ce travail s'inscrit dans la montée des WAM, qui injectent la prédiction d'observations futures dans l'apprentissage de politiques, en réaction à des VLA purement réactifs. Le courant dominant, porté par des modèles fondés sur des backbones vidéo ou VLM massifs, a fait de l'échelle la voie par défaut. GAWM propose le contrepoint inverse, en cohérence avec l'intérêt croissant pour les politiques légères exécutables sur GPU embarqué. Les prochaines étapes à surveiller sont des évaluations en conditions réelles avec taux de succès, des comparaisons directes de latence en millisecondes face aux VLA de référence, et la capacité de l'approche à tenir sur des tâches longues ou à manipulation fine, que les benchmarks actuels couvrent mal.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Séparation comportement-exécution pour l'interaction physique homme-robot contrainte

Des chercheurs proposent, dans une prépublication arXiv (2609.00669v1) du 2 septembre 2026, une architecture qui sépare la spécification du comportement souhaité et sa réalisation contrainte dans les interactions physiques homme-robot. Une couche comportement calcule une accélération désirée au point de contact, ak^id = ftheta(ek, ėk, F_h,k), tandis qu'une couche réalisation distincte la convertit en commandes robot sous contraintes et rapporte explicitement l'écart entre accélération désirée et réalisée, plutôt que de le masquer par saturation. Le système, un programme quadratique à horizon glissant, est testé sur un bras Franka FR3 à 7 degrés de liberté, à commande en couple, simulé sous MuJoCo. Sous une poussée soutenue de 20 newtons, la limite de l'espace de travail est respectée à environ 0,1 à 0,2 mm près, contre un dépassement de 4,4 cm en contrôle d'impédance classique et 4,7 cm en admittance, deux méthodes qui écrêtent instantanément les commandes. Avec un budget d'actionneur réduit, l'application des contraintes sur tout l'horizon garde le plan faisable à 2,1x10^-4 N.m près, contre un dépassement pouvant atteindre 11,329 N.m pour une variante qui ne contraint que le premier pas de calcul. Sur le système non linéaire réellement exécuté, l'écart se réduit mais reste favorable à l'approche par horizon complet, 0,161 contre 0,380 N.m. Cette séparation architecturale intéresse les intégrateurs de robots collaboratifs et humanoïdes en contact physique répété avec des humains ou des objets, un domaine où le contrôle d'impédance et d'admittance restent la norme malgré des dépassements de plusieurs centimètres lors de chocs ou de poussées. En rendant l'erreur de réalisation visible plutôt que dissimulée dans la saturation, l'approche facilite le diagnostic et la certification de sécurité des systèmes à interaction physique, un enjeu central pour les cobots industriels et les humanoïdes partageant des tâches avec des opérateurs. Elle montre aussi qu'un changement de comportement, par exemple passer d'un mode impédance à un mode admittance, peut s'effectuer en modifiant seulement les coefficients d'objectif du solveur sans reconstruire toute la boucle de commande, ce qui simplifierait le déploiement de comportements adaptatifs en temps réel. Le travail s'inscrit dans la lignée du contrôle d'impédance et d'admittance, formalismes classiques de l'interaction homme-robot, en cherchant à corriger leur principal défaut, la gestion approximative des contraintes par écrêtage instantané. La validation reste circonscrite à un cas d'étude planaire et à une seule plateforme robotique en simulation, ce que les auteurs présentent eux-mêmes comme une preuve de concept ciblée plutôt qu'un système prêt au déploiement industriel. Les prochaines étapes attendues incluent l'extension à des tâches tridimensionnelles, à d'autres architectures robotiques, et une validation sur matériel réel au-delà de la simulation MuJoCo.

UELe bras robotique utilisé pour les tests, le Franka FR3, est fabriqué par l'entreprise allemande Franka Robotics, mais aucun déploiement ni application concrète en France ou en UE n'est mentionné.

RecherchePaper

1 source