RecherchearXiv cs.RO 16 septembre 2026

EMODY Flow : génération de mouvements corporels complets pilotée par l'audio et sensible aux émotions

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont présenté EMODY Flow, un framework de flow-matching léger d'environ 35 millions de paramètres capable de générer gestes corporels et expressions faciales synchronisés avec la parole et l'émotion, dans un article publié sur arXiv le 16 septembre 2026 (arXiv:2609.16011v1). Le système se greffe sur un modèle Qwen-3 Omni figé et réutilise ses codecs audio internes Mimi, conçus à l'origine par le laboratoire français Kyutai, pour piloter deux générateurs DiT parallèles : l'un produit une pose corporelle au format SMPL-X, l'autre une expression faciale au format FLAME. Sur le benchmark de gestes BEAT2, le système revendique un nouvel état de l'art avec un FGD de 0,302, une corrélation au rythme de 0,853 et une diversité de 24,62, soit des gains de 26 %, 5 % et 62 % sur les meilleurs résultats antérieurs, et transfère en zero-shot vers l'animation faciale du jeu TFHP sans réglage spécifique au domaine.

L'apport principal tient au diagnostic d'un biais connu des générateurs conditionnels : recevant à la fois un embedding audio riche et une simple étiquette d'émotion discrète, un modèle de flow-matching ignore cette dernière et produit un mouvement quasi identique quelle que soit l'émotion demandée. Un classifieur d'émotion auxiliaire, actif seulement pendant l'entraînement, force le mouvement généré à rester reconnaissable émotionnellement, ce qui corrige ce défaut. Pour les concepteurs d'agents conversationnels incarnés, d'avatars et de robots humanoïdes, qui doivent exprimer un état émotionnel crédible en plus de synchroniser gestes et parole, cette méthode dépasse le seul cas testé. Il s'agit toutefois d'un résultat de recherche validé sur benchmarks, pas d'un produit livré ni d'un déploiement réel en conditions industrielles.

Le travail part d'un constat plus large : les grands modèles de langage omni-modaux comme Qwen-3 Omni, développé par Alibaba, excellent en compréhension multimodale mais ne produisent que du texte, laissant un vide dans la génération de réponses incarnées pour les agents conversationnels. EMODY Flow s'appuie sur des formats de référence du secteur, SMPL-X pour le corps et FLAME pour le visage, ainsi que sur le benchmark BEAT2 utilisé pour comparer les méthodes de génération de gestes co-verbaux. L'article ne mentionne aucun partenaire industriel ni calendrier de déploiement : il s'agit d'une contribution académique destinée à être reprise par la communauté recherche en animation et en agents incarnés.

Impact France/UE

Le codec audio Mimi, développé par le laboratoire français Kyutai, est réutilisé comme composant clé du système, illustrant le rayonnement international d'une technologie open-source française.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Génération d'actions robotiques continues et cohérentes par correspondance de flux sensible aux fréquences

Une équipe de recherche propose FAFM (Frequency-Aware Flow Matching), une méthode de génération d'actions robotiques présentée en préprint arXiv (2606.20135, juin 2026), qui reformule le problème du flow matching pour la manipulation robotique dans le domaine fréquentiel. Le principe : plutôt que de prédire directement des séquences d'actions discrètes (des "chunks"), FAFM applique une transformée en cosinus discrète (DCT) sur ces séquences pour les convertir en coefficients fréquentiels, effectue le flow matching sur ces coefficients, puis reconstruit des actions continues via expansion en base cosinus. Pour garantir la cohérence temporelle, la méthode ajoute une contrainte de type Sobolev sur la dérivée temporelle du premier ordre, ce qui pénalise les changements brusques et atténue les erreurs hautes fréquences. L'approche s'applique sans paramètres réseau supplémentaires, aussi bien aux politiques de flow matching autonomes qu'aux modèles vision-langage-action (VLA). Les résultats sont validés sur les benchmarks LapGym, LIBERO et évitement d'obstacles, ainsi qu'en déploiement réel sur un bras Franka. L'intérêt industriel est direct : la fragmentation des fréquences de contrôle est un problème concret lors de l'agrégation de données de démonstration provenant de robots différents (certains à 10 Hz, d'autres à 50 Hz), et les méthodes actuelles de diffusion policy ou de flow matching standard y sont explicitement vulnérables. Les actions temporellement incohérentes qui en résultent dégradent la stabilité du contrôle en boucle fermée, un facteur bloquant pour le déploiement en production. Le fait que FAFM améliore simultanément le taux de succès, la fluidité du mouvement, la robustesse aux biais mécaniques et la vitesse de convergence sans modifier l'architecture existante est une proposition de valeur claire pour les intégrateurs : pas de refonte du pipeline, pas de surcoût computationnel. La compatibilité avec les VLA est également notable, car ces modèles dominent les annonces récentes (pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) et souffrent précisément de ce type d'artefacts temporels à l'inférence. Le flow matching s'est imposé ces dix-huit derniers mois comme alternative crédible à la diffusion policy (Chi et al., 2023, Columbia), avec des temps d'inférence plus courts et une meilleure expressivité multimodale. Les travaux récents de Physical Intelligence (pi-0, pi-0.5) et de Figure AI ont largement adopté ce paradigme pour leurs politiques générales. FAFM s'inscrit dans une tendance de raffinement de ces fondations plutôt que de rupture : on optimise la stabilité et la généralisation inter-fréquences, deux verrous identifiés lors des premiers déploiements industriels à grande échelle. La validation sur Franka reste modeste en termes de diversité de tâches, et le code est disponible sous revue anonyme, ce qui signifie que la méthode n'est pas encore auditée par la communauté. Les prochaines étapes naturelles seraient une validation sur des plateformes humanoïdes multi-articulées et sur des datasets hétérogènes à grande échelle, là où la question des fréquences mixtes est la plus aiguë.

RecherchePaper

1 source

2arXiv cs.RO

ProAct : génération de mouvement en flux continu et raisonnement à base d'agents pour l'interaction sociale incarnée en temps réel

Une preprint arXiv révisée (2602.14048v2) présente ProAct, un framework a double système pour l'interaction sociale incarnée en temps réel, déployé sur un robot humanoïde. L'architecture associe un « Systeme Comportemental » a faible latence, qui génère en continu parole, gestes et mouvements, a un « Systeme Cognitif » plus lent, dote d'une mémoire et d'un module de prédiction de la motivation de l'utilisateur, qui analyse dialogue et contexte visuel pour décider quand prendre l'initiative plutôt que réagir. Le mouvement est produit par un modèle en flow-matching conditionne par l'intention, avec une branche ControlNet découplée qui traduit les décisions cognitives en gestes non verbaux sans casser la fluidité de l'interaction. Le framework a été valide par des études utilisateurs réelles, des benchmarks de mouvement et un nouveau benchmark dédié, ProActBench, mais le résume ne fournit aucun chiffre de performance précis. L'enjeu dépasse la démonstration : la plupart des agents conversationnels et robots sociaux restent réactifs, incapables de décider seuls du bon moment pour intervenir, ce qui limite leur naturel pour l'assistance a domicile, l'accueil ou le service client. En couplant raisonnement lent et génération de mouvement rapide, ProAct rejoint une tendance déjà visible chez d'autres acteurs de la robotique incarnée, comme les architectures a deux systèmes de Figure (Helix) ou de NVIDIA (GR00T N1). La validation sur robot physique et utilisateurs réels, plutôt qu'en simulation, va dans le sens d'un rapprochement entre démonstration et usage concret, même si l'absence de métriques chiffrées invite a la prudence sur l'ampleur réelle des gains. Le papier s'inscrit dans un mouvement de recherche plus large sur les architectures cognition-action a deux vitesses, popularisées par les modèles vision-langage-action récents comme Pi-0 ou GR00T N2, ici transposées de la manipulation d'objets vers l'interaction sociale. Aucune entreprise ni laboratoire n'est nomme dans le résume, et aucun calendrier de commercialisation n'est mentionne : il s'agit d'une contribution académique publiée sur arXiv, dont l'apport tient autant au framework ProAct qu'a la création de ProActBench, appelé a devenir une référence pour comparer la proactivité des futurs agents sociaux. Les prochaines étapes attendues relèvent donc de l'adoption par la communauté de recherche plutôt que d'un déploiement commercial immédiat.

RecherchePaper

1 source

3arXiv cs.RO

ConFlow : apprentissage guidé par contraintes avec appariement de flux pour la génération de mouvement

ConFlow, un nouveau framework de génération de mouvement robotique par flow matching intégrant des contraintes dès l'entraînement, a été publié sur arXiv (2607.14424v1). Le flow matching est une méthode de modélisation générative reposant sur un échantillonneur neuronal basé sur des équations différentielles ordinaires (ODE), entraîné en régressant les champs de flux empiriques associés aux trajectoires observées. Le problème que ConFlow cherche à résoudre est simple à énoncer : la plupart des approches actuelles entraînent le modèle de flux sur des données brutes, puis appliquent des contraintes propres à la tâche uniquement au moment de l'inférence, via un guidage externe. Les auteurs proposent à la place d'injecter directement l'information de contrainte dans l'objectif d'entraînement, sous forme de fonctions de barrière ou de coût différentiables. Autre nouveauté technique : la distribution source gaussienne standard du flow matching est remplacée par un processus gaussien conditionnel, ce qui permet d'imposer des spécifications de conception comme la régularité ou les conditions aux limites. Le système exploite aussi des démonstrations infaisables comme supervision négative, sans nécessiter de données expertes supplémentaires. Sur une tâche de navigation impliquant deux robots, ConFlow affiche un taux de collision plus faible et une meilleure qualité de trajectoire que les baselines de flow matching standard, avec ou sans guidage à l'inférence. L'enjeu dépasse la simple performance chiffrée : ce travail questionne une hypothèse répandue dans la génération de mouvement par apprentissage, à savoir que le guidage à l'inférence suffit à faire respecter des contraintes physiques ou de sécurité à un modèle entraîné sans elles. En démontrant qu'intégrer les contraintes pendant l'entraînement referme l'écart entre entraînement et inférence, ConFlow apporte un argument concret pour les équipes qui développent des politiques de mouvement destinées à des robots opérant sous contraintes strictes (évitement de collision, limites articulaires, zones interdites), un enjeu central pour tout déploiement industriel ou multi-robot. Le flow matching s'est imposé ces dernières années comme alternative aux modèles de diffusion pour la génération de trajectoires robotiques, dans la même famille de méthodes que les architectures vision-langage-action (VLA) comme Pi-0 ou GR00T N2, qui reposent elles aussi sur des politiques génératives entraînées sur démonstrations. ConFlow se positionne comme une brique méthodologique complémentaire à ces systèmes plutôt qu'un produit concurrent : la validation reste pour l'instant limitée à un scénario de navigation à deux robots, sans indication d'extension à des tâches de manipulation plus complexes ou à un déploiement matériel réel.

RecherchePaper

1 source

4arXiv cs.RO

Guide robotique : contrôle multi-agents et génération automatique de scénarios par LLM

Un article de recherche décrit une nouvelle architecture de contrôle hybride pour robots sociaux, combinant un système de gestion de ressources multi-agents avec une génération automatique de scénarios comportementaux basée sur des grands modèles de langage (LLM). L'objectif est de dépasser les approches traditionnelles, où des scripts manuels synchronisent tant bien que mal les actions du robot et le texte prononcé, et où les méthodes existantes se limitent à des réponses dialoguées courtes. Le système automatise à la fois la préparation des textes et des commandes de comportement non-verbal pour des récits longs, tout en résolvant les conflits de ressources entre les différents mécanismes d'exécution du robot. Il a été testé sur MENTOR-1, un robot guide de visite (tour guide robot), pour lequel il a généré automatiquement des scénarios complets et démontré un comportement jugé plus naturel et plus riche que les approches existantes. L'article, publié sur arXiv (version révisée), ne précise pas de chiffres de déploiement commercial, de prix ni de dates de mise en production sur site. Pour l'industrie robotique, ce travail illustre une tendance de fond : le passage de scripts comportementaux figés à une orchestration pilotée par LLM capable de générer, en amont, des scénarios longs cohérents entre parole et gestuelle, plutôt que de simplement générer des réponses conversationnelles ponctuelles. La gestion multi-agents des ressources d'exécution répond à un problème concret pour les intégrateurs de robots sociaux : éviter que plusieurs modules (voix, gestes, déplacement, expressions) ne se marchent dessus lors d'une interaction prolongée. Si les résultats sont confirmés à plus grande échelle, cela pourrait réduire le travail manuel de script pour les déploiements de robots d'accueil ou de guidage, un segment où la narration longue reste un point faible des architectures actuelles. Il s'agit toutefois d'une preuve de concept académique sur une plateforme unique, pas d'un produit commercial validé en conditions réelles. Ce travail s'inscrit dans la lignée des recherches sur les architectures VLA (vision-langage-action) et la génération de comportements par LLM pour la robotique sociale, un domaine où des acteurs comme Figure ou Google DeepMind (avec des modèles comme Pi-0 ou GR00T) explorent des approches similaires pour des tâches de manipulation, tandis que MENTOR-1 se positionne spécifiquement sur l'interaction sociale et la narration guidée. Aucun acteur français ou européen n'est mentionné dans cette publication. Les prochaines étapes évoquées par les auteurs concernent l'extension du système à d'autres scénarios narratifs et plateformes robotiques, sans calendrier ni partenariat industriel annoncé à ce stade.

RecherchePaper

1 source