RecherchearXiv cs.RO 27 octobre 2026

Génération et modulation de comportements gestuels expressifs adaptés au contexte à l'aide de modèles fondation multimodaux

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent un système qui génère et module automatiquement des séquences de gestes expressifs corps entier à partir d'une description de contexte multimodale (texte, audio, vidéo). L'approche repose sur une implémentation mathématique unifiée des Principes d'animation (anticipation, exagération, ralenti en début et fin de mouvement, etc.) au moyen de Dynamic Movement Primitives (DMP). Des modèles de fondation multimodaux produisent à la fois les séquences de gestes et des variations paramétriques de ces mouvements, adaptées au contexte. Le système est intégré dans un cadre de contrôle continu, et une distillation de connaissances permet d'entraîner un modèle nettement plus petit, ce qui améliore l'efficacité en tokens et réduit la latence. Une étude utilisateur a été menée sur une plateforme de forme humaine. Les participants ont jugé les mouvements mieux alignés avec le contexte d'interaction que ceux obtenus sans modulation ou avec une condition de type appel d'API direct. Les auteurs montrent aussi que le système génère des mouvements expressifs pour des robots aux cinématiques différentes. Le résumé publié ne donne ni taille de l'échantillon, ni valeurs de latence, ni taille du modèle distillé.

L'enjeu est pratique pour les intégrateurs de robots sociaux et de service. L'expressivité du mouvement est connue pour améliorer l'engagement, la sympathie perçue et parfois la performance de la tâche, mais elle reste coûteuse à produire. Elle repose en général sur des animations écrites à la main, difficiles à réutiliser d'un robot à l'autre. Le choix des DMP rend la sortie interprétable et composable, ce qui contraste avec les approches où un grand modèle de langage génère directement des trajectoires articulaires ou appelle une API de gestes prédéfinis, difficiles à déboguer et à certifier. La distillation répond à un frein concret du déploiement : la latence et le coût en tokens d'un modèle de fondation embarqué ou appelé en boucle. Il faut toutefois rester prudent. Le point de comparaison est une condition « API-level » définie par les auteurs, et l'évaluation par des utilisateurs sur une seule plateforme humanoïde ne prouve pas encore la robustesse en environnement réel. Les résultats sur d'autres morphologies sont présentés comme des démonstrations, pas comme des mesures comparées.

Ce travail s'inscrit dans la vague de recherches qui branchent des LLM et des modèles vision-langage sur le contrôle de robots, après les approches de génération de gestes par LLM et les travaux issus de l'animation, où les Principes d'animation de Disney servent de référence pour rendre un robot lisible et agréable. Il se positionne en complément des modèles vision-langage-action (VLA) généralistes, qui visent surtout la manipulation, en traitant la couche de comportement social. Il s'adresse aux acteurs de la robotique d'accueil et de compagnie, dont des équipes européennes comme Enchanted Tools, qui travaille sur des robots de service interagissant avec le public. La suite logique serait des essais plus larges, avec plus de participants, des contextes d'interaction plus variés et une validation sur des robots commerciaux. Une page projet accompagne la prépublication arXiv, mais aucun calendrier de déploiement n'est annoncé.

Dans nos dossiers

Enchanted Tools — Mirokaï IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Calcul au moment du test pour les modèles fondation de comportement des robots humanoïdes

Des chercheurs proposent une méthode, baptisée Test-Time Command Optimization (TTCO), pour réduire l'écart entre les mouvements demandés à un humanoïde et ceux qu'il exécute réellement. Elle s'applique aux Behavior Foundation Models (BFMs), des contrôleurs généralistes de corps entier capables de suivre un large répertoire de mouvements. Ces modèles souffrent d'un « command-exécution gap » systématique : la trajectoire exécutée dévie de la trajectoire commandée. TTCO ne réentraîne pas le BFM. Elle modifie la commande d'entrée par optimisation par échantillonnage, en simulant en boucle fermée le BFM couplé à la dynamique du robot, jusqu'à ce que le mouvement exécuté colle au mouvement visé. Sur trois BFMs et le jeu de données de capture de mouvement AMASS, l'erreur moyenne de position globale du corps baisse de 79 à 84 % en simulation. Les auteurs dérivent aussi une stratégie approximativement optimale pour répartir le calcul, qui continue d'améliorer les résultats quand le budget augmente. Enfin, TTCO peut produire des étiquettes d'action propres à chaque BFM à partir de trajectoires robot enregistrées, sans les commandes de téléopération d'origine. Ces étiquettes servent à entraîner des politiques de loco-manipulation de haut niveau, validées en simulation et sur robot réel, et à réutiliser des démonstrations existantes d'un BFM à l'autre. L'enjeu est la précision. Les démonstrations de mouvements spectaculaires masquent souvent des erreurs de plusieurs centimètres, rédhibitoires dès qu'il faut saisir, porter ou poser un objet. Ici, le gain vient du calcul au moment du test plutôt que d'un nouvel entraînement, ce qui permet d'améliorer des contrôleurs déjà déployés. La génération d'étiquettes d'action rend aussi les jeux de démonstrations portables entre modèles, un point utile pour les intégrateurs qui changent de plateforme. Il faut toutefois relativiser : le chiffre de 79-84 % porte sur la simulation, le calcul d'optimisation par commande a un coût, et le résumé ne donne ni temps de calcul ni taux de réussite en tâches réelles. Ce travail s'inscrit dans la montée des modèles de fondation pour humanoïdes, où l'on cherche à transposer aux robots les gains du calcul à l'inférence observés en langage. Il vient compléter les BFMs et les politiques vision-langage-action, qui produisent des commandes de haut niveau sans garantir leur exécution fidèle. La suite logique est la réduction du coût de TTCO, voire son exécution en ligne, et sa démonstration sur des tâches industrielles de manipulation.

RecherchePaper

1 source

2arXiv cs.RO

Découverte de modes comportementaux pour l'affinage de politiques génératives multimodales

Une équipe de chercheurs a publié en mai 2026 sur arXiv (arXiv:2605.11387) une méthode pour affiner des politiques génératives pré-entraînées par apprentissage par renforcement (RL) sans sacrifier la diversité comportementale. Le problème ciblé est le "mode collapse" : appliqué à une politique diffusion (un modèle génératif produisant des distributions d'actions multimodales), le RL fait converger les comportements variés vers une unique stratégie maximisant la récompense. La solution proposée est un framework non supervisé qui identifie les modes comportementaux latents au sein de ces politiques, puis utilise l'information mutuelle entre ces modes et les trajectoires générées comme récompense intrinsèque. Ce signal régularise l'entraînement RL, forçant le modèle à conserver plusieurs stratégies d'exécution simultanément. Sur des benchmarks de manipulation robotique, la méthode surpasse les approches classiques en taux de succès tout en préservant des distributions d'actions plus riches. Cette contribution adresse une tension fondamentale dans le déploiement des politiques robotiques apprenantes : le RL améliore les performances moyennes mais réduit la robustesse aux imprévus en homogénéisant les comportements. Pour un intégrateur industriel, la diversité comportementale détermine concrètement si un robot peut adapter sa prise face à une pose objet inattendue ou récupérer d'une perturbation de surface, des situations que les métriques de succès moyen ne capturent pas. En préservant la multimodalité après fine-tuning, la méthode rend les politiques diffusion plus exploitables hors des conditions d'entraînement et suggère qu'optimisation par RL et robustesse opérationnelle, deux objectifs souvent antagonistes, peuvent être conciliés. Les politiques diffusion se sont imposées comme paradigme dominant en manipulation robotique depuis les travaux de Chi et al. (2023) et alimentent aujourd'hui les modèles VLA (Vision-Language-Action) comme pi-0 de Physical Intelligence ou OpenVLA de Berkeley. Le fine-tuning RL de ces architectures est une direction très active, notamment avec DPPO (Diffusion Policy Policy Optimization). La méthode proposée se positionne comme complément générique à ces pipelines, applicable sans annotation supplémentaire. Point de vigilance : les auteurs ne mentionnent pas de validation sur robot physique, un gap récurrent pour les preprints arXiv dont les résultats restent à confirmer hors simulation.

RechercheOpinion

1 source

3arXiv cs.RO

Génération d'arbres de comportement multimodaux : un petit modèle vision-langage pour la planification de tâches robotiques

Une nouvelle version (v2) d'un article de recherche publié sur arXiv (2603.06084) détaille un pipeline pour entraîner des modèles vision-langage (VLM) compacts à générer des arbres de comportement (Behavior Trees, BT) exécutables et compatibles ROS2 pour la planification de tâches robotiques. Les auteurs ont converti 1 622 épisodes du corpus Open X-Embodiment via un pipeline enseignant multi-étapes, produisant un jeu de données augmenté de 2 433 exemples multimodaux associant images, instructions et BT. Ce jeu de données a servi à affiner, par fine-tuning efficace en paramètres (PEFT), des VLM open source allant de 500 millions à 4 milliards de paramètres. Les BT générés ont été évalués hors ligne sur leur validité syntaxique, puis exécutés sur 15 tâches domestiques dans l'environnement de simulation BEHAVIOR-1K. Le meilleur modèle, Gemma-3 4B, atteint une validité syntaxique parfaite et un taux de réussite de 87%, devançant Claude Opus 4.8 et approchant GPT-5, tout en tournant entièrement en local. Ce résultat nourrit le débat récurrent sur l'écart entre démonstration et réalité dans la planification robotique pilotée par IA: un modèle compact, exécutable sans API propriétaire ni connexion cloud, égale voire dépasse des modèles fermés bien plus massifs sur une tâche concrète. Pour les intégrateurs et décideurs industriels, c'est un signal en faveur d'une planification embarquée, sans latence réseau ni coûts d'inférence récurrents, un critère souvent déterminant pour un déploiement à grande échelle. Les ablations confirment aussi une hypothèse centrale du secteur: l'ancrage visuel est décisif, le taux de réussite passant de 40% en texte seul à 87% avec observations visuelles. L'augmentation de données, elle, fait grimper la validité syntaxique des BT de 65% à 100%, rappelant que la qualité des données d'entraînement prime souvent sur la taille du modèle. Ces travaux prolongent une lignée de recherches utilisant les Behavior Trees, formalisme hiérarchique déjà répandu en robotique industrielle via ROS2, comme cible de génération pour les grands modèles de langage. Jusqu'ici, ces approches restaient soit purement textuelles, soit dépendantes de VLM propriétaires massifs, faute de jeu de données public reliant observations visuelles et BT exécutables, un manque que ce travail cherche explicitement à combler. La comparaison directe avec Claude Opus 4.8 et GPT-5 positionne cette contribution académique comme une tentative de démocratiser la planification VLM face aux modèles propriétaires. Aucun partenariat industriel ni déploiement sur robot physique n'est mentionné: l'évaluation reste cantonnée à la simulation BEHAVIOR-1K, ce qui invite à la prudence avant toute extrapolation vers un usage en environnement réel.

RechercheOpinion

1 source

4arXiv cs.RO

Évaluer la pilotabilité comportementale des modèles fondation de comportement

Une équipe de chercheurs publie sur arXiv RoboSteer, présenté comme le premier benchmark dédié à la « steerabilité comportementale » des Behavior Foundation Models (BFM). Ces modèles servent à convertir des intentions humaines en comportements exécutables par des humanoïdes. Les auteurs définissent la steerabilité comme la capacité d'un BFM à produire fidèlement des comportements qui respectent les intentions de l'utilisateur. Le benchmark la décompose en trois niveaux hiérarchiques : le pilotage conditionnel (Conditional Steering), le pilotage sous contraintes (Constraint Steering) et le pilotage compositionnel (Compositional Steering). Il s'appuie sur un cadre d'évaluation unifié et sur un vaste corpus de mouvements multimodaux. Les auteurs ont mené avec cet outil ce qu'ils décrivent comme la première étude empirique à grande échelle de la steerabilité, sur 9 BFM existants. Le résumé publié ne donne ni la taille du corpus, ni les scores, ni le classement des modèles évalués. L'enjeu est de déplacer l'évaluation des BFM. Jusqu'ici, la qualité de la génération de mouvement (réalisme, fluidité, suivi de trajectoire) tenait lieu de mesure de progrès. RoboSteer pose une autre question, plus proche des besoins d'un intégrateur ou d'un responsable d'exploitation : le robot fait-il ce qu'on lui demande, y compris sous contraintes, et en enchaînant plusieurs consignes ? Un humanoïde capable de gestes fluides mais incapable de respecter une contrainte ou de composer deux instructions reste difficile à déployer hors démonstration. Un benchmark standardisé offre aussi un terrain commun pour comparer des modèles aujourd'hui évalués avec des protocoles hétérogènes, et pour repérer les écarts entre ce que montrent les vidéos de démonstration et la fiabilité mesurée. Il faut toutefois rester prudent. Il s'agit d'un preprint, sans relecture par les pairs, et la valeur du benchmark dépendra de la diversité de son corpus, de la robustesse de ses métriques et de leur adoption par d'autres équipes. Ce travail s'inscrit dans la montée en puissance des modèles fondation pour le contrôle d'humanoïdes. Les approches de génération de mouvement conditionnées par le texte ou par des signaux multimodaux se sont multipliées, parallèlement aux modèles vision-langage-action (VLA) généralistes. Les benchmarks existants portent surtout sur la qualité du mouvement ou sur le suivi de tâches, rarement sur la fidélité à l'intention. RoboSteer vise cette lacune et intéresse autant les laboratoires académiques que les industriels qui développent des humanoïdes. Les auteurs présentent l'ensemble comme une base pour la « réalisation d'intention » au service d'une intelligence incarnée généraliste. La suite dépendra de la publication du code, des données et d'un classement public. La question à suivre est de savoir si les modèles récents résistent au niveau compositionnel, le plus exigeant des trois.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source