RecherchearXiv cs.RO 19 mai 2026

Je ne suis pas en colère, juste concentré : comprendre les émotions humaines dans la collaboration humain-robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié fin mai 2026 un préprint arXiv (2605.16816) décrivant un système de reconnaissance des émotions fondé sur un modèle de langage visuel (VLM) pour améliorer la collaboration humain-robot (HRC). Contrairement aux systèmes classiques, qui s'appuient sur des datasets d'émotions jouées et des entrées unimodales comme les expressions faciales, le système proposé exploite la compréhension contextuelle de la scène pour inférer l'état émotionnel de l'opérateur. L'évaluation a suivi deux axes : une comparaison avec des annotations humaines sur un dataset HRC existant, mesurant la similarité sémantique et l'alignement de sentiment, puis une étude utilisateur impliquant un robot de service dans une tâche de livraison collaborative. Le système VLM-ER a surpassé la référence CNN sur ces deux métriques, et les participants ont explicitement préféré le comportement adaptatif du robot piloté par l'inférence émotionnelle.

Pour les intégrateurs et les équipes produit déployant des robots de service ou des cobots en environnement humain, le résultat valide une hypothèse clé : un VLM peut dépasser la simple lecture faciale en intégrant la posture, la dynamique de la tâche et le contexte visuel global pour produire une inférence émotionnelle plus proche du jugement humain. Le titre du papier résume le problème concret visé, la confusion systématique entre "en colère" et "concentré", une erreur de classification qui, en robotique industrielle ou de service, génère des interruptions non pertinentes et dégrade la fluidité de la collaboration. La démonstration que ce comportement adaptatif est préféré par les utilisateurs constitue un argument B2B tangible pour les décideurs qui doutent du retour sur investissement de ces fonctionnalités.

La reconnaissance des émotions en HRC souffrait jusqu'ici d'un écart important entre laboratoire et terrain, en partie parce que les datasets d'entraînement reposent sur des acteurs et non sur des émotions spontanées. L'intégration de VLMs pré-entraînés à grande échelle représente un saut qualitatif en termes de généralisation par rapport aux architectures CNN ou aux approches multimodales audio-geste traditionnelles. Des travaux similaires émergent autour de modèles comme GPT-4o ou LLaVA appliqués à la robotique sociale, tandis que des startups françaises comme Enchanted Tools, dont le robot Miro cible précisément l'interaction sociale naturelle, s'inscrivent dans cette même dynamique. La prochaine étape critique pour cette équipe sera de valider le système sur des données spontanées hors laboratoire et des populations diversifiées, condition indispensable avant tout déploiement industriel à l'échelle.

Impact France/UE

Les startups françaises comme Enchanted Tools, dont le robot Miro cible l'interaction sociale naturelle, pourraient s'appuyer sur ces avancées en inférence émotionnelle contextuelle pour renforcer leur différenciation sur le marché européen des robots de service.

Dans nos dossiers

Enchanted Tools — Mirokaï arXiv cs.RO

À lire aussi

1arXiv cs.RO

Puis-je vous aider ? La proactivité dans la collaboration humain-robot en groupe

Des chercheurs ont publié sur arXiv (référence 2606.28469) une étude expérimentale portant sur le rôle de l'initiative robotique dans la collaboration humain-robot à plusieurs participants. Le protocole place des binômes humains en situation de résolution collaborative de puzzles, à l'intérieur d'un escape room instrumenté, en présence d'un robot humanoïde opérant selon deux modalités distinctes : un modèle réactif, où le robot ne répond que lorsqu'il est directement interpellé, et un modèle proactif, où il écoute en continu, contribue de façon autonome et relance l'interaction de sa propre initiative. Les résultats sont mesurés selon trois axes : performance de résolution de puzzles, fréquence des interactions, et évaluations subjectives via les échelles standardisées Godspeed et RoSAS. Le modèle proactif génère mécaniquement plus d'échanges, mais c'est le modèle réactif qui affiche le taux de complétion le plus élevé : 92,86 % contre 71,42 %. Ce résultat contre-intuitif est central pour quiconque déploie des robots collaboratifs dans un contexte industriel ou de service. L'intuition commune voudrait qu'un robot qui anticipe et prend des initiatives améliore la performance collective ; l'étude montre que ce n'est pas systématiquement le cas, et que la proactivité peut fragmenter l'attention, perturber la prise de tour de parole et dégrader la coordination du groupe. Plus significatif encore : l'effet de la modalité d'interaction dépend fortement du profil de l'utilisateur. Les participants ayant une expérience préalable des LLM résolvent les premiers puzzles plus vite en mode réactif ; ceux ayant déjà travaillé avec des robots, ou se déclarant introvertis, modifient leur évaluation des deux modèles de façon distincte. Pour un intégrateur ou un COO, cela signifie qu'il n'existe pas de configuration universellement optimale : le bon niveau d'initiative robotique dépend du profil des opérateurs et de la structure cognitive de la tâche. L'étude s'inscrit dans un corpus croissant de recherches en interaction humain-robot multi-parties (HRI), un champ qui prend de l'importance à mesure que les robots collaboratifs quittent les cellules isolées pour des environnements partagés et non structurés. L'escape room comme banc d'essai contrôlé pour l'HRI est une approche émergente qui permet de tester des dynamiques de groupe réalistes sans infrastructure industrielle lourde. Sur le plan concurrentiel, les questions d'initiative robotique concernent directement les plateformes de cobots sociaux (Boston Dynamics Spot, Furhat Robotics, mais aussi des acteurs européens comme Enchanted Tools avec Miroka) et les systèmes de guidage adaptatif dans la logistique. L'étude ne donne pas de suite opérationnelle immédiate, mais ses données suggèrent qu'une personalisation du niveau de proactivité selon le profil utilisateur, plutôt qu'un réglage global unique, constitue la piste de conception la plus prometteuse.

UELes résultats sur la proactivité robotique concernent directement des acteurs européens comme Enchanted Tools (Miroka) et les intégrateurs de cobots déployant des robots en environnements partagés non structurés.

RecherchePaper

1 source

2arXiv cs.RO

Distill : comprendre les intentions réelles dans la communication humain-robot

Une équipe de chercheurs présente dans un article déposé sur arXiv en mai 2026 (arXiv:2605.14262) une approche baptisée Distill, conçue pour extraire l'intention réelle d'un utilisateur lorsqu'il formule une tâche à un robot. Le problème de départ est bien documenté : le langage naturel, aussi intuitif soit-il, reste ambigu et imprécis, tandis que la programmation par l'utilisateur final tend à l'inverse à être trop littérale, incapable de capturer la généralité de ce que l'utilisateur souhaite réellement accomplir. Distill opère en trois étapes sur une spécification de tâche fournie par l'utilisateur : il supprime les étapes superflues, généralise le sens derrière chaque étape individuelle, et relâche les contraintes d'ordonnancement entre ces étapes. L'approche a été implémentée sous forme d'interface web et évaluée via une étude crowdsourcée auprès d'utilisateurs réels. L'enjeu pour l'industrie robotique est concret : la distance entre ce qu'un opérateur dit et ce qu'il veut réellement constitue l'un des principaux freins au déploiement de robots autonomes dans des environnements non structurés. Les interfaces à langage naturel prolifèrent, portées par les modèles VLA (Vision-Language-Action) et les LLMs embarqués dans des plateformes comme Figure 02, Spot ou les robots collaboratifs industriels, mais elles buttent systématiquement sur cette ambiguïté sémantique. Une approche capable de distiller l'intention générale derrière une instruction floue ou sur-spécifiée réduirait le besoin de reformulation itérative et abaisserait la barrière d'adoption pour des opérateurs non-experts en programmation. Ce type de raffinement d'intention est également utile pour la génération automatique de programmes comportementaux dans des architectures de type task planning. Ce travail s'inscrit dans une vague de recherches visant à combler le fossé entre langage humain et représentations formelles exploitables par les robots, un champ actif impliquant des laboratoires comme Stanford, MIT CSAIL ou le groupe Human-Robot Interaction de l'Inria en France. Les approches concurrentes incluent la correction de programme par retour utilisateur (LLM Repair), la programmation par démonstration (PbD) et les interfaces de dialogue multi-tours. Distill se distingue par son orientation vers la généralisation automatique plutôt que la simple transcription ou la correction d'erreurs. Les prochaines étapes attendues concernent l'intégration sur des plateformes robotiques physiques et l'évaluation de robustesse face à des tâches à longue séquence ou à contraintes temporelles strictes. Il s'agit pour l'instant d'un preprint non évalué par les pairs, sans déploiement industriel annoncé.

UEL'Inria (groupe Human-Robot Interaction) est cité comme acteur du même champ de recherche, positionnant la France dans les travaux sur l'interprétation d'intention en robotique, sans implication directe dans ce preprint.

RecherchePaper

1 source

3arXiv cs.RO

Les VLM décrivent mais ne mesurent pas : comprendre les scènes centrées sur les objets pour la manipulation robotique

Une équipe de recherche publie un article arXiv (2609.28184v1) proposant un système de perception modulaire piloté par un modèle vision-langage (VLM) pour la manipulation robotique en environnement inconnu. Partant d'une seule observation RGB-D, le pipeline segmente la scène en régions au niveau objet, les fait annoter sémantiquement par un VLM, puis ancre ces annotations avec les données de profondeur pour construire une représentation centrée sur les objets, indépendante de la tâche à accomplir. Les auteurs ont testé leur approche sur 151 scènes de table (tabletop scènes) et montrent que cette décomposition conserve la qualité sémantique d'un VLM classique tout en améliorant nettement la localisation et l'estimation de profondeur par rapport à une inférence géométrique directe par le VLM seul. La représentation obtenue a ensuite été intégrée à un module de planification de tâches pour piloter l'exécution robotique, en s'appuyant sur des briques logicielles existantes plutôt que sur un modèle entraîné de bout en bout. Le constat de fond, résumé par le titre même de l'article, cible une faiblesse connue mais rarement quantifiée des VLM appliqués à la robotique: ils décrivent bien une scène mais mesurent mal les distances, positions et profondeurs nécessaires à une prise fiable. Pour les intégrateurs qui misent sur des architectures vision-langage-action pour de la manipulation générique, ce travail confirme qu'il est risqué de confier au VLM la géométrie brute et suggère plutôt une architecture hybride où le modèle gère la sémantique tandis que des capteurs et des méthodes de segmentation classiques gèrent la métrique. C'est un signal utile face à l'engouement actuel pour les modèles VLA supposés tout résoudre en bout en bout: la précision spatiale reste un maillon faible qui nécessite un ancrage explicite plutôt qu'une confiance aveugle dans les sorties du modèle. Cette publication s'inscrit dans le débat plus large sur l'écart entre les capacités sémantiques impressionnantes des VLM récents et leur fiabilité métrique, un sujet qui traverse actuellement la recherche en robotique de manipulation autant que le développement de robots humanoïdes généralistes. L'article ne présente ni produit commercial ni déploiement industriel: il s'agit d'une contribution méthodologique construite à partir d'approches existantes ("off-the-shelf"), dont la suite logique serait une validation au-delà des scènes de table, sur des environnements moins contraints et des tâches de manipulation plus complexes.

RecherchePaper

1 source

4arXiv cs.RO

Repenser les implications du retour humain pour l'apprentissage des préférences dans la collaboration homme-robot

Une équipe de recherche en interaction homme-robot publie sur arXiv (2609.13982) une remise en cause de la méthode standard d'apprentissage des préférences pour le comportement des robots collaboratifs. Cette méthode standard fonctionne en trois étapes : le robot collecte un feedback humain direct limité, généralement binaire (positif ou négatif) ; il en déduit ensuite des étiquettes "acceptée" ou "rejetée" pour des actions faisables mais non choisies, via des règles d'implication fixes préétablies ; puis il met à jour son modèle de récompense avec l'ensemble de ces données. Une étude utilisateur menée sur deux environnements de simulation collaboratifs montre que les étiquettes d'implication réellement données par les humains divergent souvent de ce que prédit la règle fixe, et que l'usage des étiquettes humaines réelles améliore nettement l'apprentissage de récompense avec l'algorithme PIE (Preference Learning from Implicit and Explicit Feedback). Les chercheurs proposent en réponse IMPLIED, une méthode qui utilise la règle fixe comme simple point de départ tout en apprenant à inférer et corriger les étiquettes au fil des interactions. Testée sur des trajectoires d'interaction homme-robot enregistrées ainsi que sur une étude avec un robot physique préparant des pizzas, IMPLIED prédit les implications humaines plus fidèlement que la règle fixe et que des références basées sur des LLM, en se rapprochant des performances d'un oracle utilisant directement des étiquettes humaines. Ce résultat questionne une hypothèse implicite largement répandue dans la conception des systèmes de robots collaboratifs : que des règles logiques figées suffisent à extrapoler les préférences humaines au-delà du feedback explicite donné. Pour les concepteurs de robots d'assistance ou de cobots industriels, cela signifie que les modèles de récompense actuels risquent de mal interpréter systématiquement l'intention des opérateurs sur les actions non directement évaluées, ce qui peut se traduire par un comportement robotique perçu comme irrationnel ou mal aligné en situation réelle de collaboration. En réduisant l'erreur d'estimation des préférences, IMPLIED promet des robots capables de s'adapter plus vite et plus fidèlement à un opérateur humain sans multiplier les sollicitations de feedback, un enjeu direct pour l'efficacité des déploiements en environnement partagé homme-robot. Le travail s'inscrit dans la lignée des approches d'apprentissage de préférences par renforcement inverse appliquées à la robotique collaborative, où l'algorithme PIE sert de référence pour combiner feedback explicite et implicite. En comparant IMPLIED à la fois à la règle fixe classique et à des références utilisant des grands modèles de langage, les auteurs positionnent leur méthode comme une alternative apprise et adaptative aux heuristiques statiques du domaine. La validation combine environnements simulés et un cas d'usage physique concret de fabrication culinaire, suggérant une voie vers une intégration future dans des architectures de robots collaboratifs déployés en usine ou en environnement de service.

RecherchePaper

1 source