Aller au contenu principal
FAM-HRI : interaction humain-robot multimodale assistée par modèle fondation, combinant regard et paroleIllustration générée par IA
RecherchearXiv cs.RO 

FAM-HRI : interaction humain-robot multimodale assistée par modèle fondation, combinant regard et parole

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs a publié en mars 2025 sur arXiv (référence 2503.16492, troisième révision) FAM-HRI, un framework multimodal d'interaction humain-robot combinant le suivi du regard et la parole via des modèles de fondation. Le système s'appuie sur les lunettes Meta ARIA, un dispositif de recherche léger, pour capturer en temps réel les signaux visuels et vocaux de l'utilisateur. Ces données sont fusionnées par un grand modèle de langage (LLM) qui interprète l'intention de l'utilisateur en la croisant avec le contexte visuel de la scène, permettant au robot d'identifier et manipuler des objets désignés par le regard. Un algorithme dédié détermine l'intervalle temporel de fixation oculaire afin de filtrer le bruit inhérent aux mouvements naturels des yeux. Les auteurs rapportent un "taux de succès élevé" et un "temps d'interaction faible" lors des évaluations expérimentales, sans publier de métriques chiffrées précises dans le résumé, ce qui limitera la comparabilité directe avec d'autres systèmes.

L'enjeu de FAM-HRI dépasse la performance brute : le système cible explicitement les utilisateurs souffrant de handicaps moteurs ou de mobilité réduite, une population pour laquelle les interfaces gestuelles classiques sont inutilisables et les commandes vocales seules insuffisamment précises pour la manipulation spatiale. En fusionnant regard et parole au niveau sémantique via un LLM, l'architecture évite les ambiguïtés typiques des commandes monocanal, comme "prends l'objet" sans désignation claire. C'est un pas concret vers des robots d'assistance utilisables en conditions réelles, où la robustesse à l'imprécision humaine prime sur la performance en environnement contrôlé.

La combinaison regard-parole pour le contrôle robotique n'est pas nouvelle, mais l'intégration de LLMs pour la fusion contextuelle représente une évolution récente, rendue possible par la réduction des coûts d'inférence. Les lunettes Meta ARIA, conçues initialement pour la recherche en réalité augmentée, trouvent ici une application robotique directe. Les concurrents dans l'espace HRI multimodal incluent des travaux issus de CMU, ETH Zurich et d'équipes japonaises comme Preferred Networks et l'AIST. L'ensemble du code et des algorithmes est publié en open source sur GitHub, ce qui facilitera la reproductibilité. Les prochaines étapes naturelles seraient une validation en conditions cliniques ou à domicile, et une extension à des plateformes mobiles au-delà de la manipulation fixe.

Dans nos dossiers

À lire aussi

Cadre socialement conscient et multimodal pour l'interaction humain-robot en réalité virtuelle
Illustration générée par IA
1arXiv cs.RO 

Cadre socialement conscient et multimodal pour l'interaction humain-robot en réalité virtuelle

Une équipe de chercheurs publie sur arXiv (2610.34534) un cadre multimodal qui combine parole, vision et toucher pour qu'un robot social génère des réponses vocales et des mouvements adaptés au contexte. Le système a été testé en réalité virtuelle auprès de 18 participants, sur cinq scénarios d'interaction sociale. Il a été comparé à une référence pilotée par un opérateur humain en téléopération. Les participants ont noté le système autonome au-dessus du point médian neutre, aussi bien pour le naturel que pour la pertinence sociale. La version téléopérée a toutefois obtenu des notes significativement plus élevées sur les deux critères. Le codage des comportements et les retours qualitatifs pointent trois facteurs principaux de l'écart: le timing de la conversation, la clarification des demandes ambiguës et la coordination spatiale entre le robot et l'humain. Ce résultat est utile surtout parce qu'il est honnête. Le système autonome est jugé acceptable, mais pas au niveau d'un humain aux commandes, et l'écart ne vient pas de la perception brute. Il vient de la gestion des tours de parole, du réflexe de demander des précisions et du placement dans l'espace. Pour les intégrateurs et les décideurs qui envisagent des robots d'accueil, d'assistance ou de service, c'est un rappel que la qualité d'une interaction se joue sur ces détails plus que sur la richesse des capteurs. L'étude invite aussi à la prudence sur les démonstrations vidéo, qui masquent souvent ces défauts. Les limites sont claires: échantillon de 18 personnes, environnement simulé et robot virtuel. La transposition à un robot physique reste à prouver. Le travail s'inscrit dans la tendance des robots sociaux pilotés par des modèles de langage et des modèles multimodaux, où la réalité virtuelle sert de banc d'essai peu coûteux avant un déploiement physique. L'article ne mentionne ni produit, ni pilote, ni calendrier commercial. Il s'agit d'une contribution de recherche, qui désigne les chantiers prioritaires: la latence conversationnelle, la désambiguïsation active et le contrôle spatial. Les prochaines étapes logiques sont des tests sur matériel réel, avec des échantillons plus larges et des contextes d'usage variés.

RecherchePaper
1 source
Interaction et compagnonnage pilotés par modèle de langage multimodal pour robots de service en maison de retraite
Illustration générée par IA
2arXiv cs.RO 

Interaction et compagnonnage pilotés par modèle de langage multimodal pour robots de service en maison de retraite

Des chercheurs présentent un système de robot compagnon destiné aux établissements de soins pour personnes âgées, décrit dans un article publié le 25 août 2026 sur arXiv (arXiv:2608.21387v1). Le système combine trois couches fonctionnelles : une couche de perception assurant le suivi visuel actif de la personne via un gimbal motorisé qui maintient l'utilisateur dans le champ de vision malgré les occlusions ou mouvements brusques, une couche d'interaction pilotée par un grand modèle de langage (LLM) qui interprète les requêtes vocales et les traduit en actions robotiques comme l'escorte ou la navigation sémantique, et un agent de sécurité basé sur un modèle vision-langage (VLM) qui analyse en continu les images pour détecter les chutes et postures anormales et déclencher des alertes d'urgence. Les auteurs rapportent des résultats expérimentaux montrant un suivi et une interaction fiables avec des humains, ainsi qu'une détection efficace des chutes potentielles. L'article ne précise ni le matériel robotique utilisé, ni les modèles LLM/VLM spécifiques déployés, ni de volumes de test chiffrés. Cette publication illustre une tendance de fond dans la robotique de service : l'intégration de plusieurs briques technologiques distinctes, initialement traitées séparément dans la littérature, en un système unifié combinant navigation, dialogue naturel et surveillance de sécurité. Pour les intégrateurs et décideurs du secteur médico-social, cela répond à un besoin concret d'allègement de la charge des aidants tout en maintenant une surveillance continue, un enjeu critique face au vieillissement démographique et à la pénurie de personnel soignant dans les maisons de retraite. L'approche confirme aussi la viabilité croissante des architectures VLA (vision-langage-action) et VLM pour des tâches de sécurité en temps réel, au-delà des simples démonstrations de laboratoire, même si l'absence de détails sur le taux de faux positifs ou la robustesse en conditions réelles d'EHPAD appelle à la prudence. Ce travail s'inscrit dans un courant de recherche plus large sur les robots sociaux d'assistance, où la plupart des systèmes existants se limitent à des fonctions isolées comme la téléprésence ou le rappel de médicaments, sans capacité de compagnonnage continu. Les auteurs positionnent explicitement leur contribution comme comblant ce manque d'intégration entre suivi humain, interaction naturelle et sécurité. L'article ne mentionne pas de partenariat industriel, de nom de plateforme robotique commerciale, ni de calendrier de déploiement pilote en établissement réel, suggérant un stade encore préliminaire, proche de la preuve de concept académique plutôt que d'un produit prêt à être industrialisé.

RecherchePaper
1 source
FACT : un modèle fondation multimodal force-action-trajectoire pour la dextérité du robot à partir de l'humain
Illustration générée par IA
3arXiv cs.RO 

FACT : un modèle fondation multimodal force-action-trajectoire pour la dextérité du robot à partir de l'humain

FACT (Force-Action-Track), un modèle de fondation robotique décrit dans un preprint arXiv (2610.19155), vise un des angles morts de la manipulation dextre: l'absence de mesures de force dans la plupart des jeux de données de démonstrations humaines. Les auteurs introduisent EgoForce, un jeu de données tactile humain à grande échelle qui capture des gestes riches en interaction, combiné à des démonstrations robot pour le pré-entraînement. L'architecture est en cascade et repose sur deux composants entraînés conjointement. Un planificateur grossier guidé par les tracks prédit simultanément les actions, la vidéo future et des trajectoires visuelles de points (tracks). Un raffineur force-action prédit ensuite la force future et corrige l'action grossière, de sorte que force anticipée et action se façonnent mutuellement. L'évaluation porte sur dix tâches exigeant coordination fine et retour d'effort, dont l'usage d'outils, les instruments de musique et des procédures de laboratoire de précision. Avec seulement 10 trajectoires robot et 90 trajectoires humaines pour le fine-tuning, FACT dépasse les deux références testées, avec des gains de taux de réussite allant jusqu'à 60 points face à T-Rex. L'intérêt tient à la question de l'échelle. Collecter des données robot par téléopération reste coûteux et lent, alors que les démonstrations humaines sont bien moins chères, mais elles manquaient jusqu'ici de la dimension force, pourtant décisive pour visser, presser, pipeter ou jouer d'un instrument. Les ablations indiquent que la supervision de force dans les données humaines de pré-entraînement est déterminante pour la performance robot après fine-tuning, tandis que la prédiction de tracks visuels et de force future améliore l'exécution dextre. Les expériences faisant varier le ratio humain/robot suggèrent que FACT apprend des démonstrations humaines presque aussi efficacement que de démonstrations robot. Si cela se confirme, c'est un argument en faveur de pipelines où l'essentiel des données vient d'opérateurs équipés de capteurs plutôt que de flottes de robots. Les réserves sont classiques: il s'agit d'un résultat de laboratoire sur dix tâches, avec peu de détails dans le résumé sur le matériel, le nombre d'essais ou la solidité des deux références, et le chiffre de 60 points est un maximum, non une moyenne. Ce travail s'inscrit dans la course aux modèles vision-langage-action (VLA) et aux approches de co-entraînement humain-robot, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) misent surtout sur la vision et la proprioception, la force restant le plus souvent absente. Le transfert entre morphologies via la vidéo future et les tracks relève d'une piste déjà explorée, que FACT complète par une couche tactile. Reste à voir si EgoForce sera publié et si les résultats se reproduiront hors du laboratoire d'origine, sur d'autres mains robotiques et en environnement industriel. Aucun déploiement ni calendrier commercial n'est annoncé: il s'agit d'une contribution de recherche.

RecherchePaper
1 source
Modèle de cognition du monde pour l'interaction humain-robot généralisable
Illustration générée par IA
4arXiv cs.RO 

Modèle de cognition du monde pour l'interaction humain-robot généralisable

Un article scientifique publié sur arXiv (référence 2607.22999v1) présente WCM, pour World-Cognition Model, un agent robotique conçu pour rendre l'interaction homme-robot aussi fluide que celle qu'offrent déjà les agents conversationnels dans le logiciel. Le système repose sur une architecture baptisée SLAK, acronyme de Sensing, Logic, Action et Knowledge, qui sépare explicitement la perception, le raisonnement, le contrôle moteur et la mémoire. Cette séparation s'appuie sur un runtime asynchrone permettant au raisonnement, au dialogue et à l'exécution de se dérouler en parallèle plutôt que séquentiellement. WCM ajoute un mode d'apprentissage supervisé par l'humain, où l'utilisateur peut enseigner interactivement au robot des tâches longues ou complexes ; ces épisodes d'enseignement, combinés aux exécutions autonomes, sont ensuite convertis en données de supervision par chaîne de raisonnement (chain-of-thought) pour affiner le modèle en continu. Sur neuf tâches réelles d'interaction homme-robot, le système atteint un taux de réussite moyen de 73,8 %, y compris sur des tâches exclues de l'entraînement par chaîne de raisonnement et sur une tâche longue apprise uniquement par démonstration humaine. L'enjeu dépassé ici n'est pas tant la performance brute que la question de la contrôlabilité. Les approches dominantes actuelles, qu'il s'agisse des politiques vision-langage-action (VLA) ou des planificateurs fondés sur des modèles du monde, sont optimisées pour exécuter une instruction, mais laissent peu de visibilité à l'utilisateur sur les raisons d'une action donnée et peu de moyens de corriger ou réorienter le robot en cours de tâche. En proposant un mécanisme explicite de correction et d'enseignement en temps réel, WCM répond à un point de friction identifié par les intégrateurs industriels : un robot qui exécute bien mais s'explique mal reste difficile à déployer et à faire confiance sur des tâches non anticipées. Le travail s'inscrit dans la lignée des recherches récentes sur les modèles de fondation pour la robotique, où des architectures comme les VLA ont cherché à généraliser l'exécution de tâches à partir de démonstrations massives. WCM se positionne en complément plutôt qu'en rupture, en ajoutant une couche cognitive et interactive au-dessus du contrôle bas niveau. Les auteurs ne précisent pas de calendrier de déploiement industriel ni de partenaire commercial ; il s'agit à ce stade d'une publication de recherche, dont la prochaine étape logique serait l'extension à un plus grand nombre de tâches et de plateformes robotiques.

RecherchePaper
1 source