Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Cadre socialement conscient et multimodal pour l'interaction humain-robot en réalité virtuelle

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv (2610.34534) un cadre multimodal qui combine parole, vision et toucher pour qu'un robot social génère des réponses vocales et des mouvements adaptés au contexte. Le système a été testé en réalité virtuelle auprès de 18 participants, sur cinq scénarios d'interaction sociale. Il a été comparé à une référence pilotée par un opérateur humain en téléopération. Les participants ont noté le système autonome au-dessus du point médian neutre, aussi bien pour le naturel que pour la pertinence sociale. La version téléopérée a toutefois obtenu des notes significativement plus élevées sur les deux critères. Le codage des comportements et les retours qualitatifs pointent trois facteurs principaux de l'écart: le timing de la conversation, la clarification des demandes ambiguës et la coordination spatiale entre le robot et l'humain.

Ce résultat est utile surtout parce qu'il est honnête. Le système autonome est jugé acceptable, mais pas au niveau d'un humain aux commandes, et l'écart ne vient pas de la perception brute. Il vient de la gestion des tours de parole, du réflexe de demander des précisions et du placement dans l'espace. Pour les intégrateurs et les décideurs qui envisagent des robots d'accueil, d'assistance ou de service, c'est un rappel que la qualité d'une interaction se joue sur ces détails plus que sur la richesse des capteurs. L'étude invite aussi à la prudence sur les démonstrations vidéo, qui masquent souvent ces défauts. Les limites sont claires: échantillon de 18 personnes, environnement simulé et robot virtuel. La transposition à un robot physique reste à prouver.

Le travail s'inscrit dans la tendance des robots sociaux pilotés par des modèles de langage et des modèles multimodaux, où la réalité virtuelle sert de banc d'essai peu coûteux avant un déploiement physique. L'article ne mentionne ni produit, ni pilote, ni calendrier commercial. Il s'agit d'une contribution de recherche, qui désigne les chantiers prioritaires: la latence conversationnelle, la désambiguïsation active et le contrôle spatial. Les prochaines étapes logiques sont des tests sur matériel réel, avec des échantillons plus larges et des contextes d'usage variés.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

Validation de la réalité virtuelle pour l'étude de l'interaction humain-robot multimodale en navigation sociale de robots
1arXiv cs.RO 

Validation de la réalité virtuelle pour l'étude de l'interaction humain-robot multimodale en navigation sociale de robots

Une équipe de recherche a testé si la réalité virtuelle (VR) permet d'étudier fidèlement les interactions humain-robot dans des scénarios de navigation sociale partagée. L'étude, menée avec 21 participants, a comparé leurs réactions face à un robot mobile manipulateur PR2 dans deux conditions identiques : une arène réelle équipée de capture de mouvement, et sa réplique virtuelle immersive en VR. Deux situations classiques de co-navigation ont été examinées, le croisement orthogonal et le dépassement latéral (pass-by). Les chercheurs ont recueilli à la fois des mesures subjectives, la perception de la conscience sociale du robot et le confort ressenti par les participants, et des données comportementales objectives, trajectoires de déplacement et orientation de la tête, pour comparer précisément les deux environnements. Résultat central : les participants perçoivent la navigation socialement consciente du robot de façon similaire dans les deux conditions, et les comportements observés en VR, trajectoires évitées, orientations du regard, correspondent à ceux mesurés en conditions réelles. Cette validation compte pour tout le secteur de la robotique sociale et des humanoïdes déployés en environnement partagé avec des humains, entrepôts, usines, espaces publics. Concevoir et tester des algorithmes de navigation socialement acceptable exige normalement des essais physiques coûteux, lents et parfois risqués pour les sujets humains. Si la VR reproduit fidèlement les dynamiques d'interaction multimodale, comme le suggèrent ces résultats, elle devient un outil d'itération rapide et sûr pour les équipes qui développent des comportements de navigation robotique, avant tout déploiement réel. C'est aussi une réponse partielle à un scepticisme répandu dans le secteur sur l'écart entre les études HRI menées en environnement contrôlé ou simulé et le comportement humain effectif face à un robot physique. Ce travail s'inscrit dans une lignée de recherches antérieures ayant déjà exploré la VR pour la navigation robotique socialement consciente, mais sans jamais confirmer explicitement que les dynamiques d'interaction multimodale observées en réel s'y retrouvaient. Le protocole within-subjects, chaque participant testant les deux conditions, renforce la robustesse de la comparaison. Les auteurs positionnent leur prototype VR comme une plateforme flexible pour de futures études sur des interactions humain-robot plus riches, ouvrant la voie à des campagnes de test à plus grande échelle sans dépendre systématiquement d'un robot physique et d'une arène de capture de mouvement, deux ressources rares et coûteuses dans les laboratoires de recherche en robotique.

RecherchePaper
1 source
2arXiv cs.RO 

Des mots aux motivations : un cadre multimodal pour aligner les robots autonomes sur les intentions humaines

Des chercheurs proposent, dans un preprint arXiv (2610.35629), un cadre multimodal destiné à aligner le comportement de robots autonomes à apprentissage ouvert sur les intentions de leurs utilisateurs humains. Le système s'appuie sur des grands modèles de langage (LLM) et des modèles vision-langage (VLM), présentés comme des « vecteurs culturels » apportant des connaissances générales sur le monde. Il transforme des objectifs exprimés en langage naturel en composantes motivationnelles de l'architecture du robot, sous forme de missions et de « drives » (pulsions internes) qui orientent son comportement. L'architecture compte trois couches : alignement sémantique, génération de missions et modélisation des drives. Elle fonctionne en boucle bidirectionnelle. L'humain fixe un but de haut niveau, le robot le décline en missions exécutables à l'aide d'informations multimodales relayées par les LLM et VLM, puis le retour de l'humain maintient l'alignement. Les tests ont eu lieu en simulation et sur un robot physique. Le résumé ne donne ni modèle de robot, ni nom de LLM ou de VLM, ni métrique chiffrée, ni taux de réussite. L'enjeu touche un point faible des robots qui génèrent eux-mêmes leurs compétences et leurs objectifs en interagissant avec leur environnement. Rien ne garantit que ces objectifs restent pertinents pour l'utilisateur. Pour un intégrateur ou un responsable d'exploitation, c'est la question de la gouvernance d'un robot qui apprend en continu : comment orienter ses priorités sans reprogrammer chaque tâche ? Les auteurs avancent que le langage naturel peut servir d'interface de pilotage de la motivation, et pas seulement d'ordres ponctuels, comme le font les approches VLA (vision-langage-action). Il faut toutefois rester prudent. Le résumé indique seulement que le processus produit des missions et des comportements « valides », sans mesurer la robustesse, la latence ni la dérive des objectifs sur la durée. Le passage de la simulation et d'un seul robot physique à un déploiement industriel reste donc entièrement à démontrer. Il s'agit de recherche académique, pas d'un produit ni d'un pilote. Ce travail s'inscrit dans la lignée de l'apprentissage ouvert et de la robotique développementale, où les robots se fixent leurs propres buts par motivation intrinsèque. L'arrivée des LLM a ouvert une nouvelle voie, celle d'un « sens commun » externe pour cadrer ces buts. Plusieurs approches concurrentes utilisent déjà des modèles de langage pour planifier des tâches ou définir des fonctions de récompense. La proposition ici se distingue en visant la couche motivationnelle plutôt que la seule planification. Les prochaines étapes naturelles seraient des essais sur des plateformes variées, des comparaisons chiffrées avec ces méthodes et des tests en conditions réelles avec des utilisateurs non experts. Aucun calendrier ni partenaire industriel n'est annoncé, et aucun acteur français ou européen n'est cité dans le résumé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Développement d'un prototype de robot humanoïde pour l'interaction homme-robot multimodale
3arXiv cs.RO 

Développement d'un prototype de robot humanoïde pour l'interaction homme-robot multimodale

Des chercheurs présentent un prototype de robot humanoïde conçu comme plateforme de test pour l'interaction homme-robot multimodale, détaillé dans un article publié sur arXiv le 5 septembre 2026. Le système repose sur un mécanisme bimanuel à 12 degrés de liberté et une tête à 2 DOF équipée d'un écran LCD expressif capable de simuler des émotions faciales. L'ensemble du matériel est piloté par une carte contrôleur conçue sur mesure, avec traitement IA embarqué en temps réel via un module Jetson. Trois modules d'intelligence artificielle sont intégrés : reconnaissance gestuelle (MediaPipe Pose combiné à un classifieur LSTM), détection d'objets avec localisation 3D (YOLO), et traitement de commandes vocales par reconnaissance de la parole couplée à un modèle de langage (LLM) pour l'analyse sémantique. Les tests de validation rapportent une erreur moyenne de manipulation d'environ 1,83 cm en précision de positionnement, une précision de tâche globale supérieure à 90%, avec 96% pour la reconnaissance gestuelle et 92% pour la reconnaissance vocale. Ce prototype illustre une tendance de fond dans la recherche robotique : plutôt que de viser des démonstrations spectaculaires, l'accent est mis sur la reproductibilité et l'accessibilité d'une plateforme complète pour l'intégration de modules IA hétérogènes. Pour les laboratoires académiques et les équipes d'intégration disposant de budgets limités, disposer d'une architecture bimanuelle documentée, avec carte de contrôle personnalisée et pipeline multimodal (vision, geste, voix) déjà assemblé, réduit la barrière d'entrée pour prototyper des interactions homme-robot sans dépendre des plateformes commerciales fermées. Les chiffres de précision restent toutefois issus d'un cadre expérimental contrôlé et ne permettent pas de conclure directement sur une robustesse en environnement industriel réel, un point que l'article ne détaille pas davantage. Le projet s'inscrit dans la lignée des travaux académiques sur les robots compagnons et assistants, où l'expressivité faciale et la fusion de plusieurs canaux de perception (vision, geste, parole) sont recherchées pour rendre l'interaction plus naturelle. Contrairement aux humanoïdes commerciaux orientés manipulation industrielle comme Figure 03 ou Optimus, ce prototype cible explicitement la recherche en HRI et le prototypage reproductible plutôt qu'un déploiement en usine. L'article ne précise ni le nom de l'institution porteuse, ni de calendrier de diffusion ou de partenariat industriel, ce qui situe cette publication au stade de la recherche académique plutôt que d'une annonce produit.

RecherchePaper
1 source
Réflexes sous la milliseconde pour l'interaction physique continue entre humain et robot
4arXiv cs.RO 

Réflexes sous la milliseconde pour l'interaction physique continue entre humain et robot

Des chercheurs publient sur arXiv un moteur de réflexes open source, capable de basculer entre modes de contrôle en moins de 0,1 ms sur un bras manipulateur Franka Robotics. Le système repose sur un contrôleur multimode compatible ROS 2, amélioré pour permettre une commutation déterministe entre modalités de contrôle (par exemple impédance, position ou force). Il intègre aussi des comportements réflexes qui limitent les risques de contact et évitent les violations des limites cinématiques. Les auteurs annoncent un gain de plus de quatre ordres de grandeur sur le délai de commutation par rapport à ros2control. Sur une tâche de manipulation en plusieurs étapes, le temps d'exécution baisse de 3,5 % et le jerk maximal de la trajectoire (la dérivée de l'accélération, indicateur de brusquerie du mouvement) est divisé par plus de trois. Le code est ouvert, mais il s'agit d'un résultat de laboratoire sur un seul robot, pas d'un produit ni d'un déploiement industriel. Le point central est l'architecture. Dans ros2control, changer de contrôleur impose d'arrêter l'un puis de démarrer l'autre, ce qui interrompt l'exécution et crée des délais notables. Pour l'interaction physique continue entre humain et robot (guidage manuel, cobotique, assistance), ces coupures dégradent à la fois la fluidité et la sécurité. Les auteurs suppriment le surcoût du middleware à l'exécution: une transition de contrôleur devient une simple opération de pointeur sans verrou (lock-free), ce qui donne un comportement prévisible en temps réel. Pour un intégrateur, cela montre qu'une partie de la rigidité des cobots tient à des choix logiciels et non au matériel. Les chiffres demandent toutefois de la prudence: le gain de 3,5 % sur le temps de cycle est modeste et dépend de la tâche choisie, et la comparaison porte sur un seul scénario et une seule plateforme. Le facteur trois sur le jerk est plus parlant pour l'usure mécanique et le confort de l'opérateur. Le résumé ne détaille ni la variance ni le nombre d'essais. Ce travail s'inscrit dans l'effort pour rendre ROS 2 apte aux exigences du temps réel dur et de la sécurité, alors que les fabricants de cobots misent souvent sur des piles propriétaires et fermées pour obtenir ces performances. Franka Robotics, d'origine allemande, fournit une plateforme de recherche très répandue, ce qui facilite la reproduction par d'autres laboratoires européens. Le projet reste en amont de la certification: aucune mention de conformité aux normes de sécurité (type ISO 10218 ou ISO/TS 15066) n'apparaît, et le passage à l'industrie suppose des validations supplémentaires. Les suites probables sont un test sur d'autres bras, une intégration à ros2_control ou une adoption par la communauté, mais aucun calendrier n'est annoncé.

UEFranka Robotics étant d'origine allemande et son bras très répandu dans les laboratoires européens, le code ouvert compatible ROS 2 peut être reproduit facilement par les équipes de recherche et intégrateurs de cobots de l'UE.

RecherchePaper
1 source