Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Glance-Say : collaboration homme-robot multimodale et reconnaissance d'intention via un regard soutenu
RecherchearXiv cs.RO 

Glance-Say : collaboration homme-robot multimodale et reconnaissance d'intention via un regard soutenu

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent Glance-Say, un cadre d'interaction multimodale associant regard et parole pour la manipulation robotique assistive destinee aux personnes a mobilité réduite. Le système repose sur un algorithme dit de "regard collant" (sticky-glance) qui stabilise la sélection de cible en cumulant conjointement la distance géométrique et l'évidence directionnelle du regard, un mécanisme conçu pour compenser les micro-saccades oculaires et l'ambiguïté sémantique dans des environnements comportant plusieurs objets. Dans ce paradigme, le regard désigne l'objet vise pendant que la commande vocale précise l'action a exécuter, le tout couple a un schéma de contrôle partage en continu qui maintient le bras robotique en état de haute réactivité tout en intégrant un retour humain-dans-la-boucle. Les expériences rapportées affichent un taux de suivi de 0,92 pour des cibles mobiles, une précision de sélection de 0,97 pour des cibles statiques, ainsi qu'une réduction du temps nécessaire pour accomplir les taches, par rapport aux paradigmes d'interaction de référence.

Pour l'assistance robotique aux personnes en situation de handicap moteur, ce travail s'attaque a un verrou concret: les interfaces regard-plus-voix existantes échouent souvent des que plusieurs objets similaires sont présents ou que l'utilisateur bouge la tête, forçant des ré-sélections fastidieuses. Une méthode qui stabilise l'intention en temps réel sans capteur exotique, en s'appuyant sur des signaux de regard et de parole standards, rapproche ce type d'interface d'un usage quotidien réaliste plutôt que d'une démonstration de laboratoire en conditions idéales. Pour les intégrateurs travaillant sur des bras assistifs ou des fauteuils robotises, cela ouvre la voie a des contrôles plus naturels, sans dispositifs de pointage dédiés ni entrainement lourd de l'utilisateur.

Ce travail s'inscrit dans la lignée des recherches en interaction cerveau-machine et interfaces oculaires pour l'assistance, un champ historiquement freine par le bruit du regard et l'ambiguïté des commandes vocales isolées. Publie sur arXiv en tant que version révisée, l'article ne mentionne pas de partenariat industriel ni de déploiement au-delà du banc d'essai expérimental; les prochaines étapes attendues concernent une validation sur davantage d'utilisateurs et de scenarios de manipulation réels, ainsi qu'une comparaison plus large face aux systèmes commerciaux d'assistance existants.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

Apprendre à planifier en collaboration homme-robot : apprentissage par renforcement multimodal pour une interaction adaptative
1arXiv cs.RO 

Apprendre à planifier en collaboration homme-robot : apprentissage par renforcement multimodal pour une interaction adaptative

Des chercheurs proposent une nouvelle méthode d'apprentissage par renforcement (RL) pour piloter automatiquement les décisions d'un robot assistant lors de tâches collaboratives avec un humain, selon un article publié sur arXiv (identifiant 2609.25274v1). Le scénario étudié est concret : un robot aide un utilisateur à localiser des objets dans un environnement domestique, en combinant plusieurs canaux de communication (langage et actions physiques) pour choisir la meilleure action à chaque étape. Contrairement aux systèmes de dialogue classiques, l'agent est entraîné dans un simulateur construit à partir de données humaines réelles et capable de gérer plusieurs modalités simultanément. Les auteurs utilisent une fonction de récompense simple, définie à un haut niveau d'abstraction et ne nécessitant pas de réglage fin, associée à des préconditions qui accélèrent l'entraînement. Une étude impliquant des utilisateurs réels a permis d'évaluer le système en conditions concrètes, avec des résultats jugés prometteurs en termes d'utilisabilité et de taux de réussite des tâches. L'enjeu principal concerne la conception des gestionnaires d'interaction (interaction managers), le composant central chargé d'observer une tâche, d'évaluer l'état de l'humain et son intention, puis de décider de l'action du robot. Aujourd'hui, ces politiques sont le plus souvent écrites à la main, une approche qui devient impraticable à mesure que la complexité des interactions augmente, notamment pour les robots destinés aux personnes âgées ou en situation de handicap, un domaine où les données d'entraînement restent rares. En démontrant qu'un RL multimodal entraîné sur simulateur peut produire une politique fonctionnelle et interprétable sans passer par un long travail d'ingénierie manuelle, ce travail apporte un argument en faveur de l'automatisation de la conception des interactions humain-robot, un enjeu direct pour les intégrateurs et laboratoires travaillant sur l'assistance à domicile. Cette contribution s'inscrit dans la recherche académique sur la robotique d'assistance, où la rareté des données et la difficulté à généraliser des politiques codées manuellement sont des obstacles connus depuis plusieurs années. L'article ne mentionne aucun partenaire industriel, produit commercialisé ni calendrier de déploiement : il s'agit d'un travail de recherche évalué via une étude utilisateur en conditions réelles, présenté comme une alternative scalable aux méthodes existantes plutôt que comme un système prêt à l'emploi.

RecherchePaper
1 source
Un cadre de fusion multimodale sensible à la confiance pour la collaboration humain-robot industrielle
2arXiv cs.RO 

Un cadre de fusion multimodale sensible à la confiance pour la collaboration humain-robot industrielle

Une équipe de recherche présente CAMF (Confidence-Aware Multimodal Fusion), un système de fusion multimodale conçu pour prédire l'intention humaine dans la collaboration homme-robot industrielle, décrit dans un article publié le 10 septembre 2026 sur arXiv (2609.10339v1). Le framework combine quatre types de signaux hétérogènes: la pose 6D des objets manipulés, le regard de l'opérateur, le mouvement squelettique et le mouvement de la main mesuré par capteur IMU. Un mécanisme de fusion dynamique piloté par la tendance de confiance est intégré à un réseau BiLSTM pour pondérer en temps réel la fiabilité de chaque modalité, complété par une stratégie d'apprentissage équilibré et un mécanisme de gel de confiance qui limite le bruit des capteurs de mauvaise qualité. Les auteurs ont validé l'approche sur une plateforme physique construite autour du bras collaboratif UR3 d'Universal Robots (Danemark), obtenant un taux de reconnaissance d'intention de 91,86%, supérieur selon eux aux approches de fusion multimodale existantes en précision comme en stabilité, y compris en conditions de faible luminosité ou d'occlusion partielle. Pour l'industrie de la cobotique, ce travail illustre une tendance de fond: la fiabilité de la perception d'intention, plus que la robotique elle-même, conditionne l'adoption des cellules homme-robot collaboratives en assemblage. La capacité à pondérer dynamiquement des capteurs peu coûteux (caméra, IMU) plutôt que de dépendre d'un seul flux répond directement au problème classique de dégradation en environnement réel, un des points faibles régulièrement pointés dans les démonstrations de cobotique. Le chiffre de 91,86% reste toutefois une mesure obtenue sur un banc d'essai contrôlé, sans détail public sur la taille du jeu de test ni sur les tâches couvertes au-delà de l'assemblage, ce qui appelle prudence avant extrapolation à des lignes de production réelles. Ce travail s'inscrit dans la lignée des recherches académiques sur la fusion de capteurs pour la cobotique, un domaine où les architectures purement visuelles ou purement inertielles montrent des limites en environnement industriel bruité. Aucune date de transfert industriel ni partenariat constructeur n'est annoncée à ce stade; il s'agit d'une publication de recherche, non d'un produit commercialisé.

UELe système CAMF est valide sur un bras collaboratif UR3 du fabricant danois Universal Robots, mais reste un travail de recherche académique sans déploiement industriel ni partenariat constructeur annonce en France ou en UE.

RecherchePaper
1 source
Raisonnement robuste sur l'état d'assemblage par reconnaissance d'actions pour la collaboration homme-robot
3arXiv cs.RO 

Raisonnement robuste sur l'état d'assemblage par reconnaissance d'actions pour la collaboration homme-robot

Une étude publiée sur arXiv (identifiant 2606.20150) en juin 2026 évalue de manière systématique cinq méthodes de suivi d'état d'assemblage à partir de la reconnaissance d'actions humaines (HAR), dans le cadre de la collaboration homme-robot (HRC). Les chercheurs ont testé des approches à base de règles logiques, de modèles de Markov cachés (HMM) et de réseaux de neurones (NN) sur deux jeux de données aux caractéristiques différentes. Les tests combinent des entrées simulées avec différents niveaux de bruit et des entrées réalistes issues d'un modèle HAR opérationnel. L'objectif est de déterminer quelle méthode permet de suivre fidèlement l'état d'une tâche d'assemblage coopérative, étape par étape, à partir de la seule reconnaissance des gestes humains. Les résultats contredisent l'hypothèse dominante selon laquelle les approches par réseaux de neurones surpassent systématiquement les méthodes classiques. Les NN et HMM affichent de bonnes performances sur des tâches à faible variabilité, mais se révèlent fragiles face à des séquences atypiques ou bruitées. Les méthodes logiques, bien que moins sophistiquées, se montrent plus robustes dans les scénarios à haute variabilité. Par ailleurs, la modélisation de la durée attendue des actions s'avère critique pour les tâches comportant des actions répétées, notamment lorsqu'aucun capteur complémentaire ne fournit de signal de confirmation. Ce constat a des implications directes pour les intégrateurs industriels qui déploient des cellules HRC sur des lignes d'assemblage réelles : choisir un modèle d'inférence d'état inadapté au profil de la tâche peut entraîner des erreurs de synchronisation robot-opérateur difficiles à diagnostiquer. Ce travail s'inscrit dans un domaine de recherche en pleine effervescence, porté par l'essor des robots collaboratifs (cobots) dans les environnements manufacturiers. Des acteurs comme Universal Robots, FANUC ou encore des laboratoires européens tels que ceux du LAAS-CNRS et de Fraunhofer travaillent sur des pipelines HAR similaires pour des applications d'assistance à l'assemblage. La difficulté centrale, le "demo-to-reality gap" entre conditions de laboratoire et déploiement en usine, reste entière. Cette étude ne propose pas de solution universelle mais établit une carte comparative utile, à condition que les praticiens caractérisent d'abord la variabilité réelle de leur tâche avant de sélectionner une architecture de suivi d'état.

UELe LAAS-CNRS et Fraunhofer sont explicitement cités comme acteurs travaillant sur des pipelines HAR similaires, et les conclusions comparatives offrent une grille de décision directement utilisable par les intégrateurs européens qui déploient des cellules cobot sur des lignes d'assemblage réelles.

RecherchePaper
1 source
Développement d'un prototype de robot humanoïde pour l'interaction homme-robot multimodale
4arXiv cs.RO 

Développement d'un prototype de robot humanoïde pour l'interaction homme-robot multimodale

Des chercheurs présentent un prototype de robot humanoïde conçu comme plateforme de test pour l'interaction homme-robot multimodale, détaillé dans un article publié sur arXiv le 5 septembre 2026. Le système repose sur un mécanisme bimanuel à 12 degrés de liberté et une tête à 2 DOF équipée d'un écran LCD expressif capable de simuler des émotions faciales. L'ensemble du matériel est piloté par une carte contrôleur conçue sur mesure, avec traitement IA embarqué en temps réel via un module Jetson. Trois modules d'intelligence artificielle sont intégrés : reconnaissance gestuelle (MediaPipe Pose combiné à un classifieur LSTM), détection d'objets avec localisation 3D (YOLO), et traitement de commandes vocales par reconnaissance de la parole couplée à un modèle de langage (LLM) pour l'analyse sémantique. Les tests de validation rapportent une erreur moyenne de manipulation d'environ 1,83 cm en précision de positionnement, une précision de tâche globale supérieure à 90%, avec 96% pour la reconnaissance gestuelle et 92% pour la reconnaissance vocale. Ce prototype illustre une tendance de fond dans la recherche robotique : plutôt que de viser des démonstrations spectaculaires, l'accent est mis sur la reproductibilité et l'accessibilité d'une plateforme complète pour l'intégration de modules IA hétérogènes. Pour les laboratoires académiques et les équipes d'intégration disposant de budgets limités, disposer d'une architecture bimanuelle documentée, avec carte de contrôle personnalisée et pipeline multimodal (vision, geste, voix) déjà assemblé, réduit la barrière d'entrée pour prototyper des interactions homme-robot sans dépendre des plateformes commerciales fermées. Les chiffres de précision restent toutefois issus d'un cadre expérimental contrôlé et ne permettent pas de conclure directement sur une robustesse en environnement industriel réel, un point que l'article ne détaille pas davantage. Le projet s'inscrit dans la lignée des travaux académiques sur les robots compagnons et assistants, où l'expressivité faciale et la fusion de plusieurs canaux de perception (vision, geste, parole) sont recherchées pour rendre l'interaction plus naturelle. Contrairement aux humanoïdes commerciaux orientés manipulation industrielle comme Figure 03 ou Optimus, ce prototype cible explicitement la recherche en HRI et le prototypage reproductible plutôt qu'un déploiement en usine. L'article ne précise ni le nom de l'institution porteuse, ni de calendrier de diffusion ou de partenariat industriel, ce qui situe cette publication au stade de la recherche académique plutôt que d'une annonce produit.

RecherchePaper
1 source