Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Le défi ERR@HRI 3.0 : détection multimodale des erreurs et anticipation dans les interactions homme-robot
RecherchearXiv cs.RO 

Le défi ERR@HRI 3.0 : détection multimodale des erreurs et anticipation dans les interactions homme-robot

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Détecter en temps réel qu'un robot vient de se tromper, ou qu'un humain à proximité va bientôt subir un échec, reste un problème ouvert pour l'interaction homme-robot. La troisième édition du challenge ERR@HRI, présentée dans un article déposé sur arXiv le 14 juillet 2026, propose deux jeux de données inédits pour faire avancer ce sujet. Le premier, Bystander Affect Detection (BAD), rassemble des enregistrements webcam de 45 participants réagissant spontanément à des scénarios d'échec robotique ou humain. Le second, Bad Idea, contient les réactions faciales anticipatoires de 29 participants tentant de prédire l'issue d'une action avant qu'un échec ne survienne. Les deux corpus, collectés par crowdsourcing avec des vidéos brutes non anonymisées, capturent la variabilité de conditions réelles plutôt que des données contrôlées en laboratoire. Trois pistes étaient proposées aux participants: détection des réactions de témoins (Track 1), prédiction anticipatoire d'issue (Track 2), et une piste optionnelle de généralisation cross-dataset (Track 3). Trois équipes ont soumis des modèles valides, tous supérieurs aux baselines à réseaux convolutifs (CNN) des organisateurs.

L'enjeu dépasse la simple compétition académique: la plupart des systèmes de détection d'erreur actuels fonctionnent sur des contextes restreints, des environnements contrôlés ou des caractéristiques pré-extraites, ce qui limite fortement leur transfert vers des déploiements réels. En forçant les équipes à travailler sur de la vidéo brute multimodale et des scénarios naturalistes, ERR@HRI 3.0 teste directement si les approches actuelles tiennent face à l'écart classique entre démonstration en laboratoire et usage terrain. Pour les intégrateurs et concepteurs de robots sociaux ou collaboratifs, la capacité à anticiper un échec avant qu'il ne se produise, et pas seulement à le constater après coup, conditionne la confiance des utilisateurs et l'acceptabilité au quotidien de ces systèmes.

Le fait qu'il s'agisse d'une troisième édition traduit un effort continu de la communauté recherche en interaction homme-robot pour structurer ce champ encore jeune, à travers des benchmarks partagés plutôt que des évaluations isolées propres à chaque laboratoire. Seules trois équipes ayant soumis des modèles valides, malgré le dépassement des baselines, l'article souligne que la détection et l'anticipation d'erreurs en conditions réelles restent un domaine en construction, avec des perspectives explicites vers des systèmes plus généralisables et conscients du contexte.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Développement d'un prototype de robot humanoïde pour l'interaction homme-robot multimodale
1arXiv cs.RO 

Développement d'un prototype de robot humanoïde pour l'interaction homme-robot multimodale

Des chercheurs présentent un prototype de robot humanoïde conçu comme plateforme de test pour l'interaction homme-robot multimodale, détaillé dans un article publié sur arXiv le 5 septembre 2026. Le système repose sur un mécanisme bimanuel à 12 degrés de liberté et une tête à 2 DOF équipée d'un écran LCD expressif capable de simuler des émotions faciales. L'ensemble du matériel est piloté par une carte contrôleur conçue sur mesure, avec traitement IA embarqué en temps réel via un module Jetson. Trois modules d'intelligence artificielle sont intégrés : reconnaissance gestuelle (MediaPipe Pose combiné à un classifieur LSTM), détection d'objets avec localisation 3D (YOLO), et traitement de commandes vocales par reconnaissance de la parole couplée à un modèle de langage (LLM) pour l'analyse sémantique. Les tests de validation rapportent une erreur moyenne de manipulation d'environ 1,83 cm en précision de positionnement, une précision de tâche globale supérieure à 90%, avec 96% pour la reconnaissance gestuelle et 92% pour la reconnaissance vocale. Ce prototype illustre une tendance de fond dans la recherche robotique : plutôt que de viser des démonstrations spectaculaires, l'accent est mis sur la reproductibilité et l'accessibilité d'une plateforme complète pour l'intégration de modules IA hétérogènes. Pour les laboratoires académiques et les équipes d'intégration disposant de budgets limités, disposer d'une architecture bimanuelle documentée, avec carte de contrôle personnalisée et pipeline multimodal (vision, geste, voix) déjà assemblé, réduit la barrière d'entrée pour prototyper des interactions homme-robot sans dépendre des plateformes commerciales fermées. Les chiffres de précision restent toutefois issus d'un cadre expérimental contrôlé et ne permettent pas de conclure directement sur une robustesse en environnement industriel réel, un point que l'article ne détaille pas davantage. Le projet s'inscrit dans la lignée des travaux académiques sur les robots compagnons et assistants, où l'expressivité faciale et la fusion de plusieurs canaux de perception (vision, geste, parole) sont recherchées pour rendre l'interaction plus naturelle. Contrairement aux humanoïdes commerciaux orientés manipulation industrielle comme Figure 03 ou Optimus, ce prototype cible explicitement la recherche en HRI et le prototypage reproductible plutôt qu'un déploiement en usine. L'article ne précise ni le nom de l'institution porteuse, ni de calendrier de diffusion ou de partenariat industriel, ce qui situe cette publication au stade de la recherche académique plutôt que d'une annonce produit.

RecherchePaper
1 source
Évaluation multimodale en ligne de la charge de travail dans l'interaction physique homme-robot à contact riche
2arXiv cs.RO 

Évaluation multimodale en ligne de la charge de travail dans l'interaction physique homme-robot à contact riche

Une équipe de recherche publie sur arXiv (référence 2609.18031, soumission de type "new") un cadre d'évaluation en ligne de la charge de travail dans les interactions physiques homme-robot riches en contact, un domaine qui couvre par exemple l'assemblage collaboratif ou la manipulation partagée avec un cobot. Le système combine trois signaux capturés en continu, le torseur d'effort au point de contact, la cinématique planaire du point central de l'outil (TCP), et la conductance cutanée (SCL), qu'il synthétise en quatre facteurs interprétables liés à la charge de travail. Les poids de ces facteurs sont ajustés dynamiquement selon la courbure de la trajectoire, pour refléter les variations de la demande motrice, et selon la progression de la tâche, pour tenir compte de la dérive physiologique dans le temps. Le protocole d'évaluation a mobilisé 24 participants soumis à 18 combinaisons contrôlées de température, de bruit acoustique et d'éclairement, testées sous deux modes de commande en admittance. En validation croisée stricte de type "un sujet exclu" (LOSO), avec le diamètre pupillaire standardisé comme référence physiologique indépendante, le cadre atteint une corrélation de Spearman moyenne de 0,308 sur des blocs de 30 secondes, avec une corrélation positive chez 23 des 24 participants. Pour les intégrateurs de cobots et les concepteurs de commandes en admittance, l'intérêt tient moins à la performance brute, une corrélation de 0,308 reste modeste, qu'à la transparence de la méthode : elle égale des modèles d'apprentissage profond "boîte noire" tout en gardant des facteurs de charge explicites et des règles de pondération définies, ce qui facilite l'audit et la certification en environnement industriel. Elle ouvre la voie à une adaptation en temps réel des paramètres de contrôle robotique en fonction de l'état physiologique de l'opérateur, sans dépendre uniquement d'un dispositif de suivi pupillaire coûteux et contraignant. Ce travail s'inscrit dans la recherche sur l'évaluation continue de la charge cognitive et physique en pHRI, en alternative aux questionnaires post-tâche classiques et aux approches à poids fixes, jugées moins robustes. Étant un préprint tout juste annoncé, il n'a pas encore été validé par les pairs ni testé en conditions industrielles réelles, et ses auteurs comparent leur approche à des références d'apprentissage automatique jugées représentatives de l'état de l'art sans toutefois les nommer précisément.

RecherchePaper
1 source
Inspection robotique autonome multimodale sans marqueurs des grandes structures spatiales
3arXiv cs.RO 

Inspection robotique autonome multimodale sans marqueurs des grandes structures spatiales

Un pipeline d'inspection robotique autonome sans marqueurs pour de grandes structures spatiales a été présenté dans un preprint publié sur arXiv (2609.29644). Le système repose sur un bras manipulateur Kinova Gen2 équipé d'une tête de capteurs multimodale montée sur l'effecteur, combinant une caméra RGB-D, une caméra thermique et un LiDAR 2D. Le pipeline estime d'abord un volume d'inspection approximatif, génère des points de vue, planifie des trajectoires sans collision via MoveIt, puis enregistre de façon synchronisée images RGB-D, données thermiques et poses du robot sous ROS2. Pour la reconstruction 3D, plusieurs méthodes candidates ont été comparées avant de retenir Nerfacto pour la reconstruction géométrique et Thermal-Nerfacto pour un rendu sensible à la température. Le système a été validé dans un simulateur Gazebo et testé de façon préliminaire en laboratoire, où il a démontré sa capacité à acquérir des données d'inspection spatialement cohérentes et à produire des reconstructions exploitables pour une évaluation visuelle et géométrique. Cette approche cible les limites des méthodes actuelles de maintenance en orbite, qui dépendent généralement de trajectoires prédéfinies, d'interfaces standardisées, de marqueurs fiduciaires ou de modèles CAO précis de la cible, des contraintes qui ne tiennent pas face à de futures infrastructures orbitales hétérogènes, partiellement inconnues ou trop vastes, telles que grandes antennes déployables ou fermes solaires. En s'appuyant sur la reconstruction 3D par champs de radiance neuronaux (NeRF) comme représentation support de l'inspection plutôt que sur un modèle préexistant de la cible, ce travail répond à un besoin concret des opérateurs de servicing orbital et de retrait de débris, pour qui la variabilité et l'inconnu des cibles restent un obstacle majeur à l'automatisation. Il faut toutefois souligner que la validation reste circonscrite à une simulation Gazebo et à des essais préliminaires en laboratoire terrestre: aucune démonstration en orbite réelle n'est revendiquée, et rien n'indique encore une robustesse face aux contraintes propres à l'espace, comme l'éclairage extrême ou les limites de masse et de puissance embarquées. Ce travail s'inscrit dans la montée en puissance du secteur du service en orbite et de la gestion de fin de vie des satellites, un domaine où des acteurs comme Northrop Grumman, Astroscale ou Airbus développent des missions de ravitaillement, de réparation ou de désorbitation généralement conçues pour des cibles coopératives et bien caractérisées. L'apport de cette recherche est de traiter le cas inverse, celui de structures non coopératives et faiblement documentées, un scénario appelé à se multiplier avec la croissance des grandes plateformes orbitales et des débris spatiaux. Le choix de Nerfacto après comparaison d'autres méthodes de reconstruction suggère que des variantes concurrentes de NeRF ont été jugées moins adaptées au contexte embarqué. Le papier se présente comme une étape intermédiaire, sans calendrier de test en orbite ni partenaire industriel identifié à ce stade, les prochaines étapes attendues portant sur le passage à des environnements réels et à des structures de taille et de complexité supérieures.

UELa recherche pourrait a terme intéresser des acteurs européens du service en orbite comme Airbus, mais aucun partenariat ni test européen n'est mentionne dans l'article.

RecherchePaper
1 source
Auditer les écarts entre instructions et trajectoires dans les démonstrations robotiques multimodales
4arXiv cs.RO 

Auditer les écarts entre instructions et trajectoires dans les démonstrations robotiques multimodales

Des chercheurs décrivent, dans un article publié sur arXiv (2608.07895), une méthode d'audit ciblant un défaut discret des jeux de démonstrations robotiques utilisés pour entraîner les politiques vision-langage-action (VLA) : les Instruction-Trajectory Mismatches (ITM), des trajectoires physiquement correctes mais associées à la mauvaise instruction textuelle. Contrairement aux trajectoires ratées, ces erreurs paraissent plausibles et corrompent l'association langage-comportement apprise par le modèle. Les auteurs proposent Multimodal Probabilistic Fusion (MMPF), un cadre d'audit sans réentraînement qui traite vision, langage et trajectoire comme des experts distincts, estime une distribution de labels par accord de voisinage local et similarité à des prototypes globaux, puis fusionne ces signaux par pondération d'entropie prédictive dans un produit d'experts. Testé sur les benchmarks LIBERO avec mismatches injectés et sur des données bruitées de vrais robots, MMPF obtient la meilleure précision de détection et de correction des labels parmi les méthodes comparées. Pour l'industrie des modèles VLA généralistes, ce travail souligne que la qualité de l'étiquetage linguistique des démonstrations pèse autant que le volume de données ou l'architecture du réseau. Les pipelines de collecte à grande échelle, par téléopération ou vidéo humaine, produisent souvent des instructions mal associées aux trajectoires, un problème moins visible que les échecs physiques mais tout aussi corrosif pour l'apprentissage. Les auteurs montrent que l'audit améliore surtout les politiques dans les tâches où le langage est nécessaire pour distinguer entre plusieurs comportements possibles, un signal utile pour les laboratoires qui industrialisent la préparation de données d'entraînement robotique. Cette approche s'inscrit dans la montée des efforts de curation de données pour l'apprentissage robotique à grande échelle, à mesure que les politiques VLA se généralisent au-delà des démonstrations parfaitement contrôlées. Elle se distingue des méthodes de filtrage post-hoc classiques, qui repèrent des rollouts physiquement incorrects, en ciblant des erreurs sémantiques invisibles à l'œil nu. Les expériences sur robot réel mettent en évidence un arbitrage entre deux stratégies correctives : supprimer les démonstrations suspectes ou les réétiqueter automatiquement. Chacune modifie différemment la performance finale de la politique, ouvrant la voie à une intégration de ce type d'audit dans les pipelines de préparation de données, avant même l'entraînement des modèles.

RecherchePaper
1 source