RecherchearXiv cs.RO 4 septembre 2026

Élaboration d'un jeu de données HRI multimodal dynamique pour l'analyse de l'engagement avec un robot humanoïde

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche propose, dans un article publié sur arXiv le 3 septembre 2026 (arXiv:2609.03255v1), un protocole expérimental pour constituer un jeu de données multimodal sur l'engagement des utilisateurs en interaction avec un robot humanoïde. Le dispositif combine trois types de mesures recueillies simultanément : des signaux physiologiques captés par des capteurs portables, des données comportementales observées durant les sessions, et des questionnaires d'auto-évaluation, le tout collecté sous plusieurs niveaux de complexité de tâche définis par les auteurs. À ce stade, il s'agit d'un design expérimental et d'un protocole de collecte, pas encore de résultats d'analyse ni d'un dataset publié à grande échelle.

L'intérêt tient au manque identifié par les auteurs dans la littérature existante : la plupart des études en interaction humain-robot évaluent l'engagement via des signaux comportementaux observables (regard, posture, réponses verbales), rarement croisés avec des données physiologiques comme le rythme cardiaque, qui reflètent des états internes plus difficiles à masquer que les réponses de surface. Pour les concepteurs de robots sociaux et humanoïdes destinés à l'assistance, l'éducation ou le service, disposer d'une mesure multimodale et objective de l'engagement changerait la donne, en ouvrant la voie à des systèmes capables d'ajuster leur comportement selon l'état réel de l'utilisateur plutôt que selon des indices de surface biaisés par la seule auto-évaluation.

Ce travail s'inscrit dans une recherche en interaction humain-robot qui cherche depuis plusieurs années à dépasser les mesures d'engagement purement déclaratives ou comportementales, jugées insuffisantes pour capter l'expérience réelle d'un utilisateur face à un robot. L'abstract ne précise ni le robot humanoïde utilisé, ni le laboratoire porteur, ni le nombre de participants prévus, ce qui situe cette annonce du côté de la proposition méthodologique plutôt que du résultat exploitable. La suite logique consistera à mener la collecte selon ce protocole, puis à publier des analyses croisant physiologie, comportement et ressenti subjectif, afin de vérifier si l'approche multimodale améliore réellement la prédiction de l'engagement par rapport aux méthodes comportementales seules.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

« RoboTacDex : un jeu de données visuo-tactile-action dextérique pour la manipulation humanoïde »

Une équipe de chercheurs en robot learning publie RoboTacDex, un jeu de données de manipulation dextre construit sur le robot humanoïde Unitree G1, accessible publiquement. L'ensemble comprend 6 000 trajectoires couvrant 19 tâches, 23 compétences distinctes et des interactions avec 22 objets différents. Chaque trajectoire embarque des flux RGB et de profondeur multi-vues, un retour tactile et des annotations sémantiques détaillées. Pour garantir la qualité de la collecte, les auteurs ont développé un système de synchronisation multi-caméras capable d'aligner les différentes modalités à la milliseconde près. Le jeu de données cible volontairement des tâches complexes, réalisables uniquement avec deux bras et des mains dextres, pour se rapprocher de la logique opérationnelle humaine. Trois modèles d'apprentissage par imitation ont été testés dessus, avec des résultats jugés positifs et une capacité de généralisation modérée sur l'ensemble des tâches. Le dataset sera open-source prochainement. L'enjeu dépasse la simple publication académique : l'apprentissage par imitation pour la manipulation bimanuelle dextre souffre d'un manque chronique de démonstrations diversifiées et multimodales, la plupart des jeux de données existants se limitant à la vision RGB seule. L'ajout systématique du tactile et d'une synchronisation précise entre capteurs comble un vide identifié par plusieurs laboratoires travaillant sur des modèles vision-langage-action (VLA). Pour les équipes qui entraînent ce type de modèles, disposer de données ouvertes et denses sur une plateforme humanoïde standardisée réduit la dépendance aux jeux de données propriétaires des grands acteurs américains. Le choix du Unitree G1, plateforme humanoïde relativement abordable et largement diffusée dans les laboratoires de recherche, s'inscrit dans une dynamique d'ouverture des données robotiques comparable à des initiatives comme Open X-Embodiment. Ce positionnement contraste avec les approches propriétaires de Physical Intelligence (Pi-0) ou NVIDIA (GR00T), qui restreignent l'accès à leurs corpus d'entraînement. La mise en open source, annoncée mais pas encore effective à la date de publication du prépublication arXiv, déterminera l'impact réel de RoboTacDex sur la communauté.

RecherchePaper

1 source

2arXiv cs.RO

EgoWalk : un jeu de données multimodal pour la navigation robotique en conditions réelles

Une équipe de chercheurs a publié EgoWalk, un dataset multimodal de 50 heures de navigation humaine destiné à entraîner des algorithmes de navigation robotique en conditions réelles. Les données ont été collectées dans une grande variété d'environnements intérieurs et extérieurs, sur plusieurs saisons et sites géographiques différents. Le dataset comprend les données brutes ainsi qu'un format prêt pour l'apprentissage par imitation (Imitation Learning), accompagné de pipelines automatisés générant deux types de sous-datasets dérivés : des annotations d'objectifs en langage naturel et des masques de segmentation de traversabilité. L'ensemble des pipelines de traitement et la description de la plateforme matérielle utilisée pour la collecte sont publiés en open source. L'intérêt principal d'EgoWalk réside dans la rareté des datasets de navigation en conditions non contrôlées, à grande échelle et couvrant plusieurs saisons. La majorité des systèmes de navigation robotique actuels souffrent d'un écart sim-to-real persistant, faute de données réelles suffisamment diversifiées. En proposant simultanément des annotations langage naturel et des masques de traversabilité générés automatiquement, EgoWalk vise à réduire le coût de labellisation manuelle qui freine le développement de modèles vision-langage-action (VLA) pour la navigation outdoor. La publication open source des pipelines permet aux équipes de réplication de reconstruire des datasets similaires sur leur propre plateforme, ce qui est un signal positif pour la reproductibilité dans le domaine. La navigation autonome en environnements non structurés reste l'un des défis centraux de la robotique mobile, que ce soit pour les robots de livraison, les plateformes de surveillance ou les assistants mobiles. EgoWalk s'inscrit dans un mouvement plus large de constitution de datasets ego-centriques, aux côtés d'initiatives comme SCAND (UT Austin) ou des travaux de Boston Dynamics et de Google DeepMind sur la navigation en extérieur. Le fait que les données soient collectées du point de vue humain, plutôt que depuis un robot, soulève la question du transfert de domaine, que les auteurs reconnaissent implicitement en proposant des benchmarks et études de diversité. Les prochaines étapes naturelles seraient la validation sur des plateformes robotiques réelles et l'intégration dans des architectures de type foundation model pour la navigation.

RechercheActu

1 source

3arXiv cs.RO

MobileOcc : un jeu de données d'occupation sémantique sensible à l'humain pour robots mobiles

Une équipe de recherche publie MobileOcc, un jeu de données d'occupation sémantique 3D pour robots mobiles opérant en environnements piétons denses, un scénario peu couvert comparativement à la conduite autonome. L'article, référencé arXiv 2511.16949, décrit un pipeline d'annotation combinant occupation d'objets statiques et un nouveau cadre d'optimisation de maillage pour les humains : leur géométrie déformable est reconstruite à partir d'images 2D puis affinée avec des points LiDAR associés. Le jeu de données alimente deux benchmarks, la prédiction d'occupation et la prédiction de vitesse des piétons, testés avec des méthodes monoculaires, stéréo et panoptiques dotées de métriques et d'implémentations de référence reproductibles. La méthode d'annotation est aussi validée sur des jeux de données d'estimation de pose humaine 3D, avec des résultats jugés robustes ; le code et les données sont publiés sur autonomousrobots.nl. La perception d'occupation dense est une brique critique pour la navigation sécurisée des robots mobiles au contact d'humains, en entrepôt, en hôpital ou en espace public, où anticiper position et mouvement d'un piéton conditionne l'évitement de collision. La plupart des jeux de données d'occupation 3D existants visaient l'automobile, avec des scènes routières peu représentatives des couloirs et halls parcourus par les robots de service. Modéliser les humains comme des objets déformables plutôt que comme de simples boîtes englobantes, et publier des baselines multi-capteurs reproductibles, comble un manque de standardisation qui facilitera la comparaison des systèmes de perception chez les intégrateurs. Ce travail s'inscrit dans une tendance de transfert des techniques de perception nées pour la conduite autonome vers la robotique mobile et humanoïde, à mesure que LiDAR et architectures d'occupation 3D se banalisent. MobileOcc reste un jeu de données et un protocole d'évaluation académiques, sans déploiement industriel annoncé, et il s'agit d'une version corrigée de la publication initiale sur arXiv. L'ouverture du code et des données vise à établir une référence que d'autres laboratoires pourront reprendre pour comparer leurs modèles de perception en environnement piéton, chantier ouvert tant pour la recherche que pour de futurs usages commerciaux en robotique de service.

RecherchePaper

1 source

4arXiv cs.RO

GrandTour : un jeu de données de robotique à pattes en conditions réelles pour la perception multimodale et l'estimation d'état

Des chercheurs publient GrandTour, un jeu de données massif dédié à la perception multimodale et à l'estimation d'état pour robots quadrupèdes, disponible sur grand-tour.leggedrobotics.com au format HuggingFace (indépendant de ROS) ainsi qu'en formats ROS. La plateforme utilisée est un ANYmal-D d'ANYbotics équipé de la charge utile capteurs Boxi, combinant LiDAR rotatif, plusieurs caméras RGB aux caractéristiques complémentaires, capteurs proprioceptifs et caméras de profondeur stéréo, le tout synchronisé temporellement. Les données ont été collectées sur des sites très variés : environnements alpins, forêts, bâtiments démolis et zones urbaines, couvrant une large gamme d'échelles, de conditions d'éclairage et de météo. Point clé pour la fiabilité scientifique : les trajectoires de référence (ground truth) proviennent de GNSS RTK par satellite et d'une station totale Leica Geosystems, offrant une précision de localisation bien supérieure aux méthodes d'estimation embarquées classiques. Selon les auteurs, il s'agit du plus grand jeu de données en accès libre jamais publié pour la robotique à pattes. Ce type de ressource comble un manque criant dans la recherche en robotique légère : jusqu'ici, aucun jeu de données public à grande échelle ne permettait de développer et de comparer rigoureusement des algorithmes de SLAM, d'estimation d'état et de fusion de capteurs pour des quadrupèdes évoluant en conditions réelles, hors laboratoire. Pour les équipes travaillant sur la navigation autonome de robots à pattes, en particulier dans des environnements non structurés (chantiers, sites industriels accidentés, terrains extérieurs), GrandTour offre un benchmark commun et une vérité terrain de précision géodésique, rare dans ce domaine. C'est un signal que la communauté cherche à standardiser l'évaluation des systèmes de perception embarqués, plutôt que de se fier à des démonstrations isolées difficiles à reproduire. Le projet s'inscrit dans la lignée des travaux du Robotic Systems Lab, à l'origine de la plateforme ANYmal, aujourd'hui commercialisée par ANYbotics, acteur suisse reconnu de la robotique quadrupède industrielle aux côtés de Boston Dynamics (Spot) et Unitree. La publication constitue une mise à jour (version 3) d'un article déposé sur arXiv sous la référence 2602.18164. Les auteurs annoncent la mise à disposition d'outils et de ressources de démonstration pour faciliter l'adoption du jeu de données par la communauté SLAM et apprentissage multimodal, sans toutefois préciser de calendrier pour d'éventuelles extensions futures du corpus.

UECe jeu de données en accès libre, issu du Robotic Systems Lab (ETH Zurich) et d'ANYbotics (Suisse), constitue une ressource directement utile aux équipes de recherche françaises et européennes travaillant sur le SLAM et l'estimation d'état pour robots a pattes.

RecherchePaper

1 source