RecherchearXiv cs.RO 16 juillet 2026

HRIBench : évaluation de la collaboration homme-robot centrée sur l'interaction

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Ce papier arXiv (2607.13056v1) présente HRIBench, un benchmark diagnostique conçu pour évaluer la collaboration homme-robot centrée sur l'interaction, plutôt que la seule manipulation isolée. Contrairement aux benchmarks VLA (vision-language-action) existants, qui testent des compétences de manipulation déconnectées de toute interaction humaine, HRIBench modélise les tâches collaboratives sous forme de scénarios structurés intégrant rôles des agents, dépendances temporelles, contraintes de coordination et distributions de comportement humain. Trois rôles sont définis : Instructeur, Collaborateur et Intrus, couvrant respectivement la communication d'intention, la coordination conjointe et la robustesse face à une intervention humaine imprévue. Le benchmark comprend 13 tâches conditionnées par rôle et plus de 650 épisodes d'évaluation générés à partir de trajectoires d'interaction et de variations de scène diverses. Les chercheurs ont testé des politiques adaptées à partir de GR00T, pi0.5 et ACT selon un protocole unifié, avec des métriques allant au-delà du simple taux de réussite : synchronisation, réactivité, respect du protocole et sécurité.

Les résultats montrent que les politiques robotiques actuelles, malgré de bonnes capacités de manipulation pure, peinent nettement dès qu'il s'agit de coordination temporelle et de comportement sensible à l'intention humaine, un angle mort largement ignoré par les benchmarks existants. Ce constat vient nuancer l'idée que les modèles VLA généralistes seraient déjà prêts pour une collaboration homme-robot fluide en environnement partagé, un enjeu central pour tout déploiement industriel où humains et robots opèrent côte à côte. Fait notable, un fine-tuning sur les données HRIBench améliore systématiquement les performances collaboratives, et en conditions réelles, les données de simulation générées par le benchmark font passer le taux de réussite de GR00T N1.5 sur une tâche physique de 0,10 à 0,43.

HRIBench s'inscrit dans une dynamique de recherche cherchant à combler l'écart entre benchmarks de manipulation pure et exigences réelles de la cohabitation homme-robot, à mesure que des politiques comme GR00T (NVIDIA), pi0.5 (Physical Intelligence) ou ACT gagnent en usage comme bases pour l'apprentissage robotique généraliste. Les auteurs positionnent leur travail comme un outil diagnostique réutilisable, avec des pistes explicites de fine-tuning ciblé pour renforcer la coordination et la sécurité, plutôt qu'un simple classement de performances brutes.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Évaluation de l'impact de la réalité étendue adaptative sur l'interaction homme-robot selon le continuum réalité-virtualité

Une étude publiée sur arXiv (identifiant 2609.31138) évalue si la modalité de réalité étendue (XR) utilisée pour piloter un robot influence la performance de l'interaction humain-robot, et si une interface adaptative fait mieux qu'une interface figée. Les chercheurs ont développé une application XR sur mesure connectée à un manipulateur mobile, permettant un contrôle immersif et un changement de modalité en temps réel le long du continuum réalité-virtualité (RVC), qui va de la réalité augmentée (AR) à la virtualité augmentée (AV) jusqu'à la réalité virtuelle (VR) pure. Dans une expérience intra-participant de type pick-and-place multi-pièces, ils ont comparé AR fixe, AV fixe et VR fixe à une condition RVC dynamique, en mesurant le débit de tâche, la charge mentale via le NASA-TLX et l'utilisabilité via le System Usability Scale (SUS). Résultat: la modalité AR fixe génère une charge mentale, un effort et une frustration significativement plus faibles qu'AV et VR, mais c'est la condition dynamique, qui bascule de modalité en cours de tâche, qui obtient le meilleur débit et la charge de travail la plus basse. Le code de l'implémentation est publié sur GitHub (CarlTornberg/XR-HRI). Ce résultat a une portée directe pour les concepteurs d'interfaces de téléopération robotique: le choix de la modalité XR n'est pas un détail d'ergonomie mais un facteur qui pèse mesurablement sur la performance, et aucune modalité fixe unique ne s'avère optimale pour toutes les phases d'une tâche. Pour les intégrateurs travaillant sur des systèmes de téléopération de robots mobiles ou humanoïdes, cela plaide contre le choix par défaut d'une VR ou AR statique et pour des interfaces capables de basculer dynamiquement selon le contexte de la tâche, une piste jusqu'ici peu explorée dans la littérature qui fige généralement la modalité avant de mesurer les résultats. Le travail s'inscrit dans la réflexion sur les Avatars Cybernétiques (CA), des embodiments robotiques censés pallier le vieillissement démographique et les pénuries de main d'œuvre dans les pays développés en étendant les capacités humaines à distance. L'étude ne mentionne pas de partenaire industriel ni de calendrier de déploiement; il s'agit d'une recherche académique dont le code source ouvert vise à permettre sa reproduction et son extension par d'autres équipes travaillant sur l'interaction humain-robot en téléopération.

RecherchePaper

1 source

2arXiv cs.RO

RoboMME-Interference : évaluation de la mémoire des robots sous interférence

Des chercheurs publient RoboMME-Interference, un nouveau benchmark conçu pour mesurer la mémoire des robots sur de longues sessions parsemées de distracteurs (arXiv:2606.22338v2, version corrigée). Construit à partir du benchmark existant RoboMME, ce protocole confronte un modèle VLA (vision-language-action) à une séquence de sessions : une démonstration pertinente issue d'une session antérieure, suivie d'un nombre contrôlé de sessions sans rapport, le tout fourni comme contexte mémoire avant d'évaluer la réussite de la tâche. Les auteurs testent les variantes de π0.5 augmentées de mémoire déjà publiées par RoboMME, sans modification. Résultat : les variantes à mémoire perceptuelle améliorent bien le taux de réussite lorsqu'aucun distracteur n'est présent, mais leurs performances se dégradent fortement et de façon continue à mesure que des sessions sans rapport s'accumulent dans l'historique. En ajoutant une étape de récupération (retrieval) à la variante la plus performante, laquelle identifie la démonstration pertinente par similarité visuelle et ne transmet que celle-ci à la politique, les chercheurs retrouvent le niveau de réussite obtenu sans distracteur, et ce quel que soit le niveau d'interférence testé. Ce travail pointe un écart concret entre les démonstrations de mémoire robotique en conditions contrôlées et les exigences réelles du déploiement : un robot industriel accumule de l'expérience sur des dizaines, voire des centaines de sessions, et doit retrouver l'information utile au milieu du bruit. Les résultats montrent que le simple fait de "donner accès" à l'historique complet à un VLA ne suffit pas ; sans mécanisme de récupération explicite, la mémoire devient un handicap plutôt qu'un atout dès que le contexte s'allonge. Pour les intégrateurs qui envisagent des déploiements de longue durée, c'est un signal que l'architecture de mémoire, et non la seule capacité du modèle de base, conditionnera la fiabilité en production. Le projet s'inscrit dans la continuité de RoboMME, benchmark de référence pour la mémoire cross-session en robotique, et cible spécifiquement les modèles π0.5 de type VLA. Code, vidéos et données sont publiés sur robotmemorybench.com, ouvrant la voie à des comparaisons avec d'autres approches de mémoire ou de récupération que la communauté pourra tester sur ce même protocole d'interférence.

RecherchePaper

1 source

3arXiv cs.RO

Cadre visuel intégrant indices d'attention et d'action pour l'évaluation interprétable de la charge cognitive en collaboration homme-robot

Des chercheurs présentent, dans une étude publiée sur arXiv (arXiv:2609.15232v1, soumise le 15 septembre 2026), un système de vision par ordinateur destiné à mesurer la charge cognitive des opérateurs en collaboration homme-robot sans capteurs physiologiques portés sur le corps. Le framework combine des caméras RGB-D, l'état du robot et des zones de tâches calibrées pour construire une représentation temporelle du comportement de l'opérateur, appelée HRC-CWL, qui repère où se concentre la charge de travail et comment elle évolue lorsque l'attention et l'action divergent, que le contexte de tâche change ou que l'opérateur hésite. L'équipe a testé son approche sur un assemblage collaboratif de boîte de vitesses à trois niveaux de difficulté, avec dix participants. Les scores subjectifs NASA-TLX ont confirmé une hausse de la charge perçue selon les conditions, avec des effets significatifs sur la charge globale et ses dimensions mentale et temporelle. La sortie du système vision a été significativement corrélée aux signaux ECG chez sept participants sur neuf disposant de données complètes, et les épisodes d'hésitation détectés par la caméra correspondaient temporellement à l'activité physiologique mesurée. Le système a fonctionné en temps réel sans équipement porté par l'opérateur. Pour l'industrie de l'assemblage collaboratif, ce travail répond à un obstacle pratique connu: les méthodes actuelles d'évaluation de la charge mentale reposent sur des capteurs physiologiques (ECG, EEG, dermographes) jugés trop intrusifs pour un déploiement industriel réel. En démontrant une corrélation partielle mais significative entre un signal purement visuel et des mesures physiologiques de référence, l'étude ouvre la voie à une ergonomie cognitive adaptative, où le robot ajusterait son rythme ou son comportement selon l'état inféré de l'opérateur, sans instrumentation supplémentaire. Les auteurs restent prudents: ils présentent HRC-CWL comme un proxy comportemental interprétable, pas comme une mesure psychophysiologique directe de la charge, ce qui tempère toute promesse de diagnostic médical précis. Ce travail s'inscrit dans la tendance de la robotique collaborative industrielle (cobots) à intégrer des capacités de perception fine des états humains, un axe de recherche actif face à la multiplication des lignes d'assemblage mixtes homme-robot. L'échantillon reste limité à dix participants et un seul scénario de gearbox, ce qui appelle des validations à plus grande échelle avant tout déploiement en usine.

RecherchePaper

1 source

4arXiv cs.RO

Évaluation de la compréhension des collisions dans les modèles vision-langage pour une collaboration homme-robot sécurisée

Une équipe de chercheurs a publié TouchSafeBench (arXiv:2605.31196), un benchmark pour évaluer ce qu'ils nomment le "collision grounding" dans les modèles de vision-langage (VLM) : la capacité à relier des observations visuelles à la géométrie du robot, la disposition de la scène et la proximité humaine pour déduire un contact présent ou imminent. Construit dans le simulateur Habitat 3.0 de Meta, il comprend 2 940 épisodes de coprésence indoor simulés, couvrant navigation sociale et réorganisation spatiale, avec des observations RGB-D multi-vues synchronisées, des cartes de trajectoire top-down et des labels de contact dérivés directement du simulateur. Trois VLMs orientés robotique ou frontier models ont été testés sur neuf représentations visuelles, autour de deux tâches : classifier l'état de sécurité courant et anticiper une collision imminente avant tout contact physique. Le meilleur score moyen Macro-F1 obtenu reste inférieur à 50 %. Ce chiffre souligne une limite fondamentale : la fluidité visuelle n'implique pas la responsabilité physique. Un modèle capable de décrire précisément une scène peut échouer à détecter si un bras robotique effleure un opérateur. Pour les intégrateurs travaillant sur la collaboration homme-robot, le signal est sans ambiguité : les VLMs actuels ne peuvent pas jouer le rôle de moniteurs de sécurité sans couche d'abstraction géométrique explicite. L'étude montre également que le contact robot-scène (obstacles, mobilier) est systématiquement plus difficile à détecter que la proximité humaine, contredisant l'intuition courante. Plus frappant encore : la profondeur RGB-D n'est pas automatiquement convertie en évidence de collision corps-robot, faute de représentation morphologique intégrée dans ces modèles. Ces résultats arrivent au moment où les architectures vision-langage-action (VLA) comme RT-2, OpenVLA ou pi0 de Physical Intelligence s'imposent dans les pipelines robotiques, en pariant sur la généralisation sémantique des VLMs pour piloter manipulateurs et robots mobiles. TouchSafeBench constitue un contrepoids empirique à cet enthousiasme : la généralisation linguistique ne résout pas la conscience géométrique nécessaire à la sécurité fonctionnelle. La plateforme sous-jacente, Habitat 3.0, est développée par Meta AI Research et fait référence en navigation sociale simulée. Le benchmark sera publié à l'acceptation de l'article. Les auteurs identifient comme prochaine étape des représentations liant explicitement point de vue caméra, morphologie du robot et géométrie métrique, potentiellement via des approches hybrides VLM et modèles cinématiques.

UELes intégrateurs européens développant des cobots sous contraintes AI Act doivent intégrer que les VLMs actuels ne sont pas des moniteurs de sécurité fiables sans couche d'abstraction géométrique explicite, ce qui impacte directement les architectures VLA en cours de déploiement industriel.

RecherchePaper

1 source