RecherchearXiv cs.RO 30 juin 2026

REPAIR-Bench : benchmark pour la perception des erreurs et la reprise d'interaction en robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié REPAIR-Bench (Robot Error Perception And Interaction Recovery Benchmark), un jeu de données et de tâches d'évaluation conçu pour mesurer comment les utilisateurs humains perçoivent les pannes robotiques et y répondent. Le benchmark repose sur 214 essais d'interaction impliquant 41 participants exposés à quatre types de défaillances induites. Pour chaque session, les chercheurs ont capturé des données multimodales synchronisées : unités d'action faciale (AU), posture de la tête, transcriptions vocales, ainsi que des rapports d'affect et de stratégies de récupération recueillis après interaction. Trois tâches d'évaluation inédites structurent le benchmark : la détection de pannes sur des sessions interdépendantes (pour modéliser l'adaptation longitudinale de l'utilisateur), la classification visuelle du type de défaillance au-delà du simple binaire succès/échec, et la prédiction de stratégie de récupération centrée utilisateur. En baseline, un modèle récurrent hiérarchique atteint un F1 strict de 0,80 contre 0,68 pour un modèle mono-session, avec une erreur signée moyenne de -0,51 s et une erreur absolue médiane de 2,97 s pour la localisation temporelle des pannes. Pour la prédiction de récupération, un Mistral-7B affiné par QLoRA obtient Hit@5 = 0,76 et F1@5 = 0,32.

L'intérêt scientifique de REPAIR-Bench tient à ce qu'il rompt avec trois limites persistantes de la littérature en interaction humain-robot (HRI) : le traitement des défaillances comme des événements isolés, la réduction de la détection à une décision binaire, et la modélisation de la récupération par des règles figées. En intégrant la dimension longitudinale, le benchmark permet de modéliser comment un utilisateur adapte progressivement son comportement face à des défaillances répétées, un phénomène documenté mais rarement instrumenté à cette échelle. Pour les équipes qui déploient des robots de service ou médicaux, c'est un signal concret : la robustesse perçue n'est pas seulement une propriété technique du système, mais une fonction de l'historique d'interaction. Le benchmark ouvre aussi la voie à des systèmes de récupération adaptatifs pilotés par les préférences inférées de l'utilisateur, plutôt que par des arbres de décision codés à la main, ce qui est pertinent pour les intégrateurs qui cherchent à réduire la charge cognitive des opérateurs.

Ce travail s'inscrit dans un champ de recherche en expansion sur la fiabilité perçue des robots autonomes, accéléré par la multiplication des déploiements en contexte médical et industriel où une panne mal gérée peut rompre la confiance de façon durable. Les approches précédentes, comme les travaux sur la détection d'anomalies en manipulation ou les études d'affect en HRI, restaient souvent cloisonnées ; REPAIR-Bench propose un cadre unifié couvrant le cycle de vie complet de la défaillance. Le benchmark est publié sur arXiv (2606.29937) et cible explicitement les communautés HRI et HRI médicale. Les prochaines étapes naturelles incluent l'extension à des plateformes robotiques variées (bras manipulateurs, robots mobiles, humanoïdes) et l'évaluation de modèles de langage multimodaux en temps réel comme superviseurs de récupération, une piste que les résultats Mistral-7B rendent crédible sans pour autant la valider à l'échelle.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

ActiveArena : benchmarking et compréhension de la perception active en manipulation robotique

Un nouveau papier de recherche publié sur arXiv (référence 2609.24124v1, soumission de type "new") présente ActiveArena, un ensemble d'outils pour évaluer la perception active en manipulation robotique. Il se compose de trois briques : ActiveArena-Sim, un simulateur à points de vue contrôlables et grands espaces de travail ; ActiveArena-Bench, un benchmark de 35 tâches réparties en 5 catégories couvrant l'exploration visuelle et l'acquisition interactive d'informations, chaque tâche étant conçue pour être insoluble à partir d'une seule observation passive et exigeant plusieurs cycles de collecte de preuves et un raisonnement fondé sur la mémoire ; et ActiveArena-VLA, une suite modulaire de 13 configurations vision-langage-action permettant d'isoler l'effet de l'écriture en mémoire, de la capacité mémoire, des entrées proprioceptives, de la supervision de sous-tâches et de la planification de haut niveau. Le benchmark fournit aussi des annotations de mémoire détaillées, des données d'entraînement standardisées et des protocoles distinguant distribution connue (ID) et hors distribution (OOD), avec scènes disjointes, distracteurs inédits et arrière-plans nouveaux. Les résultats rapportés montrent un écart de performance important entre ID et OOD, confirmant que les systèmes vision-langage-action actuels généralisent mal dès qu'ils sortent des scènes d'entraînement, un doute déjà répandu dans le secteur sur la robustesse réelle des VLA. Le papier identifie toutefois des leviers concrets : un échantillonnage mémoire uniforme, une capacité mémoire accrue couplée à des politiques d'écriture fiables, l'ajout d'entrées proprioceptives et la supervision de sous-tâches améliorent la généralisation OOD, tandis qu'une gestion de la mémoire pilotée par un planificateur permet d'approcher les performances des meilleures configurations avec une mémoire beaucoup plus éparse, donc moins coûteuse en calcul. Pour les équipes qui développent des manipulateurs devant opérer dans des environnements changeants ou partiellement occlus, ce travail fournit un cadre de comparaison objectif, plutôt qu'une nouvelle démonstration isolée. Ce travail s'inscrit dans une évolution plus large des benchmarks de manipulation robotique, qui se déplacent des tests de saisie statique vers des scénarios exigeant exploration active et mémoire persistante, alors que les architectures vision-langage-action se généralisent comme approche de contrôle robotique. Aucune affiliation institutionnelle, aucun partenaire industriel ni date de mise à disposition du code ne sont précisés dans l'annonce : il s'agit d'une contribution académique en amont de tout déploiement, dont l'utilité dépendra de son adoption par la communauté de recherche comme référence pour évaluer les futurs modèles.

RecherchePaper

1 source

2arXiv cs.RO

TiROD : petit jeu de données et benchmark de robotique pour la détection d'objets en continu

Une équipe de recherche présente TiROD (Tiny Robotics Object Detection), un nouveau jeu de données vidéo destiné à évaluer la détection d'objets sur des robots mobiles de petite taille. Les images ont été capturées directement par la caméra embarquée d'un petit robot mobile, dans plusieurs environnements et avec des catégories d'objets variées, afin de reproduire les changements de domaine auxquels ces plateformes sont confrontées en conditions réelles. Sur cette base, les chercheurs ont construit un benchmark comparant plusieurs stratégies d'apprentissage continu, appliquées à NanoDet, un détecteur d'objets léger et temps réel conçu pour tourner sur du matériel à ressources limitées. L'article, publié sur arXiv, en est à sa quatrième révision depuis 2024, signe d'un travail approfondi retravaillé au fil des retours de la communauté. L'enjeu dépasse le simple exercice académique. Les robots miniatures, contraints en taille, en autonomie énergétique et en puissance de calcul, doivent malgré tout détecter des objets sur des images basse résolution et bruitées, tout en s'adaptant à des environnements changeants sans réentraînement complet ni intervention humaine. C'est précisément cette capacité d'adaptation, l'apprentissage continu embarqué, qui conditionne le déploiement réel de flottes de robots low-cost dans l'inspection, la logistique ou la navigation autonome. Les résultats du benchmark montrent que les stratégies existantes peinent encore à concilier efficacité computationnelle et robustesse face à l'oubli catastrophique, un signal utile pour les intégrateurs qui évaluent la maturité réelle de ces approches avant tout déploiement industriel. Ce travail s'inscrit dans une tendance de fond de la robotique embarquée: développer des modèles de vision suffisamment légers pour tourner sur des microcontrôleurs ou des puces à faible consommation, tout en conservant une capacité d'apprentissage en continu. Contrairement aux grands modèles de perception utilisés sur des robots industriels ou humanoïdes, ce créneau cible spécifiquement les plateformes tiny robotics, moins médiatisées mais représentant un volume potentiellement massif de déploiements à bas coût. Les auteurs positionnent TiROD comme une base commune permettant à la communauté de comparer objectivement de futures méthodes sur ce terrain encore peu standardisé.

RecherchePaper

1 source

3arXiv cs.RO

IMBench : un benchmark pour la manipulation robotique intuitive

Une équipe de recherche publie IMBench, un nouveau benchmark conçu pour évaluer ce qu'elle appelle la « manipulation intuitive » des robots, c'est-à-dire la capacité à combiner raisonnement physique et exécution motrice de façon intégrée, plutôt que de tester ces deux compétences séparément. L'article, déposé sur arXiv le 15 juillet 2026, propose un jeu de 35 tâches couvrant la manipulation avec contact riche, l'usage d'outils et les dépendances multi-étapes, accompagné de 14 000 trajectoires filtrées et d'outils permettant de générer de nouveaux scénarios à l'échelle. Contrairement aux benchmarks existants, IMBench exige des modèles qu'ils identifient d'abord la structure physique pertinente d'une scène (poids, friction, contraintes géométriques) avant de produire une séquence d'actions exécutable sous contraintes explicites. Les auteurs ont testé à la fois des modèles vision-langage (VLM) et des modèles vision-langage-action (VLA) de dernière génération sur cet ensemble de tâches. Les résultats mettent en évidence un écart systématique dans les systèmes actuels : les VLM montrent une capacité de raisonnement physique partielle mais ne parviennent pas à traduire ce raisonnement en plans d'action exécutables, tandis que les VLA de pointe échouent à respecter les contraintes des tâches et généralisent mal d'un scénario à l'autre. Pour l'industrie robotique, ce constat confirme un doute déjà répandu chez les intégrateurs : la performance affichée par les politiques génératives sur des démonstrations contrôlées ne garantit pas une compréhension physique transférable à des scènes nouvelles. IMBench propose ainsi une mesure plus rigoureuse pour distinguer les systèmes qui « comprennent » réellement une scène de ceux qui reproduisent des schémas d'entraînement. Ce travail s'inscrit dans une vague récente de benchmarks cherchant à combler le fossé entre évaluation en simulation et déploiement réel, alors que des modèles comme GR00T N2, Pi-0 ou Helix visent une manipulation généraliste dans des environnements variés. En isolant explicitement la composante « raisonnement intuitif » comme axe manquant des politiques robotiques actuelles, les auteurs positionnent IMBench comme un outil de diagnostic pour orienter les prochaines générations de modèles fondation en robotique, plutôt que comme un simple classement de performance brute.

RecherchePaper

1 source

4arXiv cs.RO

BRAVE-6D : un benchmark pour la vision active en robotique dans l'estimation de pose en 6DOF

Des chercheurs ont publié en septembre 2026 sur arXiv un article intitulé "BRAVE-6D: Benchmark for Robotic Active Vision in 6DOF Pose Estimation" (arXiv:2609.17106), qui introduit un nouveau benchmark pour évaluer les systèmes de vision active en robotique appliqués à l'estimation de pose en six degrés de liberté (6DOF). Le constat de départ est simple : détecter puis saisir de petits objets reste une difficulté majeure en robotique, et la vision active, où le robot rapproche sa caméra de l'objet pour affiner sa perception, est une piste intuitive mais mal évaluée jusqu'ici, faute de pouvoir comparer les approches sur des scènes physiques strictement identiques d'un laboratoire à l'autre. BRAVE-6D s'appuie sur la synthèse de vues par Gaussian Splatting (3DGS) pour reconstruire des scènes de référence et fournir les outils nécessaires à des comparaisons reproductibles. Les auteurs présentent des solutions de base capables d'effectuer un asservissement visuel (visual servoing) au sein de ces scènes reconstruites et d'estimer avec précision la pose de petits objets. Ce travail s'attaque à un angle mort connu du secteur : l'absence de terrain de comparaison commun pour la vision active, un sous-domaine crucial pour la préhension de petites pièces en environnement industriel (bin picking, assemblage de composants fins, tri logistique) où des capteurs fixes offrent souvent une résolution insuffisante. En remplaçant les montages physiques figés par des scènes synthétisées, BRAVE-6D permet de rejouer des trajectoires de caméra variées sans reconstruire le dispositif à chaque test, un frein classique à la reproductibilité en robotique. Pour les intégrateurs et les équipes de recherche en perception, cela offre enfin une base objective avant d'investir dans une architecture de vision active, plutôt que de se fier à des démonstrations isolées difficiles à comparer entre elles. Le sujet prolonge les benchmarks d'estimation de pose 6D existants, mais déplace le problème vers les systèmes actifs, où c'est le mouvement du robot, et non un cliché statique unique, qui détermine la qualité finale de l'estimation. L'abstract ne précise ni l'institution porteuse ni la disponibilité publique du code et des scènes 3DGS, ce qui en fait pour l'instant une contribution de recherche plutôt qu'un outil prêt à l'emploi. Reste à voir si d'autres équipes s'empareront de BRAVE-6D pour comparer leurs propres pipelines, dans un contexte où la préhension robotisée de petits objets reste un point de friction pour la logistique et l'assemblage industriel.

RecherchePaper

1 source