DARP : un jeu de données bimanuel calibré RGB-D-IR pour la perception robotique multi-vues

Le dataset publié sur arXiv (2608.31002v1) présente DARP (Dual-Arm Robotic Perception), un jeu de données calibré RGB-D-infrarouge issu de deux bras manipulateurs indépendants, chacun équipé d'une caméra Intel RealSense en configuration eye-in-hand, placés de part et d'autre d'un même plan de travail. Dix objets de table, sans pose fixe ni marqueur, ont été capturés via un protocole entièrement automatisé : localisation automatique, confirmation croisée entre les deux bras, génération adaptative de points de vue et enregistrement continu RGB, profondeur et infrarouge stéréo synchronisé avec les états articulaires des robots. Un pipeline de fusion multi-vues déterministe, sans complétion apprise ni générative, convertit ces observations calibrées en nuages de points et maillages de surface mesurés ; sur 224 images-clés de test et 1,56 million de points 3D, la distance médiane point-maillage atteint 2,13 mm (RMSE de 4,04 mm), avec 96,56% des points situés à moins de 10 mm de la surface mesurée. Le jeu de données est publié en libre accès sur IEEE DataPort, sous le DOI 10.21227/rmv3-be47.

La perception à partir d'un point de vue unique souffre d'auto-occlusions et d'une visibilité incomplète des surfaces, un frein connu pour la manipulation fine, le bin-picking ou l'assemblage collaboratif. En combinant deux bras mobiles plutôt qu'un rig de caméras fixes, DARP fournit un cadre calibré permettant d'évaluer objectivement des algorithmes de fusion multi-vues, de perception active et de raisonnement sur des observations partielles, sans recourir à des vidéos sélectionnées ou des métriques qualitatives. Les résultats millimétriques annoncés valident surtout la précision du pipeline de calibration et de reconstruction géométrique lui-même, et non une capacité de manipulation en conditions réelles : il s'agit d'une brique d'infrastructure de recherche reproductible, utile aux laboratoires travaillant sur la perception bi-manuelle ou collaborative, un terrain encore dominé par des configurations mono-bras.

Les caméras montées au poignet sont courantes en robotique manipulatrice, mais la plupart des jeux de données existants, qu'il s'agisse de rigs fixes ou de capteurs mono-bras, ne capturent pas la complémentarité géométrique d'une observation bi-manuelle synchronisée et libre de toute contrainte de pose. DARP se positionne comme une alternative en ciblant spécifiquement la reconstruction collaborative par deux agents mobiles indépendants, sans marqueurs ni positions imposées aux objets. Aucun acteur industriel n'est associé à cette publication, de nature purement académique ; les auteurs présentent DARP comme une ressource réutilisable pour de futurs travaux de reconstruction multi-vues, de fusion multimodale et d'apprentissage sur des observations partielles d'objets, sans calendrier de suivi ni déploiement industriel annoncé à ce stade.