GelSlim 5.0 : un seul capteur caméra au bout du doigt unifie vision et toucher

GelSlim 5.0 est un capteur de bout de doigt présenté sur arXiv (2610.31334) qui acquiert à la fois des images visuelles et tactiles avec une seule caméra fixe, associée à une couche de contact sensible aux UV. En changeant l'éclairage, la caméra produit tour à tour des images à travers la membrane, qui montrent l'objet avant et pendant le contact, et des images tactiles sensibles au contact. Les deux modalités partagent le même point de vue, ce qui supprime l'étalonnage extrinsèque entre caméras. Pour les fusionner, les auteurs proposent VisTacFusion, un transformeur multimodal à deux branches de prédiction, l'une pour la pose planaire de l'objet, l'autre pour la géométrie de contact. Une fusion asymétrique par goulot d'étranglement injecte le contexte visuel tout en préservant les caractéristiques spatiales tactiles utiles à l'estimation de la profondeur et des normales de surface. Un modality dropout permet d'inférer avec les deux entrées ou avec une seule. Sur des données réelles de validation couvrant 12 objets connus, l'entrée appariée réduit l'erreur quadratique moyenne de profondeur de 61,2 %, l'erreur angulaire de 72,3 % et l'erreur L1 de translation de 61,3 % par rapport au tactile seul, avec le même modèle. Face à la vision seule, les gains sont de 93,7 %, 6,1 % et 8,6 %.

Pour la manipulation fine, ce travail s'attaque à un problème bien connu : au moment du contact, les caméras externes ou montées sur le poignet sont souvent masquées par la main ou l'objet, alors que c'est précisément là que la pose et la géométrie locale comptent. Placer vision et toucher dans le même repère simplifie l'intégration, car l'étalonnage entre capteurs est une source classique d'erreurs et de dérive. Les chiffres demandent toutefois de la prudence. Le gain majeur de la fusion sur la profondeur (93,7 % contre la vision seule) et sur le tactile seul pour la pose indique que les deux modalités se complètent. En revanche, l'apport sur l'angle et la translation face à la vision est modeste (6,1 % et 8,6 %). La validation porte sur 12 objets déjà vus à l'entraînement, sans test sur des objets inconnus, sans mesure de latence et sans tâche de manipulation en boucle fermée. Il s'agit d'un résultat de recherche, pas d'un produit déployé.

GelSlim s'inscrit dans la lignée des capteurs tactiles optiques à gel, après GelSight et les versions précédentes de GelSlim, nées dans la recherche en manipulation robotique. Les concurrents sont nombreux : DIGIT et Digit 360 de Meta, GelSight Mini, et les approches visuo-tactiles à double caméra ou à membrane semi-transparente. La commutation d'éclairage impose cependant un compromis, car les deux images arrivent en séquence et non simultanément, ce qui peut limiter la réactivité sur des objets en mouvement. Les prochaines étapes à surveiller sont des tests sur objets inédits, l'évaluation en insertion ou en saisie sous occlusion, et l'intégration dans des politiques VLA, qui consomment encore peu de données tactiles. Aucun acteur français ou européen n'est cité dans ce travail.