Aller au contenu principal
3D Cal : une bibliothèque logicielle open source pour la reconstruction de profondeur sur capteurs tactiles basés sur la visionIllustration générée par IA
RecherchearXiv cs.RO 

3D Cal : une bibliothèque logicielle open source pour la reconstruction de profondeur sur capteurs tactiles basés sur la vision

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient 3D Cal, une bibliothèque open source qui transforme une imprimante 3D bas coût en dispositif de sondage automatisé pour calibrer les capteurs tactiles à base de vision. Le système génère de grands volumes de données d'entraînement labellisées puis entraîne des réseaux convolutifs personnalisés pour produire des reconstructions de profondeur à partir des images captées par ces capteurs. Les auteurs testent leur méthode sur deux capteurs commerciaux largement utilisés en robotique, DIGIT et GelSight Mini, et établissent des lignes directrices empiriques sur le volume de données nécessaire pour une calibration de qualité. Les résultats obtenus atteignent une erreur moyenne de reconstruction de 156 micromètres pour DIGIT et 205 micromètres pour GelSight Mini sur des objets non vus pendant l'entraînement, des performances jugées comparables à l'état de l'art.

Pour l'industrie de la manipulation robotique, cette avancée s'attaque à un goulot d'étranglement rarement mis en avant mais bien réel: la calibration des capteurs tactiles reste aujourd'hui artisanale, chronophage et peu reproductible d'un laboratoire à l'autre, ce qui freine leur adoption en dehors de la recherche académique. En automatisant ce processus avec un matériel accessible, 3D Cal réduit la barrière à l'entrée pour les équipes qui veulent intégrer du retour tactile fin dans leurs systèmes de préhension, un enjeu central pour la manipulation dextre, l'inspection de pièces fragiles ou les tâches d'assemblage fin où la seule vision globale ne suffit pas. C'est aussi un signal que la standardisation des outils de calibration progresse, condition nécessaire avant tout déploiement tactile à l'échelle industrielle.

Le sondage tactile par vision, popularisé par des capteurs comme GelSight puis DIGIT (ce dernier co-développé par Meta et poussé comme standard bas coût et open source), souffre depuis ses débuts d'un manque d'outils de calibration partagés et reproductibles. 3D Cal s'inscrit dans cette lignée de travaux visant à démocratiser le tactile en robotique, aux côtés d'efforts comme les capteurs GelSight Mini ou les librairies de traitement associées. Publié en open source, l'outil devrait accélérer les travaux de recherche sur la perception tactile et faciliter son intégration dans des plateformes robotiques réelles, sans toutefois constituer encore un produit prêt à l'emploi pour l'industrie.

Dans nos dossiers

À lire aussi

Une pile logicielle open source intégrée pour la navigation autonome par vision de rovers à roues
Illustration générée par IA
1arXiv cs.RO 

Une pile logicielle open source intégrée pour la navigation autonome par vision de rovers à roues

Une nouvelle pile logicielle open source sous ROS 2 propose de réunir, dans un ensemble cohérent, la perception, la localisation, la planification et le contrôle d'un rover à roues guidé uniquement par la vision. Le scénario cible est volontairement simple : le robot suit des flèches directionnelles, atteint un cône placé en fin de parcours, puis revient seul à son point de départ. La chaîne enchaîne un détecteur YOLOv8n, une estimation géométrique de la direction, de la distance et du relèvement des marqueurs, un SLAM RGB-D, une estimation d'état par odométrie des roues et centrale inertielle, un planificateur tenant compte de la cinématique, une gestion de mission par arbres de comportement et un étage d'actionnement sur microcontrôleur STM32. Sur 478 images de test écartées de l'entraînement, le détecteur atteint un mAP@0.5 de 0,720 avec l'évaluateur d'Ultralytics et dépasse une base classique OpenCV selon un protocole d'évaluation commun. La latence de perception annoncée est de 25 ms sur un Jetson Orin NX. Trois missions, une en intérieur et deux en extérieur, ont été menées sans commande de mouvement d'un opérateur et sans collision rapportée. L'intérêt pour l'industrie tient moins à la performance qu'à la reproductibilité. Les auteurs publient le code, la configuration, un jeu de données annoté, les poids entraînés et les journaux d'évaluation, et isolent l'autonomie réutilisable de la couche matérielle grâce à des interfaces ROS 2 standard, avec un plugin de suivi de trajectoire proportionnel adapté aux faibles vitesses. Pour un intégrateur ou une équipe de R&D disposant d'un budget de calcul limité, c'est une base de référence exploitable, et la latence de 25 ms sur une carte embarquée montre qu'une détection légère suffit pour ce type de tâche. Il faut toutefois rester prudent : trois missions ne constituent pas une validation de fiabilité. Les auteurs reconnaissent eux-mêmes que des essais répétés et instrumentés restent nécessaires pour quantifier les erreurs de navigation physiques, et l'absence de collision rapportée n'est pas une mesure de robustesse. Le texte documente aussi des échecs d'intégration et les correctifs adoptés, ce qui est précieux pour mesurer l'écart entre une démonstration et un système qui tient en conditions réelles. Ce travail s'inscrit dans la tendance des piles de navigation modulaires construites sur ROS 2, où des briques éprouvées (Nav2, SLAM RGB-D, arbres de comportement) sont assemblées autour d'un détecteur de la famille YOLO. Il se distingue des approches de bout en bout, comme les modèles vision-langage-action, par son architecture explicite et auditable, au prix d'un périmètre étroit : marqueurs connus, vitesses faibles, plateforme à roues. Il ne s'agit pas d'un produit commercial mais d'une publication de recherche (arXiv, seconde version), sans calendrier de déploiement ni pilote industriel annoncé. Les suites logiques seraient des campagnes d'essais répétées avec mesure d'erreur de position, une évaluation sur d'autres plateformes pour tester la portabilité promise par la séparation logiciel et matériel, et une extension à des environnements moins contrôlés. Le jeu de données de 478 images de test, de taille modeste, limitera de toute façon la portée des comparaisons tant que d'autres équipes ne l'auront pas repris.

RecherchePaper
1 source
Étude de l'échantillonnage actif pour la classification de la dureté avec des capteurs tactiles basés sur la vision
Illustration générée par IA
2arXiv cs.RO 

Étude de l'échantillonnage actif pour la classification de la dureté avec des capteurs tactiles basés sur la vision

Des chercheurs ont publié sur arXiv (référence 2505.13231, version 2) une étude sur l'échantillonnage actif appliqué à la classification de la dureté des objets avec des capteurs tactiles à base de vision (VBTS, pour vision-based tactile sensors). Ces capteurs filment la déformation d'une surface souple au contact d'un objet. Les auteurs comparent trois modèles de classification probabilistes, deux stratégies d'échantillonnage actif (pilotées respectivement par la variance et par l'entropie, deux mesures d'incertitude du modèle) et une base de référence en échantillonnage aléatoire. Les tests portent sur un jeu de données maison, collecté par un robot, et sur un jeu de données publié antérieurement. Une étude humaine sur les mêmes objets complète le dispositif. Les approches actives atteignent jusqu'à 90 % de précision, contre 48 % pour les participants humains. L'intérêt pour l'industrie tient surtout à l'efficacité en échantillons. Chaque contact physique coûte du temps robot, et choisir les prochains points de palpation en fonction de l'incertitude du modèle réduit le nombre de touches nécessaires pour atteindre une bonne précision. C'est pertinent pour l'inspection qualité, le tri de produits déformables (fruits, emballages, pièces en élastomère) ou la manipulation d'objets fragiles, où la dureté conditionne la force de préhension. Le chiffre de 90 % contre 48 % doit toutefois être lu avec prudence. La comparaison avec l'humain dépend de la tâche choisie, du nombre de classes de dureté et des objets retenus, et rien n'indique une validation en conditions de production. Il s'agit de résultats de laboratoire sur des jeux de données limités, sans cadence, temps de cycle ni coût communiqués, et sans lien avec un produit commercial. Ce travail s'inscrit dans la montée en puissance du toucher robotique. Les capteurs de type GelSight ont popularisé l'approche visuo-tactile, et le sujet attire de plus en plus de laboratoires. La perception de la dureté a surtout été traitée avec des jeux de données collectés passivement ou avec des protocoles fixes, ce qui laisse de la place à des stratégies actives. Cette version 2 est une révision d'une prépublication de mai 2025, et les auteurs renvoient vers une page de projet pour le code et les données. La suite logique serait d'étendre l'approche à davantage de matériaux, à des objets non vus à l'entraînement et à des plateformes de manipulation complètes. Rien n'est annoncé sur ce point, ni sur un transfert industriel.

RecherchePaper
1 source
FasTac : un capteur tactile courbe multispectral basé sur la vision pour la perception 3D de forme et de force à haute vitesse et haute précision
Illustration générée par IA
3arXiv cs.RO 

FasTac : un capteur tactile courbe multispectral basé sur la vision pour la perception 3D de forme et de force à haute vitesse et haute précision

Le laboratoire à l'origine de FasTac présente un capteur tactile visuel courbe conçu pour les doigts de préhenseurs dextres, combinant imagerie photométrique multispectrale et estimation de force par convolution dynamique, le tout embarqué sur un FPGA. Le système capture simultanément plusieurs longueurs d'onde via un seul capteur image pour reconstruire la normale de surface, puis applique une reconstruction de profondeur par équation de Poisson accélérée grâce à un a priori sur les contours de contact. Le module HyperForce, basé sur une convolution dynamique sensible à la position, estime les forces selon trois axes en tenant compte de la réponse mécanique non uniforme des élastomères courbes. Les résultats publiés montrent que l'éclairage proche infrarouge combiné à cet a priori de contour réduit l'erreur moyenne absolue de profondeur de 0,2730 mm à 0,0415 mm. HyperForce atteint des erreurs normalisées de 2,74% pour les forces normales et 2,39% pour les forces de cisaillement. Le portage sur FPGA fait chuter la latence de traitement de bout en bout de 3,26 ms sur GPU à 1,09 ms. Ce résultat s'attaque à un compromis persistant dans les capteurs tactiles à vision : les systèmes existants doivent généralement sacrifier soit la précision de reconstruction 3D, soit la vitesse de traitement, soit l'estimation fiable des forces tangentielles. Une latence sous la milliseconde ouvre la voie à des boucles de rétroaction tactile en temps réel pour la préhension dextre, un enjeu central pour les mains robotiques et les préhenseurs de précision utilisés en assemblage industriel ou en manipulation d'objets fragiles. Pour les intégrateurs, cela représente une brique potentielle pour rapprocher les capteurs tactiles vision des exigences de contrôle en boucle fermée à haute fréquence, jusqu'ici dominées par les capteurs de force résistifs ou capacitifs plus rapides mais moins riches en information géométrique. FasTac s'inscrit dans la lignée des capteurs tactiles à vision de type GelSight ou DIGIT, tout en cherchant à corriger leurs limites de vitesse et de précision combinées sur des surfaces courbes plutôt que planes. Il s'agit à ce stade d'un article de recherche déposé sur arXiv, validé par des expériences de reconstruction multi-objets, de préhension asservie et de mesure vibratoire, sans indication de déploiement industriel ou de partenariat commercial annoncé.

RecherchePaper
1 source
BCNav : des politiques de profondeur conditionnées par le cap pour la navigation vers une source sonore
Illustration générée par IA
4arXiv cs.RO 

BCNav : des politiques de profondeur conditionnées par le cap pour la navigation vers une source sonore

Des chercheurs proposent BCNav, un cadre de navigation vers une source sonore qui sépare le module acoustique de la politique de navigation apprise. Un estimateur de direction d'arrivée (DOA, direction-of-arrival) fournit un simple angle de relèvement scalaire vers la source. La politique, elle, ne reçoit que deux entrées : des images de profondeur et cet angle. Elle est entraînée par imitation sur des démonstrations de plus court chemin, avec injection de bruit de relèvement calibré. Elle produit directement des commandes de vitesse continues, exécutables sur un robot terrestre. Le code est publié sur GitHub (york1to/bcnav). Les auteurs disent l'avoir validé en simulation et sur un robot physique, dans des environnements inconnus, sans réglage fin acoustique, sans cartographie préalable et sans collecte de données audio réelles. L'abstract ne donne ni taux de succès, ni nombre d'essais, ni comparaison chiffrée avec les méthodes existantes. L'intérêt est d'abord méthodologique. Les approches actuelles apprennent conjointement l'audio et la vision dans des simulateurs acoustiques, peu fidèles et coûteux en calcul. Il en résulte un écart de domaine qui freine le déploiement réel. Les simulateurs à grille imposent en plus des actions discrètes, source d'un écart cinématique sur un robot physique. BCNav déplace la difficulté vers deux entrées dont les écarts sim-to-real sont bien connus : la profondeur et un angle. Cela évite d'avoir à simuler correctement l'acoustique d'une pièce. La robustesse dépend alors de la qualité de l'estimation DOA en environnement réel, avec réverbération, bruit et occultations, et l'injection de bruit calibré sert précisément à la couvrir. Pour un intégrateur, la piste est intéressante pour des robots de surveillance, d'inspection ou d'intervention qui doivent réagir à une alarme ou à un appel hors de leur champ visuel. En l'absence de résultats chiffrés dans le résumé, elle reste à valider. Ce travail s'inscrit dans la lignée de la navigation audio-visuelle « SoundSpaces », qui a popularisé l'apprentissage conjoint dans des simulateurs acoustiques. Les auteurs en critiquent les deux limites : la fidélité acoustique et l'espace d'actions discret hérité des grilles. La séparation entre perception et politique rejoint une tendance plus large de la robotique apprise, qui préfère des interfaces compactes et bien caractérisées à des simulations de bout en bout. Cette version 1 sur arXiv n'annonce ni pilote ni calendrier. Les prochaines étapes probables sont des tests sur davantage de plateformes, avec plusieurs sources sonores, des sources mobiles ou de l'occultation, et des comparaisons directes avec les méthodes audio-visuelles conjointes. Le code ouvert permettra à d'autres équipes de reproduire ces résultats.

RecherchePaper
1 source