RecherchearXiv cs.RO 7 août 2026

Calcul proche du capteur pour une perception visuotactile rapide

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont présenté, le 5 août 2026 sur arXiv (2608.05725), un système de calcul déporté au plus près du capteur pour les capteurs visuotactiles, ces dispositifs qui reconstruisent la géométrie de contact à partir de gradients de surface mesurés optiquement. Plutôt que de transmettre les données brutes vers un hôte pour traitement, l'équipe implémente un solveur de Poisson spectral sous forme de pipeline matériel entièrement streaming, exécuté directement à proximité du capteur. Le cœur de calcul consomme environ 347 mW et tourne à 166 MHz, sans branchement conditionnel ni convergence itérative, ce qui garantit une latence déterministe. Pour une image de 128x128 pixels, la première valeur de profondeur sort 35 107 cycles après réception du premier pixel, soit 0,211 ms de latence fixe. Sur 15 géométries de contact testées, les profondeurs reconstruites s'écartent d'une référence calculée en double précision de seulement 0,17% de la profondeur de contact maximale. Conséquence directe: une boucle de réflexe protecteur robotique pilotée par ces reconstructions embarquées se referme en 28,3 ± 4,9 ms, contre 169,9 ± 27,8 ms pour une boucle équivalente s'appuyant sur un traitement côté hôte avec le même actionneur, soit un gain d'environ six fois.

Ce résultat cible un goulot d'étranglement rarement mis en avant dans le débat sur le toucher robotique: ce n'est pas la captation qui limite la réactivité des bras et mains dotés de peau tactile, mais le transfert de données et l'ordonnancement logiciel côté hôte. En rapprochant le calcul du capteur, les auteurs montrent qu'il est possible d'obtenir une géométrie de contact précise à un coût énergétique très faible et avec une latence prévisible, deux conditions indispensables pour des réflexes de sécurité en temps réel lors d'une interaction physique homme-robot ou d'une manipulation fine. Pour les intégrateurs qui cherchent à fiabiliser des boucles de contrôle de contact, l'argument dépasse la simple vitesse: la latence déterministe évite les pics imprévisibles qui compliquent le réglage des contrôleurs.

Les capteurs visuotactiles denses, popularisés par des approches type GelSight, reposent depuis plusieurs années sur une reconstruction par stéréophotométrie coûteuse en calcul, généralement déléguée à un GPU ou un CPU hôte. Ce travail s'inscrit dans la tendance plus large du calcul en périphérie de capteur pour la robotique, où edge computing et matériel dédié remplacent progressivement les pipelines logiciels génériques. Les auteurs ne précisent pas d'intégration produit ni de partenaire industriel; il s'agit à ce stade d'une démonstration de faisabilité architecturale, dont la prochaine étape logique serait une validation sur un capteur physique complet et une comparaison face à d'autres architectures de calcul en périphérie.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

TacVerse : un jeu de données et benchmark multi-capteurs pour la perception tactile visuelle entre capteurs

Une équipe de chercheurs a publié TacVerse, un jeu de données multi-capteurs et benchmark destiné à évaluer la perception tactile par vision (vision-based tactile sensors, VBTS) à travers des capteurs de designs hétérogènes. Le dataset compile 106 800 images tactiles issues de sept capteurs VBTS distincts, couvrant trois tâches cibles : classification de formes, classification de réseaux de rainures (grating), et régression de force. Les expériences sont conduites selon trois protocoles expérimentaux : entraînement intra-capteur, transfert zéro-shot inter-capteurs, et adaptation few-shot. L'article, déposé sur arXiv (2606.25877), ne mentionne pas de financement industriel ni de partenaire de déploiement terrain ; il s'agit d'une contribution académique à visée benchmark, sans produit commercialisé associé. Le résultat le plus structurant pour les intégrateurs robotiques est le gouffre de généralisation inter-capteurs : si les performances intra-capteur sont solides sur les trois tâches, le transfert direct zéro-shot vers un capteur inconnu dégrade significativement les résultats, surtout pour la régression de force et la classification de réseaux de rainures. La classification de forme se révèle comparativement plus robuste face au changement de capteur. L'adaptation few-shot améliore la régression de force sur des capteurs cibles non vus, sans toutefois atteindre les performances intra-capteur. Ce résultat implique qu'un modèle entraîné sur un VBTS donné ne peut pas être déployé tel quel sur un autre design sans dégradation mesurable, ce qui complexifie les stratégies de standardisation des pipelines de perception tactile dans l'industrie. Les capteurs VBTS (type GelSight, DIGIT, Tactip et variantes) ont connu un essor marqué depuis 2018, portés par des labos comme MIT CSAIL et des acteurs industriels comme Meta AI (DIGIT). TacVerse s'inscrit dans un effort de standardisation de l'évaluation, comparable à ce que ImageNet a représenté pour la vision classique. L'étude révèle également que le préentraînement par MAE (Masked Autoencoder) offre les gains les plus constants sur l'ensemble des tâches et des capteurs, suggérant une piste d'architecture prioritaire pour les travaux futurs. Aucun concurrent direct de benchmark tactile multi-capteurs à cette échelle n'est cité dans l'abstract ; TacVerse vise à combler ce vide méthodologique pour la communauté sim-to-real et apprentissage auto-supervisé en perception haptique.

RecherchePaper

1 source

2arXiv cs.RO

Robot tenségrité : capteur visuotactile open source pour l'estimation du torseur de contact à 6 axes

Léo, une araignée-robot en tenségrité (structures de barres rigides tenues par des câbles élastiques) vient de recevoir une peau tactile open source capable de mesurer six axes de force et de couple à chaque point de contact. Décrit dans un article publié le 18 juillet sur arXiv, le capteur "endcap" combine une coque élastomère, une interface imprimée en 3D en polyuréthane thermoplastique (TPU) et une base rigide logeant une caméra miniature et un anneau de LED. La liaison entre l'élastomère et le TPU repose sur une nouvelle technique d'infill gyroïde qui évite tout adhésif, rendant l'ensemble léger et modulaire pour équiper de grandes structures de tenségrité. Un réseau de neurones convertit les champs vectoriels de cisaillement observés par la caméra en mesures de force et de couple sur six dimensions. Les tests affichent une erreur quadratique moyenne de 0,1531 en validation statique, avec une bonne généralisation hors domaine en mouvement dynamique, et l'intégration complète sur un robot de tenségrité de 12 kg confirme sa capacité à détecter fiablement les contacts au sol. Le code et les fichiers de fabrication sont publiés sur GitHub (Jonathan-Twz/tensegrity-gelfoot). L'intérêt dépasse le simple exercice académique: les robots en tenségrité, souples et résilients aux chocs, peinent depuis des années à obtenir une perception fiable de leur propre état, faute de capteurs adaptés à leur géométrie compliante et distribuée. Un capteur tactile bon marché, reproductible et physiquement interprétable ouvre la voie à une proprioception réellement embarquée, condition nécessaire pour que ces structures sortent du laboratoire vers des usages concrets comme l'exploration en terrain accidenté ou la manipulation douce. Les robots en tenségrité, popularisés notamment par les travaux de la NASA (le rover SUPERball) pour l'exploration planétaire à faible risque de casse, restent handicapés par l'absence de retour tactile natif comparé aux capteurs de type GelSight ou DIGIT conçus pour des mains robotiques classiques. Cette publication, en rendant le design entièrement open source, vise justement à combler ce manque et à standardiser l'instrumentation de ces plateformes encore largement expérimentales.

RecherchePaper

1 source

3arXiv cs.RO

FasTac : un capteur tactile courbe multispectral basé sur la vision pour la perception 3D de forme et de force à haute vitesse et haute précision

Le laboratoire à l'origine de FasTac présente un capteur tactile visuel courbe conçu pour les doigts de préhenseurs dextres, combinant imagerie photométrique multispectrale et estimation de force par convolution dynamique, le tout embarqué sur un FPGA. Le système capture simultanément plusieurs longueurs d'onde via un seul capteur image pour reconstruire la normale de surface, puis applique une reconstruction de profondeur par équation de Poisson accélérée grâce à un a priori sur les contours de contact. Le module HyperForce, basé sur une convolution dynamique sensible à la position, estime les forces selon trois axes en tenant compte de la réponse mécanique non uniforme des élastomères courbes. Les résultats publiés montrent que l'éclairage proche infrarouge combiné à cet a priori de contour réduit l'erreur moyenne absolue de profondeur de 0,2730 mm à 0,0415 mm. HyperForce atteint des erreurs normalisées de 2,74% pour les forces normales et 2,39% pour les forces de cisaillement. Le portage sur FPGA fait chuter la latence de traitement de bout en bout de 3,26 ms sur GPU à 1,09 ms. Ce résultat s'attaque à un compromis persistant dans les capteurs tactiles à vision : les systèmes existants doivent généralement sacrifier soit la précision de reconstruction 3D, soit la vitesse de traitement, soit l'estimation fiable des forces tangentielles. Une latence sous la milliseconde ouvre la voie à des boucles de rétroaction tactile en temps réel pour la préhension dextre, un enjeu central pour les mains robotiques et les préhenseurs de précision utilisés en assemblage industriel ou en manipulation d'objets fragiles. Pour les intégrateurs, cela représente une brique potentielle pour rapprocher les capteurs tactiles vision des exigences de contrôle en boucle fermée à haute fréquence, jusqu'ici dominées par les capteurs de force résistifs ou capacitifs plus rapides mais moins riches en information géométrique. FasTac s'inscrit dans la lignée des capteurs tactiles à vision de type GelSight ou DIGIT, tout en cherchant à corriger leurs limites de vitesse et de précision combinées sur des surfaces courbes plutôt que planes. Il s'agit à ce stade d'un article de recherche déposé sur arXiv, validé par des expériences de reconstruction multi-objets, de préhension asservie et de mesure vibratoire, sans indication de déploiement industriel ou de partenariat commercial annoncé.

RecherchePaper

1 source

4arXiv cs.RO

PEBRE : une extension matérielle ouverte de calcul et perception pour le robot Pepper

Une équipe de chercheurs a publié sur arXiv (arXiv:2606.12112v1) les spécifications de PEBRE, un module matériel et logiciel open-source conçu pour augmenter les capacités du robot Pepper. Le module intègre une carte Jetson Orin Nano de NVIDIA pour le calcul embarqué, une caméra RGB Logitech BRIO 4K, une caméra de profondeur Intel RealSense D435i pour la perception 3D, un microphone USB Samson UB1 et un micro directionnel RØDE VideoMicro II pour la capture audio. L'ensemble forme un add-on modulaire, conçu pour s'intégrer physiquement sur Pepper sans modifier son architecture d'origine. Les auteurs rapportent des améliorations mesurables en capacités de perception et en puissance de calcul, sans toutefois publier de benchmarks chiffrés comparatifs dans le résumé disponible. L'intérêt concret de PEBRE pour la communauté académique et les intégrateurs tient à une problématique bien réelle : Pepper approche ou dépasse sa durée de vie commerciale prévue, et SoftBank Robotics a progressivement réduit son support. Des dizaines de labos de recherche mondiaux disposent de plateformes Pepper dont la chaîne logicielle devient obsolète et dont le matériel interne (processeur Intel Atom, caméras grand-angle basiques) ne permet plus d'exécuter des modèles modernes de vision ou de traitement du langage en local. En proposant une solution open-hardware, les auteurs cherchent à mutualiser l'effort de mise à niveau, évitant à chaque labo de réinventer sa propre solution de retrofitting. C'est une approche pragmatique face à l'abandon progressif d'une plateforme encore présente dans de nombreux établissements. Pepper a été conçu à l'origine par Aldebaran Robotics, entreprise française rachetée par SoftBank en 2012, puis commercialisé à partir de 2014 comme robot d'accueil et d'interaction sociale. Malgré l'arrêt de sa production pour le marché grand public annoncé en 2021, Pepper reste présent dans plusieurs centaines de laboratoires et sites industriels en Europe et en Asie. Côté concurrence sur le segment des plateformes académiques humanoïdes légères, Pepper fait face à des alternatives comme le NAO (lui aussi Aldebaran/SoftBank), le Furhat ou des plateformes bras-et-torse comme Hello Robot Stretch. PEBRE ne repositionne pas Pepper dans la course aux humanoïdes mobiles de nouvelle génération, mais tente de lui donner une seconde vie utile dans des contextes de recherche appliquée en HRI (Human-Robot Interaction), là où le coût d'acquisition d'une nouvelle plateforme reste prohibitif.

UELes laboratoires européens équipés de robots Pepper, nombreux en France et en Europe, héritiers du rachat d'Aldebaran Robotics, peuvent bénéficier directement de ce module open-source pour prolonger la durée de vie de leurs plateformes et exécuter des modèles modernes de perception et de traitement du langage sans investissement dans une nouvelle plateforme.

RecherchePaper

1 source