RecherchearXiv cs.RO 26 août 2026

Détection du glissement et classification des matériaux par transformeurs spatiotemporels sur capteur visuo-tactile à éclairage uniforme

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent, dans un article déposé sur arXiv (référence 2608.24162v1), un nouveau capteur visuo-tactile à éclairage RGB uniforme personnalisé, associé à un framework de perception unifié pour la détection de glissement en manipulation robotique. Le capteur assure une reconstruction de profondeur sub-millimétrique et a servi à constituer un jeu de données multi-tâches portant sur 15 objets, avec génération synchronisée de données de profondeur pour chaque échantillon. Côté algorithme, l'équipe a développé un réseau TimeSformer à double tête pour traiter les signaux spatiotemporels de glissement dynamique. Sur des objets jamais vus à l'entraînement, le système atteint 95,5% de précision pour prédire l'état de contact (3 classes) et 91,5% pour classifier finement la direction du glissement (8 classes). Un second module, basé sur un backbone ResNet-50 et dédié à la reconnaissance statique de matériaux, atteint 98,8% de précision sur les 15 catégories d'objets testées.

Cette approche comble une lacune concrète des jeux de données de glissement existants, généralement limités à une classification binaire glissement ou non, sans indication de direction. Pour un préhenseur robotique, connaître la direction du glissement, et pas seulement sa présence, permet d'ajuster en temps réel la force de préhension ou la trajectoire, un enjeu clé pour manipuler des objets fragiles ou de formes irrégulières. L'éclairage uniforme corrige aussi un défaut classique des capteurs tactiles à base de caméra, où zones d'ombre et surexposition dégradent la reconstruction de profondeur et donc la fiabilité des signaux exploités par les modèles. Pour les intégrateurs de mains et de préhenseurs adaptatifs, cette perception fine du glissement combinée à une reconnaissance de matériau en temps réel ouvre la voie à des stratégies de regrasping plus robustes, sans capteur de force dédié supplémentaire.

Le travail s'inscrit dans la lignée des capteurs tactiles visuo-based, où une caméra interne observe la déformation d'une membrane élastique, une famille d'approches déjà répandue en recherche mais dont les jeux de données publics restaient jusqu'ici peu granulaires sur le glissement. En combinant matériel (éclairage uniforme, profondeur sub-millimétrique) et logiciel (TimeSformer, ResNet-50), les auteurs présentent leur système comme une base de référence multi-modale pour de futurs travaux de manipulation robotique complexe, plutôt que comme un produit prêt à déployer. L'article, publié en pré-print sur arXiv fin août 2026, ne mentionne ni intégration sur une main ou un bras robotique commercial, ni partenariat industriel; sa portée reste à confirmer par des essais en conditions réelles au-delà du laboratoire et des 15 objets testés.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

SlipSense : détection du glissement en temps réel pour robots à pattes par capteurs multimodaux

Des chercheurs ont publié SlipSense, un système de détection de glissement en ligne pour robots à pattes, présenté le 24 juin 2026 sur arXiv (2606.24350). Le cadre repose sur un pied sensorisé léger et personnalisé monté sur un quadrupède Unitree Go1, couplé à un modèle LSTM qui infère les forces de réaction au sol en temps réel. Le système détecte les glissements en phase initiale -- avant toute instabilité irréversible -- avec un déplacement moyen de 24,1 ± 6,4 mm, pour une précision globale de 85,9 %. Comparé à la baseline cinématique standard (vitesse du pied estimée par odométrie d'état), SlipSense offre une résolution de détection 3,3 fois plus fine et une amélioration relative de 24 % en précision. Les tests ont été réalisés sur terrains glissants en mode aveugle, c'est-à-dire sans caméra ni information extéroceptive. L'intérêt opérationnel est clair : les méthodes proprioceptives classiques ratent les micro-glissements précoces parce qu'elles mesurent des effets cinématiques qui n'apparaissent qu'une fois le glissement déjà engagé. SlipSense anticipe ce seuil en exploitant directement les forces d'interaction sol-pied, ce qui ouvre la voie à une adaptation de démarche en temps réel -- ajustement des contraintes du contrôleur, estimation du coefficient de friction local, modification de la posture avant la chute. Pour les intégrateurs qui déploient des quadrupèdes sur sols industriels humides ou extérieurs enneigés, c'est un signal précurseur exploitable là où les encodeurs seuls échouent. Le Unitree Go1 est l'un des quadrupèdes les plus accessibles du marché, ce qui confère à cette publication une portée pratique au-delà du laboratoire. Les approches concurrentes en détection de glissement s'appuient majoritairement sur des IMU, des modèles de contact analytiques ou des réseaux entraînés sur simulation -- le sim-to-real restant un obstacle connu. SlipSense fait le pari opposé : capteur physique dédié et entraînement sur données réelles. Les auteurs positionnent explicitement ces travaux comme fondation pour des contrôleurs adaptatifs force-aware à venir, avec comme prochaine étape naturelle l'estimation en ligne de la friction et l'intégration dans une boucle de commande locomotion complète.

RecherchePaper

1 source

2arXiv cs.RO

Capteur tactile déformable en main avec détection intégrée du glissement, de la vitesse, force/couple et carte de pression

Une équipe de chercheurs présente sur arXiv (preprint 2606.11952, juin 2026) un capteur tactile compact pour la manipulation en main, capable d'intégrer simultanément trois modalités : mesure de vitesse de glissement, force/couple et cartographie de pression, dans un seul dispositif à surface de contact déformable. Le capteur fonctionne sur des géométries planes et courbées pour une large gamme de matériaux. Sa fabrication combine des circuits imprimés standard (PCB) et du prototypage rapide, visant un coût de production bas. Réunir détection de glissement (slip-aware), force/couple et carte de pression dans une seule structure compliante simplifie l'intégration pour les grippers industriels et les mains humanoïdes, qui recourent aujourd'hui à plusieurs capteurs distincts. Cette consolidation réduit la complexité mécanique, les points de défaillance et le câblage embarqué, trois obstacles courants à la commercialisation des robots manipulateurs. Les auteurs affirment être les premiers à combiner ces modalités dans une structure unique ; cette revendication de priorité, portée par un preprint non encore relu par les pairs, reste à confirmer. Le champ des capteurs tactiles souples est animé depuis une décennie par des travaux comme GelSight (MIT), DIGIT (Meta AI Research) et les solutions commerciales de Xela Robotics ou Touchlab. La détection de glissement reste un défi ouvert, directement lié à la fiabilité des saisies en manipulation dynamique. Ce preprint ne documente pas encore d'intégration sur un robot réel ni de tests en conditions industrielles. Les prochaines étapes naturelles seraient une validation sur gripper ou main humanoïde, suivie d'une soumission en conférence robotique (ICRA, IROS ou RSS).

RecherchePaper

1 source

3arXiv cs.RO

SlipSense : apprentissage tactile multimodal pour une détection du glissement rapide et généralisée

SlipSense, système tactile multimodal de détection de glissement pour la manipulation robotique, est présenté dans un préprint publié sur arXiv en septembre 2026. Le framework s'appuie sur TacV5, un capteur combinant une matrice piézorésistive 32x32 échantillonnée à 240 Hz pour la pression et un accéléromètre MEMS 3 axes à 8 kHz pour les vibrations de frottement, les deux flux étant fusionnés par attention croisée avec prédiction temporelle causale à 240 Hz. Sur un jeu de données de 1,4 million de frames couvrant 37 objets, SlipSense atteint 96,7% de Macro F1, un taux de faux positifs sous 1,6%, et détecte 76% des événements de glissement en moins de 23,1 millisecondes. Entraîné uniquement sur des données collectées via UMI, il généralise en zero-shot à une main robotique dextre Tesollo, sur des objets, capteurs et plateformes inédits, sans réentraînement. La détection de glissement conditionne directement la robustesse de la préhension dextre, et deux faiblesses freinent habituellement l'industrialisation de ce type de système : une latence mal caractérisée et l'impossibilité de transférer un modèle d'un capteur ou d'une plateforme à l'autre sans réentraînement coûteux. En documentant un temps de détection de 23,1 ms et en démontrant un transfert zero-shot entre données UMI et main Tesollo, SlipSense s'attaque à l'écart classique entre démonstration en laboratoire et généralisation réelle, un problème récurrent aussi bien pour les capteurs tactiles que pour les modèles VLA. Pour les intégrateurs de mains et préhenseurs robotiques, un capteur et un modèle portables d'une plateforme à l'autre réduirait le coût d'intégration du toucher artificiel, aujourd'hui un frein réel. Une nuance mérite d'être gardée en tête : le taux de détection de 76% dans la fenêtre de 23,1 ms laisse un quart des glissements repérés plus tard ou hors délai. Le travail s'inscrit dans la recherche sur le toucher artificiel, où l'enjeu central est de combiner plusieurs modalités tactiles sans dégrader la latence de contrôle en boucle fermée. Le recours à UMI, interface de collecte de démonstrations agnostique au robot, dissocie l'apprentissage du capteur de la plateforme finale, ce qui explique le transfert réussi vers la main Tesollo. Signalé comme nouveau préprint sur arXiv, SlipSense reste à ce stade un travail de recherche, sans partenariat commercial ni disponibilité annoncée du capteur TacV5 hors du laboratoire à l'origine de l'étude. Les suites attendues pour ce type de travaux sont classiquement l'évaluation sur des tâches de manipulation complètes plutôt que sur la seule détection isolée, et l'extension du transfert zero-shot à d'autres familles de capteurs tactiles.

RecherchePaper

1 source

4arXiv cs.RO

Estimation dense des forces par capteur tactile optique à événements

Des chercheurs ont présenté sur arXiv (arXiv:2606.09451) le premier framework de reconstruction dense de champ de force 3D à partir d'un capteur tactile optique à événements. L'approche combine deux modules complémentaires : un algorithme de suivi de marqueurs basé sur les événements pour estimer les déplacements de cisaillement (axes X et Y), et un réseau de neurones convolutif entraîné sur un jeu de données synchronisées force-déplacement-événements pour prédire les déplacements normaux (axe Z). Ces déplacements de surface sont ensuite convertis en forces via la méthode des éléments finis inverse (iFEM). Les performances mesurées atteignent une erreur absolue moyenne de 0,14 N, 0,10 N et 0,93 N sur des plages de force respectives de 4 N, 4 N et 20 N, avec une fréquence de traitement moyenne de 100 Hz. Ce résultat comble une lacune importante dans la perception tactile robotique. Les capteurs tactiles à base de caméra conventionnelle, comme le GelSight du MIT ou le DIGIT de Meta AI, permettent déjà une estimation dense des forces, mais butent sur les limites de framerate des capteurs CMOS, le flou de mouvement lors de contacts dynamiques rapides, et la bande passante nécessaire au transfert d'images. Les capteurs à événements, d'inspiration neuromorphique, contournent ces contraintes avec une résolution temporelle à la microseconde et un encodage asynchrone des variations de luminosité. Jusqu'ici, leur usage en tactile était restreint à la prédiction de forces nettes scalaires, sans distribution spatiale. Le framework présenté ouvre la voie à un retour de force géométriquement dense à haute fréquence, condition nécessaire pour des boucles de contrôle en préhension dextre réactive. La manipulation dextre reste l'un des problèmes ouverts les plus difficiles de la robotique, précisément parce que le toucher humain exploite simultanément la densité spatiale, la sensibilité à la géométrie de contact et la résolution temporelle fine. Le paysage des capteurs tactiles intelligents s'est structuré autour de deux familles : les capteurs visuels élastomère (GelSight, DIGIT, Finger Vision, Tactip) et les capteurs neuromorphiques à événements, encore peu exploités pour la reconstruction de champ. Ce travail constitue une première étape de preuve de concept ; les auteurs ciblent explicitement l'intégration dans des pipelines de contrôle haute fréquence pour la préhension robotique et la manipulation, sans annoncer de plateforme ou de timeline de déploiement précise.

RecherchePaper

1 source