RecherchearXiv cs.RO 26 août 2026

Détection du glissement et classification des matériaux par transformeurs spatiotemporels sur capteur visuo-tactile à éclairage uniforme

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent, dans un article déposé sur arXiv (référence 2608.24162v1), un nouveau capteur visuo-tactile à éclairage RGB uniforme personnalisé, associé à un framework de perception unifié pour la détection de glissement en manipulation robotique. Le capteur assure une reconstruction de profondeur sub-millimétrique et a servi à constituer un jeu de données multi-tâches portant sur 15 objets, avec génération synchronisée de données de profondeur pour chaque échantillon. Côté algorithme, l'équipe a développé un réseau TimeSformer à double tête pour traiter les signaux spatiotemporels de glissement dynamique. Sur des objets jamais vus à l'entraînement, le système atteint 95,5% de précision pour prédire l'état de contact (3 classes) et 91,5% pour classifier finement la direction du glissement (8 classes). Un second module, basé sur un backbone ResNet-50 et dédié à la reconnaissance statique de matériaux, atteint 98,8% de précision sur les 15 catégories d'objets testées.

Cette approche comble une lacune concrète des jeux de données de glissement existants, généralement limités à une classification binaire glissement ou non, sans indication de direction. Pour un préhenseur robotique, connaître la direction du glissement, et pas seulement sa présence, permet d'ajuster en temps réel la force de préhension ou la trajectoire, un enjeu clé pour manipuler des objets fragiles ou de formes irrégulières. L'éclairage uniforme corrige aussi un défaut classique des capteurs tactiles à base de caméra, où zones d'ombre et surexposition dégradent la reconstruction de profondeur et donc la fiabilité des signaux exploités par les modèles. Pour les intégrateurs de mains et de préhenseurs adaptatifs, cette perception fine du glissement combinée à une reconnaissance de matériau en temps réel ouvre la voie à des stratégies de regrasping plus robustes, sans capteur de force dédié supplémentaire.

Le travail s'inscrit dans la lignée des capteurs tactiles visuo-based, où une caméra interne observe la déformation d'une membrane élastique, une famille d'approches déjà répandue en recherche mais dont les jeux de données publics restaient jusqu'ici peu granulaires sur le glissement. En combinant matériel (éclairage uniforme, profondeur sub-millimétrique) et logiciel (TimeSformer, ResNet-50), les auteurs présentent leur système comme une base de référence multi-modale pour de futurs travaux de manipulation robotique complexe, plutôt que comme un produit prêt à déployer. L'article, publié en pré-print sur arXiv fin août 2026, ne mentionne ni intégration sur une main ou un bras robotique commercial, ni partenariat industriel; sa portée reste à confirmer par des essais en conditions réelles au-delà du laboratoire et des 15 objets testés.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

SlipSense : détection du glissement en temps réel pour robots à pattes par capteurs multimodaux

Des chercheurs ont publié SlipSense, un système de détection de glissement en ligne pour robots à pattes, présenté le 24 juin 2026 sur arXiv (2606.24350). Le cadre repose sur un pied sensorisé léger et personnalisé monté sur un quadrupède Unitree Go1, couplé à un modèle LSTM qui infère les forces de réaction au sol en temps réel. Le système détecte les glissements en phase initiale -- avant toute instabilité irréversible -- avec un déplacement moyen de 24,1 ± 6,4 mm, pour une précision globale de 85,9 %. Comparé à la baseline cinématique standard (vitesse du pied estimée par odométrie d'état), SlipSense offre une résolution de détection 3,3 fois plus fine et une amélioration relative de 24 % en précision. Les tests ont été réalisés sur terrains glissants en mode aveugle, c'est-à-dire sans caméra ni information extéroceptive. L'intérêt opérationnel est clair : les méthodes proprioceptives classiques ratent les micro-glissements précoces parce qu'elles mesurent des effets cinématiques qui n'apparaissent qu'une fois le glissement déjà engagé. SlipSense anticipe ce seuil en exploitant directement les forces d'interaction sol-pied, ce qui ouvre la voie à une adaptation de démarche en temps réel -- ajustement des contraintes du contrôleur, estimation du coefficient de friction local, modification de la posture avant la chute. Pour les intégrateurs qui déploient des quadrupèdes sur sols industriels humides ou extérieurs enneigés, c'est un signal précurseur exploitable là où les encodeurs seuls échouent. Le Unitree Go1 est l'un des quadrupèdes les plus accessibles du marché, ce qui confère à cette publication une portée pratique au-delà du laboratoire. Les approches concurrentes en détection de glissement s'appuient majoritairement sur des IMU, des modèles de contact analytiques ou des réseaux entraînés sur simulation -- le sim-to-real restant un obstacle connu. SlipSense fait le pari opposé : capteur physique dédié et entraînement sur données réelles. Les auteurs positionnent explicitement ces travaux comme fondation pour des contrôleurs adaptatifs force-aware à venir, avec comme prochaine étape naturelle l'estimation en ligne de la friction et l'intégration dans une boucle de commande locomotion complète.

RecherchePaper

1 source

2arXiv cs.RO

Capteur tactile déformable en main avec détection intégrée du glissement, de la vitesse, force/couple et carte de pression

Une équipe de chercheurs présente sur arXiv (preprint 2606.11952, juin 2026) un capteur tactile compact pour la manipulation en main, capable d'intégrer simultanément trois modalités : mesure de vitesse de glissement, force/couple et cartographie de pression, dans un seul dispositif à surface de contact déformable. Le capteur fonctionne sur des géométries planes et courbées pour une large gamme de matériaux. Sa fabrication combine des circuits imprimés standard (PCB) et du prototypage rapide, visant un coût de production bas. Réunir détection de glissement (slip-aware), force/couple et carte de pression dans une seule structure compliante simplifie l'intégration pour les grippers industriels et les mains humanoïdes, qui recourent aujourd'hui à plusieurs capteurs distincts. Cette consolidation réduit la complexité mécanique, les points de défaillance et le câblage embarqué, trois obstacles courants à la commercialisation des robots manipulateurs. Les auteurs affirment être les premiers à combiner ces modalités dans une structure unique ; cette revendication de priorité, portée par un preprint non encore relu par les pairs, reste à confirmer. Le champ des capteurs tactiles souples est animé depuis une décennie par des travaux comme GelSight (MIT), DIGIT (Meta AI Research) et les solutions commerciales de Xela Robotics ou Touchlab. La détection de glissement reste un défi ouvert, directement lié à la fiabilité des saisies en manipulation dynamique. Ce preprint ne documente pas encore d'intégration sur un robot réel ni de tests en conditions industrielles. Les prochaines étapes naturelles seraient une validation sur gripper ou main humanoïde, suivie d'une soumission en conférence robotique (ICRA, IROS ou RSS).

RecherchePaper

1 source

3arXiv cs.RO

Estimation dense des forces par capteur tactile optique à événements

Des chercheurs ont présenté sur arXiv (arXiv:2606.09451) le premier framework de reconstruction dense de champ de force 3D à partir d'un capteur tactile optique à événements. L'approche combine deux modules complémentaires : un algorithme de suivi de marqueurs basé sur les événements pour estimer les déplacements de cisaillement (axes X et Y), et un réseau de neurones convolutif entraîné sur un jeu de données synchronisées force-déplacement-événements pour prédire les déplacements normaux (axe Z). Ces déplacements de surface sont ensuite convertis en forces via la méthode des éléments finis inverse (iFEM). Les performances mesurées atteignent une erreur absolue moyenne de 0,14 N, 0,10 N et 0,93 N sur des plages de force respectives de 4 N, 4 N et 20 N, avec une fréquence de traitement moyenne de 100 Hz. Ce résultat comble une lacune importante dans la perception tactile robotique. Les capteurs tactiles à base de caméra conventionnelle, comme le GelSight du MIT ou le DIGIT de Meta AI, permettent déjà une estimation dense des forces, mais butent sur les limites de framerate des capteurs CMOS, le flou de mouvement lors de contacts dynamiques rapides, et la bande passante nécessaire au transfert d'images. Les capteurs à événements, d'inspiration neuromorphique, contournent ces contraintes avec une résolution temporelle à la microseconde et un encodage asynchrone des variations de luminosité. Jusqu'ici, leur usage en tactile était restreint à la prédiction de forces nettes scalaires, sans distribution spatiale. Le framework présenté ouvre la voie à un retour de force géométriquement dense à haute fréquence, condition nécessaire pour des boucles de contrôle en préhension dextre réactive. La manipulation dextre reste l'un des problèmes ouverts les plus difficiles de la robotique, précisément parce que le toucher humain exploite simultanément la densité spatiale, la sensibilité à la géométrie de contact et la résolution temporelle fine. Le paysage des capteurs tactiles intelligents s'est structuré autour de deux familles : les capteurs visuels élastomère (GelSight, DIGIT, Finger Vision, Tactip) et les capteurs neuromorphiques à événements, encore peu exploités pour la reconstruction de champ. Ce travail constitue une première étape de preuve de concept ; les auteurs ciblent explicitement l'intégration dans des pipelines de contrôle haute fréquence pour la préhension robotique et la manipulation, sans annoncer de plateforme ou de timeline de déploiement précise.

RecherchePaper

1 source

4arXiv cs.RO

TransDex : pré-entraînement d'une politique visuo-tactile par reconstruction de nuage de points pour la manipulation dextérique d'objets transparents

Des chercheurs présentent TransDex, une politique de contrôle moteur pour mains robotiques dextres capable de manipuler des objets transparents, un défi connu où la transparence provoque un bruit de profondeur sévère et une perte d'information 3D pour les capteurs optiques classiques. La méthode repose sur un pré-entraînement auto-supervisé par reconstruction de nuages de points, basé sur une architecture Transformer, qui reconstruit la structure 3D d'un objet à partir des points de contact générés par les doigts de la main robotique en interaction, même en présence de bruit aléatoire ajouté et d'un masquage à grande échelle des données d'entrée. Sur cette base pré-entraînée, TransDex ajoute un encodage perceptif hiérarchique fin et un mécanisme d'attention multi-tours qui fusionne de façon adaptative les caractéristiques du bras robotique et de la main dextre, permettant une prédiction de mouvement différenciée entre les deux systèmes. Les auteurs valident l'approche par des expériences de manipulation d'objets transparents sur un système robotique réel, où TransDex surpasse les méthodes de référence existantes, avec des analyses complémentaires portant sur la généralisation du modèle et la contribution de chaque composant. L'enjeu dépasse la simple prouesse académique: la manipulation d'objets transparents ou réfléchissants reste l'un des points faibles récurrents des politiques de manipulation dextre basées uniquement sur la vision, un problème très concret pour les intégrateurs industriels confrontés à des verres, flacons, emballages plastiques ou pièces en verre sur les lignes de production et en logistique. En s'appuyant sur le tactile en complément du visuel plutôt que sur la seule reconstruction de profondeur optique, TransDex illustre une tendance de fond dans la recherche en manipulation dextre: les fusions visuo-tactiles gagnent du terrain là où les approches purement basées vision (type VLA ou reconstruction RGB-D) échouent sur les surfaces transparentes ou spéculaires. Cela dit, il s'agit d'un résultat de laboratoire sur banc réel, pas d'un déploiement industriel: les auteurs eux-mêmes cadrent leurs résultats comme une validation de généralisation et de composants, sans indication de volumes de test, de taux de succès chiffré ni de comparaison sur objets industriels standardisés, ce qui appelle à la prudence sur la portée réelle des gains annoncés face aux baselines. Le papier s'inscrit dans la lignée des travaux combinant pré-entraînement auto-supervisé et manipulation dextre multi-doigts, un axe de recherche actif depuis l'essor des politiques visuo-tactiles pour la robotique de préhension fine, à côté d'approches comme les VLA génériques (Pi-0, GR00T N2, Helix) qui misent principalement sur la vision et le langage sans traitement dédié à la transparence. La publication, une version révisée (v2) d'un prétirage arXiv, ne mentionne pas d'acteur industriel ni de laboratoire commercial associé, ce qui la positionne comme une contribution de recherche fondamentale plutôt qu'une annonce produit; aucune timeline de transfert vers un système commercial ou un pilote industriel n'est indiquée à ce stade.

RecherchePaper

1 source