RecherchearXiv cs.RO 26 août 2026

Détection du glissement et classification des matériaux par transformeurs spatiotemporels sur capteur visuo-tactile à éclairage uniforme

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent, dans un article déposé sur arXiv (référence 2608.24162v1), un nouveau capteur visuo-tactile à éclairage RGB uniforme personnalisé, associé à un framework de perception unifié pour la détection de glissement en manipulation robotique. Le capteur assure une reconstruction de profondeur sub-millimétrique et a servi à constituer un jeu de données multi-tâches portant sur 15 objets, avec génération synchronisée de données de profondeur pour chaque échantillon. Côté algorithme, l'équipe a développé un réseau TimeSformer à double tête pour traiter les signaux spatiotemporels de glissement dynamique. Sur des objets jamais vus à l'entraînement, le système atteint 95,5% de précision pour prédire l'état de contact (3 classes) et 91,5% pour classifier finement la direction du glissement (8 classes). Un second module, basé sur un backbone ResNet-50 et dédié à la reconnaissance statique de matériaux, atteint 98,8% de précision sur les 15 catégories d'objets testées.

Cette approche comble une lacune concrète des jeux de données de glissement existants, généralement limités à une classification binaire glissement ou non, sans indication de direction. Pour un préhenseur robotique, connaître la direction du glissement, et pas seulement sa présence, permet d'ajuster en temps réel la force de préhension ou la trajectoire, un enjeu clé pour manipuler des objets fragiles ou de formes irrégulières. L'éclairage uniforme corrige aussi un défaut classique des capteurs tactiles à base de caméra, où zones d'ombre et surexposition dégradent la reconstruction de profondeur et donc la fiabilité des signaux exploités par les modèles. Pour les intégrateurs de mains et de préhenseurs adaptatifs, cette perception fine du glissement combinée à une reconnaissance de matériau en temps réel ouvre la voie à des stratégies de regrasping plus robustes, sans capteur de force dédié supplémentaire.

Le travail s'inscrit dans la lignée des capteurs tactiles visuo-based, où une caméra interne observe la déformation d'une membrane élastique, une famille d'approches déjà répandue en recherche mais dont les jeux de données publics restaient jusqu'ici peu granulaires sur le glissement. En combinant matériel (éclairage uniforme, profondeur sub-millimétrique) et logiciel (TimeSformer, ResNet-50), les auteurs présentent leur système comme une base de référence multi-modale pour de futurs travaux de manipulation robotique complexe, plutôt que comme un produit prêt à déployer. L'article, publié en pré-print sur arXiv fin août 2026, ne mentionne ni intégration sur une main ou un bras robotique commercial, ni partenariat industriel; sa portée reste à confirmer par des essais en conditions réelles au-delà du laboratoire et des 15 objets testés.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

SlipSense : détection du glissement en temps réel pour robots à pattes par capteurs multimodaux

Des chercheurs ont publié SlipSense, un système de détection de glissement en ligne pour robots à pattes, présenté le 24 juin 2026 sur arXiv (2606.24350). Le cadre repose sur un pied sensorisé léger et personnalisé monté sur un quadrupède Unitree Go1, couplé à un modèle LSTM qui infère les forces de réaction au sol en temps réel. Le système détecte les glissements en phase initiale -- avant toute instabilité irréversible -- avec un déplacement moyen de 24,1 ± 6,4 mm, pour une précision globale de 85,9 %. Comparé à la baseline cinématique standard (vitesse du pied estimée par odométrie d'état), SlipSense offre une résolution de détection 3,3 fois plus fine et une amélioration relative de 24 % en précision. Les tests ont été réalisés sur terrains glissants en mode aveugle, c'est-à-dire sans caméra ni information extéroceptive. L'intérêt opérationnel est clair : les méthodes proprioceptives classiques ratent les micro-glissements précoces parce qu'elles mesurent des effets cinématiques qui n'apparaissent qu'une fois le glissement déjà engagé. SlipSense anticipe ce seuil en exploitant directement les forces d'interaction sol-pied, ce qui ouvre la voie à une adaptation de démarche en temps réel -- ajustement des contraintes du contrôleur, estimation du coefficient de friction local, modification de la posture avant la chute. Pour les intégrateurs qui déploient des quadrupèdes sur sols industriels humides ou extérieurs enneigés, c'est un signal précurseur exploitable là où les encodeurs seuls échouent. Le Unitree Go1 est l'un des quadrupèdes les plus accessibles du marché, ce qui confère à cette publication une portée pratique au-delà du laboratoire. Les approches concurrentes en détection de glissement s'appuient majoritairement sur des IMU, des modèles de contact analytiques ou des réseaux entraînés sur simulation -- le sim-to-real restant un obstacle connu. SlipSense fait le pari opposé : capteur physique dédié et entraînement sur données réelles. Les auteurs positionnent explicitement ces travaux comme fondation pour des contrôleurs adaptatifs force-aware à venir, avec comme prochaine étape naturelle l'estimation en ligne de la friction et l'intégration dans une boucle de commande locomotion complète.

RecherchePaper

1 source

2arXiv cs.RO

SAFE : détection unifiée du glissement et de la rupture par capteur acoustique à bas coût pour la préhension robotique

Des chercheurs présentent SAFE, un système de détection de glissement et de rupture pour la préhension robotique, publié sur arXiv (2610.08802v1). Il repose sur deux capteurs acoustiques passifs en polyfluorure de vinylidène (PVDF), peu coûteux, montés sur une pince souple de type Fin Ray, et sur la proprioception du moteur (le retour interne de position et d'effort). Il n'utilise ni vision ni connaissance préalable du matériau. Un classifieur HistGradientBoosting unique reçoit un vecteur de 79 caractéristiques et renvoie l'un de trois états : normal, glissement ou rupture. En validation croisée « leave-one-grasp-out », où chaque prise est testée sans avoir été vue à l'entraînement, il atteint un Alert-F1 de 0,884, avec une confusion quasi nulle entre glissement et rupture. Des ablations montrent que le canal acoustique est indispensable. Le contrôleur de préhension adaptatif construit sur cette détection tourne à 104 Hz sur un Jetson Orin Nano. Il réussit 91,3 % de 46 essais robotiques en boucle fermée sur diverses catégories d'objets, et 82,4 % sur des objets inconnus à l'entraînement. Pour les intégrateurs et les équipes de manipulation, l'intérêt tient à la détection d'événements que ni la vision ni les capteurs de force classiques ne saisissent bien. Une microfissure ou un glissement naissant produit une signature vibratoire que des capteurs piézoélectriques bon marché captent à haute fréquence. Le résultat le plus parlant est la comparaison avec les stratégies à force fixe : chacune tombe à 0 % de réussite sur les objets dont les propriétés ne correspondent pas à son réglage. Cela rappelle qu'une force de serrage prédéfinie ne généralise pas, alors que l'agroalimentaire, la logistique de produits variés ou la manipulation de verrerie exigent justement de la tolérance à l'inconnu. Le fait que le système fonctionne sans étalonnage par objet, sur du matériel embarqué d'entrée de gamme, abaisse aussi la barrière d'adoption. Il faut toutefois relativiser. Il s'agit d'un préprint, non évalué par les pairs. L'échantillon de 46 essais est modeste, et le taux de 82,4 % sur objets nouveaux laisse environ une prise sur cinq mal gérée, ce qui reste loin des exigences de production. Le papier ne détaille pas ici la diversité des objets ni la robustesse au bruit ambiant d'un atelier, deux points qui décideront de la transposition industrielle. Ces travaux s'inscrivent dans la recherche sur le toucher robotique, où dominent les capteurs tactiles optiques de type GelSight ou DIGIT et les peaux à réseaux de pressions, souvent plus riches mais plus coûteux, plus fragiles et plus lourds en calcul. Les grands modèles de manipulation de type VLA (vision-langage-action), que développent Figure, Physical Intelligence ou Nvidia, restent surtout pilotés par la vision, et leur intégration d'un retour tactile haute fréquence demeure un chantier ouvert. SAFE propose une couche réflexe légère, qui pourrait se placer sous un tel modèle de haut niveau. Les prochaines étapes naturelles sont le test sur des pinces industrielles et des mains multi-doigts, la validation sur des cadences et un bruit réalistes, et la publication du code et des données pour permettre la reproduction. Aucun calendrier de pilote ni partenaire industriel n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Capteur tactile déformable en main avec détection intégrée du glissement, de la vitesse, force/couple et carte de pression

Une équipe de chercheurs présente sur arXiv (preprint 2606.11952, juin 2026) un capteur tactile compact pour la manipulation en main, capable d'intégrer simultanément trois modalités : mesure de vitesse de glissement, force/couple et cartographie de pression, dans un seul dispositif à surface de contact déformable. Le capteur fonctionne sur des géométries planes et courbées pour une large gamme de matériaux. Sa fabrication combine des circuits imprimés standard (PCB) et du prototypage rapide, visant un coût de production bas. Réunir détection de glissement (slip-aware), force/couple et carte de pression dans une seule structure compliante simplifie l'intégration pour les grippers industriels et les mains humanoïdes, qui recourent aujourd'hui à plusieurs capteurs distincts. Cette consolidation réduit la complexité mécanique, les points de défaillance et le câblage embarqué, trois obstacles courants à la commercialisation des robots manipulateurs. Les auteurs affirment être les premiers à combiner ces modalités dans une structure unique ; cette revendication de priorité, portée par un preprint non encore relu par les pairs, reste à confirmer. Le champ des capteurs tactiles souples est animé depuis une décennie par des travaux comme GelSight (MIT), DIGIT (Meta AI Research) et les solutions commerciales de Xela Robotics ou Touchlab. La détection de glissement reste un défi ouvert, directement lié à la fiabilité des saisies en manipulation dynamique. Ce preprint ne documente pas encore d'intégration sur un robot réel ni de tests en conditions industrielles. Les prochaines étapes naturelles seraient une validation sur gripper ou main humanoïde, suivie d'une soumission en conférence robotique (ICRA, IROS ou RSS).

RecherchePaper

1 source

4arXiv cs.RO

SlipSense : apprentissage tactile multimodal pour une détection du glissement rapide et généralisée

SlipSense, système tactile multimodal de détection de glissement pour la manipulation robotique, est présenté dans un préprint publié sur arXiv en septembre 2026. Le framework s'appuie sur TacV5, un capteur combinant une matrice piézorésistive 32x32 échantillonnée à 240 Hz pour la pression et un accéléromètre MEMS 3 axes à 8 kHz pour les vibrations de frottement, les deux flux étant fusionnés par attention croisée avec prédiction temporelle causale à 240 Hz. Sur un jeu de données de 1,4 million de frames couvrant 37 objets, SlipSense atteint 96,7% de Macro F1, un taux de faux positifs sous 1,6%, et détecte 76% des événements de glissement en moins de 23,1 millisecondes. Entraîné uniquement sur des données collectées via UMI, il généralise en zero-shot à une main robotique dextre Tesollo, sur des objets, capteurs et plateformes inédits, sans réentraînement. La détection de glissement conditionne directement la robustesse de la préhension dextre, et deux faiblesses freinent habituellement l'industrialisation de ce type de système : une latence mal caractérisée et l'impossibilité de transférer un modèle d'un capteur ou d'une plateforme à l'autre sans réentraînement coûteux. En documentant un temps de détection de 23,1 ms et en démontrant un transfert zero-shot entre données UMI et main Tesollo, SlipSense s'attaque à l'écart classique entre démonstration en laboratoire et généralisation réelle, un problème récurrent aussi bien pour les capteurs tactiles que pour les modèles VLA. Pour les intégrateurs de mains et préhenseurs robotiques, un capteur et un modèle portables d'une plateforme à l'autre réduirait le coût d'intégration du toucher artificiel, aujourd'hui un frein réel. Une nuance mérite d'être gardée en tête : le taux de détection de 76% dans la fenêtre de 23,1 ms laisse un quart des glissements repérés plus tard ou hors délai. Le travail s'inscrit dans la recherche sur le toucher artificiel, où l'enjeu central est de combiner plusieurs modalités tactiles sans dégrader la latence de contrôle en boucle fermée. Le recours à UMI, interface de collecte de démonstrations agnostique au robot, dissocie l'apprentissage du capteur de la plateforme finale, ce qui explique le transfert réussi vers la main Tesollo. Signalé comme nouveau préprint sur arXiv, SlipSense reste à ce stade un travail de recherche, sans partenariat commercial ni disponibilité annoncée du capteur TacV5 hors du laboratoire à l'origine de l'étude. Les suites attendues pour ce type de travaux sont classiquement l'évaluation sur des tâches de manipulation complètes plutôt que sur la seule détection isolée, et l'extension du transfert zero-shot à d'autres familles de capteurs tactiles.

RecherchePaper

1 source