RecherchearXiv cs.RO 15 septembre 2026

SlipSense : apprentissage tactile multimodal pour une détection du glissement rapide et généralisée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

SlipSense, système tactile multimodal de détection de glissement pour la manipulation robotique, est présenté dans un préprint publié sur arXiv en septembre 2026. Le framework s'appuie sur TacV5, un capteur combinant une matrice piézorésistive 32x32 échantillonnée à 240 Hz pour la pression et un accéléromètre MEMS 3 axes à 8 kHz pour les vibrations de frottement, les deux flux étant fusionnés par attention croisée avec prédiction temporelle causale à 240 Hz. Sur un jeu de données de 1,4 million de frames couvrant 37 objets, SlipSense atteint 96,7% de Macro F1, un taux de faux positifs sous 1,6%, et détecte 76% des événements de glissement en moins de 23,1 millisecondes. Entraîné uniquement sur des données collectées via UMI, il généralise en zero-shot à une main robotique dextre Tesollo, sur des objets, capteurs et plateformes inédits, sans réentraînement.

La détection de glissement conditionne directement la robustesse de la préhension dextre, et deux faiblesses freinent habituellement l'industrialisation de ce type de système : une latence mal caractérisée et l'impossibilité de transférer un modèle d'un capteur ou d'une plateforme à l'autre sans réentraînement coûteux. En documentant un temps de détection de 23,1 ms et en démontrant un transfert zero-shot entre données UMI et main Tesollo, SlipSense s'attaque à l'écart classique entre démonstration en laboratoire et généralisation réelle, un problème récurrent aussi bien pour les capteurs tactiles que pour les modèles VLA. Pour les intégrateurs de mains et préhenseurs robotiques, un capteur et un modèle portables d'une plateforme à l'autre réduirait le coût d'intégration du toucher artificiel, aujourd'hui un frein réel. Une nuance mérite d'être gardée en tête : le taux de détection de 76% dans la fenêtre de 23,1 ms laisse un quart des glissements repérés plus tard ou hors délai.

Le travail s'inscrit dans la recherche sur le toucher artificiel, où l'enjeu central est de combiner plusieurs modalités tactiles sans dégrader la latence de contrôle en boucle fermée. Le recours à UMI, interface de collecte de démonstrations agnostique au robot, dissocie l'apprentissage du capteur de la plateforme finale, ce qui explique le transfert réussi vers la main Tesollo. Signalé comme nouveau préprint sur arXiv, SlipSense reste à ce stade un travail de recherche, sans partenariat commercial ni disponibilité annoncée du capteur TacV5 hors du laboratoire à l'origine de l'étude. Les suites attendues pour ce type de travaux sont classiquement l'évaluation sur des tâches de manipulation complètes plutôt que sur la seule détection isolée, et l'extension du transfert zero-shot à d'autres familles de capteurs tactiles.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

SlipSense : détection du glissement en temps réel pour robots à pattes par capteurs multimodaux

Des chercheurs ont publié SlipSense, un système de détection de glissement en ligne pour robots à pattes, présenté le 24 juin 2026 sur arXiv (2606.24350). Le cadre repose sur un pied sensorisé léger et personnalisé monté sur un quadrupède Unitree Go1, couplé à un modèle LSTM qui infère les forces de réaction au sol en temps réel. Le système détecte les glissements en phase initiale -- avant toute instabilité irréversible -- avec un déplacement moyen de 24,1 ± 6,4 mm, pour une précision globale de 85,9 %. Comparé à la baseline cinématique standard (vitesse du pied estimée par odométrie d'état), SlipSense offre une résolution de détection 3,3 fois plus fine et une amélioration relative de 24 % en précision. Les tests ont été réalisés sur terrains glissants en mode aveugle, c'est-à-dire sans caméra ni information extéroceptive. L'intérêt opérationnel est clair : les méthodes proprioceptives classiques ratent les micro-glissements précoces parce qu'elles mesurent des effets cinématiques qui n'apparaissent qu'une fois le glissement déjà engagé. SlipSense anticipe ce seuil en exploitant directement les forces d'interaction sol-pied, ce qui ouvre la voie à une adaptation de démarche en temps réel -- ajustement des contraintes du contrôleur, estimation du coefficient de friction local, modification de la posture avant la chute. Pour les intégrateurs qui déploient des quadrupèdes sur sols industriels humides ou extérieurs enneigés, c'est un signal précurseur exploitable là où les encodeurs seuls échouent. Le Unitree Go1 est l'un des quadrupèdes les plus accessibles du marché, ce qui confère à cette publication une portée pratique au-delà du laboratoire. Les approches concurrentes en détection de glissement s'appuient majoritairement sur des IMU, des modèles de contact analytiques ou des réseaux entraînés sur simulation -- le sim-to-real restant un obstacle connu. SlipSense fait le pari opposé : capteur physique dédié et entraînement sur données réelles. Les auteurs positionnent explicitement ces travaux comme fondation pour des contrôleurs adaptatifs force-aware à venir, avec comme prochaine étape naturelle l'estimation en ligne de la friction et l'intégration dans une boucle de commande locomotion complète.

RecherchePaper

1 source

2arXiv cs.RO

Enseigner et grandir : une architecture centrée agent pour l'apprentissage général des robots

Des chercheurs ont publié sur arXiv (référence 2608.17209v1) une architecture baptisée Teach-and-Grow Learning (TGL), conçue pour l'apprentissage général de robots. Le système repose sur un agent multimodal qui transforme quelques démonstrations réussies en « Skill Blocks », des comportements en boucle fermée couvrant des sous-objectifs précis, stockés dans une Skill Library. Une Experience Memory structurée conserve en parallèle les succès, les échecs et les corrections associées. Face à une nouvelle scène, l'agent sélectionne et combine ces blocs, choisit des outils appris ou géométriques, observe le résultat physique de son action, puis ajuste sa trajectoire si l'exécution s'écarte de l'intention initiale. Sur le benchmark de simulation LIBERO, largement utilisé pour évaluer les politiques robotiques, TGL revendique des résultats à l'état de l'art, avec des études contrôlées montrant l'induction de nouvelles compétences, leur réutilisation persistante et une adaptation pilotée par l'agent, sans réentraînement de politique spécifique à chaque tâche. L'enjeu vise directement ce que les auteurs nomment la « taxe de réentraînement » : dans les modèles VLA (vision-language-action) et les modèles monde-action classiques, dès qu'un objet, un capteur, une morphologie ou un type de contact sort du périmètre validé, corriger l'échec exige de nouvelles données robotiques, une mise à jour de politique et une campagne de tests de non-régression, un cycle coûteux puisque, contrairement au texte, les données robotiques doivent le plus souvent être générées en opérant physiquement des machines. En proposant d'acquérir de nouvelles tâches par composition de compétences réutilisables plutôt que par réentraînement, TGL questionne l'hypothèse dominante selon laquelle la généralisation passe uniquement par des modèles VLA toujours plus gros nourris de plus de données. C'est un signal utile pour les intégrateurs et décideurs qui évaluent le coût réel de déploiement de politiques robotiques. Il faut néanmoins noter que la validation reste cantonnée au benchmark simulé LIBERO, sans déploiement documenté sur robot physique à ce stade. Ce travail s'inscrit dans la vague plus large des modèles fondation pour la robotique, qui inclut des approches VLA de bout en bout comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, conçues pour généraliser directement à partir de données massives sans couche agentique intermédiaire. TGL se positionne en alternative complémentaire, misant sur un agent explicite plutôt que sur l'échelle brute du modèle. Les auteurs avancent aussi une hypothèse de loi d'échelle propre : à mesure que le volume d'expérience réutilisable augmente, l'erreur sur les tâches futures et l'effort d'enseignement nécessaire devraient décroître selon une loi de puissance vers un plancher irréductible, traitant le déploiement comme une période d'apprentissage continu où chaque tâche accomplie facilite la suivante. Aucune date de disponibilité, partenariat industriel ou pilote n'est mentionné, ce travail restant une contribution de recherche publiée en preprint.

RecherchePaper

1 source

3arXiv cs.RO

VT-MUSE : apprentissage séquentiel unifié de représentations visuotactiles multimodales pour la manipulation

Un preprint publié en août 2026 sur arXiv (2608.21290) décrit VT-MUSE, un framework en deux étapes pour l'apprentissage de représentations visuotactiles en manipulation robotique. La première étape aligne conjointement des encodeurs vision et toucher par alignement temporel cross-modal et cohérence sur vues masquées. La seconde combine un modèle latent variationnel conditionnel avec des séquences visuelles partiellement masquées et l'historique tactile complet, via des décodeurs auxiliaires qui reconstruisent les images manquantes et prédisent les variations de profondeur tactile ; la représentation obtenue alimente une politique Transformer légère par attention croisée à portes. Sur le benchmark de simulation retenu, VT-MUSE dépasse la meilleure méthode concurrente de 11 points de pourcentage sur toutes les tâches testées, avec des gains également substantiels en conditions réelles, non chiffrés. Le papier cible un angle mort connu de la manipulation robotique : la plupart des méthodes visuotactiles fusionnent tardivement des flux vision et toucher encodés séparément, limitant les corrélations fines entre modalités, et négligent l'évolution temporelle du contact au profit du seul instant présent. Pour des gestes sensibles comme l'insertion de précision, la préhension d'objets fragiles ou le contrôle de force en assemblage, c'est pourtant cette dynamique dans le temps qui conditionne la réussite du geste. Le résultat conforte l'idée que les politiques d'action de type VLA gagnent en robustesse quand le tact est traité comme un signal temporel structuré, même si le gain de 11 points reste mesuré face à une seule baseline sur un benchmark propre à l'étude, et la validation réelle demeure peu détaillée. VT-MUSE s'inscrit dans une recherche plus large visant à traiter le signal tactile avec la même rigueur temporelle que la vision, aux côtés d'architectures génériques comme Pi-0 ou GR00T N2 qui restent, elles, centrées sur la vision et le langage. Sa contribution tient à l'alignement conjoint des modalités dès l'encodage et à la modélisation explicite de l'historique tactile complet, là où les approches existantes fusionnent des flux traités indépendamment. S'agissant d'un preprint tout juste mis en ligne, la suite logique passe par la publication du code et une évaluation sur des tâches et plateformes robotiques plus variées, préalable à toute adoption par des intégrateurs industriels.

RecherchePaper

1 source

4arXiv cs.RO

Deux par deux : apprentissage multi-tâches de l'assemblage d'objets appariés pour une manipulation robotique généralisable

Des chercheurs publient 2BY2, un jeu de données annoté à grande échelle pour l'assemblage d'objets appariés du quotidien, décrit dans une version révisée d'un article arXiv (2504.06961v2). Il couvre 18 tâches fines inspirées de gestes réels comme brancher une prise, disposer des fleurs dans un vase ou insérer du pain dans un grille-pain, avec 1034 instances et 517 paires d'objets annotées en pose et en symétrie. Les auteurs proposent une méthode d'estimation de pose SE(3) en deux étapes, basée sur des caractéristiques équivariantes, qui atteint des performances état de l'art sur les 18 tâches du benchmark. Des expériences robotiques réelles confirment la fiabilité et la capacité de généralisation de cette méthode sur des tâches d'assemblage 3D complexes. Ce travail comble un vide méthodologique pour la robotique domestique : la plupart des benchmarks d'assemblage existants portent sur des fragments géométriques abstraits ou des pièces industrielles standardisées, loin des interactions fonctionnelles et asymétriques des objets du quotidien. En ciblant explicitement les futurs robots d'assistance à domicile, 2BY2 offre un terrain d'évaluation plus représentatif que les jeux de données orientés usine. Le transfert réussi de la méthode du benchmark simulé vers des essais robotiques physiques est un signal notable, suggérant que les approches de pose SE(3) équivariante peuvent réduire l'écart simulation-réel sur des tâches de manipulation fine, un problème persistant pour les politiques de manipulation généralistes. Les résultats « état de l'art » restent toutefois mesurés sur le benchmark propre des auteurs, une limite à garder en tête avant toute extrapolation. L'article, référencé 2504.06961 sur arXiv et republié en version 2, s'inscrit dans la lignée des travaux de « shape assembly » qui se concentraient jusqu'ici sur des fragments cassés ou des composants industriels aux formes régulières. 2BY2 étend le problème à des objets paires à forte composante fonctionnelle, des gestes triviaux pour un humain mais qui exigent une compréhension conjointe de la géométrie et de l'usage. Les auteurs comparent leur méthode aux approches antérieures de shape assembly sur l'ensemble des 18 tâches et revendiquent une supériorité systématique. La publication de ce dataset annoté pose une base de comparaison pour de futurs travaux, sans qu'un calendrier de mise à disposition du code ou de partenariat industriel ne soit précisé à ce stade.

RecherchePaper

1 source