RecherchearXiv cs.RO 6 août 2026

Zero-shot : transfert sim-vers-réel pour capteur tactile à base d'aimants sur des tâches d'insertion

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont mis à jour, sur arXiv (référence 2505.02915v2), une étude consacrée au transfert simulation-vers-réel pour les capteurs tactiles à base magnétique, une famille de capteurs illustrée par le modèle u-skin. Leur méthode, baptisée GCS, vise à entraîner en simulation des politiques de contrôle par apprentissage par renforcement pour des tâches d'insertion en aveugle, sans retour visuel, puis à les transférer directement sur un robot réel sans réentraînement ni donnée réelle, ce qu'on appelle un transfert "zero-shot". Contrairement aux approches précédentes qui binarisaient les lectures tactiles, les réduisant à un simple contact oui/non pour combler l'écart entre simulation et réalité, GCS conserve des lectures denses, distribuées et sur trois axes, injectées brutes dans la politique de contrôle. Les auteurs rapportent un transfert réussi de politiques entraînées uniquement en simulation vers des tâches d'insertion réelles.

Cette avancée cible un problème central pour l'industrie robotique : le fossé entre simulation et réalité qui limite depuis longtemps l'usage du tactile dans les politiques de manipulation apprises par machine learning. Le tactile est jugé essentiel pour les tâches de contact riche comme l'insertion de pièces, un geste omniprésent en assemblage électronique et industriel, où la vision seule échoue face aux occlusions et aux tolérances serrées. Pour les intégrateurs et les équipes R&D robotique, l'enjeu est de pouvoir entraîner des compétences tactiles massivement en simulation, moins coûteuse que la collecte de données réelles, sans perte de performance au déploiement. En montrant qu'il est possible de transférer des lectures tactiles riches, non binarisées, sans perte de fidélité, les auteurs contredisent l'hypothèse selon laquelle seule une simplification drastique du signal permettrait de franchir le fossé sim-to-real, ouvrant la voie à des politiques plus précises pour des tâches fines comme l'insertion de connecteurs.

Les capteurs magnétiques comme u-skin se sont imposés ces dernières années comme un compromis entre durabilité et densité de mesure, face à d'autres familles de capteurs tactiles, optiques, capacitifs ou piézorésistifs, souvent plus fragiles ou moins riches en information spatiale. Des travaux antérieurs avaient déjà cherché à combler l'écart sim-to-real par la binarisation du signal, une technique efficace pour la manipulation dextre en main mais mal adaptée aux tâches exigeant une lecture fine de la force et de la position de contact, comme l'insertion. GCS s'inscrit dans cette lignée de recherche sur l'apprentissage par renforcement appliqué à la manipulation robotique, avec l'ambition de généraliser à d'autres tâches de contact riche au-delà de l'insertion aveugle testée ici. La publication ne mentionne aucun partenariat industriel ni calendrier de déploiement : il s'agit d'un résultat de laboratoire, dont la portée pratique dépendra de sa reproduction sur d'autres plateformes et d'autres capteurs tactiles.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

NeuralTouch : des descripteurs neuronaux pour un contrôle tactile précis en transfert simulation-réel

Une équipe de chercheurs a publié sur arXiv (réf. 2510.20390v2) NeuralTouch, un framework multimodal combinant les Neural Descriptor Fields (NDF) avec le retour haptique pour améliorer la précision de préhension des robots manipulateurs. Le principe repose sur deux étages : les NDF génèrent une représentation implicite de la géométrie de contact cible à partir de données visuelles, puis une politique d'apprentissage par renforcement profond (deep RL) affine la saisie en temps réel via des capteurs tactiles. Le système a été validé sur des tâches de manipulation fine, insertion de cheville dans un trou (peg-out-in-hole) et ouverture de bouchon de bouteille, avec un transfert zéro-shot du simulateur vers l'environnement physique, sans fine-tuning supplémentaire. Les études d'ablation en simulation et les tests réels montrent une amélioration significative de la précision et de la robustesse par rapport aux baselines, bien que les métriques quantitatives précises ne figurent pas dans le résumé publié. Le problème adressé est bien connu des intégrateurs : les NDF seuls souffrent d'imprécisions dues à une calibration caméra imparfaite, des nuages de points incomplets et la variabilité géométrique des objets. À l'inverse, les approches tactiles existantes restent cantonnées à des géométries de contact prédéfinies et simples, ce qui limite leur déployabilité industrielle. NeuralTouch contourne cette dualité en conditionnant la politique RL sur les descripteurs neuronaux sans nécessiter de spécification explicite du type de contact, ce qui est précisément le verrou que le secteur cherche à lever pour rendre les bras manipulateurs économiquement viables dans des environnements non structurés. La capacité de généralisation inter-catégories d'objets sans ré-entraînement représente un argument concret pour les COO industriels cherchant à réduire les coûts d'intégration. Ce travail s'inscrit dans un courant actif autour du sim-to-real pour la manipulation de précision, où Stanford, MIT et CMU rivalisent avec des acteurs industriels comme Sanctuary AI, 1X Technologies et Physical Intelligence, dont le modèle pi-0 cible également la manipulation généraliste. NeuralTouch se distingue par son approche hybride vision-tactile conditionnée sur des descripteurs neuronaux, évitant la fragmentation habituelle entre les pipelines purement visuels et les politiques haptiques spécialisées. Reste à démontrer la robustesse du framework sur une gamme plus large de géométries et sur des plateformes robotiques commerciales, étapes qui conditionneront le passage d'une démonstration académique à un outil industriellement pertinent.

RecherchePaper

1 source

2arXiv cs.RO

Assemblage précis à l'aveugle : insertion pièce-trou proprioceptive par transfert simulation-réel pour des pièces variées

Des chercheurs, dont Younghyo Park (projet « Blind Proprioceptive Assembly »), publient sur arXiv une étude qui teste si les seuls capteurs articulaires d'un robot suffisent pour l'assemblage de précision riche en contacts. Les politiques entraînées n'observent qu'un court historique de positions et de vitesses articulaires ainsi que leurs propres actions, sans vision, ni capteur d'effort, de couple ou tactile. Ni la pose de la pièce, ni celle du support ne sont connues, et la prise est fortement randomisée. Entraînées par apprentissage par renforcement entièrement en simulation, sur des pièces, des prises et des contacts variés, elles apprennent l'insertion de pion, l'engrènement d'engrenages et le vissage d'écrous. La politique d'insertion est transférée sans réglage (zero-shot) vers le réel et réussit 73 % des essais, avec des pions de formes et de tailles différentes. L'équipe publie aussi un générateur open source pour MuJoCo, qui construit de façon procédurale des milliers d'assemblages à partir de pièces convexes exactes, en conservant le jeu fonctionnel. Selon les auteurs, il est plus précis et plus rapide que la décomposition convexe ou que les collisions par champ de distance signée (SDF) de MuJoCo. L'intérêt tient au déplacement de la question. Les robots à pattes et les humanoïdes marchent déjà « à l'aveugle » grâce à la proprioception, mais avec des contacts larges et puissants. Ici, la même idée est appliquée à des tolérances millimétriques. Des comparaisons contrôlées en simulation avec des politiques visuelles équivalentes montrent que les politiques aveugles généralisent nettement mieux à des formes et tailles de pièces inédites, au prix d'une exécution plus lente. Pour un intégrateur, cela suggère qu'une partie de l'assemblage pourrait se passer de caméras ou de capteurs d'effort coûteux et fragiles, notamment en cas d'occlusion, de reflets ou de pièces variables. Il faut toutefois rester prudent. 73 % reste loin du taux exigé en production, qui dépasse en général 99 %. Le protocole se limite à la tâche de pion dans trou, les résultats réels portent sur un seul type de tâche, et la lenteur n'est pas chiffrée dans le résumé. Le transfert simulation-réel n'est démontré en réel que pour l'insertion, pas pour les engrenages ni le vissage. Ce travail s'inscrit dans une série de recherches sur l'insertion par apprentissage, qui ont longtemps privilégié le retour visuel ou tactile (capteurs de type GelSight, estimation d'effort au poignet) et la randomisation de domaine pour combler l'écart entre simulation et réel. Le goulot d'étranglement était la qualité des modèles de contact : générer de nombreux assemblages avec un jeu réaliste restait difficile, d'où l'apport du générateur publié. La suite logique serait de valider les politiques d'engrènement et de vissage sur du matériel réel, de combiner proprioception et vision pour regagner en vitesse, et de tester la robustesse sur des pièces industrielles. Il s'agit d'un préprint (v1), sans évaluation par les pairs ni déploiement industriel annoncé. Les vidéos et simulations interactives sont disponibles sur la page du projet.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

HydroShear : simulation hydroélastique du cisaillement pour le transfert sim-vers-réel tactile par apprentissage par renforcement

Des chercheurs présentent HydroShear, un simulateur tactile hydroélastique non holonome destiné au transfert sim-to-real de politiques d'apprentissage par renforcement sur des tâches riches en contacts. Le simulateur modélise trois phénomènes que les approches existantes traitent mal : les transitions entre adhérence et glissement (stick-slip), l'accumulation de force et de cisaillement dépendante de la trajectoire, et les interactions complètes objet-capteur en SE(3), c'est-à-dire avec les six degrés de liberté de position et d'orientation. Il étend les modèles de contact hydroélastiques en s'appuyant sur des fonctions de distance signée (SDF) pour suivre le déplacement des points de surface d'un indenteur au contact de la membrane du capteur. Il produit des champs de force issus de la physique, peu coûteux en calcul, pour toute géométrie étanche (watertight), et reste indépendant du moteur physique employé. Les tests ont été menés avec des capteurs GelSight Mini. Quatre tâches ont été transférées sans réentraînement (zero-shot) : insertion de cheville, rangement en bac, mise en place d'un livre sur une étagère et ouverture de tiroir, cette dernière exigeant un contrôle fin de la pince en situation de glissement. Le taux de réussite moyen atteint 93 %, contre 34 % pour des politiques entraînées sur images tactiles et 58 à 61 % pour d'autres méthodes de simulation du cisaillement. L'enjeu dépasse le gain chiffré. La plupart des simulateurs tactiles se sont concentrés sur la qualité du rendu d'image des capteurs optiques, au détriment d'un modèle réaliste des forces et du cisaillement. Or ce sont ces grandeurs qui déterminent la réussite des tâches d'insertion ou de manipulation sous glissement. L'écart de 34 % à 93 % suggère que, pour les mains dextres, fidélité physique et fidélité visuelle ne se valent pas, ce qui oriente les équipes vers la modélisation des forces plutôt que vers le rendu photoréaliste. Le fait que la méthode soit indépendante du moteur physique facilite son adoption dans des chaînes de simulation existantes. Les intégrateurs et responsables industriels doivent toutefois rester prudents : il s'agit d'un résultat de laboratoire, sur quatre tâches et un seul modèle de capteur. Aucune donnée n'est fournie sur la robustesse à long terme, l'usure du gel ou les cadences en production, et le nombre d'essais par tâche n'est pas précisé dans ce résumé. Ce travail s'inscrit dans la montée de la dextérité tactile, où le sim-to-real reste l'un des principaux verrous face à l'apprentissage par démonstrations réelles, plus coûteux et plus lent à passer à l'échelle. Les capteurs GelSight, devenus une référence en recherche, ont surtout bénéficié de simulateurs centrés sur l'image, ce que HydroShear cherche à dépasser. Il s'agit de la version 2 d'un article déposé sur arXiv (2603.00446), donc d'un travail encore en évolution et non d'un produit disponible. Les suites logiques sont une validation sur d'autres capteurs et d'autres tâches, puis une intégration dans des pipelines de politiques généralistes de type VLA, qui exploitent encore peu le toucher.

RecherchePaper

1 source

4arXiv cs.RO

Transfert simulation-réel pour robots à actionneurs musculaires via réseaux d'actionneurs généralisés

Une équipe de chercheurs a publié sur arXiv (référence 2604.09487) une méthode de transfert simulation-réel (sim-to-real) pour robots à actionnement musculaire, une classe d'actionneurs rarement intégrée dans les systèmes robotiques industriels malgré leurs avantages théoriques. La méthode, baptisée Generalized Actuator Network (GenAN), a été validée sur PAMY2, un bras robotique à 4 degrés de liberté (DOF) entraîné par tendons et alimenté par des muscles artificiels pneumatiques (PAM). Trois tâches ont été déployées avec succès sur le robot réel à partir de politiques entraînées entièrement en simulation : atteinte de cibles dynamiques, ball-in-a-cup et tennis de table. Les auteurs revendiquent une première mondiale, à savoir le premier transfert sim-to-real réussi pour un bras à actionnement musculaire à 4 DOF. L'obstacle historique aux robots PAM est leur comportement fortement non-linéaire, avec friction et hystérésis, qui rend leur modélisation analytique difficile et a jusqu'ici bloqué l'application des techniques de reinforcement learning en simulation. GenAN contourne ce problème en apprenant un réseau de neurones qui identifie le modèle d'actuation directement depuis des trajectoires de position articulaire, sans capteurs de couple, coûteux et fragiles. Ce modèle appris est ensuite couplé à une simulation rigide classique pour les dynamiques du bras. Cette architecture valide l'hypothèse qu'il est possible de dissocier la modélisation des actionneurs complexes du reste de la chaîne cinématique, et ouvre potentiellement la voie à des robots plus rapides et plus sûrs en interaction humain-robot. Les muscles artificiels pneumatiques sont connus depuis des décennies dans la recherche, mais leur adoption industrielle est restée marginale face aux actionneurs électriques en raison de la difficulté de contrôle. PAMY2 est une plateforme académique, et ce travail est publié sous forme de preprint, non encore soumis à revue par les pairs confirmée. Les acteurs dominants du sim-to-real, Boston Dynamics, Figure ou Unitree, s'appuient sur des actionneurs électriques pour lesquels les outils de simulation sont matures. GenAN se distingue par sa capacité à généraliser le modèle d'actuation à d'autres robots musculaires, ce qui pourrait intéresser des laboratoires explorant des actionneurs hybrides pour l'humanoïde souple. La prochaine étape logique serait une validation sur des tâches plus complexes et une généralisation à d'autres plateformes PAM.

RecherchePaper

1 source