RecherchearXiv cs.RO2h

Combler l'écart de réalité : déploiement zero-shot du transfert simulation-réel pour la préhension et la manipulation dextériques basées sur la force

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Voici l'article traduit et résumé :

Une équipe de recherche présente une méthode d'apprentissage par renforcement permettant de transférer directement en simulation vers le réel des politiques de contrôle pour une main robotique à cinq doigts, sans aucun réglage fin sur le matériel physique. Le système combine un retour tactile dense avec une mesure du couple articulaire pour réguler finement les interactions de contact. Trois innovations techniques rendent ce transfert possible : une simulation tactile rapide calculant les distances entre unités tactiles virtuelles et l'objet via une cinématique directe parallélisée, une calibration courant-couple qui élimine le besoin de capteurs de couple physiques en convertissant le courant moteur en couple articulaire, et une modélisation randomisée de la dynamique des actionneurs pour compenser les effets non idéaux couple-vitesse. Entraînées entièrement en simulation via un pipeline PPO acteur-critique asymétrique, les politiques obtenues exécutent deux compétences clés de la main humaine, le contrôle de force de préhension sur commande et la réorientation d'objets dans la main, de façon robuste dès le déploiement sur robot réel.

Cette avancée s'attaque à un verrou majeur de la robotique manipulatrice : l'écart de réalité (reality gap) entre simulation et exécution physique, particulièrement critique pour les mains à cinq doigts où la richesse des contacts et les imperfections d'actionnement rendent le transfert notoirement difficile. Contrairement aux approches nécessitant un réglage fin coûteux sur le robot réel, cette méthode zéro-shot réduit drastiquement le temps et le coût de déploiement, un enjeu direct pour les intégrateurs et fabricants qui cherchent à industrialiser la manipulation dextre au-delà des pinces simples. Les auteurs affirment qu'il s'agit de la première démonstration de préhension contrôlable sur une main multi-doigts entraînée uniquement en simulation.

Le défi du sim-to-real occupe la recherche en robotique depuis plusieurs années, avec des approches concurrentes s'appuyant sur la randomisation de domaine ou l'apprentissage par imitation à partir de données réelles. L'ajout combiné de capteurs tactiles denses et de couple articulaire, plutôt que la seule vision ou proprioception, distingue cette approche et pourrait orienter les prochains travaux vers une intégration plus poussée du sens tactile dans les architectures de contrôle destinées aux mains robotiques commerciales.

À lire aussi

1arXiv cs.RO

De la préhension à la dextérité : pré-entraînement à grande échelle pour la manipulation dextérique

Des chercheurs publient sur arXiv un nouveau papier intitulé "From Grasps to Dexterity: Large-Scale Grasp Pretraining for Dexterous Manipulation", qui s'attaque à un problème precis de la manipulation dextre robotique: utiliser un simple geste de préhension pour ensuite manipuler un outil articulé (actionner une gâchette, tourner une molette, ouvrir une pince) plutôt que de simplement le saisir et le poser. L'équipe construit un jeu de données de 355 000 trajectoires à partir d'annotations de préhension dextre à grande échelle, utilisé pour préentraîner un contrôleur bas niveau conditionné par objectif, lui-même piloté par un module haut niveau qui prédit les sous-objectifs de la main. Ce contrôleur est ensuite affiné sur des démonstrations spécifiques à chaque tâche. Pour évaluer l'approche, les auteurs introduisent DexCraft, un banc d'essai en simulation comportant six tâches d'usage d'outils articulés nécessitant une coordination fine des doigts. En conditions réelles, la méthode améliore le taux de réussite complet des tâches de 33,3 points de pourcentage par rapport à la référence DP3, et dépasse aussi les politiques de diffusion entraînées de bout en bout ainsi que les architectures hiérarchiques entraînées depuis zéro. L'intérêt pour l'industrie tient au fait que la plupart des grands jeux de données de préhension dextre existants n'avaient jusqu'ici servi qu'à générer des prises ou à faire du pick-and-place, une tâche relativement simple comparée à l'usage fonctionnel d'un outil, qui exige de maintenir le contact tout en actionnant une pièce mobile. Démontrer qu'un préentraînement sur des données de grasping generalise à ce type de manipulation contact-riche est un signal utile pour les équipes qui travaillent sur des mains robotiques multi-doigts, notamment dans le contexte des humanoïdes où la dextérité fine reste un goulot d'étranglement bien plus limitant que la locomotion. Cela va dans le sens d'une hypothèse défendue par plusieurs laboratoires: les grands corpus de démonstration, même génériques, peuvent servir de socle de préentraînement réutilisable plutôt que d'être collectés tâche par tâche. Ce travail s'inscrit dans la lignée des approches hiérarchiques d'apprentissage par imitation combinant planification haut niveau et contrôle bas niveau, un courant de recherche actif face aux politiques de diffusion de bout en bout comme DP3, utilisées ici comme référence de comparaison. Il s'agit à ce stade d'un résultat académique publié sur arXiv, testé en simulation via DexCraft et validé par des expériences réelles limitées, et non d'un système déployé commercialement. Les auteurs mettent à disposition des vidéos de démonstration sur leur page de projet, mais aucune date de mise en open source du code ni de partenariat industriel n'est mentionnée dans le résumé.

RecherchePaper

1 source

2arXiv cs.RO

Transfert pré-entraînement tactile transférable centré sur l'humain pour la manipulation robotique dextérique

Les auteurs de cette étude publient H-Tac, un jeu de données tactile-action à grande échelle constitué de 160 heures de vidéos humaines à la première personne, couvrant plus de 300 tâches et totalisant 135 000 épisodes. À partir de cette base, ils proposent Transferable Tactile Pre-Training (TTP), un système de pré-entraînement fondé sur le sens tactile humain, destiné à transférer des compétences de manipulation fine vers des robots. La méthode s'appuie sur des espaces tactiles et d'action unifiés, maintenus identiques pendant les phases de pré-entraînement et de post-entraînement, afin de préserver les connaissances acquises lors du passage de l'humain au robot. Un module expert dédié prédit l'évolution future du signal tactile, ce qui permet de modéliser explicitement la dynamique de contact et les interactions physiques fines. Les auteurs rapportent des performances supérieures aux approches existantes, en simulation comme sur robots réels, avec une bonne capacité de généralisation. Ce travail cible un verrou connu du secteur robotique: le toucher reste la modalité la moins exploitée dans les modèles Vision-Language-Action, alors qu'il est indispensable pour les tâches riches en contact où la vision seule ne suffit pas à estimer une force appliquée. Les jeux de données tactiles existants restent petits et couvrent peu de types de contacts, ce qui limite le plafond de performance des modèles VLA tactiles, dont le post-entraînement reste largement indifférent à la dynamique physique. En s'appuyant sur des vidéos humaines plutôt que sur de la téléopération robotique coûteuse à collecter, H-Tac vise à lever ce goulot d'étranglement de données, une stratégie déjà explorée pour le pré-entraînement d'actions mais rarement appliquée au tactile à cette échelle. Si les résultats se confirment sur d'autres plateformes, cela pourrait rapprocher les robots manipulateurs dextres de tâches fines comme l'insertion de précision ou la manipulation d'objets déformables, au-delà des démonstrations scénarisées. L'article s'inscrit dans la lignée des modèles VLA récents (Pi-0, GR00T N2, Helix) qui combinent perception visuelle et langage mais négligent généralement le retour tactile faute de données adaptées. Publié sur arXiv (2607.01067v1) début juillet 2026, ce travail reste au stade de la recherche académique: aucun partenariat industriel ni déploiement commercial n'est mentionné, et les auteurs présentent TTP comme une preuve de concept ouvrant la voie à un pré-entraînement tactile transférable et passant à l'échelle, plutôt que comme un produit prêt à l'emploi.

RecherchePaper

1 source

3arXiv cs.RO

DexSim2Real : transfert simulation-réel guidé par un modèle fondation pour la manipulation dextérique généralisable

DexSim2Real est un framework de recherche publié en preprint arXiv (arXiv:2605.05241, mai 2026) visant à réduire le "sim-to-real gap" pour la manipulation dextre -- l'écart de performance entre politiques entraînées en simulation et leur déploiement sur robots réels. L'architecture combine trois modules : FM-DR, qui utilise un modèle de vision-langage comme critique de réalisme visuel pour optimiser automatiquement les paramètres de simulation via l'algorithme CMA-ES ; TVCAP, une politique de contrôle fusionnant données tactiles et visuelles par mécanisme cross-attention pour un transfert zero-shot ; et PSC, un curriculum progressif basé sur la décomposition de tâches par LLM, conçu pour les tâches à fort contact. Évalué en aveugle sur six tâches de manipulation difficiles, le système affiche un taux de succès moyen en conditions réelles de 78,2%, avec un écart sim-to-real résiduel de 8,3% -- contre des performances inférieures revendiquées pour DrEureka et DeXtreme. Le sim-to-real gap est historiquement l'un des freins majeurs à la commercialisation de robots manipulateurs dextres. L'approche différenciante de DexSim2Real consiste à fermer la boucle d'optimisation des paramètres de simulation via un retour visuel direct d'un modèle fondation, là où les méthodes existantes comme DrEureka reposent sur des descriptions textuelles ou une randomisation conçue manuellement. Utiliser un VLM comme juge de réalisme pour guider la randomisation est une piste prometteuse -- mais les résultats restent des benchmarks de laboratoire non encore soumis à revue par les pairs ni validés en déploiement industriel. Les métriques annoncées (78,2% de succès, 8,3% de gap résiduel) devront être reproduites par des équipes indépendantes pour confirmer leur portée réelle. La manipulation dextre sim-to-real est un champ très concurrentiel depuis la démonstration Dactyl d'OpenAI en 2019, avec des acteurs majeurs comme NVIDIA (DrEureka, Isaac Lab) et Meta AI (DeXtreme) en première ligne. DexSim2Real se positionne en unifiant trois leviers -- randomisation guidée par fondation, fusion tactile-visuelle, curriculum adaptatif -- que les travaux antérieurs traitaient séparément. Aucun acteur européen n'est impliqué dans ce travail. Le code n'est pas encore public au moment du preprint ; les prochaines étapes naturelles seraient une soumission à CoRL, IROS ou RSS et, si les résultats se confirment, une ouverture du code pour permettre la reproductibilité.

RecherchePaper

1 source

4arXiv cs.RO

HyperSim : un cadre complet de transfert simulation-réel pour la manipulation robotique robuste

Des chercheurs ont publié sur arXiv (arXiv:2605.26638) HyperSim, un framework bout-en-bout conçu pour transférer des politiques de manipulation robotique de la simulation vers le monde réel. La méthode repose sur trois piliers : la synthèse d'environnements haute fidélité visuelle, la génération de trajectoires adversariales, et un co-entraînement mixte simulation/réel. Validée sur 400 exécutions de tâches en conditions réelles, HyperSim atteint des taux de succès sim-to-real de 80 % avec le modèle ACT et 95 % avec π₀ (le modèle VLA de Physical Intelligence). Les politiques entraînées avec des trajectoires adversariales affichent par ailleurs un taux de complétion supérieur de 35 % sous perturbations physiques dynamiques, par rapport aux baselines sans ce module. Ces résultats adressent directement l'un des verrous les plus cités dans le déploiement de robots manipulateurs industriels : le sim-to-real gap, c'est-à-dire la dégradation de performance entre une politique entraînée en simulation et son comportement réel. Un taux de 95 % avec π₀ sur des tâches de manipulation représente un niveau de robustesse rarement publié à cette échelle d'évaluation (400 runs, trois métriques granulaires). Pour les intégrateurs et les équipes R&D, cela valide concrètement l'hypothèse que la donnée synthétique, lorsqu'elle est correctement augmentée et diversifiée, peut substituer en grande partie la collecte physique coûteuse. À noter cependant : l'article ne détaille pas les types de tâches ni les objets testés, ce qui limite l'interprétation de la généralité des résultats. La problématique sim-to-real est au cœur des efforts de plusieurs équipes concurrentes : Google DeepMind (avec RoboVerse et ses pipelines de données synthétiques), Physical Intelligence (dont le modèle π₀ est justement l'un des deux benchmarks utilisés ici), et des laboratoires académiques comme Stanford et CMU. HyperSim se distingue par son approche intégrée plutôt que modulaire, cherchant à traiter simultanément le gap visuel et le gap dynamique. La prochaine étape naturelle, non précisée dans le preprint, serait de tester la généralisation à des plateformes humanoïdes ou des scénarios multi-objet en environnement non structuré.

UELes laboratoires européens en manipulation robotique (CEA-List, INRIA) pourraient intégrer ce framework pour réduire leur dépendance aux démonstrations physiques coûteuses, sans implication institutionnelle directe.

RecherchePaper

1 source