Aller au contenu principal
NeuralTouch : des descripteurs neuronaux pour un contrôle tactile précis en transfert simulation-réelIllustration générée par IA
RecherchearXiv cs.RO 

NeuralTouch : des descripteurs neuronaux pour un contrôle tactile précis en transfert simulation-réel

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs a publié sur arXiv (réf. 2510.20390v2) NeuralTouch, un framework multimodal combinant les Neural Descriptor Fields (NDF) avec le retour haptique pour améliorer la précision de préhension des robots manipulateurs. Le principe repose sur deux étages : les NDF génèrent une représentation implicite de la géométrie de contact cible à partir de données visuelles, puis une politique d'apprentissage par renforcement profond (deep RL) affine la saisie en temps réel via des capteurs tactiles. Le système a été validé sur des tâches de manipulation fine, insertion de cheville dans un trou (peg-out-in-hole) et ouverture de bouchon de bouteille, avec un transfert zéro-shot du simulateur vers l'environnement physique, sans fine-tuning supplémentaire. Les études d'ablation en simulation et les tests réels montrent une amélioration significative de la précision et de la robustesse par rapport aux baselines, bien que les métriques quantitatives précises ne figurent pas dans le résumé publié.

Le problème adressé est bien connu des intégrateurs : les NDF seuls souffrent d'imprécisions dues à une calibration caméra imparfaite, des nuages de points incomplets et la variabilité géométrique des objets. À l'inverse, les approches tactiles existantes restent cantonnées à des géométries de contact prédéfinies et simples, ce qui limite leur déployabilité industrielle. NeuralTouch contourne cette dualité en conditionnant la politique RL sur les descripteurs neuronaux sans nécessiter de spécification explicite du type de contact, ce qui est précisément le verrou que le secteur cherche à lever pour rendre les bras manipulateurs économiquement viables dans des environnements non structurés. La capacité de généralisation inter-catégories d'objets sans ré-entraînement représente un argument concret pour les COO industriels cherchant à réduire les coûts d'intégration.

Ce travail s'inscrit dans un courant actif autour du sim-to-real pour la manipulation de précision, où Stanford, MIT et CMU rivalisent avec des acteurs industriels comme Sanctuary AI, 1X Technologies et Physical Intelligence, dont le modèle pi-0 cible également la manipulation généraliste. NeuralTouch se distingue par son approche hybride vision-tactile conditionnée sur des descripteurs neuronaux, évitant la fragmentation habituelle entre les pipelines purement visuels et les politiques haptiques spécialisées. Reste à démontrer la robustesse du framework sur une gamme plus large de géométries et sur des plateformes robotiques commerciales, étapes qui conditionneront le passage d'une démonstration académique à un outil industriellement pertinent.

À lire aussi

Représentation tactile factorisée et contrôle pour la manipulation en transfert simulation-réel
Illustration générée par IA
1arXiv cs.RO 

Représentation tactile factorisée et contrôle pour la manipulation en transfert simulation-réel

Des chercheurs proposent, dans un preprint arXiv (2610.10510v1), un cadre de représentation tactile « factorisée » et de contrôle destiné au transfert sim-to-real en manipulation. L'idée est de projeter la force normale et la zone de contact vers une « réponse de contact effective », récupérable à partir des lectures du capteur, plutôt que de tenter de reproduire fidèlement la physique propre à chaque capteur. Cette réponse est ensuite scindée en trois composantes: la géométrie du contact, la distribution des forces et la variation temporelle du contact. Chacune dispose de son propre encodage et de sa propre randomisation de domaine. Le contrôleur, baptisé Tactile Gated Policy, conserve ces trois représentations séparées tout au long de la chaîne de contrôle.

RecherchePaper
1 source
Un cadre en boucle réel-simulation-réel (RSR) pour le transfert de politiques robotiques généralisables
Illustration générée par IA
2arXiv cs.RO 

Un cadre en boucle réel-simulation-réel (RSR) pour le transfert de politiques robotiques généralisables

Des chercheurs proposent un cadre « Real-to-Sim-to-Real » (RSR), publié sur arXiv dans sa troisième version (2503.10118v3), qui vise à réduire l'écart entre simulation et monde réel lors du transfert de politiques de contrôle robotique. Sa contribution centrale est une fonction de coût d'inspiration théorique de l'information. Elle pèse deux objectifs : accomplir la tâche, et orienter la politique vers la collecte d'échantillons réels les plus informatifs possible pour améliorer le transfert. Cette fonction s'intègre dans des algorithmes d'apprentissage par renforcement existants, comme PPO ou SAC, et vise une exploration équilibrée des zones critiques du domaine réel.

RecherchePaper
1 source
SILO : transfert simulation-réel en boucle de simulation pour l'acheminement de câbles en plusieurs étapes
Illustration générée par IA
3arXiv cs.RO 

SILO : transfert simulation-réel en boucle de simulation pour l'acheminement de câbles en plusieurs étapes

Une équipe de recherche présente SILO (Simulation In the LOop), un framework de reinforcement learning sim-to-real pour le routage de câbles en plusieurs étapes, une tache de manipulation d'objets déformables linéaires (câbles, cordes) réputée particulièrement difficile en robotique. Contrairement aux approches par imitation qui nécessitent des milliers de démonstrations par type de câble, le système s'entraine sur des milliers de simulations parallèles sur GPU pour approximer le comportement physique des câbles et généraliser a des géométries et déformations variées. Le transfert vers le réel repose sur trois briques combinées: l'exécution SILO qui maintient une simulation synchronisée pendant le déploiement, des politiques RL localisées, et une estimation robuste de l'état du câble.

RecherchePaper
1 source
Contrôleur de politique de diffusion unique pour le poussage de blocs multi-tâches avec transfert simulation-réel sans apprentissage préalable
Illustration générée par IA
4arXiv cs.RO 

Contrôleur de politique de diffusion unique pour le poussage de blocs multi-tâches avec transfert simulation-réel sans apprentissage préalable

Des chercheurs présentent un contrôleur unique basé sur une politique de diffusion (diffusion policy), entraîné entièrement par apprentissage par renforcement plutôt que par clonage comportemental classique, pour piloter des tâches de poussée de blocs multi-formes en robotique manipulatrice. Contrairement aux approches habituelles qui nécessitent des démonstrations humaines préenregistrées, cette méthode combine une fonction de perte simplifiée (une borne inférieure de vraisemblance repondérée) avec une génération de curriculum inversé et des représentations centrées sur l'objectif pour surmonter la difficulté d'exploration dans un environnement de simulation à récompense éparse.

RecherchePaper
1 source