PneuTac : manipulation tactile avec des robots pneumatiques souples grâce à une simulation unifiée MPM et Gaussian Splatting

PneuTac est un cadre logiciel de recherche, présenté sur arXiv (v1, 2609.38418), qui vise l'apprentissage de la manipulation tactile avec des robots souples pneumatiques. Les auteurs modélisent la dynamique du robot souple et de la membrane déformable du capteur tactile avec la méthode des points matériels (MPM), puis rendent la scène en 3D Gaussian splatting (3DGS). Le calage réel-vers-simulation repose sur une méthode visuelle simple. Des réseaux d'action et de perception, entraînés comme modèles de substitution, accélèrent ensuite la simulation. Ce pipeline sert à collecter des démonstrations guidées par le toucher directement en simulation. Les tests portent sur un doigt souple pneumatique conçu sur mesure, équipé d'un embout tactile à base de vision, avec des évaluations complémentaires sur d'autres dispositifs. Selon les auteurs, les politiques entraînées avec des démonstrations augmentées par la simulation surpassent des références entraînées sur les mêmes données réelles, sur trois tâches de manipulation compliante riches en contacts. Le résumé ne donne ni chiffres de performance ni taux de réussite.

L'enjeu est de lever un goulot d'étranglement connu. Les robots souples offrent un contact sûr grâce à leur compliance, et les capteurs tactiles optiques fournissent une perception fine du toucher. Mais les simulateurs existants les traitent séparément et laissent des écarts de calibration importants et coûteux à corriger. Unifier dans un même moteur MPM la déformation du corps pneumatique et celle de la membrane tactile, avec un rendu 3DGS pour l'image, permet de générer des données synthétiques exploitables pour des politiques d'imitation. Pour les intégrateurs, l'intérêt est indirect mais réel : la manipulation d'objets fragiles (alimentaire, logistique, soin) dépend de mains compliantes, et leur programmation par démonstrations réelles reste lente. Il faut toutefois rester prudent. Il s'agit d'un preprint non évalué par les pairs, validé sur un seul doigt et trois tâches, sans chiffres publics dans le résumé, ce qui ne permet pas de conclure à un « sim-to-real résolu » à l'échelle d'une main complète.

Ce travail s'inscrit dans la convergence entre simulation différentiable de matériaux mous, capteurs de type GelSight et rendu neuronal. Il se place à côté des grandes lignes de recherche sur les modèles vision-langage-action (VLA), qui restent surtout alimentés par la vision et très peu par le tactile. Les prochaines étapes naturelles sont l'extension à des effecteurs multi-doigts, la publication du code et des jeux de données, et des comparaisons chiffrées avec les simulateurs rigides ou à éléments finis. Aucun partenaire industriel, pilote ni calendrier de déploiement n'est annoncé.