Ancrage auto-supervisé de la perception tactile à la proprioception et aux actions proactives pour l'apprentissage par imitation robotique

Publiée sur arXiv le 25 septembre 2026 sous la référence 2609.29822, une étude propose PROPRA, une méthode de pré-entraînement pour l'apprentissage par imitation en robotique de manipulation à partir de capteurs placés au bout des doigts. Le constat de départ : les caméras externes peinent à capter la proximité d'un objet, l'instant du contact ou l'état de la préhension, souvent occultés par la main du robot. L'équipe combine un capteur tactile sensible à la pression, informatif après contact, et un capteur de proximité réfléchissant, informatif avant contact, chacun couplé à un encodeur pré-entraîné. Ajouter naïvement ces signaux à une politique de contrôle dégrade parfois les performances par rapport à une politique vision seule. PROPRA aligne indépendamment l'historique de chaque capteur avec la proprioception et les actions du robot, offrant une référence sensorimotrice disponible en continu. Sur des tâches de manipulation réelles, la méthode améliore le taux de succès moyen face aux baselines vision seule et pré-entraînement ancré sur l'image, en préservant mieux les informations sur les états pré-contact.

Le résultat clé pour un intégrateur n'est pas le gain de performance en soi, mais le constat qui l'accompagne : multiplier les capteurs sur une main robotique ne suffit pas, et peut même dégrader une politique apprise par imitation si le signal est mal intégré. Cela contredit l'hypothèse selon laquelle empiler vision, tactile et proximité améliore mécaniquement la manipulation, alors que l'industrie mise sur des modèles vision-langage-action multimodaux entraînés à grande échelle. Pour les concepteurs de mains équipées de capteurs tactiles piézorésistifs, capacitifs ou optiques, l'alignement entre modalités sensorielles et proprioception devient nécessaire pour rentabiliser l'investissement matériel, notamment pour l'assemblage de petites pièces ou la manipulation d'objets fragiles. Le transfert en manipulation fine ne se résume donc pas au seul écart simulation-réel : même avec des données réelles, fusionner des signaux épars et asynchrones reste difficile quand les démonstrations disponibles pour une tâche restent rares.

L'étude s'inscrit dans un champ de recherche actif sur l'intégration tactile dans l'apprentissage par imitation, où le pré-entraînement ancré sur l'image, utilisé ici comme référence de comparaison, reste l'approche dominante. Menés par le chercheur Tomohiro Motoda, les travaux positionnent PROPRA comme une alternative en misant sur la proprioception, continue, comme point d'ancrage pour des signaux tactiles et de proximité discontinus par nature. Le code et les détails méthodologiques sont annoncés sur une page de projet dédiée, sans calendrier de diffusion ni partenariat industriel évoqué. Il s'agit pour l'instant d'un résultat de recherche validé sur des tâches de manipulation réelles en laboratoire, non d'un produit commercialisé ni d'un déploiement chez un intégrateur.