RecherchearXiv cs.RO 15 septembre 2026

PredTac : apprentissage de la manipulation en contact riche par prédiction du toucher

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent PredTac, un cadre qui remplace les capteurs tactiles physiques par une estimation visuelle du contact lors de la manipulation robotique. Le système entraîne d'abord un prédicteur tactile supervisé par des données de contact réelles, puis utilise ses inférences comme substitut au toucher mesuré pendant l'apprentissage et l'exécution de politiques, à partir de simples observations visuelles et de l'état du robot. L'équipe teste PredTac sur trois tâches à fort contact, en simulation et sur robot réel : insertion USB, extraction d'un objet barbelé (Barbed-spike) et rotation de vanne (Valve). En simulation, les politiques à toucher prédit atteignent 27,0%, 52,0% et 44,7% de réussite selon la tâche, soit un gain de 8,0 à 13,7 points de pourcentage par rapport à une politique purement visuelle. Sur robot réel, avec l'architecture ACT, les taux grimpent à 70,0%, 50,0% et 90,0% (moyenne de 70,0% sur les trois tâches), un score proche des 72,2% obtenus avec un toucher réellement mesuré et largement supérieur aux 21,1% d'une politique vision seule.

Ce résultat s'attaque à un point de friction connu de la robotique de manipulation fine : les capteurs tactiles physiques ajoutent du coût matériel, des contraintes de calibration, de synchronisation et de maintenance qui freinent le déploiement en dehors des laboratoires. Si le toucher peut être inféré de façon fiable à partir de la vision et de la proprioception, cela lève un obstacle matériel pour les intégrateurs qui veulent équiper des bras robotiques de compétences fines (insertion de connecteurs, manipulation d'objets irréguliers, actionnement de vannes) sans multiplier les capteurs embarqués et leurs pannes associées. Les auteurs nuancent toutefois la promesse : des tests d'intervention montrent que la performance reste sensible à la structure spatiale du contact prédit, une simple réorganisation spatiale des valeurs prédites faisant chuter le succès sur la tâche Valve de 10,7 points. Le toucher prédit n'égale donc pas encore totalement le toucher mesuré, mais s'en approche suffisamment pour être une alternative crédible plutôt qu'un pis-aller.

Ce travail s'inscrit dans la lignée des architectures vision-langage-action (VLA) et des politiques comme ACT, qui cherchent à réduire la dépendance des robots manipulateurs à des capteurs spécialisés coûteux. Il complète les approches à toucher mesuré directement, en proposant une alternative bas coût sans capteur tactile dédié. L'étude, publiée en préprint sur arXiv le 15 septembre 2026, reste à ce stade une validation en laboratoire sur trois tâches ciblées et un unique bras robotique réel, sans indication de partenariat industriel ni de déploiement au-delà du cadre expérimental ; les prochaines étapes attendues concernent l'extension à davantage de tâches et de plateformes pour confirmer la généralisation de l'approche.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Data et apprentissage là où ça compte pour la manipulation à contact riche

Des chercheurs proposent une nouvelle méthode de collecte de données pour l'apprentissage de tâches de manipulation robotique à contact riche, où la précision est critique (insertion, assemblage, etc.). Décrite dans un article publié sur arXiv (arXiv:2607.15982v1), l'approche part d'un constat : les politiques apprises de bout en bout sur de larges jeux de données restent fragiles sur les tâches de haute précision et généralisent mal, notamment parce que la collecte de données manque de structure et de ciblage. Les auteurs proposent donc de concentrer la collecte dense de données uniquement sur le segment critique de contact, en s'appuyant sur une planification classique pour les mouvements simples en espace libre. Un schéma de collecte automatisée, combiné à de l'apprentissage par renforcement profond hors ligne, traite spécifiquement la phase de contact, sans dépendre de la dextérité d'un téléopérateur humain ni de mises à jour de politique en ligne. Sur quatre tâches réelles jugées difficiles, seulement 2 à 2,5 heures de collecte de données autonome suffisent pour atteindre un taux de réussite moyen de 96 %, contre 55 % pour la meilleure référence testée. Pour l'industrie robotique, ce résultat s'attaque directement à un problème central de la manipulation fine par apprentissage : le fossé entre démonstration et performance réelle, en particulier en dehors des conditions d'entraînement. Les approches de bout en bout perdent généralement en fiabilité sur des scénarios hors distribution, alors que la méthode proposée conserve un taux de réussite élevé dans ces conditions, ce qui suggère que cibler la collecte de données sur la phase de contact, plutôt que de tout apprendre uniformément, réduit la dépendance à des volumes massifs de démonstrations. Pour les intégrateurs et décideurs industriels, cela ouvre la voie à des déploiements de politiques d'assemblage ou d'insertion nécessitant beaucoup moins d'heures d'acquisition de données, et sans mobiliser un opérateur expert pendant tout le processus. Ce travail s'inscrit dans une tendance récente de la recherche en apprentissage par renforcement appliqué à la robotique, qui cherche à réduire le coût et la complexité de la téléopération humaine tout en conservant les gains de robustesse permis par l'apprentissage profond. En combinant planification traditionnelle et RL hors ligne de façon segmentée plutôt que de miser sur un unique modèle bout en bout, les auteurs proposent une piste concrète pour industrialiser les tâches de précision, un domaine où la robotique humanoïde et les bras manipulateurs peinent encore à passer de la démonstration en laboratoire au déploiement fiable en usine.

RecherchePaper

1 source

2arXiv cs.RO

ReTouch : de la manipulation dextérique à contacts riches grâce à la prédiction tactile affinée en ligne

ReTouch est un modèle vision-langage-action (VLA) conçu pour la manipulation dextre en contact riche, présenté dans un article publié le 1er août 2026 sur arXiv (arXiv:2608.01824v1). Le système s'appuie sur deux innovations principales : un Tactile-Patch Encoder qui représente les signaux tactiles sous forme de patches structurés préservant l'identité de chaque doigt et la structure locale du contact, et un module d'action haute fréquence qui prédit conjointement les états tactiles futurs et des blocs d'actions, en les affinant en continu grâce au retour tactile pendant l'exécution. Les chercheurs ont aussi construit XHT-Dataset, un jeu de données de 900 démonstrations réelles couvrant sept tâches de manipulation en contact riche, collectées sur une plateforme combinant une main robotique XHand et un bras UR7e. Testé en boucle fermée sur robot réel, ReTouch dépasse la meilleure référence existante de 18,4 points de pourcentage en conditions standards et de 23,8 points en conditions difficiles, en taux de réussite moyen. Ce résultat s'attaque à un angle mort connu des VLA actuels : la plupart des modèles de manipulation s'appuient surtout sur la vision et peinent à intégrer le retour tactile de façon exploitable en temps réel, alors que la manipulation fine (insertion, préhension d'objets déformables, ajustement de prise) dépend justement de ce signal. En démontrant qu'un raffinement tactile en boucle fermée améliore nettement la robustesse face aux erreurs d'exécution et aux changements de contact, les auteurs apportent un argument concret en faveur de l'intégration tactile native dans les architectures VLA, plutôt que comme un module accessoire ajouté après coup. Pour les intégrateurs et équipes de R&D en robotique dextre, cela suggère une voie pour réduire l'écart persistant entre démonstrations en laboratoire et fiabilité en conditions réelles, un problème récurrent pour les mains robotiques multi-doigts. Le travail s'inscrit dans une lignée de recherche académique sur la fusion tactile pour la manipulation dextre, un domaine resté largement expérimental faute de jeux de données réels standardisés et de méthodes exploitant efficacement le signal tactile à haute fréquence. En publiant à la fois le modèle et XHT-Dataset, les auteurs positionnent ReTouch comme une base de comparaison pour de futurs travaux sur les mains robotiques dextres, sans toutefois annoncer de déploiement industriel ni de partenariat commercial à ce stade : il s'agit pour l'instant d'un résultat de recherche évalué en laboratoire, non d'un produit prêt à l'intégration.

RechercheActu

1 source

3arXiv cs.RO

ForceBand : apprentissage de la manipulation de force par sEMG

Une équipe de chercheurs a présenté ForceBand, un bracelet sEMG (électromyographie de surface) porté au poignet et conçu pour enrichir les démonstrations humaines destinées à l'apprentissage de politiques de manipulation robotique. Le système capture l'activité musculaire du poignet via des électrodes de surface et, combiné à une IMU, alimente un modèle pré-entraîné baptisé EMG2Force qui prédit les forces exercées par chaque doigt. Pour entraîner ce modèle, les chercheurs ont constitué un jeu de données multimodal de 10 heures combinant vidéo égocentrique, signaux sEMG, données inertielles et mesures de forces au bout des doigts, couvrant des actions et objets variés. Après une courte calibration propre à l'utilisateur, celui-ci peut collecter de nouvelles démonstrations avec seulement le bracelet et une caméra : EMG2Force étiquette automatiquement ces séquences avec les traces de force par doigt. Les expériences rapportent une réduction d'erreur de prédiction de force supérieure à 50 % par rapport aux baselines fondées uniquement sur la vision, et un taux de succès de 87 % sur des tâches de saisie, compression et dépose impliquant des objets de formes, tailles et poids variés. L'apport clé de ForceBand réside dans la résolution d'un angle mort structurel des pipelines d'imitation learning : les sources courantes de démonstrations humaines, capture de mouvement ou vidéos internet, fournissent trajectoire et apparence mais ignorent les forces de contact, pourtant déterminantes pour toute manipulation sensible au toucher. Serrer un emballage souple sans l'écraser, insérer un connecteur, manipuler des objets fragiles ou déformables sont des tâches où le contrôle en effort prime sur le contrôle en position. En rendant ces forces observables à faible coût matériel, le système ouvre la voie à des politiques VLA (vision-language-action) capables de généraliser sur des propriétés mécaniques d'objets non vus, sans capteurs de force onéreux montés sur le robot. Ce travail s'inscrit dans une dynamique active autour de l'augmentation des données de démonstration : plusieurs laboratoires explorent des gants haptiques, des capteurs tactiles intégrés aux mains robotiques ou des méthodes de reconstruction de force par vision stéréo. ForceBand se positionne comme une alternative légère et bon marché, accessible sans infrastructure de motion capture. L'article est pour l'instant un preprint arXiv (2606.26093), non encore soumis à une conférence majeure, et les résultats reposent sur un protocole contrôlé en laboratoire. La robustesse au bruit musculaire inter-sujets, à la fatigue et aux variations de placement du bracelet en conditions industrielles reste à démontrer. Les prochaines étapes naturelles impliqueront des tests sur des robots à mains dextrères (dexterous hands) et une validation sur des tâches d'assemblage réelles, là où la complémentarité avec des plateformes comme les mains Allegro ou Shadow est la plus directe.

RecherchePaper

1 source

4arXiv cs.RO

Manipulation robotique riche en contacts dans la construction par apprentissage zero-shot : contrôle adaptatif guidé par politique de diffusion

Une équipe de chercheurs présente un nouveau framework combinant des politiques de diffusion (diffusion policies) entraînées sur des données de pose et de force/couple générées par simulation, couplées à un contrôleur adaptatif inspiré de la méthode L1 qui corrige en ligne les actions prédites par la politique pour compenser les dynamiques de contact non modélisées. Le système a été testé sur trois tâches d'assemblage robotique dans le bâtiment : l'assemblage de charpente bois (timber joinery), le raccordement de tuyauterie (pipe fitting), et l'assemblage séquentiel d'une ferme de toit (truss) à échelle réelle. Les résultats rapportés font état de 100% de réussite sur les tâches d'assemblage isolées et de 90 à 100% de réussite sur les sous-tâches de l'assemblage séquentiel de ferme, avec des forces de contact plus faibles et plus stables que les méthodes de référence. Le papier, publié sur arXiv (2608.22100v1) fin août 2026, revendique un transfert "zero-shot" de la simulation vers le réel, c'est-à-dire sans réentraînement ni collecte de données supplémentaires sur le robot physique. Cette avancée cible un problème central et jusqu'ici mal résolu de la robotique du BTP : l'assemblage riche en contacts, où les tolérances serrées, les imprécisions de fabrication et la dynamique incertaine des contacts rendent les approches classiques peu fiables. Si les chiffres se confirment au-delà du benchmark, la méthode réduirait fortement le coût et le temps de collecte de données réelles nécessaires à l'entraînement des politiques, un frein majeur au déploiement de robots autonomes sur chantier. Elle apporte aussi un indice supplémentaire que les politiques de diffusion, combinées à un contrôle adaptatif classique, peuvent généraliser à des tâches de manipulation physique fine sans long cycle d'essais réels, un argument qui intéresse directement les intégrateurs et décideurs cherchant à automatiser des tâches d'assemblage répétitives et physiquement pénibles. Le travail s'inscrit dans la lignée des recherches en apprentissage par imitation et en contrôle robuste appliquées à la construction, un secteur confronté à une pénurie de main-d'oeuvre et à des cadences de chantier difficiles à automatiser avec des approches purement scriptées. Il se positionne face à des méthodes de référence comparées directement dans ses benchmarks, sans toutefois nommer de plateforme robotique commerciale ni de site de déploiement industriel : il s'agit à ce stade d'une démonstration de recherche en laboratoire et en simulation, pas d'un produit livré ou déployé sur un chantier réel. Les auteurs annoncent vouloir étendre l'approche à un éventail plus large de tâches de manipulation riches en contacts dans la construction, ce qui laisse présager des travaux de suite plutôt qu'un calendrier de commercialisation.

UEAucun acteur ni déploiement européen n'est cite, mais la méthode vise un problème (pénurie de main-d'oeuvre, assemblage BTP) directement pertinent pour le secteur de la construction en France et en UE.

RecherchePaper

1 source