RecherchearXiv cs.RO 4 août 2026

CAAT : mise à l'échelle de l'attention sensible au contact et masquage tactile pour la manipulation riche en contacts, économe en données

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Résumé des faits établis en trois paragraphes, sans traitement d'outil nécessaire ici.

Une équipe de recherche présente CAAT (Contact-Aware Attention scaling and Tactile masking), un framework léger conçu pour améliorer les politiques d'apprentissage visuo-tactile dans la manipulation robotique impliquant des contacts physiques. Le principe repose sur deux mécanismes explicites : une pondération dynamique de l'attention qui privilégie les informations visuelles avant le contact et bascule vers les informations tactiles pendant le contact, ainsi qu'un masquage qui supprime les tokens tactiles statiques de fond en comparant l'observation courante à une référence sans contact. CAAT s'intègre directement aux politiques Transformer existantes sans modifier leur décodeur d'action. En simulation, son association avec ACT (Action Chunking Transformer) améliore le taux de réussite moyen de 18,0 points de pourcentage par rapport à une fusion visuo-tactile directe, et de 10,0 points par rapport à un gating appris classique. En conditions réelles, sur une plateforme UMI visuo-tactile, CAAT atteint un taux de réussite moyen de 60,0% combiné à trois architectures différentes, ACT, Diffusion Policy et $\pi_0$ (Pi-0), dépassant la meilleure référence de 21,1 points en moyenne.

Ce résultat s'attaque à un problème concret pour les intégrateurs et chercheurs en manipulation robotique: les politiques Transformer actuelles traitent le signal tactile de façon peu efficace, soit en le concaténant brutalement aux tokens visuels, soit via un gating appris qui manque de prior explicite sur la physique du contact. En injectant une connaissance a priori simple, mais structurante, sur le moment où le tactile devient pertinent, CAAT permet d'apprendre des représentations plus efficaces à partir de moins de démonstrations, un enjeu central pour la manipulation contact-riche (insertion, assemblage, préhension délicate) où les données d'entraînement réelles restent coûteuses à collecter. Le fait que le gain se maintienne à travers trois architectures de politique différentes, y compris un modèle VLA comme $\pi_0$, suggère que le mécanisme est généralisable plutôt que spécifique à une architecture, ce qui renforce sa valeur pratique pour les équipes qui expérimentent déjà avec différents backbones de politique.

Le travail s'inscrit dans la lignée des recherches sur la fusion multimodale pour la manipulation robotique, où l'intégration du tactile aux pipelines visuo-moteurs reste un chantier actif depuis l'essor des politiques basées sur l'imitation (ACT, Diffusion Policy) et plus récemment des modèles vision-langage-action comme $\pi_0$. Les auteurs positionnent CAAT comme une brique modulaire, "plug-and-play", plutôt qu'une nouvelle architecture de politique concurrente, ce qui facilite son adoption par des équipes déjà investies dans ACT ou Diffusion Policy. L'article, disponible sur arXiv (2608.01102v1) avec une page de projet dédiée, ne mentionne pas de déploiement industriel ni de partenariat commercial à ce stade: il s'agit d'un travail de recherche validé en simulation et sur un banc de test UMI en laboratoire, sans indication de calendrier vers une intégration produit.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

RATE : encodage tactile sensible au risque pour la manipulation robotique riche en contacts

Des chercheurs publient sur arXiv (2610.03538) RATE, pour Risk-Aware Tactile Encoding, une méthode d'encodage tactile destinée à la manipulation robotique riche en contacts. Le principe est d'apprendre des représentations tactiles qui portent explicitement le risque d'interaction propre à la tâche. Deux mécanismes y contribuent. Une prédiction conditionnée par l'historique des contacts capture le contexte d'interaction. Une supervision par « alertes » associe ensuite ce contexte à un niveau de risque. La représentation obtenue s'ajoute aux caractéristiques tactiles classiques via un adaptateur résiduel léger, sans remplacer l'encodeur existant. Les auteurs annoncent des gains substantiels de taux de réussite en simulation comme sur robot réel. Des ablations contrôlées montrent que l'apprentissage guidé par les alertes et la modélisation temporelle prédictive apportent chacun un bénéfice complémentaire. Le résumé ne chiffre ni les gains, ni les tâches, ni le matériel, ni les capteurs utilisés. Le travail s'attaque à une ambiguïté bien connue de la manipulation tactile. Un même signal peut venir de situations aux conséquences très différentes : bruit du capteur, variation normale et nécessaire à la tâche, ou début d'un contact indésirable. Sans information de risque ancrée dans le contexte, une politique aval ne sait pas les distinguer. Elle corrige alors inutilement des variations bénignes, ou réagit trop tard à un contact réellement dangereux. Pour les intégrateurs, cela touche les opérations d'assemblage, d'insertion ou de manipulation d'objets fragiles, où la robustesse compte plus que le taux de réussite moyen. L'approche est peu invasive, puisqu'un adaptateur résiduel se greffe sur des pipelines existants. Elle reste toutefois une preuve de concept académique. En l'absence de chiffres dans le résumé, il faut attendre le papier complet pour juger l'ampleur des gains, la diversité des tâches et la dépendance au choix des seuils d'alerte. Ce travail s'inscrit dans la progression rapide de l'apprentissage de représentations tactiles, qui a surtout cherché à produire des encodages généraux à partir de capteurs optiques ou de peau électronique. Les modèles vision-langage-action (VLA) actuels, tels que Pi-0 ou GR00T, s'appuient surtout sur la vision et traitent encore peu le toucher. Des représentations tactiles qui signalent le risque pourraient combler cette lacune. L'article est une pré-publication, non évaluée par les pairs. Aucun déploiement industriel, aucun produit ni aucun calendrier n'est annoncé. Les prochaines étapes à surveiller sont la publication du code, la validation sur des tâches plus variées et l'intégration à des politiques de type VLA.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

ViTacWorld : passage à l'échelle des modèles du monde visuo-tactiles pour la manipulation robotique riche en contacts

Des chercheurs présentent ViTacWorld, un modèle de monde visuo-tactile conditionné par l'action, conçu pour la manipulation robotique riche en contacts, décrit dans une prépublication arXiv (2607.22530v1). Le système s'appuie sur des jeux de données tactiles réels publics combinés à un environnement de simulation construit spécifiquement pour l'occasion, afin de générer à grande échelle des trajectoires visuo-tactiles-actions. Le modèle est d'abord préentraîné sur de larges volumes de trajectoires réelles et simulées, puis affiné avec des rollouts de politiques collectés en conditions réelles pour mieux coller aux comportements de manipulation visés. À partir d'une séquence d'actions du robot, ViTacWorld prédit conjointement les observations visuelles et le retour tactile correspondants, permettant de générer des rollouts visuo-tactiles-actions complets. Les auteurs présentent cela comme le premier cadre exploitant un modèle de monde pour la génération de trajectoires visuo-tactiles-actions et l'évaluation de politiques robotiques. L'enjeu central est le coût et la rareté des données tactiles réelles, qui freinent l'apprentissage robotique basé sur le toucher : matériel spécifique, collecte coûteuse, diversité de tâches et de scènes limitée. En misant sur le fait que le signal tactile, directement ancré dans le contact physique, souffre d'un écart simulation-vers-réel plus faible que la seule vision, ViTacWorld propose une voie pour combler ce manque de données sans multiplier les campagnes de collecte sur robot réel. Pour les équipes de recherche en manipulation fine (assemblage, insertion, préhension d'objets déformables), cela ouvre deux usages concrets : générer des données synthétiques pour améliorer des politiques tactiles en aval, et évaluer des politiques existantes en prédisant leurs résultats visuo-tactiles sous des séquences d'actions contrôlées, sans passer systématiquement par des essais physiques. C'est un signal de plus que les modèles de monde, déjà répandus en vision, commencent à s'étendre à d'autres modalités sensorielles pour la robotique de contact. Ce travail s'inscrit dans la lignée des modèles de monde appliqués à la robotique, jusqu'ici centrés presque exclusivement sur la modalité visuelle, et dans la continuité des efforts pour réduire la dépendance de l'apprentissage tactile aux capteurs propriétaires et aux collectes sur site. Les expériences menées par les auteurs sur des tâches de manipulation riches en contacts montrent que ViTacWorld génère des rollouts physiquement cohérents, améliore les performances de politiques via une augmentation de données scalable, et permet une évaluation de politiques conditionnée par l'action. Le projet est documenté sur vitacworld.github.io. L'article ne mentionne aucun partenariat industriel ni déploiement commercial à ce stade : il s'agit d'une contribution de recherche dont la portée réelle dépendra de sa reproduction sur des plateformes robotiques variées et de son adoption par des équipes travaillant sur l'assemblage ou la manipulation fine en environnement industriel.

RecherchePaper

1 source

3arXiv cs.RO

FORCA : un agent de code sensible à la force pour la manipulation robotique riche en contacts

FORCA, un agent de code décrit dans l'article arXiv 2610.31841, prend en entrée des observations visuelles et les mesures du capteur force/couple (F/T) monté au poignet du robot, puis écrit des programmes Python pour sonder le contact et produire des mouvements réactifs à la force. Entre deux exécutions, l'agent examine les enregistrements de force en parallèle des résultats visuels, diagnostique la cause de l'échec et révise à la fois la trajectoire et la logique de retour d'effort. Le système ne requiert ni démonstrations, ni entraînement spécifique à la tâche, ni simulation. Les auteurs l'ont testé sur cinq tâches avec un robot réel, couvrant trois formes de manipulation riche en contact : l'amélioration de la précision (notamment de saisie), l'adaptation à des changements de propriétés d'objet ou de surface, et la régulation du contact face à des variations de surface ou à un objet en mouvement. Face à une variante de l'agent limitée à la vision, FORCA améliore la précision de saisie et le taux de réussite, et réduit les pertes de contact lors d'essais d'essuyage et d'épluchage. Le résumé ne donne ni chiffres de gain, ni modèle de langage utilisé, ni modèle de robot. L'intérêt tient à la voie suivie : au lieu d'entraîner une politique VLA (vision-langage-action) sur des démonstrations téléopérées, coûteuses à collecter, la logique de contrôle est générée comme du code lisible, puis corrigée par essais successifs. Pour un intégrateur, cela rend le comportement inspectable et modifiable, et laisse espérer une mise en service plus rapide sur des tâches de contact (essuyage, épluchage, insertion) que les modèles purement visuels traitent mal, faute de perception de la force. La comparaison avec la variante vision seule suggère que le capteur F/T apporte un gain réel, mais elle ne prouve rien sur la fiabilité industrielle. Cinq tâches de laboratoire, sans taux publiés dans le résumé, sans temps de cycle ni nombre d'itérations de raffinement nécessaires, laissent ouverte la question de la robustesse, de la sécurité des essais physiques menés par un agent, et du coût de ces boucles d'essai-erreur sur du matériel réel. Ce travail s'inscrit dans la montée des agents de code pour la robotique, qui traduisent le langage en programmes, et dans l'effort pour doter les modèles fondation d'une perception tactile et de force, que les VLA actuels exploitent peu. Il rejoint les approches de politiques apprises comme Pi-0 ou GR00T, qui misent sur les données, avec un compromis différent : moins de données, mais plus d'ingénierie de la boucle de diagnostic. Il s'agit d'un préprint en première version (v1), non évalué par les pairs. Les suites naturelles seraient une validation sur davantage de plateformes et de tâches, des comparaisons directes avec des politiques apprises, et l'ouverture du code.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

VISTA : attention spatiale de contact inférée visuellement pour la manipulation à contacts riches

Un article arXiv publié fin août 2026 (2608.25872) présente VISTA-Policy, une méthode d'apprentissage par imitation pour la manipulation robotique en contact avec des objets. Plutôt que d'ajouter des capteurs tactiles ou de force, coûteux à calibrer et déployer, l'approche utilise le Visual Deformation Field (VDF), une représentation 3D des déformations d'un gripper compliant captée par caméra, comme signal de contact. Le système combine un module de décodage du VDF en temps réel, un mécanisme de débruitage isolant les vrais signaux de contact, et un réseau de politique pilotant des corrections incrémentales du gripper en boucle fermée. Il a été testé sur trois tâches, la préhension d'objets d'échelles variables, le dévissage de bouchons et l'écriture calligraphique, face à la référence vision pure 3D Diffusion Policy et à une référence tactile. L'enjeu dépasse la démonstration technique : en manipulation fine, la seule caméra peine à distinguer des états de contact subtils, notamment sous occlusion, tandis que les capteurs tactiles dédiés ajoutent du matériel, de la calibration et des coûts de déploiement. En montrant qu'un signal visuel dérivé de la déformation du gripper égale ou dépasse un capteur tactile physique, l'étude ouvre une voie moins coûteuse vers une manipulation généraliste en environnement non structuré. Les auteurs rapportent une généralisation à des objets d'échelles inédites et une robustesse à des perturbations dynamiques, deux points faibles fréquents des politiques vision seule. Pour des intégrateurs évaluant des piles VLA pour la préhension fine, cela suggère qu'un retour de contact riche est possible sans multiplier les capteurs embarqués. Le travail s'inscrit dans la tendance de l'apprentissage par imitation centré vision, où des politiques par diffusion comme 3D Diffusion Policy dominent mais restent limitées par l'ambiguïté des retours visuels purs ; la comparaison directe avec une référence tactile positionne VISTA-Policy comme alternative, plutôt que complément, aux capteurs de force dédiés. À ce stade, il s'agit d'une publication de recherche sur arXiv, pas d'un produit commercialisé : les résultats reposent sur des évaluations de laboratoire sur trois tâches, avec vidéos et matériel supplémentaire en ligne. Aucun calendrier de transfert industriel ni partenariat n'est communiqué.

RecherchePaper

1 source