Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
TouchGuide : pilotage en temps réel des politiques visuomotrices par guidage tactile
RecherchearXiv cs.RO7sem

TouchGuide : pilotage en temps réel des politiques visuomotrices par guidage tactile

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a mis en ligne sur arXiv (réf. 2601.20239, v4) TouchGuide, un cadre permettant d'intégrer le retour tactile dans une politique visuomotrice robotique à l'inférence, sans modifier la politique de base. Le système opère en deux temps : une politique préentraînée, fondée sur la diffusion ou le flow-matching, génère d'abord une action initiale à partir des seules entrées visuelles ; un module appelé Contact Physical Model (CPM), entraîné par apprentissage contrastif sur un nombre limité de démonstrations expertes, réoriente ensuite l'échantillonnage via un score de faisabilité tactile. Les auteurs introduisent également TacUMI, un dispositif de collecte de données à embouts rigides permettant d'obtenir un retour tactile direct à faible coût. Évalué sur cinq tâches à contact riche, dont le laçage de chaussures et le transfert de chips, TouchGuide surpasse de façon significative les politiques visuo-tactiles de référence.

L'enjeu est structurant pour l'industrie : les politiques visuomotrices actuelles, y compris les VLA (Vision-Language-Action), s'appuient quasi exclusivement sur la vision, laissant de côté le toucher malgré son rôle central dans la manipulation de précision. TouchGuide propose une réponse pragmatique en greffant un module tactile à l'inférence sur n'importe quelle politique à base de diffusion, sans modifier les poids d'origine. Ce paradigme "cross-policy" réduit les coûts d'intégration pour les industriels. La démonstration sur le laçage de chaussures, tâche de référence en manipulation fine, apporte un signal encourageant sur la résolution partielle du fossé sim-to-real. Les performances dans des environnements non structurés restent à confirmer indépendamment.

La tactilité en robotique fait l'objet de travaux depuis plus d'une décennie, notamment autour du GelSight du MIT, mais son intégration dans les politiques d'apprentissage par imitation reste un problème ouvert. Contrairement aux approches end-to-end développées chez Google DeepMind ou à CMU, TouchGuide sépare explicitement la politique visuelle du guidage tactile, une architecture modulaire qui se positionne directement face à des travaux comme Tactile Diffusion Policy. Il s'agit pour l'instant d'un preprint non évalué par des pairs, sans déploiement industriel ni timeline annoncés ; les prochaines étapes probables incluent une validation dans des environnements moins contrôlés et sur des robots polyarticulés.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Politique visuo-tactile dextérique avec ancrage génératif par contact
1arXiv cs.RO 

Politique visuo-tactile dextérique avec ancrage génératif par contact

Des chercheurs ont déposé sur arXiv (2603.05687, version 3) une architecture de politique visuotactile nommée Contact-Grounded Policy (CGP), conçue pour la manipulation dextre par contact. L'évaluation physique repose sur une main Allegro V5 à quatre doigts équipée de capteurs Digit360 à chaque phalange distale ; les expériences en simulation mobilisent une main Tesollo DG-5F à cinq doigts avec des matrices tactiles couvrant l'ensemble de la paume. CGP articule deux composants : un modèle de diffusion conditionnel qui prédit conjointement les trajectoires futures de l'état du robot et du retour tactile dans un espace latent compressé, et un module de cohérence de contact appris qui convertit ces prédictions en cibles exécutables pour un contrôleur de compliance. Les tâches évaluées couvrent la manipulation intra-main, la préhension d'objets délicats et l'utilisation d'outils. La majorité des politiques visuotactiles existantes traitent le signal tactile comme une observation supplémentaire, sans modéliser l'état de contact ni la façon dont les sorties d'action interagissent avec la dynamique du contrôleur bas niveau. CGP comble cette lacune en prédisant simultanément l'état du robot et le retour tactile, puis en forçant la cohérence entre les contacts anticipés et ce que le contrôleur peut physiquement réaliser. Selon les auteurs, CGP surpasse les baselines de diffusion visuomotrice et visuotactile sur tous les scénarios testés. Pour les intégrateurs travaillant sur des tâches à contact riche, cela indique qu'ancrer la politique dans la dynamique de contact améliore la robustesse aux variations de friction et de géométrie d'objets, sans recourir à des capteurs de force extérieurs. La manipulation dextre multi-doigts reste un problème ouvert : la sensibilité aux transitions frictionnelles et au glissement fragilise les approches purement visuomotrices dès que la géométrie de l'objet varie. Digit360 est un capteur issu de Meta FAIR, successeur du Digit originel. La main Allegro V5 est un standard de facto en recherche académique. Les approches concurrentes incluent les politiques de diffusion visuotactile de plusieurs laboratoires nord-américains et les travaux de Physical Intelligence sur la manipulation généraliste à large échelle. CGP n'est assorti d'aucun partenariat industriel ni calendrier de déploiement : il s'agit d'une avancée de recherche, pas d'un produit annoncé.

RecherchePaper
1 source
Affordance2Action : ancrage des affordances guidé par la tâche pour la manipulation en temps réel
2arXiv cs.RO 

Affordance2Action : ancrage des affordances guidé par la tâche pour la manipulation en temps réel

Une équipe de chercheurs publie sur arXiv (identifiant 2606.04172) le framework Affordance2Action (A2A), centré sur un problème concret de la manipulation robotique : identifier en temps réel quelle partie précise d'un objet est fonctionnellement exploitable pour accomplir une tâche donnée, dans une scène encombrée et ambigüe. Le coeur du travail est A2A-Bench, un benchmark de manipulation couvrant à la fois les correspondances instruction-région unique et multi-région, c'est-à-dire les cas où un seul verbe d'action peut pointer vers une ou plusieurs zones fonctionnelles selon la disposition de la scène. Pour construire ce dataset à grande échelle, les auteurs ont développé A2A-AffordGen, un pipeline assisté par agents qui enchaîne filtrage par modèle de langage, segmentation interactive de parties, raffinement par masquage d'instance, génération d'instructions de raisonnement et vérification humaine. Le code et les datasets seront rendus publics. Ce travail expose une lacune structurelle des benchmarks existants en affordance : la plupart se concentrent sur la préhension d'objet isolé, s'appuient sur des scènes synthétiques, ou supposent une correspondance univoque entre instruction et région. A2A révèle des écarts significatifs dans trois catégories de baseline (segmentation générique, grounding fondé sur des VLMs et distillation d'affordance) sur des scènes réelles et multi-objets. Pour un intégrateur ou un responsable d'automatisation, ce résultat indique que les approches actuelles basées sur des VLMs généralistes (type CLIP ou LLaVA) sous-performent dès que la scène sort des cas standards. La capacité à localiser des régions fonctionnelles ambigües en temps réel reste un verrou non résolu pour le déploiement de bras manipulateurs en environnement non structuré. L'affordance grounding en robotique s'inscrit dans une longue tradition de recherche remontant aux travaux de Gibson sur les affordances écologiques, réinterprétés pour la manipulation depuis les années 2010. Les approches concurrentes incluent des méthodes de grounding fondées sur des modèles de vision-langage (CLIP, SAM couplé à LLM) et des politiques de type VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui nécessitent elles aussi une localisation précise des régions d'interaction. A2A se positionne comme un cadre d'évaluation et de supervision plutôt que comme une politique de contrôle complète. La prochaine étape logique serait une validation sur robots physiques à plus grande échelle : le papier démontre des résultats en manipulation conditionnée par les affordances, mais la portée reste expérimentale à ce stade de preprint.

RecherchePaper
1 source
Prise de contrôle adversariale en temps réel des politiques de diffusion robotique
3arXiv cs.RO 

Prise de contrôle adversariale en temps réel des politiques de diffusion robotique

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (réf. 2606.10371) une attaque baptisée TAKO (Test-time Adversarial Takeover), qui permet de prendre le contrôle en temps réel d'un robot opérant sous une politique de diffusion visuomotrice, sans modifier le modèle cible. La méthode repose sur un vocabulaire restreint de patches adversariaux universels et réutilisables, appris hors ligne via inférence de diffusion différentiable. À l'exécution, un opérateur humain injecte ces patches dans le flux caméra du robot et les commute dynamiquement pour composer des trajectoires de son choix. Sur quatre tâches évaluées (manipulation 2D, livraison aérienne simulée, navigation sol simulée et navigation sol en environnement physique réel), deux encodeurs visuels (ResNet-18 et EfficientNet-B0 + Transformer) et trois familles d'inférence générative (DDPM, DDIM et flow matching), les opérateurs attaquants ont atteint 100 % de succès de détournement dans l'ensemble des scénarios testés. Ce résultat interpelle directement les intégrateurs robotiques et les équipes de sécurité industrielle qui déploient des systèmes pilotés par des politiques de diffusion ou des VLA (Vision-Language-Action models). Jusqu'ici, la quasi-totalité des attaques adversariales sur robots visaient la dégradation des performances, induire un échec de tâche ou un comportement erratique. TAKO introduit une menace qualitativement différente : le robot ne s'arrête pas, il obéit à un attaquant distant. La perturbation agit sur le chemin de conditionnement visuel de la politique, et le biais introduit se propage à travers le processus de génération itératif propre aux modèles de diffusion, ce qui le rend difficile à détecter par supervision classique. Les auteurs démontrent aussi que la baseline naturelle "target-policy matching" échoue, car la politique victime ne peut pas se superviser fiablement sur des shifts hors distribution, invalidant une hypothèse de défense couramment avancée. Les politiques de diffusion pour la robotique se sont imposées comme paradigme dominant depuis 2023, portées par Diffusion Policy (Chi et al.) et intégrées dans des systèmes tels que pi0 de Physical Intelligence, les pipelines de Figure AI ou les robots de 1X Technologies. Ces architectures conditionnent l'action sur une observation visuelle, ce qui les rend structurellement vulnérables aux perturbations du flux caméra. Les pistes de défense habituelles, détection d'anomalies ou purification adversariale, restent largement expérimentales à cette échelle. L'évaluation demeure dans un cadre académique contrôlé, sans partenaire industriel ni calendrier de déploiement annoncé. Pour les équipes préparant des déploiements en logistique, livraison autonome ou manipulation industrielle, TAKO pose une question de sécurité concrète à laquelle le secteur n'a pas encore de réponse standardisée.

UELes intégrateurs robotiques européens déployant des systèmes à politiques de diffusion en logistique ou industrie doivent intégrer ce vecteur d'attaque dans leur modèle de menace, en l'absence de défense standardisée disponible.

RechercheActu
1 source
Apprentissage de politiques visuomotrices robustes par correspondance de flux à trajectoires cohérentes
4arXiv cs.RO 

Apprentissage de politiques visuomotrices robustes par correspondance de flux à trajectoires cohérentes

Une équipe de recherche publie sur arXiv (arXiv:2605.08511, mai 2026) une méthode pour corriger un défaut structurel des politiques de type flow matching appliquées à la manipulation robotique. Ces architectures apprennent des champs de vitesse continus pour convertir du bruit en séquences d'actions, permettant une inférence déterministe rapide. Le problème identifié est un écart fondamental entre entraînement et inférence : l'objectif d'entraînement optimise une vitesse ponctuelle, tandis que l'inférence requiert l'intégration numérique de ce champ sur une trajectoire complète. Les erreurs s'accumulent et dégradent les performances. La méthode proposée, baptisée TC-Flow, associe quatre correctifs complémentaires : une régression de vitesse par rectified flow auxiliaire pour une supervision uniforme sur l'intervalle temporel, un entraînement par cohérence de trajectoire multi-étapes qui supervise directement le déplacement intégré, une régularisation du champ de vitesse pour forcer la continuité temporelle, et un intégrateur de Runge-Kutta d'ordre 4 (RK4) à l'inférence pour réduire l'erreur de discrétisation. Un encodeur de nuage de points 3D à double vue, basé sur deux PointNet indépendants, complète l'architecture. Validée sur un bras Franka et un robot quadrupède Boston Dynamics Spot, la méthode atteint 70 % et 60 % de succès sur deux tâches longue-horizon multi-phases où les deux baselines de référence stagnent à 0 %, et 100 % sur une tâche de placement d'outil de précision. Trois tâches de simulation MetaWorld confirment les gains. Ce résultat est significatif pour les équipes qui développent des VLAs (vision-language-action) basées sur le flow matching : il démontre que le sim-to-real gap et l'échec sur les tâches longue-horizon ne viennent pas nécessairement de la représentation sensorielle ou de la politique en elle-même, mais du désalignement train-inférence. Le passage de 0 % à 60-70 % sur les mêmes tâches en corrigeant uniquement cet écart est un signal fort. L'ablation confirme que les quatre composants sont nécessaires en synergie : RK4 seul sans champ lisse échoue, et la régularisation sans supervision trajectoire dérive quand même. Dans le contexte du marché, le flow matching pour la robotique a été popularisé par Physical Intelligence avec pi-0, qui domine aujourd'hui les benchmarks de manipulation généraliste, et par des travaux comme ACT ou Diffusion Policy. TC-Flow se positionne comme une correction algorithmique orthogonale, applicable à toute architecture flow matching existante. Il s'agit d'un preprint arXiv sans code public annoncé à ce stade, ni déploiement industriel. Les prochaines étapes naturelles seraient une validation sur des tâches bi-manuelles ou sur des plateformes humanoïdes, terrain où les erreurs cumulées de trajectoire sont particulièrement pénalisantes.

RechercheOpinion
1 source