RecherchearXiv cs.RO 2 novembre 2026

FlowTouch : prédiction visuo-tactile invariante au point de vue

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

FlowTouch, un modèle présenté sur arXiv (mars 2026, version 2 révisée), vise à prédire les images tactiles que produirait un capteur tactile optique (de type vision-based) avant tout contact, à partir d'informations visuelles. Le système combine une reconstruction de scène et un modèle génératif basé sur le Flow Matching. Plutôt que d'apprendre une correspondance directe entre image de caméra et sortie du capteur, il s'appuie sur le maillage 3D local de l'objet à l'endroit du contact. Les auteurs affirment que le modèle franchit l'écart simulation-réel (sim-to-real) et se généralise à de nouvelles instances de capteurs, et que les images tactiles générées servent à prédire la stabilité d'une prise. Le code, les jeux de données et des vidéos sont publiés sur flowtouch.github.io. L'extrait disponible ne donne ni taux de réussite, ni taille des jeux de données, ni matériel précis, ni temps d'inférence.

L'enjeu est de lever une limite structurelle du tactile: un capteur ne livre des données qu'après le contact, donc inutilisables pour la planification ou le début de l'exécution. Les approches existantes, qui associent image de caméra et image tactile, dépendent fortement du montage expérimental et de la capacité de la caméra à voir la zone touchée, ce qui les rend fragiles dès que l'on change d'angle de vue, d'occultation ou de cellule de travail. En passant par la géométrie locale de l'objet, FlowTouch cherche l'invariance au point de vue, une propriété utile pour les intégrateurs qui redéploient des stations de préhension avec des caméras placées différemment. La généralisation à d'autres exemplaires du même capteur répond à un autre point douloureux: la dérive d'un capteur à l'autre, qui oblige aujourd'hui à recalibrer ou réentraîner. Il faut toutefois rester prudent: il s'agit d'un travail académique, sans chiffres publics dans l'extrait, sans déploiement industriel, et la prédiction de stabilité de prise reste une tâche aval de démonstration.

Ce travail s'inscrit dans la montée du tactile visuel (capteurs de type GelSight, DIGIT) et dans l'usage croissant des modèles génératifs, diffusion puis Flow Matching, pour synthétiser des signaux de capteurs, alors que les modèles vision-langage-action (VLA) généralistes restent surtout pilotés par la vision et la proprioception. La prédiction tactile avant contact pourrait nourrir des politiques de manipulation à contacts riches, ou servir de simulateur tactile appris. La suite dépendra de la reproduction des résultats par d'autres laboratoires, de la robustesse face à des reconstructions 3D bruitées en conditions réelles et de l'intégration dans des pipelines de planification. Aucun calendrier de pilote industriel n'est annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

AnyViewDex : manipulation dextérique invariante au point de vue à partir d'observations RGB

Une équipe de recherche a publié fin 2026 un article arXiv (2609.20107v1) décrivant AnyViewDex, un pipeline d'entraînement pour la manipulation dextre robuste aux changements de point de vue caméra. Le système combine un alignement contrastif multi-vue avec une supervision géométrique 3D dite privilégiée, disponible uniquement en simulation: en régressant les coordonnées 3D absolues des objets pendant l'entraînement simulé, cet objectif auxiliaire évite l'effondrement spatial de l'embedding contrastif globalement agrégé. Au déploiement, la politique fonctionne en zero-shot avec seulement une caméra RGB monoculaire non calibrée et la proprioception, sans capteur de profondeur. L'approche a été validée à la fois par apprentissage par renforcement et par distillation élève-professeur, puis testée sur un bras xArm7 équipé d'une main LEAP à 16 degrés de liberté. Résultat mesuré: 76,7% de réussite de préhension sur huit objets inédits et six points de vue non calibrés, sur un total de 480 essais matériels et 2400 essais en comptant les conditions d'ablation. Cette publication s'attaque à un point de friction connu de l'industrie de la manipulation dextre: les politiques visuomotrices actuelles sont très sensibles aux décalages de point de vue caméra, et les méthodes récentes compensent en s'appuyant sur du RGB-D ou des nuages de points explicites au moment du test, ce qui ajoute des dépendances matérielles, des contraintes de calibration et une fragilité face au bruit capteur en conditions réelles. En montrant qu'une caméra RGB monoculaire non calibrée suffit à conserver l'invariance de vue, AnyViewDex suggère une voie pour alléger le coût matériel et l'intégration des cellules robotiques dextres en usine, un enjeu direct pour les intégrateurs qui cherchent à limiter la calibration et la maintenance de capteurs 3D. Le taux de 76,7%, mesuré sur objets et vues jamais vus plutôt que sur un scénario choisi, reste un résultat partiel plutôt qu'une démonstration de fiabilité industrielle, mais il documente honnêtement une marge d'erreur réelle plutôt que des vidéos triées. Le travail s'inscrit dans la vague plus large des politiques vision-langage-action et de manipulation généraliste (dans la lignée de systèmes comme Pi-0 ou GR00T N2) qui cherchent à réduire la dépendance à des capteurs 3D coûteux pour la manipulation fine multi-doigts. Il s'agit ici d'une contribution de recherche fraîchement annoncée sur arXiv, avec une page projet dédiée (anyviewdex.github.io), et non d'un produit commercialisé ou déployé en usine: aucune entreprise ni aucun partenaire industriel n'est mentionné dans l'article. Les prochaines étapes attendues pour ce type de travaux sont généralement une extension à davantage d'objets, de tâches et de plateformes robotiques, ainsi qu'une comparaison plus poussée avec les approches concurrentes fondées sur RGB-D avant toute intégration industrielle.

RecherchePaper

1 source

2arXiv cs.RO

InfiNoVA : augmentation infinie de vues nouvelles pour des politiques robotiques invariantes au point de vue

Des chercheurs en robotique ont présenté InfiNoVA (Infinite Novel View Augmentation), une méthode d'augmentation de données pour les politiques Vision-Language-Action (VLA), détaillée dans un preprint publié sur arXiv le 24 septembre 2026 sous la référence 2609.27734v1. Le problème visé : ces politiques restent dépendantes des angles de caméra utilisés à l'entraînement et perdent en performance face à un nouveau point de vue, un défaut que la seule multiplication de démonstrations physiques ne corrige que partiellement, à coût élevé. InfiNoVA reconstruit chaque trajectoire de manipulation, filmée par plusieurs caméras synchronisées, en une représentation 3D Gaussienne variable dans le temps, puis génère des vues synthétiques depuis des poses caméra échantillonnées, en conservant la correspondance état-action d'origine. Sur quatre tâches de manipulation réelles, les politiques entraînées avec cette méthode obtiennent un taux de réussite moyen 5,4 fois supérieur à celui de l'augmentation VISTA ou d'une politique non augmentée face à des points de vue inédits, et 1,7 fois supérieur à un entraînement direct sur les cinq caméras physiques disponibles. Ce travail cible un frein concret à l'industrialisation des politiques VLA : l'écart de performance qui apparaît dès qu'un intégrateur installe une caméra à une hauteur ou un angle différent de ceux du laboratoire d'origine, un obstacle direct à des déploiements sur des cellules robotiques hétérogènes. En s'appuyant sur une représentation 3D explicite plutôt que sur une synthèse générative par diffusion, InfiNoVA limite aussi les hallucinations visuelles qui nuisent à l'exécution de la tâche, un défaut connu de ces méthodes génératives. Pour un décideur robotique, l'enseignement clé est que la robustesse au point de vue s'obtient ici par un traitement des données d'entraînement, sans modifier l'architecture de la politique. InfiNoVA s'inscrit dans les efforts pour combler l'écart de généralisation visuelle des politiques VLA. Sa comparaison directe avec VISTA, une méthode antérieure d'augmentation de vues, la positionne comme une alternative aux approches génératives par diffusion. Le travail reste une contribution de recherche en preprint, validée sur quatre tâches de laboratoire, sans partenariat industriel annoncé, présentée par ses auteurs comme une voie vers des politiques robustes aux caméras et vers des tests à plus grande échelle.

RechercheActu

1 source

3arXiv cs.RO

Politique de diffusion équivariante visuo-tactile pour la manipulation riche en contacts

Des chercheurs proposent VISTA, une politique de diffusion visuo-tactile équivariante conçue pour l'apprentissage par imitation de tâches de manipulation riches en contacts (arXiv 2610.03333, première version). Le système projette les observations visuelles et tactiles dans des « jetons sphériques », puis injecte les indices de contact tactile dans les directions sphériques visuelles grâce à une fusion sphérique équivariante aux permutations. La représentation harmonique ainsi fusionnée est ensuite tournée selon l'orientation de l'effecteur terminal. Elle conditionne une politique de diffusion équivariante, chargée de prédire des actions cohérentes dans l'espace de travail. Les auteurs affirment, à partir d'expériences en simulation et sur robot réel, que VISTA améliore nettement l'efficacité en données par rapport à de solides références d'apprentissage par imitation visuo-tactile. Le résumé publié ne donne ni chiffres, ni nombre de démonstrations, ni liste des tâches ou des capteurs tactiles utilisés. Un site de projet accompagne le travail. L'enjeu est économique avant d'être académique. Les démonstrations expertes pour les tâches de contact (insertion, assemblage, manipulation fine) sont coûteuses : elles exigent de la téléopération qualifiée, du temps machine et, de plus en plus, des capteurs tactiles. Les politiques de diffusion et les VLA (modèles vision-langage-action) fonctionnent, mais au prix de volumes de données qui freinent leur déploiement chez les intégrateurs. Intégrer des symétries géométriques directement dans l'architecture, plutôt que de les faire apprendre par des données supplémentaires, est une piste crédible pour réduire ce coût. Le travail suggère aussi que le toucher gagne à être fusionné de façon structurée avec la vision, et non simplement concaténé. Il faut toutefois rester prudent : il s'agit d'un préprint sans relecture par les pairs, dont l'ampleur réelle du gain n'est pas vérifiable à ce stade. Aucun déploiement industriel n'est annoncé. VISTA s'inscrit dans la lignée des politiques de diffusion (Diffusion Policy) et de leurs variantes équivariantes, qui exploitent les symétries SE(3) ou SO(3) pour gagner en efficacité. Les recherches récentes sur le visuo-tactile cherchent à compenser les limites de la vision en cas d'occlusion ou d'ambiguïté de contact. En face, les grands modèles généralistes (Pi-0, GR00T, Helix) misent plutôt sur l'échelle des données que sur les biais inductifs géométriques. Les prochaines étapes à surveiller sont la publication du code et des chiffres détaillés, les comparaisons sur des benchmarks communs, et l'éventuelle combinaison de ces biais équivariants avec des modèles préentraînés à grande échelle.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

AdaDexGrasp : préhension dextérique adaptative par fusion de représentations visuo-tactiles 3D

Un nouveau système de préhension robotique baptisé AdaDexGrasp vient d'être publié sur arXiv (référence 2608.07600) en août 2026. Le framework vise à rapprocher les mains robotiques dextres du niveau d'adaptabilité humain en fusionnant vision et toucher : les signaux tactiles de chaque doigt sont associés à son identité propre et combinés à la géométrie 3D de l'objet saisi, formant une représentation unique dite visuo-tactile. Cette représentation alimente trois briques : génération de poses de préhension tenant compte du contact dès la planification, prédiction de faisabilité, puis ajustement dynamique de la prise une fois le contact établi. Les auteurs disent avoir testé l'approche en simulation et sur robot réel, avec une amélioration du taux de réussite et de la généralisation à des objets variés. Le résumé publié ne fournit toutefois ni chiffre précis de taux de succès, ni nombre de degrés de liberté de la main utilisée, ni comparaison chiffrée avec des méthodes existantes, des détails qui restent à vérifier dans l'article complet. Le sujet touche un angle mort connu de la préhension robotique dextre : la plupart des pipelines actuels planifient une prise à partir d'images puis exécutent sans réellement corriger après le contact, ce qui dégrade la robustesse face aux objets fragiles, déformables ou mal localisés par la seule vision. Un mécanisme de rétroaction tactile post-contact qui tiendrait ses promesses hors laboratoire intéresserait directement les intégrateurs travaillant sur le bin-picking, l'assemblage fin ou les mains de robots humanoïdes, domaines où l'échec de préhension reste un goulot d'étranglement malgré les progrès des modèles vision-langage-action. Cette recherche s'inscrit dans une tendance plus large de fusion visuo-tactile en manipulation robotique, portée depuis plusieurs années par des capteurs comme GelSight ou DIGIT et par des jeux de données de préhension dextre type DexGraspNet. AdaDexGrasp reste à ce stade une contribution académique en pré-publication, non revue par les pairs, sans partenariat industriel ni déploiement annoncé. Sa validation indépendante sur du matériel commercial constituera la prochaine étape à surveiller.

RecherchePaper

1 source