Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Transformateur tactile hétérogèneIllustration générée par IA
RecherchearXiv cs.RO 

Transformateur tactile hétérogène

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont déposé le 30 juin 2026 sur arXiv (référence 2606.29948) le Heterogeneous Tactile Transformer (HTT), un framework visant à résoudre un verrou fondamental du toucher artificiel : l'hétérogénéité des capteurs tactiles. Un modèle entraîné sur un capteur visuotactile de type GelSight ne peut aujourd'hui pas être réutilisé sur un capteur matriciel résistif sans réentraînement complet, ce qui empêche toute mutualisation des données à grande échelle. HTT propose une architecture composée d'encodeurs spécifiques à chaque capteur couplés à un tronc transformer partagé, pré-entraîné par reconstruction masquée par modalité et alignement cross-modal entre paires de capteurs. Ce pré-entraînement s'appuie sur un nouveau dataset baptisé Heterogeneous Paired Tactile (HPT), compilant 1,6 million de frames synchronisées issues de quatre capteurs : deux visuels (vision-based) et deux matriciels (array-based). Les expériences montrent que HTT produit des représentations transférables à de nouvelles tâches et à des capteurs jamais vus à l'entraînement.

Ce verrou est réel et coûteux pour les équipes robotique. Contrairement à la vision, où des modèles pré-entraînés comme ViT ou CLIP se transfèrent facilement d'une caméra à une autre, le tactile est resté un silo par capteur, forçant chaque projet à recollecte ses propres données de contact. Si HTT généralise correctement, cela ouvre la voie à des datasets tactiles fédérés, analogue à ce qu'Open X-Embodiment a réalisé pour la manipulation visuo-motrice, et potentiellement à des politiques contact-rich entraînées sur des données hétérogènes issues de plusieurs fournisseurs. Pour un intégrateur ou un COO industriel, l'enjeu est concret : pouvoir changer de capteur tactile sans tout réentraîner représente un gain de temps et de coût significatif sur les lignes d'assemblage précis.

Ce travail succède à des approches comme T3 (Transferable Tactile Transformers, 2024) et UniTouch, qui avaient amorcé la représentation cross-capteur mais restaient limitées à une ou deux modalités. Sur le marché, GelSight et ses dérivés (DIGIT, GelSight Mini) dominent la recherche académique, tandis qu'Xela Robotics et Contactile misent davantage sur les grilles résistives ou piézoélectriques. L'article est présenté comme preprint et n'a pas encore été soumis à revue par les pairs ; le code, les poids de modèle et le dataset HPT seront publiés à la parution définitive, ce qui permettra une évaluation indépendante des performances revendiquées. L'étape suivante naturelle sera l'intégration de HTT dans des pipelines VLA (Vision-Language-Action) pour doter les mains humanoïdes d'un retour haptique fiable et généralisable à l'échelle.

Dans nos dossiers

arXiv cs.RO

À lire aussi

RouterVLA : des tests de fumée transformés en supervision pour la sélection de modèles VLA hétérogènes
Illustration générée par IA
1arXiv cs.RO 

RouterVLA : des tests de fumée transformés en supervision pour la sélection de modèles VLA hétérogènes

RouterVLA, présenté dans un preprint arXiv déposé en juin 2026 (identifiant 2606.27355), s'attaque à un problème concret souvent ignoré dans le déploiement robotique : comment choisir, parmi plusieurs politiques vision-language-action (VLA) candidates, celle que l'on installe réellement sur le robot. Les équipes robotiques effectuent systématiquement des "smoke tests" - des séries d'essais courts avant déploiement - pour comparer les candidats, puis retiennent un seul vainqueur global. RouterVLA propose de capitaliser sur ces essais déjà réalisés via une technique dite de "cross-fitting à résultats disjoints" : les essais enregistrés construisent un profil de performance pour chaque politique expert gelée, tandis qu'un essai distinct, non inclus dans ce profil, sert à noter l'expert retenu. Évalué sur 34 752 enregistrements de rollouts issus du benchmark LIBERO-Plus, une règle transparente basée sur le taux de succès des probes fait passer le taux de succès hors-échantillon de 0,4686 à 0,6149, soit un gain de 14,64 points de pourcentage. Le résultat le plus saillant n'est pas le gain lui-même, mais ce qui le produit. Sous les profils scalaires étudiés, les scoreurs appris sont statistiquement indiscernables de la simple règle de succès-probe, ce qui implique que la valeur de routage vient du processus de commissionnement - les smoke tests eux-mêmes - et non d'une capacité ML supplémentaire. Ajouter des couches d'apprentissage pour scorer les politiques ne crée donc pas de valeur additionnelle si les profils restent scalaires. Tout aussi important pour l'intégrité des benchmarks : réutiliser le même essai pour sélectionner et évaluer l'expert gonfle artificiellement le gain mesuré par un facteur de 1,87. Ce résultat constitue un avertissement méthodologique direct pour la communauté, car de nombreux papiers comparatifs en robotique pourraient souffrir de ce biais de contamination si la séparation des outcomes n'est pas garantie. LIBERO-Plus est un environnement de simulation pour la manipulation robotique de table, largement utilisé pour évaluer des politiques de généralisation. RouterVLA s'inscrit dans le champ croissant de la sélection hétérogène de politiques VLA, un problème qui devient critique à mesure que les fondations VLA se multiplient : Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), Helix (Figure AI), ou les politiques maison des labs comme Google DeepMind. La question de savoir quel modèle router selon la tâche est un vrai enjeu d'industrialisation, distinct de celui d'entraîner de meilleurs modèles individuels. Ce preprint ne mentionne ni déploiement réel ni partenaire industriel : il s'agit d'une contribution méthodologique évaluée en simulation. Les suites naturelles seraient d'étendre l'analyse à des profils non-scalaires (embeddings, séquences temporelles) et de valider la séparation des outcomes en manipulation physique réelle.

RechercheOpinion
1 source
HA-DiPO : optimisation de politiques de diffusion pour le transport coopératif hétérogène
Illustration générée par IA
2arXiv cs.RO 

HA-DiPO : optimisation de politiques de diffusion pour le transport coopératif hétérogène

HA-DiPO (Heterogeneous-Agent Diffusion Policy Optimization) est un framework d'apprentissage par renforcement multi-agent hiérarchique, publié sur arXiv (2610.33584) et destiné au transport coopératif par des robots à pattes hétérogènes. Il s'appuie sur le paradigme CTDE (entraînement centralisé, exécution décentralisée). Le niveau haut sépare la coordination d'équipe du contrôle moteur propre à chaque morphologie. Un critique centralisé, qui estime la valeur de l'équipe, entraîne conjointement des politiques de coordination indépendantes, de sorte que la réponse de chaque robot s'aligne sur l'objectif commun de transport. Au niveau bas, des politiques de locomotion robustes, spécifiques à chaque embodiment, suivent les commandes issues de la coordination. Les politiques de haut niveau sont des politiques de diffusion, apprises de zéro par interaction avec le simulateur et par récompense, sans démonstration. À l'exécution, chaque robot n'utilise que ses observations locales et celles de la charge, sans état du partenaire ni message inter-robots. Les auteurs rapportent, en simulation, de meilleurs retours moyens finaux, de meilleurs taux de succès de suivi de vitesse et des erreurs de vitesse plus faibles que les références testées. Des essais réels portent sur un transport entre quadrupède et robot à roues-pattes, ainsi que sur un transport homme-robot. L'intérêt tient à trois choix. Le premier est l'absence de communication et d'observation du partenaire : la coordination passe par la charge elle-même, ce qui allège les exigences de bande passante et de synchronisation, et rend le système plus tolérant aux pannes réseau en entrepôt ou sur chantier. Le deuxième est l'usage de la diffusion pour représenter des réponses multimodales, là où une gaussienne unique force un compromis moyen entre stratégies possibles, par exemple contourner un obstacle par la gauche ou par la droite. Le troisième est la séparation entre coordination et locomotion : on peut donc, en principe, changer de morphologie sans réentraîner toute la pile. Il faut toutefois relativiser. Le résumé ne donne ni masse de charge, ni nombre de degrés de liberté, ni taux de succès chiffrés, ni nombre d'essais physiques, et les références ne sont pas détaillées. Il s'agit d'une preuve de concept de laboratoire, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la montée des politiques de diffusion en robotique, popularisées par la manipulation par imitation, ici transposées à l'apprentissage par renforcement multi-agent, qui reposait surtout sur des politiques gaussiennes, souvent pour des équipes homogènes. Le transport coopératif hétérogène reste peu exploré face aux flottes homogènes de robots mobiles autonomes (AMR) et aux humanoïdes polyvalents développés par Figure, Tesla ou Agility, qui visent surtout l'autonomie individuelle. La suite logique serait un passage à des charges plus lourdes, à davantage de robots, à des terrains non structurés et à des comparaisons publiques de robustesse. Aucun calendrier de pilote n'est annoncé.

RecherchePaper
1 source
TacDyn-WAM : apprentissage de la dynamique tactile implicite dans un modèle du monde et d'actions visuo-tactile hétérogène
Illustration générée par IA
3arXiv cs.RO 

TacDyn-WAM : apprentissage de la dynamique tactile implicite dans un modèle du monde et d'actions visuo-tactile hétérogène

Des chercheurs publient TacDyn-WAM, un « world action model » visuo-tactile hétérogène (arXiv 2610.00638) qui prédit la dynamique tactile implicite plutôt que de reconstruire les futures images tactiles. Les world action models conditionnent les actions du robot sur des futurs prédits. Leurs variantes tactiles actuelles reprennent les pipelines de génération vidéo, avec reconstruction itérative par débruitage. TacDyn-WAM apprend TacRep, un espace de représentation tactile entraîné par prédiction spatio-temporelle masquée sur des séquences tactiles, et régularisé par distillation de structure relationnelle. Deux experts, l'un visuel, l'autre tactile, prédisent des représentations futures dans des espaces cibles distincts et échangent par attention conjointe. L'expert tactile prédit, en une seule passe avant, les représentations futures et leurs variations à plusieurs horizons. Une mémoire tactile en lecture seule fournit l'état de contact courant. Sur le benchmark UniVTAC, le modèle atteint 81,5 % de réussite moyenne avec les seules démonstrations fournies. Sur cinq tâches réelles, il obtient 71,0 %, et 85,0 % après un pré-entraînement de taille modeste. L'enjeu porte sur la robustesse en déploiement. Les auteurs soutiennent qu'un léger décalage de position ou de force de contact modifie fortement les pixels tactiles, alors que l'évolution du contact reste prévisible. Reconstruire ces pixels devient alors fragile, tandis que prédire la dynamique dans un espace latent y serait moins sensible. Le résultat est notable pour les intégrateurs de manipulation fine, par exemple l'insertion ou la saisie sous contact, car il suggère qu'un tactile utile ne demande pas forcément de lourds modèles génératifs. Le modèle reste compétitif face à des approches pré-entraînées sur de vastes trajectoires visuo-tactiles. Les ablations indiquent que les deux voies tactiles et TacRep l'emportent sur les alternatives par reconstruction de pixels ou statiques. Les chiffres viennent toutefois des auteurs, sur un benchmark, avec un nombre limité de tâches réelles. Le papier ne donne ni temps de cycle ni matériel de déploiement industriel, et l'écart entre simulation, laboratoire et production reste à démontrer. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle robotique, où le tactile reste le parent pauvre face à la vision. Les VLA comme Pi-0 ou GR00T s'appuient surtout sur la vision et le langage, tandis que les capteurs tactiles de type vision-based (GelSight et dérivés) restent peu intégrés aux modèles de fondation. Les variantes tactiles concurrentes héritent des architectures de génération vidéo que TacDyn-WAM remet en cause. Il s'agit d'une prépublication v1, sans produit ni déploiement annoncé. La suite probable passera par des pré-entraînements plus vastes, davantage de tâches réelles et une réplication indépendante. Aucun acteur français ou européen n'est cité dans l'article.

RecherchePaper
1 source
Suivi de la forme de manipulabilité invariant à l'échelle pour des manipulateurs hétérogènes
Illustration générée par IA
4arXiv cs.RO 

Suivi de la forme de manipulabilité invariant à l'échelle pour des manipulateurs hétérogènes

Des chercheurs proposent une méthode de suivi de forme de manipulabilité invariante à l'échelle, destinée à transférer le comportement cinématique d'un manipulateur à un autre malgré des tailles et des architectures différentes. L'ellipsoïde de manipulabilité décrit dans quelles directions le bras se déplace ou exerce une force le plus facilement. Les approches par matrice complète imposent à la fois sa forme (orientation, rapports entre demi-axes) et son échelle absolue, ce qui pénalise inutilement le suiveur quand seule la forme compte. La nouvelle méthode considère comme équivalentes deux matrices qui diffèrent d'un simple facteur scalaire positif, et travaille sur leurs représentants à déterminant unitaire. Les auteurs dérivent la différentielle de ce représentant et une représentation en coordonnées orthonormées du résidu de suivi sous la métrique riemannienne invariante affine (AIRM). L'objectif est intégré, avec des tâches de position et de direction de l'effecteur, dans un programme quadratique en vitesses articulaires sous contraintes. Les tests sont uniquement en simulation, sur quatre robots hétérogènes, dont les KR500 et UR20. Sur trois suiveurs, la distance de forme finale atteint 9,30 x 10^-5 sans réglage d'échelle. Avec des échelles cibles ajustées pendant le mouvement, la méthode complète conserve des erreurs de rapport d'axes de 0,19 à 0,31 sur KR500 et UR20. Pour un geste humain avec tâches concurrentes, les ellipsoïdes de force duaux s'allongent selon X comme la cible humaine sur les quatre robots. L'erreur de position finale reste de 2,4 à 5,6 % de la longueur de bras de référence, contre jusqu'à 75 % pour un suivi de l'ellipsoïde humain d'origine par matrice complète. L'enjeu concerne la programmation par démonstration et le transfert de compétences humain-robot. Un opérateur humain et un robot industriel de plusieurs centaines de kilogrammes n'ont ni la même échelle ni la même cinématique. Chercher à reproduire l'ellipsoïde absolu revient à imposer des cibles physiquement inatteignables, et l'écart de 75 % d'erreur de position en est l'illustration : la tâche principale est sacrifiée au profit d'un critère mal posé. Séparer la forme, c'est-à-dire la stratégie de manipulation, de l'échelle, qui dépend du matériel, rend le transfert plus réaliste entre plateformes différentes. Cela intéresse les intégrateurs qui réutilisent des démonstrations sur plusieurs bras et les équipes qui cherchent à faire imiter aux humanoïdes des gestes humains. Cette approche reste géométrique et ne repose ni sur un VLA ni sur de l'apprentissage. Elle ne dit rien de la robustesse sur matériel réel : aucun essai physique n'est rapporté, seulement quatre robots simulés, et le gain dépend d'un réglage d'échelle sur certains cas. Le travail prolonge la littérature sur la manipulabilité introduite par Yoshikawa dans les années 1980, puis sur le transfert de manipulabilité entre robots ou depuis l'humain, souvent formulé sur les variétés riemanniennes de matrices définies positives. L'article, publié sur arXiv (2609.36784v1), n'annonce ni produit ni pilote. La suite logique est une validation sur robots physiques et l'intégration dans des pipelines d'apprentissage par imitation, où le suivi de forme pourrait servir de contrainte ou de terme de récompense. Il faudra aussi comparer cette méthode à d'autres approches de transfert de compétences.

RecherchePaper
1 source