RecherchePandaily 26 juillet 2026

Chargement en 30 000 heures de données tactiles comble le fossé de l'IA incarnée : XinZhi Embodied et l'université Fudan publient trois rapports techniques sur la perception haptique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

XinZhi Embodied et l'université Fudan ont publié conjointement trois rapports techniques consacrés à un maillon longtemps négligé de l'intelligence incarnée : le toucher. Alors que la vision et le langage progressent rapidement dans les modèles de manipulation robotique, la perception tactile reste en retard, alors qu'elle est indispensable pour saisir, assembler ou identifier des objets. La collaboration, basée à Shanghai, met à disposition 30 000 heures de données d'interaction tactile collectées sur de véritables opérations robotiques, destinées à entraîner des modèles capables de reconnaître texture, dureté, température et friction par le contact. Les trois rapports couvrent respectivement la conception et l'étalonnage des capteurs tactiles, la méthodologie de collecte de données à grande échelle, et l'entraînement de modèles de manipulation sensibles au toucher. L'approche matérielle combine plusieurs principes de transduction, capacitif, piézoélectrique et résistif, afin de capter à la fois la distribution statique de pression et les signaux vibratoires dynamiques lors du contact. La collecte a mobilisé plusieurs plateformes robotiques réalisant des tâches de préhension, de manipulation en main et d'exploration de surface sur des milliers d'objets aux matériaux, géométries et textures variés.

Cette publication répond à un goulot d'étranglement largement identifié dans le secteur : les systèmes fondés uniquement sur la vision savent repérer un objet et planifier une trajectoire d'approche, mais échouent à juger la force de préhension nécessaire, à détecter un glissement ou à distinguer des matériaux au contact, des compétences que l'humain acquiert par des milliers d'heures d'interaction physique durant son développement. En ouvrant l'accès à un volume aussi important de données tactiles structurées, rare car leur collecte exige du matériel spécialisé, une annotation précise des événements de contact et un temps d'exploitation robotique prolongé, XinZhi Embodied et Fudan espèrent lever un frein concret à la commercialisation de robots capables de manipuler des objets variés en conditions réelles, au-delà des environnements contrôlés typiques des démonstrations actuelles.

Cette initiative s'inscrit dans la tendance plus large de la perception multimodale en robotique, où la vision assure la conscience spatiale globale, le langage porte l'instruction de tâche, et le toucher fournit l'information locale nécessaire à une manipulation fine. Elle illustre aussi l'intégration croissante entre recherche académique et innovation entrepreneuriale dans l'écosystème chinois de l'intelligence incarnée, les résultats de recherche alimentant directement les cycles de développement produit. En ouvrant ces données à des chercheurs et développeurs tiers, XinZhi Embodied et Fudan University visent à accélérer l'émergence de capacités de manipulation tactile jusqu'ici hors de portée faute de données, dans un secteur où la course à l'autonomie manipulatoire s'intensifie face aux acteurs américains et européens.

Dans nos dossiers

IA physique & VLA Manipulation robotique

À lire aussi

1Pandaily

HIL-UMI de l'Université de Pékin et de PrimeBot collecte des données de correction pour robots sans bras robotique

Des chercheurs de l'Université de Pékin, dirigés par Hao Dong, ont présenté avec PrimeBot, fabricant shanghaïen de robots personnels (nom anglais de Qiyuan Robot, où Dong est directeur scientifique), une méthode baptisée HIL-UMI. Elle sert au post-entraînement de modèles vision-langage-action (VLA) et collecte des données de correction avec une pince portative, sans bras robotique. Le papier est disponible sur arXiv, avec une page projet sur hil-umi.github.io. Un opérateur exécute la tâche avec une pince Universal Manipulation Interface (UMI) tenue en main, pendant que des caméras enregistrent le point de vue que verrait la politique. En arrière-plan, la politique courante prédit des actions futures sur ce flux sans piloter aucun bras. Quand un « Energy Score » révèle que sa distribution d'actions s'écarte de la trajectoire humaine, le système invite l'opérateur à enregistrer une démonstration supplémentaire sur ce segment. Une seconde boucle entraîne un estimateur d'avantage fondé sur la progression, puis applique un clonage comportemental conditionné par l'avantage, afin que le modèle apprenne des actions qui font avancer la tâche plutôt que des mouvements oisifs. Sur quatre tâches réelles (pliage de serviette, rangement de table, empilement de blocs, tamponnage), à budget d'images identique, le fine-tuning supervisé classique fait passer le score moyen de progression de 44,3 à 58,0, contre 94,8 pour HIL-UMI, avec des scores parfaits sur les deux tâches de précision. Sur le rangement de table, tâche à long horizon, l'équipe annonce 73,40 ms par image utile contre 412,99 ms pour HG-DAgger, soit une efficacité de collecte environ 5,63 fois supérieure. L'intérêt tient au goulot d'étranglement visé. Le post-entraînement des VLA exige d'ordinaire de l'interaction réelle, et le HG-DAgger (l'opérateur observe le robot, reprend la main avant l'échec, puis remet la scène en état) gaspille l'essentiel du temps en mouvements robotiques lents et en réinitialisations manuelles plutôt qu'en images de correction exploitables. En découplant la correction itérative, consciente de la politique, du déploiement du robot, HIL-UMI permettrait de confier la collecte à davantage d'opérateurs, en plus d'endroits, sans immobiliser une ferme de robots en laboratoire. Pour un intégrateur, cela change l'économie de l'adaptation d'un modèle à un site : le coût marginal d'une donnée de correction se rapproche de celui d'un geste humain filmé. La prudence s'impose toutefois : tous les chiffres proviennent des auteurs et n'ont pas été vérifiés de façon indépendante. L'échantillon se limite à quatre tâches, le gain de 58,0 à 94,8 dépend du choix de la référence, et rien n'indique la robustesse sur d'autres morphologies de robot ni sur des environnements industriels moins contrôlés. Il s'agit d'un résultat de recherche, pas d'un produit livré. Le travail s'inscrit dans la trajectoire de l'UMI, interface de collecte à pince portative devenue une référence pour obtenir des démonstrations sans téléopération, et dans la vague de recherches sur le post-entraînement des VLA, où la collecte humaine en boucle (DAgger et variantes) reste coûteuse. Du côté de PrimeBot, la méthode complète une activité commerciale en démarrage : l'entreprise a entamé les premières livraisons de ses modèles Q1 et T1, et dispose donc d'un intérêt direct à réduire le coût d'adaptation de ses robots. Le secteur en général, des laboratoires académiques aux acteurs comme Physical Intelligence ou NVIDIA, cherche des moyens d'échelonner la donnée sans multiplier les robots. Aucun déploiement client ni calendrier n'a été annoncé pour HIL-UMI. L'étape suivante à surveiller sera une validation hors laboratoire, sur davantage de tâches et de plateformes, et par des équipes indépendantes.

RecherchePaper

1 source

2arXiv cs.RO

Un jeu de données imprimable en 3D pour évaluer et comparer objectivement les capteurs tactiles

Des chercheurs ont publié sur arXiv (arXiv:2606.25886, juin 2026) un jeu de données ouvert de textures imprimables en 3D, conçu spécifiquement pour évaluer et comparer les capteurs tactiles de manière reproductible. Le dataset comprend six motifs de surface générés paramétriquement à partir de combinaisons de fonctions sinusoïdales et de séries de Fourier, offrant une variation contrôlée en fréquence spatiale, amplitude et structure directionnelle. Ces textures ont été évaluées sur trois imprimantes 3D grand public et plusieurs types de filaments, en mesurant la variance des empreintes capturées par un capteur optique TacTip sous conditions de contact contrôlées. Des expériences de classification ont ensuite été menées avec des réseaux de neurones et des modèles PCA. Le problème que ce travail cherche à résoudre est fondamental pour la communauté de la robotique haptique : jusqu'ici, les benchmarks de perception tactile dépendaient des lectures d'un capteur spécifique interagissant avec des surfaces disponibles en laboratoire, rendant toute comparaison inter-capteurs structurellement biaisée. Ce dataset brise ce verrou en définissant les textures de manière mathématique plutôt que physique, ce qui permet leur fabrication indépendante dans n'importe quel laboratoire équipé d'une imprimante FDM. Les résultats montrent toutefois une limite importante : la généralisation intra-imprimante est robuste, mais la généralisation inter-imprimantes reste difficile en raison d'inconsistances géométriques liées à la qualité d'impression, notamment la netteté des pics et le phénomène de "stringing". Les imprimantes haut de gamme produisent des signatures tactiles significativement plus cohérentes. La perception tactile reste l'un des sens les moins standardisés en robotique, contrairement à la vision où des benchmarks comme YCB ou LINEMOD sont devenus des références universelles. Des plateformes comme le TacTip (Bristol Robotics Lab) ou le GelSight (MIT) ont chacune développé leurs propres protocoles d'évaluation, sans base commune. Ce dataset constitue, selon les auteurs, le premier benchmark tactile physiquement reproductible et ouvertement disponible. Les prochaines étapes naturelles concernent l'extension à des matériaux aux propriétés mécaniques variées (rigidité, élasticité) et l'intégration à des pipelines de manipulation robotique où la discrimination de texture conditionne la stratégie de saisie.

UELes laboratoires français et européens travaillant sur la perception haptique (INRIA, CEA-List, laboratoires universitaires) peuvent adopter ce benchmark ouvert pour standardiser leurs évaluations de capteurs tactiles, mais aucun acteur européen n'est directement impliqué dans ce travail.

RecherchePaper

1 source

3arXiv cs.RO

Intelligence tactile par vision pour la robotique : perception, apprentissage et manipulation incarnée

Une équipe de chercheurs publie sur arXiv (arXiv:2608.15490v1, en ligne le 18 août 2026) une revue de synthèse consacrée aux capteurs tactiles à base de vision, ou VBTS (vision-based tactile sensors), pour la robotique. Le papier ne présente ni produit ni robot spécifique, mais dresse un panorama complet de la chaîne technologique : le matériel (design de l'élastomère déformable, taille et forme du capteur, système optique), les méthodes d'apprentissage (du traitement bas niveau du signal jusqu'aux politiques de tâche et aux modèles de fondation), les plateformes de simulation et les jeux de données tactiles, ainsi que les techniques de transfert simulation vers réel et d'adaptation inter-capteurs. Les auteurs proposent une taxonomie matérielle destinée à guider la conception future de capteurs, et une vue hiérarchique de l'intelligence tactile fondée sur l'apprentissage automatique. Le sujet touche un point aveugle connu de la robotique de manipulation : contrairement à la vision, la plupart des capteurs tactiles actuels ne renvoient que des signaux épars et de faible dimension, insuffisants pour des tâches de contact complexes comme la saisie fine, l'insertion ou la manipulation dextre. En convertissant la déformation d'une interface souple en image, les VBTS offrent une observation tactile haute résolution, exploitable par les mêmes architectures que la vision, ce qui ouvre la voie à des politiques de manipulation plus robustes pour bras industriels, mains robotiques et humanoïdes. Pour les intégrateurs et équipes de recherche, l'intérêt du travail tient moins à une avancée ponctuelle qu'à une mise en ordre du champ : en traitant capteur, apprentissage, simulation et données comme un système intégré plutôt que des briques isolées, la revue pointe le manque d'outils de simulation et de jeux de données standardisés qui freine le passage à l'échelle du tactile par rapport à la vision pure. Cette synthèse s'inscrit dans un effort plus large visant à combler le retard du tactile sur la vision et le langage, alors que les modèles vision-langage-action intègrent de plus en plus de modalités sensorielles au-delà de la caméra. Les VBTS, dérivées de capteurs à gel ou membrane filmés par une caméra interne, forment une famille technologique explorée par plusieurs laboratoires depuis plus d'une décennie, mais dont le développement restait fragmenté entre approches matérielles et pipelines logiciels disparates. En cartographiant les défis ouverts (généralisation entre capteurs, réalisme de la simulation, disponibilité des données d'entraînement), les auteurs visent une feuille de route pour la prochaine génération de mains et préhenseurs dotés du sens du toucher. Aucun déploiement industriel ni partenariat commercial n'est mentionné : il s'agit d'un travail académique destiné à orienter la recherche future, pas d'une annonce produit.

RecherchePaper

1 source

4arXiv cs.RO

MagCilia : un capteur tactile magnétociliaire compact à détection de force 3D pour la perception du contact et le retour de préhension

Des chercheurs ont présenté sur arXiv MagCilia, un capteur tactile magnétociliaire compact qui associe une structure flexible de cils magnétiques à un capteur à effet Hall pour mesurer les forces en trois dimensions (normale et tangentielles). Le dispositif a été analysé par éléments finis quasi statiques, afin de comprendre la déformation de la structure et la réponse magnétique sous charges multidirectionnelles. Comme les canaux magnétiques sont couplés, l'équipe propose une méthode de reconstruction appelée CHFR (causal history fusion regression), qui combine la mesure instantanée du champ magnétique et ses variations récentes. En validation croisée à cinq plis, groupée par enregistrement de calibration, l'erreur quadratique moyenne atteint 0,40 N sur Fx, 0,57 N sur Fy et 0,69 N sur Fz, pour des coefficients de détermination de 0,93, 0,90 et 0,92. Les tests robotiques montrent un ajustement de la pince guidé par la force tangentielle et un suivi de charge multiaxe sous perturbations extérieures. Les caractéristiques fréquentielles des forces reconstruites permettent de distinguer six catégories de surfaces avec 99,39 % de précision en validation croisée à trois plis, groupée par session d'acquisition. Une démonstration robotique en ligne a identifié les six surfaces testées. L'intérêt tient à la combinaison de trois fonctions dans une seule unité compacte : mesure de force 3D, retour de préhension et reconnaissance de texture. Pour un intégrateur, la capacité à détecter un glissement naissant via la force tangentielle, sans caméra, est utile dès que l'occlusion visuelle ou les reflets gênent la préhension. Le principe magnétique, avec un seul capteur Hall, laisse aussi espérer une électronique simple et un encombrement réduit par rapport aux capteurs optiques de type GelSight. Les chiffres demandent toutefois de la prudence. Une erreur de 0,4 à 0,7 N est correcte pour de la manipulation générale, mais elle reste élevée pour des objets fragiles ou des assemblages fins. Les 99,39 % portent sur seulement six surfaces, validées par sessions mais en conditions de laboratoire. Rien n'indique non plus la dérive dans le temps, l'hystérésis ni la durabilité des cils après de nombreux cycles de contact. Ce travail s'inscrit dans la course au toucher des mains robotiques, où le manque de perception tactile fiable freine encore le passage des démonstrations de VLA et de manipulation dextre à un déploiement réel. Les capteurs magnétiques (de type uSkin) et optiques (GelSight, DIGIT) occupent déjà ce terrain. MagCilia propose une alternative inspirée des cils biologiques. Il s'agit d'une prépublication v1, sans financement, partenaire industriel, prix ni calendrier de commercialisation annoncé, donc d'un résultat de recherche et non d'un produit. Les prochaines étapes à surveiller sont l'intégration sur des mains multidoigts, des essais sur des objets variés et déformables, la robustesse en cycles longs et une évaluation par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source