RecherchearXiv cs.RO 2 octobre 2026

TouchTherm : construire des jumeaux numériques multimodaux d'objets pour le rendu tactile et thermique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient TouchTherm, un cadre logiciel et matériel qui construit à partir d'objets réels des « jumeaux numériques » intégrant la vision, le toucher et la température. Pour la partie visuelle et tactile, l'équipe combine un scanner à lumière structurée et des cartes de normales multivues issues de la stéréophotométrie. Ces cartes sont recalées sur la géométrie scannée, puis converties en espace tangent pour reconstruire des champs de micro-relief destinés au rendu tactile optique. Le maillage grossier reste réservé à la détection de collisions. Pour la partie thermique, le système enregistre des vidéos infrarouges multivues synchronisées du refroidissement naturel d'un objet après un chauffage contrôlé, puis reconstruit un champ thermique dynamique régularisé par la physique. Testé sur 20 objets, le micro-relief conserve les structures dominantes de surface et restitue des détails de plus haute fréquence que le maillage grossier. L'erreur absolue moyenne de température sur des données mises de côté atteint 0,465 °C à 30 s et 0,592 °C à 45 s. Les actifs tactiles permettent une reconnaissance d'objets synthétique vers réel à partir d'observations tactiles. Un gant de réalité virtuelle démontre un retour thermique variable dans l'espace et dans le temps.

L'intérêt tient à un manque réel des bibliothèques d'actifs 3D actuelles. Elles décrivent la géométrie à l'échelle de l'objet et l'apparence visuelle, mais ignorent la microstructure de surface, dont dépendent les capteurs tactiles optiques de type vision-based, et la dynamique de température, qui conditionne la perception d'un matériau au contact. Pour la robotique, cela ouvre la voie à une simulation plus fidèle de la manipulation fine, avec des données tactiles synthétiques exploitables pour entraîner des politiques ou des modèles de reconnaissance avant transfert au réel. Le résultat sur la reconnaissance synthétique vers réel va dans ce sens, mais il reste une validation limitée. Les erreurs thermiques sont mesurées sur des horizons courts (moins d'une minute) et sur 20 objets seulement. La chaîne de capture exige en outre du matériel dédié (scanner, éclairage photométrique, caméras infrarouges, chauffage contrôlé), ce qui freine le passage à l'échelle d'un catalogue industriel. On reste au stade de la preuve de concept de recherche, sans produit ni déploiement.

Ce travail s'inscrit dans la montée en puissance de la simulation multimodale. Les jeux de données et méthodes de reconstruction 3D (maillages, NeRF, Gaussian splatting) se sont concentrés sur la géométrie et la photométrie, tandis que les simulateurs tactiles se sont surtout appuyés sur des capteurs optiques de type GelSight. La dimension thermique, elle, reste peu traitée dans les actifs de simulation. TouchTherm tente d'unifier ces trois canaux dans un même actif. L'article, publié sur arXiv (2610.01943), ne détaille pas ici de partenaire industriel ni de calendrier. Les suites logiques seraient l'extension à davantage de matériaux, des horizons thermiques plus longs, et l'intégration dans des simulateurs robotiques et des interfaces haptiques commerciales.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Jumeau numérique pour la classification textile et la détection d'objets étrangers dans les systèmes de tri automatisé

Une équipe de chercheurs a présenté un système robotique de tri textile piloté par un jumeau numérique, conçu pour l'automatisation du recyclage de vêtements. La cellule à double bras intègre une perception RGBD, un retour tactile capacitif et une planification de trajectoires anticollision via MoveIt. Le pipeline autonome saisit des vêtements depuis un panier non trié, les transfère vers une zone d'inspection et les classifie via des modèles de vision-langage (VLM, Visual Language Models). Le benchmark porte sur neuf VLM issus de cinq familles de modèles, évalués sur 223 scénarios couvrant six catégories : chemises, chaussettes, pantalons, sous-vêtements, objets étrangers et scènes vides. La famille Qwen atteint la précision globale la plus élevée avec 87,9 %, assortie de solides performances sur la détection d'objets étrangers. Gemma3 offre un compromis vitesse/précision adapté au déploiement sur matériel embarqué (edge). Le travail est disponible sur arXiv sous la référence 2603.05230v2. Ce benchmark en conditions industrielles réelles, sur des objets déformables, constitue une validation plus rigoureuse que les démonstrations sur images synthétiques habituellement produites dans ce domaine. L'évaluation intègre le comportement aux hallucinations et les performances computationnelles sous contraintes matérielles, deux critères souvent absents des publications académiques sur la robotique manipulatrice. Pour les intégrateurs industriels, cela confirme que le tri automatisé de textiles par VLM est réalisable sans infrastructure GPU haute performance, et que le choix du modèle doit s'adapter aux contraintes du site de déploiement. L'intégration de nuages de points 3D segmentés dans le jumeau numérique réduit par ailleurs le fossé sim-to-real pour la planification de prises sur objets déformables. Ce travail s'inscrit dans un contexte de pression réglementaire croissante : l'UE impose depuis janvier 2025 la collecte séparée obligatoire des textiles usagés dans les États membres, accélérant la demande d'automatisation dans les centres de tri. Dans le paysage concurrentiel, Picvisa (Espagne) et Recycleye (Royaume-Uni) opèrent déjà sur le tri optique de déchets par vision, mais sans raisonnement sémantique par VLM. Les prochaines étapes naturelles pour ce système seraient la validation sur des lignes industrielles à plus grand débit et l'extension à d'autres catégories de matières, notamment les textiles synthétiques et les fibres techniques.

UELa directive UE sur la collecte séparée des textiles (en vigueur depuis janvier 2025) crée une demande directe pour ce type d'automatisation dans les centres de tri européens, et les acteurs ibérique (Picvisa) et britannique (Recycleye) déjà présents pourraient être concurrencés ou complétés par ce système.

RecherchePaper

1 source

2arXiv cs.RO

TransDex : pré-entraînement d'une politique visuo-tactile par reconstruction de nuage de points pour la manipulation dextérique d'objets transparents

Des chercheurs présentent TransDex, une politique de contrôle moteur pour mains robotiques dextres capable de manipuler des objets transparents, un défi connu où la transparence provoque un bruit de profondeur sévère et une perte d'information 3D pour les capteurs optiques classiques. La méthode repose sur un pré-entraînement auto-supervisé par reconstruction de nuages de points, basé sur une architecture Transformer, qui reconstruit la structure 3D d'un objet à partir des points de contact générés par les doigts de la main robotique en interaction, même en présence de bruit aléatoire ajouté et d'un masquage à grande échelle des données d'entrée. Sur cette base pré-entraînée, TransDex ajoute un encodage perceptif hiérarchique fin et un mécanisme d'attention multi-tours qui fusionne de façon adaptative les caractéristiques du bras robotique et de la main dextre, permettant une prédiction de mouvement différenciée entre les deux systèmes. Les auteurs valident l'approche par des expériences de manipulation d'objets transparents sur un système robotique réel, où TransDex surpasse les méthodes de référence existantes, avec des analyses complémentaires portant sur la généralisation du modèle et la contribution de chaque composant. L'enjeu dépasse la simple prouesse académique: la manipulation d'objets transparents ou réfléchissants reste l'un des points faibles récurrents des politiques de manipulation dextre basées uniquement sur la vision, un problème très concret pour les intégrateurs industriels confrontés à des verres, flacons, emballages plastiques ou pièces en verre sur les lignes de production et en logistique. En s'appuyant sur le tactile en complément du visuel plutôt que sur la seule reconstruction de profondeur optique, TransDex illustre une tendance de fond dans la recherche en manipulation dextre: les fusions visuo-tactiles gagnent du terrain là où les approches purement basées vision (type VLA ou reconstruction RGB-D) échouent sur les surfaces transparentes ou spéculaires. Cela dit, il s'agit d'un résultat de laboratoire sur banc réel, pas d'un déploiement industriel: les auteurs eux-mêmes cadrent leurs résultats comme une validation de généralisation et de composants, sans indication de volumes de test, de taux de succès chiffré ni de comparaison sur objets industriels standardisés, ce qui appelle à la prudence sur la portée réelle des gains annoncés face aux baselines. Le papier s'inscrit dans la lignée des travaux combinant pré-entraînement auto-supervisé et manipulation dextre multi-doigts, un axe de recherche actif depuis l'essor des politiques visuo-tactiles pour la robotique de préhension fine, à côté d'approches comme les VLA génériques (Pi-0, GR00T N2, Helix) qui misent principalement sur la vision et le langage sans traitement dédié à la transparence. La publication, une version révisée (v2) d'un prétirage arXiv, ne mentionne pas d'acteur industriel ni de laboratoire commercial associé, ce qui la positionne comme une contribution de recherche fondamentale plutôt qu'une annonce produit; aucune timeline de transfert vers un système commercial ou un pilote industriel n'est indiquée à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

Reconstruction géométrique des trajectoires de contact extrinsèque par toucher et proprioception pour la manipulation d'outils

Des chercheurs publient sur arXiv (arXiv:2606.22251v2, version corrigée) une méthode de reconstruction géométrique de la trajectoire de contact à l'extrémité d'un outil tenu par un robot, combinant capteurs tactiles placés dans la prise et proprioception du bras. Le problème visé est que, dans de nombreuses tâches de manipulation d'outils, le contact qui détermine la réussite se situe à la pointe de l'outil, loin du capteur tactile, et ce point peut se déplacer pendant l'interaction, rendant sa détection directe difficile. La méthode traite la reconstruction comme un problème d'inférence géométrique sous hypothèse de contact ponctuel unique : elle estime d'abord la position globale du point de contact à partir d'un segment de calibration approximant un comportement de pivot fixe, puis reconstruit la trajectoire complète en composant les mouvements relatifs de l'outil déduits de marqueurs tactiles sous contact continu. Sur 51 essais couvrant plusieurs trajectoires, outils, orientations de poignet et configurations de prise, le pipeline atteint une erreur quadratique moyenne de trajectoire de 8,59 ± 2,41 mm dans le référentiel monde, une erreur de forme de 5,96 ± 1,16 mm, avec un fonctionnement en ligne à 14,00 ± 4,11 Hz. Pour l'industrie robotique, ce résultat comble un angle mort classique des mains et pinces équipées de capteurs tactiles commerciaux : ces capteurs renseignent sur ce qui se passe au niveau de la prise, mais restent aveugles à l'extrémité distale d'un outil rigide, un manque critique pour le grattage, le perçage, le soudage ou l'insertion assistée par outil. En montrant qu'une géométrie de contact extrinsèque cohérente peut être récupérée sans capteur dédié à la pointe de l'outil, les auteurs ouvrent une voie vers des politiques de manipulation d'outils plus robustes pour bras industriels et mains robotiques, sans instrumentation supplémentaire coûteuse. La stabilité de la forme de trajectoire malgré les variations d'outils, de poses et de prises est le point le plus significatif pour les intégrateurs B2B : elle suggère une méthode généralisable plutôt qu'un résultat calibré sur un seul geste, un critère souvent difficile à atteindre avec des approches purement visuelles ou apprises de bout en bout. Ce travail prolonge les recherches en tactile robotique jusqu'ici centrées sur la reconnaissance d'objets, l'estimation de pose en main et la détection de glissement au contact direct capteur-objet, en s'attaquant au cas où l'interaction se transmet via un outil rigide tenu en prise. Classée "replace" sur arXiv, c'est-à-dire une mise à jour d'une soumission antérieure, la publication ne cite ni plateforme robotique commerciale ni partenaire industriel, ce qui la situe clairement côté recherche fondamentale plutôt que produit déployable. Contrairement aux annonces de robots humanoïdes appuyées sur des vidéos sélectionnées, ce résultat repose sur un protocole chiffré et reproductible à 51 essais avec variations systématiques. Les suites logiques attendues sont une validation sur des tâches d'assemblage réelles et une comparaison avec des approches concurrentes de suivi de contact par vision ou capteurs tactiles haute résolution.

RecherchePaper

1 source

4Interesting Engineering

Une équipe américaine combine jumeaux numériques et VR pour améliorer les performances de robots lunaires

Des chercheurs de l'Université du Colorado Boulder (CU Boulder) ont développé un système combinant jumeau numérique et réalité virtuelle immersive pour entraîner les opérateurs de robots lunaires. Le dispositif s'articule autour d'Armstrong, un petit robot à trois roues équipé d'un bras articulé et d'une pince, actuellement testé en laboratoire. Son jumeau numérique, construit sous Unity et calibré pour reproduire fidèlement les dynamiques de mouvement et les interactions avec les objets, est couplé à une interface VR en vue à la première personne via les caméras embarquées. Les expérimentations réalisées montrent que les opérateurs formés d'abord dans l'environnement virtuel accomplissent les tâches de manipulation d'objets significativement plus vite et déclarent un niveau de stress nettement inférieur à ceux formés directement sur le robot physique. Le système reste à ce stade confiné au laboratoire : aucun déploiement lunaire ni test en conditions extérieures n'est annoncé. L'enjeu est concret pour les missions lunaires à venir : sur la Lune, une erreur de manipulation peut mettre hors service un rover valant plusieurs millions de dollars, dans un environnement où la faible gravité (un sixième de celle de la Terre), les cratères, les zones d'ombre permanentes et la poussière abrasive compliquent chaque opération. La démonstration que la formation sur jumeau numérique transfère efficacement vers le matériel physique constitue une validation utile dans un domaine où ce "sim-to-real gap" reste souvent problématique. Pour les agences spatiales et les intégrateurs, cela ouvre une voie vers la standardisation des protocoles de formation sans mobiliser de hardware coûteux ni risquer d'endommager des systèmes critiques. L'équipe souligne également le potentiel pour libérer le temps EVA des astronautes, ressource particulièrement contrainte sur la surface lunaire. Le projet s'inscrit dans la préparation à l'architecture Artemis de la NASA, qui cible un retour humain sur la Lune à partir de 2027 avec un fort volet co-opération homme-robot pour la construction d'habitats et la recherche scientifique. CU Boulder n'est pas le seul acteur sur ce créneau : le MIT, Carnegie Mellon et l'ESA développent des systèmes analogues, tandis que des entreprises comme Astrobotic ou ispace misent davantage sur l'autonomie embarquée sans interface VR opérateur. L'équipe travaille désormais à des simulations lunaires avancées intégrant le comportement de la poussière, l'éclairage rasant et le terrain irrégulier, trois facteurs jugés parmi les plus difficiles à modéliser fidèlement. Les prochaines étapes prévoient de tester la coordination de flottes de robots opérant en parallèle, capacité jugée indispensable pour les bases lunaires permanentes envisagées à l'horizon 2030-2035.

UEL'ESA développe des systèmes analogues de formation sur jumeau numérique pour la téléopération lunaire, ce qui pourrait créer des synergies avec les acteurs européens impliqués dans Artemis, mais sans impact direct sur l'industrie robotique française à ce stade.

RecherchePaper

1 source