RecherchearXiv cs.RO 18 août 2026

Reconstruction géométrique des trajectoires de contact extrinsèque par toucher et proprioception pour la manipulation d'outils

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (arXiv:2606.22251v2, version corrigée) une méthode de reconstruction géométrique de la trajectoire de contact à l'extrémité d'un outil tenu par un robot, combinant capteurs tactiles placés dans la prise et proprioception du bras. Le problème visé est que, dans de nombreuses tâches de manipulation d'outils, le contact qui détermine la réussite se situe à la pointe de l'outil, loin du capteur tactile, et ce point peut se déplacer pendant l'interaction, rendant sa détection directe difficile. La méthode traite la reconstruction comme un problème d'inférence géométrique sous hypothèse de contact ponctuel unique : elle estime d'abord la position globale du point de contact à partir d'un segment de calibration approximant un comportement de pivot fixe, puis reconstruit la trajectoire complète en composant les mouvements relatifs de l'outil déduits de marqueurs tactiles sous contact continu. Sur 51 essais couvrant plusieurs trajectoires, outils, orientations de poignet et configurations de prise, le pipeline atteint une erreur quadratique moyenne de trajectoire de 8,59 ± 2,41 mm dans le référentiel monde, une erreur de forme de 5,96 ± 1,16 mm, avec un fonctionnement en ligne à 14,00 ± 4,11 Hz.

Pour l'industrie robotique, ce résultat comble un angle mort classique des mains et pinces équipées de capteurs tactiles commerciaux : ces capteurs renseignent sur ce qui se passe au niveau de la prise, mais restent aveugles à l'extrémité distale d'un outil rigide, un manque critique pour le grattage, le perçage, le soudage ou l'insertion assistée par outil. En montrant qu'une géométrie de contact extrinsèque cohérente peut être récupérée sans capteur dédié à la pointe de l'outil, les auteurs ouvrent une voie vers des politiques de manipulation d'outils plus robustes pour bras industriels et mains robotiques, sans instrumentation supplémentaire coûteuse. La stabilité de la forme de trajectoire malgré les variations d'outils, de poses et de prises est le point le plus significatif pour les intégrateurs B2B : elle suggère une méthode généralisable plutôt qu'un résultat calibré sur un seul geste, un critère souvent difficile à atteindre avec des approches purement visuelles ou apprises de bout en bout.

Ce travail prolonge les recherches en tactile robotique jusqu'ici centrées sur la reconnaissance d'objets, l'estimation de pose en main et la détection de glissement au contact direct capteur-objet, en s'attaquant au cas où l'interaction se transmet via un outil rigide tenu en prise. Classée "replace" sur arXiv, c'est-à-dire une mise à jour d'une soumission antérieure, la publication ne cite ni plateforme robotique commerciale ni partenaire industriel, ce qui la situe clairement côté recherche fondamentale plutôt que produit déployable. Contrairement aux annonces de robots humanoïdes appuyées sur des vidéos sélectionnées, ce résultat repose sur un protocole chiffré et reproductible à 51 essais avec variations systématiques. Les suites logiques attendues sont une validation sur des tâches d'assemblage réelles et une comparaison avec des approches concurrentes de suivi de contact par vision ou capteurs tactiles haute résolution.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Le courant comme toucher : retour de contact proprioceptif pour la manipulation dextérique souple

Cette semaine, une équipe de recherche a publié sur arXiv (référence 2607.03529, juillet 2026) un nouveau cadre de contrôle pour la préhension dextre compliante qui se passe entièrement de capteurs tactiles ou de force externes. La méthode s'appuie uniquement sur le courant moteur et l'état des articulations, deux signaux proprioceptifs déjà disponibles nativement sur la plupart des mains robotiques. Plutôt que d'estimer directement la force de contact ou de commander un couple, le système prédit une "position de référence compliante" : une cible de position articulaire destinée à un contrôleur PD standard, dont l'écart de position induit génère la force de préhension appropriée. Les auteurs ont testé l'approche sur plusieurs mains dextres et sur une série de tâches à fort contact physique : manipulation d'objets fragiles, maintien prolongé au contact d'une surface, récupération d'objets fins, et adaptation dynamique à des charges variables. L'intérêt pour l'industrie robotique tient à la promesse de compliance quasi gratuite : aujourd'hui, doter une main robotique de retour de force nécessite des capteurs tactiles ou des capteurs d'effort dédiés, coûteux, fragiles et souvent difficiles à intégrer mécaniquement sur des mains bon marché. En démontrant qu'un signal purement proprioceptif suffit à détecter le contact, la résistance de l'objet et la stabilité de la prise, ce travail ouvre la voie à des mains dextres low-cost capables de manipulation compliante sans matériel de détection additionnel. C'est également une bonne nouvelle pour la téléopération, rendue plus sûre et plus efficace grâce à ce retour de force implicite, ainsi que pour l'apprentissage de politiques (policy learning), qui bénéficie directement de signaux de contact exploitables sans capteur externe à calibrer. Ce travail s'inscrit dans une tendance de fond de la recherche en manipulation dextre : contourner les limites du tactile artificiel (durabilité, coût, intégration) en exploitant des signaux internes déjà présents dans la chaîne de commande moteur. Le choix d'une formulation en position, compatible avec les pipelines de téléopération et d'apprentissage de politiques déjà en place, suggère une intégration facilitée dans les architectures existantes plutôt qu'une rupture technique nécessitant une refonte du matériel. Les prochaines étapes attendues concernent le passage à l'échelle sur des plateformes commerciales et la comparaison directe avec des mains équipées de capteurs tactiles classiques.

RecherchePaper

1 source

2arXiv cs.RO

NoContactNoWorries : estimation du contact par vision et proprioception pour la manipulation dextérique en main

Une équipe de chercheurs présente NoContactNoWorries, un cadre multimodal basé sur des transformers qui fusionne la vision RGB-D et la proprioception du robot pour estimer des états de contact binaires pendant la manipulation en main. Publié en prépublication sur arXiv (référence 2506.24450), le système entraîne un unique modèle de prédiction de contact sur plusieurs objets distincts et valide l'approche à la fois en simulation et sur un robot physique. Le signal de contact inféré sert d'entrée pseudo-tactile pour des agents d'apprentissage par renforcement chargés de la réorientation d'objets tenus en main, avec généralisation démontrée sur des objets non vus durant l'entraînement. L'intérêt pour les intégrateurs robotiques est direct : les capteurs tactiles dédiés, qu'il s'agisse de solutions de type GelSight, DIGIT ou de nappes piézorésistives, se heurtent à trois obstacles récurrents en environnement industriel, à savoir le coût unitaire élevé, la fragilité mécanique et la complexité d'intégration sur des mains multi-doigts. NoContactNoWorries contourne ces contraintes en exploitant uniquement des caméras RGB-D et les données proprioceptives déjà disponibles sur la grande majorité des bras et mains robotiques commerciaux. La limitation reste substantielle : la détection est purement binaire (contact ou absence de contact), sans estimation de force ni de distribution de pression, ce qui restreint l'applicabilité aux tâches nécessitant un retour haptique fin, comme l'assemblage de composants fragiles ou la manipulation de textiles. L'approche s'inscrit dans une tendance plus large de la manipulation dextre cherchant à éliminer les capteurs spécialisés au profit de modalités perceptuelles génériques, dans la continuité des travaux sur les politiques visuomotrices à grande échelle (VLA). Le domaine du toucher artificiel reste actif, avec des acteurs comme Contactile (Australie), Touchlab (Écosse) ou les équipes du MIT CSAIL qui développent des capteurs embarqués haute résolution. À ce stade, NoContactNoWorries est un résultat académique en prépublication, non encore soumis à révision par les pairs, et les auteurs n'annoncent aucun calendrier de transfert industriel.

RecherchePaper

1 source

3arXiv cs.RO

IA physique appliquée à la reconstruction 3D sous occlusion manuelle grâce à la proprioception et au toucher multi-contact

Des chercheurs publient une méthode de reconstruction 3D d'objets saisis à la main, conçue pour reconstruire la forme complète d'un objet même lorsque la main du robot le masque en grande partie (arXiv:2604.09100v2, version révisée). Contrairement aux approches précédentes qui s'appuient uniquement sur la vision pour deviner les parties cachées, le système combine trois sources d'information : la caméra RGB pour les zones visibles, la proprioception du bras robotique pour connaître la géométrie exacte de la main posée sur l'objet, et le toucher multi-contact pour contraindre où se situe physiquement la surface de l'objet dans les zones occultées. L'objet est représenté comme un champ de distance signée (SDF) aligné caméra, encodé dans un espace latent compact via un Structure-VAE, sur lequel est entraîné un modèle de diffusion par flow-matching. L'entraînement se fait en deux temps : préapprentissage sur des images sans occlusion, puis affinage sur des scènes de manipulation avec occlusion, en intégrant des contraintes physiques qui réduisent l'interpénétration main-objet et alignent la reconstruction sur les points de contact tactile mesurés. En simulation, l'ajout de la proprioception et du toucher améliore nettement la complétion de forme sous occlusion par rapport aux méthodes vision seule, avec une échelle métrique correcte. Les auteurs valident aussi un transfert sur un robot humanoïde réel, avec un effecteur différent de celui utilisé à l'entraînement. Pour l'industrie robotique, ce travail s'attaque à un angle mort classique de la perception manipulative : dès qu'une main saisit un objet, la caméra en perd une bonne partie de la vue, ce qui pénalise le placement de préhension, la planification de trajectoire ou la ré-estimation de pose en cours de tâche. Ajouter proprioception et toucher comme signaux de contrainte physique, plutôt que de tout faire reposer sur la vision, est une piste concrète pour fiabiliser les piles de perception des robots à mains dextres ou multi-doigts, notamment en contexte industriel où les objets manipulés sont souvent partiellement occultés par la préhension elle-même. Il faut toutefois noter que les gains rapportés restent majoritairement démontrés en simulation, la validation sur robot réel se limitant à un test de transfert et non à un déploiement en conditions de production. Le papier s'inscrit dans la lignée des méthodes de reconstruction amodale 3D, historiquement limitées à des signaux purement visuels et donc fragiles sous occlusion sévère. En ancrant la reconstruction dans la physique du contact plutôt que dans la seule vraisemblance visuelle, l'approche se positionne comme un module de perception réutilisable en amont d'un pipeline de reconstruction en deux étages, où une étape ultérieure affine la géométrie et prédit l'apparence. Les prochaines étapes attendues concernent l'élargissement à davantage d'effecteurs et de morphologies de main, ainsi que des essais plus poussés en conditions réelles au-delà du test de transfert présenté.

RecherchePaper

1 source

4arXiv cs.RO

C2Dex : reconstruction et retargeting cohérents avec le contact pour la manipulation dextérique à partir de vidéo monoculaire

Des chercheurs publient sur arXiv (arXiv:2608.07045v1) un article intitulé C2Dex, un framework qui transfère des démonstrations de manipulation extraites de simples vidéos monoculaires de mains humaines vers des robots à mains dextres. Le système repose sur une représentation partagée de contacts stables côté objet, reconstruits en agrégeant des observations bruitées image par image dans un espace canonique de l'objet. Ces contacts servent à la fois de contraintes de trajectoire pour stabiliser la reconstruction 3D de l'interaction main-objet humaine, et de cibles explicites pour le transfert vers la main robotique, via une optimisation laplacienne de l'interaction qui préserve la géométrie locale du contact malgré le changement de morphologie, puis un raffinement par apprentissage par renforcement résiduel en simulation. Sur les benchmarks DexYCB et TACO, C2Dex atteint des taux de réussite de trajectoire de bout en bout de 57,78% et 26,67% respectivement, contre 17,78% et 10% pour les meilleures méthodes de référence testées dans les mêmes conditions. Des essais de rejeu sur robot réel confirment la faisabilité physique des trajectoires générées sur des tâches de manipulation riches en contacts. Cette avancée s'attaque à un goulot d'étranglement central de la manipulation dextre : la collecte de démonstrations de qualité via téléopération ou capture de mouvement reste coûteuse et lente, alors que les vidéos humaines existent en abondance et à bas coût. Réussir à extraire de ces vidéos des trajectoires physiquement plausibles et transférables à des mains robotiques de morphologies différentes est jugé nécessaire pour entraîner à grande échelle des politiques de manipulation, dans la même logique que les modèles vision-langage-action utilisés par l'industrie humanoïde. Le gain observé face aux méthodes concurrentes, avec des taux de réussite multipliés par trois sur les deux jeux de données, suggère que l'instabilité des contacts reconstruits depuis la vidéo, jusqu'ici un frein majeur, peut être significativement atténuée. Les taux de réussite absolus restent toutefois modestes, en particulier sur TACO (26,67%), ce qui signale que le transfert vidéo vers robot dextre reste loin d'être résolu pour des tâches complexes. C2Dex s'inscrit dans un axe de recherche actif visant à exploiter les vidéos humaines comme source de données pour l'apprentissage par imitation en robotique, en complément ou substitut des démonstrations téléopérées. L'article, classé comme nouvelle soumission sur arXiv, n'a pas encore fait l'objet d'une publication évaluée par les pairs et ne décrit ni déploiement industriel ni intégration produit : il s'agit d'un travail de recherche comparé à des méthodes existantes de reconstruction d'interaction main-objet et de retargeting, jugées moins performantes dans les mêmes conditions d'évaluation. Une page projet dédiée met à disposition davantage de détails techniques et, potentiellement, des démonstrations vidéo. Les auteurs ne précisent pas de calendrier de suite des travaux, mais la démonstration sur robot réel laisse entrevoir une prochaine étape naturelle vers des évaluations en conditions moins contrôlées et sur un éventail plus large de tâches et de morphologies de mains robotiques.

RecherchePaper

1 source