RecherchearXiv cs.RO 30 juin 2026

Estimation de la pose 6-DOF d'un objet à partir d'un seul contact tactile

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (réf. 2606.28899) YOTO, pour "You Only Touch Once", un système d'estimation de pose 6-DoF fondé exclusivement sur le toucher. Contrairement aux approches visuelles classiques, YOTO reconstruit la position et l'orientation complète d'un objet à partir d'une seule paire de contacts tactiles simultanés, sans nécessiter d'historique de manipulation. Chaque contact est modélisé comme un nuage de points 3D local, puis localisé sur la surface de l'objet par un réseau coarse-to-fine. Les deux contacts localisés, combinés aux poses calibrées des capteurs, alimentent un solveur SVD en forme fermée, conscient des normales de surface, qui restitue la pose 6-DoF en une seule passe. Le réseau est préentraîné sur des patches tactiles virtuels générés depuis le modèle 3D de l'objet, puis affiné avec un petit nombre de contacts réels, réduisant significativement les besoins en données terrain. Les expériences portent sur quatre objets aux géométries variées avec des capteurs GelSight, et incluent une évaluation comparative entre reconstructions issues de scans mobiles grand public et modèles CAO de référence.

Ce travail s'attaque à un angle mort bien documenté de la manipulation robotique : les méthodes visuelles de pose estimation échouent systématiquement en cas d'occlusion, d'éclairage défavorable, ou face à des surfaces réfléchissantes et transparentes, conditions courantes en environnement industriel réel. L'approche à contact unique sans historique constitue un avantage pratique majeur, car elle élimine les séquences d'exploration multi-contacts et s'intègre dans des boucles de manipulation courtes. YOTO surpasse les baselines visuelles et géométriques testées dans les scénarios où la perception visuelle est dégradée. La compatibilité avec des scans mobiles plutôt que des modèles CAO précis abaisse la barrière d'intégration pour des objets non catalogués, un point non négligeable pour les intégrateurs industriels.

L'estimation de pose par capteurs tactiles de type GelSight est un axe de recherche actif depuis les travaux pionniers du MIT et de l'entreprise éponyme GelSight Inc. Les méthodes antérieures nécessitaient généralement plusieurs contacts successifs ou un historique de manipulation pour converger ; YOTO rompt avec cette contrainte. Sur le plan compétitif, les pipelines visuels basés sur des modèles de fondation (MegaPose, FoundPose, benchmarks BOP) restent dominants en conditions nominales, mais leur robustesse aux surfaces dégradées est limitée, c'est précisément là que le toucher devient complémentaire. Le code, les modèles entraînés et le jeu de données GelSight seront publiés à l'acceptation de l'article. À ce stade, il s'agit d'un preprint arXiv sans déploiement annoncé ni partenaire industriel identifié.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Estimation de pose et de forme d'objets pour la saisie : est-ce que ça fonctionne ?

Une étude publiée en preprint sur arXiv (2605.26944, mai 2026) s'attaque à une question centrale de la manipulation robotique : les méthodes modulaires, qui estiment d'abord la pose et la forme 3D d'un objet avant de générer des préhensions par échantillonnage antipolaire, surpassent-elles les approches bout-en-bout qui synthétisent directement des poses de saisie ? Le cadre expérimental se limite aux pinces à mâchoires parallèles, aux préhensions à 7 degrés de liberté (7-DOF), et à une entrée monoculaire RGB(-D). Trois pipelines modulaires sont évalués : deux s'appuient sur des modèles encodeur-décodeur (SAM3D, LRM, CRISP), le troisième sur des modèles de reconstruction par diffusion (InstantMesh, Zero123, SceneComplete), tous capables de reconstruire des formes 3D de façon catégorie-agnostique. Ces pipelines sont comparés à une méthode bout-en-bout de référence représentant l'état de l'art. Les résultats sont sans ambiguïté : les méthodes modulaires surpassent la baseline bout-en-bout dans l'intégralité des expériences, y compris sur les petits objets où l'approche bout-en-bout échoue complètement. Ce constat remet en question l'hypothèse dominante selon laquelle les architectures bout-en-bout s'imposent naturellement en manipulation. La qualité des préhensions reste cependant conditionnée à la précision de l'estimation de pose et de forme : dans les scènes encombrées (cluttered scenes), les performances se dégradent, exposant une limite structurelle des méthodes actuelles de reconstruction 3D monoculaire. Les auteurs montrent par ailleurs que ces pipelines modulaires peuvent être augmentés avec des modèles vision-langage (VLM) pour produire des préhensions conditionnées par des instructions en langage naturel depuis une seule image RGB-D, avec des performances comparables à la baseline LERF-TOGO. Ces travaux s'inscrivent dans une dynamique plus large de reconstruction 3D open-set portée par des modèles génératifs larges. Les approches encodeur-décodeur comme SAM3D ou LRM, et les modèles par diffusion comme InstantMesh ou Zero123, ont démontré une généralisation hors-distribution qui rend la reconstruction catégorie-agnostique exploitable en robotique industrielle. Côté positionnement concurrentiel, les méthodes bout-en-bout comme GraspNet restent des références, mais ce preprint suggère qu'un paradigme modulaire combinant estimation de forme et échantillonnage géométrique peut les surpasser dès lors que la reconstruction est suffisamment précise. La robustesse en scènes encombrées reste le défi ouvert majeur pour les équipes de recherche et les intégrateurs industriels.

RecherchePaper

1 source

2arXiv cs.RO

Estimation de pose 6-DOF pour objets inconnus : vers un déploiement robotique à grande échelle

Une équipe de chercheurs a publié en 2025 SinRef-6D, une méthode d'estimation de pose 6-DoF (six degrés de liberté) conçue pour des objets inconnus à partir d'une seule image de référence RGB-D. Contrairement aux approches dominantes qui exigent soit un modèle CAO complet, soit un ensemble dense de vues de référence, SinRef-6D n'utilise qu'un unique cliché annoté capturé pendant la manipulation robotique. Le système a été validé sur six benchmarks académiques standards et intégré dans un système robotique réel pour des tâches de préhension (grasping). Le code source et des démonstrations vidéo sont disponibles publiquement via le site associé à l'article. L'enjeu est significatif pour les intégrateurs industriels : l'absence de dépendance à un modèle CAO ou à une base de données de vues représente un frein majeur au déploiement de la manipulation robotique en environnement non contrôlé. Si la méthode tient ses promesses à l'échelle, elle réduit le coût de mise en service pour des objets nouveaux ou variables, un problème concret dans la logistique, le pick-and-place e-commerce ou l'assemblage à variantes élevées. Le système repose sur des State Space Models (SSMs), une architecture alternative aux Transformers qui offre une complexité linéaire pour la modélisation de dépendances spatiales longue portée à partir d'un seul point de vue. Cela permet de compenser la pauvreté géométrique inhérente à une image unique, via un alignement itératif point-à-point dans un système de coordonnées objet commun. Une nuance s'impose cependant : les démonstrations robotiques présentées restent des scénarios de laboratoire, et aucune donnée de déploiement industriel à grande échelle n'est communiquée. La problématique de la scalabilité en estimation de pose est active depuis plusieurs années, avec des travaux comme FoundPose, FoundPose, Gen6D ou GigaPose qui tentent chacun de réduire la dépendance aux données de référence. SinRef-6D se positionne sur le segment le plus contraint, une seule vue, ce qui le distingue techniquement mais pose la question de la robustesse face aux occlusions partielles ou aux variations d'éclairage importantes, non documentées dans l'abstract. Les prochaines étapes attendues pour ce type de travaux incluent l'intégration dans des pipelines de manipulation généraliste (type pi0 ou RDT-1B), où l'estimation de pose externe peut compléter les approches end-to-end visuomotrices.

RecherchePaper

1 source

3arXiv cs.RO

ContactFusion : cartes de surface de Poisson stochastiques à partir de la détection visuelle et tactile

ContactFusion, décrite dans un article arXiv (2503.16592, version 2) actualisant une publication antérieure, propose une méthode pour améliorer la précision des tâches d'assemblage robotique nécessitant l'insertion de pièces à tolérances serrées. L'approche combine une cartographie visuelle globale, construite à partir de nuages de points, avec des informations de contact locales obtenues par capteur de force/couple au poignet du robot. Les chercheurs introduisent un procédé d'estimation de l'occupation de contact basé sur l'échantillonnage par rejet (rejection sampling), qui localise le point de contact sur l'effecteur terminal à partir des seules mesures de force. Ces données sont ensuite fusionnées dans une carte appelée Stochastic Poisson Surface Map (SPSMap), mise à jour via l'algorithme de reconstruction de surface stochastique de Poisson (SPSR). La méthode a d'abord été validée en simulation, confirmant la capacité du capteur d'occupation de contact à localiser correctement les points de contact, puis testée sur une tâche classique de peg-in-hole, où elle améliore l'estimation de la pose du trou par rapport à une approche purement visuelle. L'enjeu dépasse la démonstration académique isolée: dans l'assemblage industriel, le bruit de perception issu de la seule vision reste souvent supérieur aux tolérances mécaniques exigées, ce qui fait échouer les insertions automatisées. En montrant qu'une fusion vision-contact réduit concrètement cette incertitude, ContactFusion s'attaque directement à un goulot d'étranglement connu des intégrateurs en assemblage de précision, secteur où la robotique manipulatrice peine encore à rivaliser avec la dextérité humaine sur les opérations fines. Ce travail s'inscrit dans une lignée de recherche plus large sur la fusion multimodale tactile-visuelle en robotique, domaine où plusieurs laboratoires explorent des capteurs tactiles (type GelSight) ou des méthodes bayésiennes de fusion de capteurs pour combler les limites de la perception purement visuelle. La publication d'une deuxième version sur arXiv suggère un article retravaillé, probablement en vue d'une conférence ou revue en robotique, avec pour prochaine étape logique un déploiement sur des tâches d'assemblage plus complexes ou multi-pièces.

RecherchePaper

1 source

4arXiv cs.RO

Reconstruction de maillage indépendante de la topologie d'objets déformables à partir de contacts tactiles épars

Des chercheurs proposent un unique modèle capable de reconstruire le maillage complet d'un objet déformable à partir de quelques points de contact seulement, sans aucune vision. L'architecture repose sur un mécanisme d'attention croisée invariant par permutation, ce qui lui permet de traiter indifféremment une corde en une dimension, un tissu en deux dimensions ou un corps mou volumétrique en trois dimensions avec le même estimateur, sans connaître à l'avance la topologie de l'objet. Sur les tests menés, ce modèle appris réduit l'erreur de reconstruction d'environ deux tiers par rapport à deux références classiques non apprises : une complétion géométrique de maillage et une méthode par processus gaussien. Il surpasse également un encodeur ensembliste plus simple à agrégation globale, l'écart se creusant à mesure que le nombre de contacts augmente. Les auteurs montrent en complément qu'une estimation d'incertitude par ensemble de réseaux (deep ensemble) permet de décider où toucher ensuite, ce qui réduit encore l'erreur et bat à la fois le toucher aléatoire et une stratégie active basée sur un processus gaussien, notamment à faible budget de contacts. Ce travail cible un angle mort classique de la manipulation robotique : les situations où la caméra ne sert à rien, dans l'obscurité, à l'intérieur d'un sac opaque, derrière la main du robot ou en cas d'occlusion sévère. Un modèle unique capable de gérer plusieurs topologies d'objets déformables sans reconfiguration évite de devoir entraîner un estimateur dédié par type d'objet, un vrai frein pratique pour les intégrateurs travaillant sur la manipulation tactile ou le tri en aveugle. Le gain apporté par le choix intelligent du point de contact suivant reste modeste en moyenne, mais devient significatif justement dans les cas les plus difficiles, forte occlusion et queue de distribution d'erreur, ce qui est précisément le scénario où le tact seul est indispensable. Le papier note aussi un résultat qui relativise l'intérêt de l'exploration tactile active : dès que la vision redevient disponible, l'endroit où l'on touche importe peu, ce qui justifie de cantonner cette approche aux contextes réellement privés de vision plutôt que d'en faire une brique générale de perception. Publié sur arXiv (2607.13479), le travail se positionne comme une alternative aux approches spécifiques par type d'objet et aux baselines géométriques ou par processus gaussien couramment utilisées en reconstruction tactile, sans toutefois préciser de déploiement matériel ou d'intégration industrielle à ce stade : il s'agit pour l'instant d'un résultat de recherche évalué en simulation ou en banc d'essai contrôlé, avant toute validation à plus grande échelle.

RecherchePaper

1 source