RecherchearXiv cs.RO1h

Estimation de la pose 6-DOF d'un objet à partir d'un seul contact tactile

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (réf. 2606.28899) YOTO, pour "You Only Touch Once", un système d'estimation de pose 6-DoF fondé exclusivement sur le toucher. Contrairement aux approches visuelles classiques, YOTO reconstruit la position et l'orientation complète d'un objet à partir d'une seule paire de contacts tactiles simultanés, sans nécessiter d'historique de manipulation. Chaque contact est modélisé comme un nuage de points 3D local, puis localisé sur la surface de l'objet par un réseau coarse-to-fine. Les deux contacts localisés, combinés aux poses calibrées des capteurs, alimentent un solveur SVD en forme fermée, conscient des normales de surface, qui restitue la pose 6-DoF en une seule passe. Le réseau est préentraîné sur des patches tactiles virtuels générés depuis le modèle 3D de l'objet, puis affiné avec un petit nombre de contacts réels, réduisant significativement les besoins en données terrain. Les expériences portent sur quatre objets aux géométries variées avec des capteurs GelSight, et incluent une évaluation comparative entre reconstructions issues de scans mobiles grand public et modèles CAO de référence.

Ce travail s'attaque à un angle mort bien documenté de la manipulation robotique : les méthodes visuelles de pose estimation échouent systématiquement en cas d'occlusion, d'éclairage défavorable, ou face à des surfaces réfléchissantes et transparentes, conditions courantes en environnement industriel réel. L'approche à contact unique sans historique constitue un avantage pratique majeur, car elle élimine les séquences d'exploration multi-contacts et s'intègre dans des boucles de manipulation courtes. YOTO surpasse les baselines visuelles et géométriques testées dans les scénarios où la perception visuelle est dégradée. La compatibilité avec des scans mobiles plutôt que des modèles CAO précis abaisse la barrière d'intégration pour des objets non catalogués, un point non négligeable pour les intégrateurs industriels.

L'estimation de pose par capteurs tactiles de type GelSight est un axe de recherche actif depuis les travaux pionniers du MIT et de l'entreprise éponyme GelSight Inc. Les méthodes antérieures nécessitaient généralement plusieurs contacts successifs ou un historique de manipulation pour converger ; YOTO rompt avec cette contrainte. Sur le plan compétitif, les pipelines visuels basés sur des modèles de fondation (MegaPose, FoundPose, benchmarks BOP) restent dominants en conditions nominales, mais leur robustesse aux surfaces dégradées est limitée, c'est précisément là que le toucher devient complémentaire. Le code, les modèles entraînés et le jeu de données GelSight seront publiés à l'acceptation de l'article. À ce stade, il s'agit d'un preprint arXiv sans déploiement annoncé ni partenaire industriel identifié.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Estimation de pose et de forme d'objets pour la saisie : est-ce que ça fonctionne ?

Une étude publiée en preprint sur arXiv (2605.26944, mai 2026) s'attaque à une question centrale de la manipulation robotique : les méthodes modulaires, qui estiment d'abord la pose et la forme 3D d'un objet avant de générer des préhensions par échantillonnage antipolaire, surpassent-elles les approches bout-en-bout qui synthétisent directement des poses de saisie ? Le cadre expérimental se limite aux pinces à mâchoires parallèles, aux préhensions à 7 degrés de liberté (7-DOF), et à une entrée monoculaire RGB(-D). Trois pipelines modulaires sont évalués : deux s'appuient sur des modèles encodeur-décodeur (SAM3D, LRM, CRISP), le troisième sur des modèles de reconstruction par diffusion (InstantMesh, Zero123, SceneComplete), tous capables de reconstruire des formes 3D de façon catégorie-agnostique. Ces pipelines sont comparés à une méthode bout-en-bout de référence représentant l'état de l'art. Les résultats sont sans ambiguïté : les méthodes modulaires surpassent la baseline bout-en-bout dans l'intégralité des expériences, y compris sur les petits objets où l'approche bout-en-bout échoue complètement. Ce constat remet en question l'hypothèse dominante selon laquelle les architectures bout-en-bout s'imposent naturellement en manipulation. La qualité des préhensions reste cependant conditionnée à la précision de l'estimation de pose et de forme : dans les scènes encombrées (cluttered scenes), les performances se dégradent, exposant une limite structurelle des méthodes actuelles de reconstruction 3D monoculaire. Les auteurs montrent par ailleurs que ces pipelines modulaires peuvent être augmentés avec des modèles vision-langage (VLM) pour produire des préhensions conditionnées par des instructions en langage naturel depuis une seule image RGB-D, avec des performances comparables à la baseline LERF-TOGO. Ces travaux s'inscrivent dans une dynamique plus large de reconstruction 3D open-set portée par des modèles génératifs larges. Les approches encodeur-décodeur comme SAM3D ou LRM, et les modèles par diffusion comme InstantMesh ou Zero123, ont démontré une généralisation hors-distribution qui rend la reconstruction catégorie-agnostique exploitable en robotique industrielle. Côté positionnement concurrentiel, les méthodes bout-en-bout comme GraspNet restent des références, mais ce preprint suggère qu'un paradigme modulaire combinant estimation de forme et échantillonnage géométrique peut les surpasser dès lors que la reconstruction est suffisamment précise. La robustesse en scènes encombrées reste le défi ouvert majeur pour les équipes de recherche et les intégrateurs industriels.

RecherchePaper

1 source

2arXiv cs.RO

Estimation de pose 6-DOF pour objets inconnus : vers un déploiement robotique à grande échelle

Une équipe de chercheurs a publié en 2025 SinRef-6D, une méthode d'estimation de pose 6-DoF (six degrés de liberté) conçue pour des objets inconnus à partir d'une seule image de référence RGB-D. Contrairement aux approches dominantes qui exigent soit un modèle CAO complet, soit un ensemble dense de vues de référence, SinRef-6D n'utilise qu'un unique cliché annoté capturé pendant la manipulation robotique. Le système a été validé sur six benchmarks académiques standards et intégré dans un système robotique réel pour des tâches de préhension (grasping). Le code source et des démonstrations vidéo sont disponibles publiquement via le site associé à l'article. L'enjeu est significatif pour les intégrateurs industriels : l'absence de dépendance à un modèle CAO ou à une base de données de vues représente un frein majeur au déploiement de la manipulation robotique en environnement non contrôlé. Si la méthode tient ses promesses à l'échelle, elle réduit le coût de mise en service pour des objets nouveaux ou variables, un problème concret dans la logistique, le pick-and-place e-commerce ou l'assemblage à variantes élevées. Le système repose sur des State Space Models (SSMs), une architecture alternative aux Transformers qui offre une complexité linéaire pour la modélisation de dépendances spatiales longue portée à partir d'un seul point de vue. Cela permet de compenser la pauvreté géométrique inhérente à une image unique, via un alignement itératif point-à-point dans un système de coordonnées objet commun. Une nuance s'impose cependant : les démonstrations robotiques présentées restent des scénarios de laboratoire, et aucune donnée de déploiement industriel à grande échelle n'est communiquée. La problématique de la scalabilité en estimation de pose est active depuis plusieurs années, avec des travaux comme FoundPose, FoundPose, Gen6D ou GigaPose qui tentent chacun de réduire la dépendance aux données de référence. SinRef-6D se positionne sur le segment le plus contraint, une seule vue, ce qui le distingue techniquement mais pose la question de la robustesse face aux occlusions partielles ou aux variations d'éclairage importantes, non documentées dans l'abstract. Les prochaines étapes attendues pour ce type de travaux incluent l'intégration dans des pipelines de manipulation généraliste (type pi0 ou RDT-1B), où l'estimation de pose externe peut compléter les approches end-to-end visuomotrices.

RecherchePaper

1 source

3arXiv cs.RO

Estimation de pose 6D temporellement cohérente des objets pour le contrôle robotique

Des chercheurs publient sur arXiv (2605.02708v1) une méthode d'estimation de pose 6D d'objets temporellement cohérente pour la commande de robots manipulateurs. L'approche repose sur un graphe de facteurs qui filtre et lisse en ligne les estimations produites par des estimateurs RGB monoculaires standard, sans recours à un capteur de profondeur. Le système combine trois composantes : un modèle de mouvement de l'objet, une estimation explicite de l'incertitude de mesure de pose, et un optimiseur en ligne intégrant les deux. Les auteurs rapportent une amélioration significative sur des benchmarks standardisés d'estimation de pose avec rejet des valeurs aberrantes, sans toutefois chiffrer précisément les gains. La validation expérimentale porte sur une tâche de suivi d'objet par une caméra embarquée sur un manipulateur à commande en couple (torque-controlled). L'estimation de pose 6D (trois degrés de translation, trois de rotation) est un prérequis pour toute manipulation robotique précise : saisie, assemblage, tri industriel. Les estimateurs RGB monoculaires récents atteignent des performances compétitives sur benchmarks, mais présentent des discontinuités temporelles, des sauts brusques d'une image à l'autre, incompatibles avec la stabilité d'une boucle de contrôle en temps réel. Ce travail s'attaque précisément à ce fossé entre performance sur benchmark et déploiement réel : non pas améliorer la précision frame par frame, mais garantir la cohérence temporelle nécessaire à un retour visuel stable. Pour un intégrateur de cellules robotisées, cela réduit la dépendance aux capteurs ToF ou RGBD, plus coûteux et plus sensibles aux conditions d'éclairage industriel. Les graphes de facteurs sont un outil classique du SLAM robotique (localisation et cartographie simultanées), utilisés depuis longtemps dans les estimateurs de navigation, mais leur application à l'estimation de pose d'objet reste moins répandue. Le champ concurrentiel inclut des approches par filtre de Kalman étendu, des méthodes de lissage sur SE(3), ainsi que des systèmes temps réel comme FoundationPose de NVIDIA ou HappyPose, solution open-source portée par des acteurs européens. L'article est pour l'heure un preprint sans validation industrielle publiée ni annonce de déploiement. Les étapes logiques suivantes incluent une comparaison directe avec les méthodes filtrées existantes sur des jeux de données de référence comme YCB-Video ou LINEMOD, et une extension aux scènes multi-objets.

UELa méthode se positionne en concurrent direct de HappyPose, solution open-source portée par des acteurs européens, sans impact opérationnel identifiable à ce stade de preprint non validé industriellement.

RecherchePaper

1 source

4arXiv cs.RO

TacForeSight : un modèle du monde tactile guidé par la force pour la manipulation en contact dense

Des chercheurs ont publié sur arXiv (référence 2606.11184) TacForeSight, un framework léger d'anticipation tactile guidée par la force pour la manipulation en contact riche. Le système repose sur deux composants : TacForceWM, un modèle du monde tactile qui prédit les dynamiques latentes tactiles à court horizon à partir de capteurs bi-doigts conditionnés par les signaux de force et de couple au poignet à haute fréquence, et une politique conditionnée par l'anticipation tactile (Predictive Tactile-Conditioned Policy) qui exploite ces prédictions comme priors de contact, modélise l'évolution tactile courante-vers-future via cross-attention, et fusionne les features visuo-tactiles via un module de gating adaptatif. Les expériences portent sur cinq tâches représentatives de manipulation sur robot réel et trois scénarios de perturbation en cours de manipulation, avec des résultats supérieurs aux baselines existantes dans tous les cas, notamment sous perturbations de contact dynamiques. Le code et les datasets seront mis à disposition publiquement sur tacforesight.github.io. L'apport technique central est de modéliser explicitement les rôles asymétriques de la force globale au poignet (basse résolution spatiale, haute fréquence) et du toucher local bi-doigts (haute résolution spatiale, dynamique plus lente), distinction que la plupart des méthodes d'imitation learning actuelles ignorent. En opérant entièrement dans un espace latent compact, le framework permet un raisonnement de contact proactif compatible avec le contrôle haute fréquence, là où les approches réactives échouent sous perturbations imprévues. Pour les intégrateurs industriels et les équipes travaillant sur l'assemblage ou le conditionnement robotisé, c'est une démonstration concrète que la fusion force+tactile dans un world model améliore la robustesse réelle sans alourdir l'inférence en temps réel. Ce travail s'inscrit dans une vague de recherche combinant world models et retour tactile pour la manipulation dextre, aux côtés d'approches comme Pi-0 (Physical Intelligence) ou les travaux sur GR00T N2 de NVIDIA qui intègrent également des politiques tactile-aware. Aucun concurrent français ou européen direct n'est identifié sur ce créneau précis, bien que des acteurs comme Pollen Robotics ou Enchanted Tools s'appuient aussi sur la manipulation fine. Il s'agit ici d'un preprint non encore évalué par les pairs, sans déploiement industriel ni partenaire annoncé : les résultats, bien que prometteurs sur cinq tâches de laboratoire, devront être reproduits sur des géométries et conditions de contact plus variées avant de valider la généralisation à l'échelle industrielle.

UEImpact indirect : le code open-source prévu sur tacforesight.github.io pourrait être exploité par des équipes européennes travaillant sur la manipulation fine, comme Pollen Robotics ou les labos CEA-List, mais aucun acteur FR/EU n'est impliqué dans ce travail.

RecherchePaper

1 source