RecherchearXiv cs.RO 28 juillet 2026

RRTrack : suivi robuste et récupérable de la pose 6D d'objets pour scènes dynamiques

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont présenté RRTrack, un système de suivi de pose 6D d'objets conçu pour les scènes robotiques dynamiques, dans un article publié sur arXiv fin juillet 2026. L'architecture repose sur une boucle fermée à deux niveaux : une branche 2D assure la localisation continue de la cible via un module de segmentation vidéo d'objets basé sur la mémoire (VOS), tandis qu'une branche 6D vérifie la cohérence géométrique avant chaque mise à jour de cette mémoire. Pour récupérer une cible perdue après une occlusion complète, les auteurs ajoutent un module d'appariement de templates à double banque, fondé sur DINOv2, qui combine des modèles synthétiques générés hors ligne avec des ancres d'observation captées en temps réel. Un nouveau benchmark RGB-D synthétique, couvrant trois scénarios robotiques à mouvement rapide et occlusion totale, a été introduit pour évaluer la méthode. Sur ce benchmark, RRTrack améliore le score ADD-S AR de 66,3 % et l'AUC ADD-S de 65,7 % par rapport à FoundationPose, tout en tournant à 55,2 images par seconde. Des essais en conditions réelles, avec capteurs bruités, confirment la robustesse du système.

Ce travail s'attaque à une limite concrète des pipelines de manipulation robotique : les estimateurs de pose image par image sont précis mais trop lourds pour du temps réel, alors que les trackers existants décrochent dès qu'un objet disparaît brièvement du champ de vision, par exemple lors d'une prise rapide ou d'une occlusion par un bras ou un autre objet. Un suivi capable de récupérer automatiquement la cible sans relancer une détection complète réduit la latence et la fragilité des boucles de perception-action, un point critique pour les intégrateurs qui déploient des bras ou des AMR dans des environnements encombrés où la visibilité continue n'est jamais garantie.

FoundationPose, utilisé ici comme référence de comparaison, s'est imposé ces deux dernières années comme une base solide pour l'estimation de pose 6D généralisable sans réentraînement par objet, mais reste coûteux à faire tourner en continu. RRTrack se positionne comme une alternative plus légère et récupérable, taillée pour la robotique embarquée. Le code et le benchmark sont publiés sur GitHub, ce qui laisse la porte ouverte à une adoption rapide par la communauté recherche avant d'éventuels transferts vers des systèmes industriels.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

RoPT : suivi robuste de la pose 6DoF d'objets dans une vidéo

Des chercheurs présentent RoPT, un cadre de suivi de pose 6DoF d'objets (position et orientation en trois dimensions) à partir d'une simple vidéo monoculaire, publié sur arXiv en octobre 2026. Le système vise un défaut connu des trackers monoculaires classiques: la divergence brutale dès que l'objet bouge vite. RoPT combine trois briques. Un module de perception suit les masques d'objets pour tolérer les occlusions partielles et sévères. Un graphe de facteurs cinématique régularise les mises à jour image par image, prédit la pose suivante et alimente une vérification parallèle de plusieurs hypothèses, afin d'échapper aux minima locaux. Enfin, un module de re-localisation active détecte l'échec du suivi et relance une estimation globale. Les auteurs annoncent des résultats supérieurs sur plusieurs benchmarks et des démonstrations sur robot réel. Le résumé ne fournit toutefois aucun chiffre: ni taux de survie du suivi, ni latence, ni matériel, ni comparaison nominative. L'enjeu est pratique. Pour la manipulation sur convoyeur, le tri en vrac ou le geste de passation homme-robot, un tracker qui décroche sur un objet rapide force à relancer une détection complète, avec des pertes de cycle et des saisies ratées. Le passage d'un fonctionnement en boucle ouverte à une boucle fermée consciente de ses échecs répond à ce besoin de robustesse, plus décisif en production que la précision moyenne. Il faut rester prudent: "survivabilité du suivi" est une métrique choisie par les auteurs, et sans temps de calcul publié, on ignore si l'approche tient le temps réel avec plusieurs hypothèses en parallèle, ni si elle exige des modèles d'objets connus. Ce travail s'inscrit dans une lignée de méthodes de pose d'objets qui ont progressé ces dernières années, de FoundationPose à BundleSDF, avec des approches fondées sur des modèles de fondation et des masques de segmentation. La plupart restent sensibles aux mouvements rapides et aux occlusions prolongées. RoPT répond en ajoutant de la structure temporelle et un mécanisme de reprise, plutôt qu'un modèle plus gros. La suite dépendra de la publication du code, de mesures de latence sur matériel embarqué et d'essais en environnement industriel. Pour les intégrateurs, il s'agit pour l'instant d'une contribution de recherche, pas d'un produit livré.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Estimation de pose 6D temporellement cohérente des objets pour le contrôle robotique

Des chercheurs publient sur arXiv (2605.02708v1) une méthode d'estimation de pose 6D d'objets temporellement cohérente pour la commande de robots manipulateurs. L'approche repose sur un graphe de facteurs qui filtre et lisse en ligne les estimations produites par des estimateurs RGB monoculaires standard, sans recours à un capteur de profondeur. Le système combine trois composantes : un modèle de mouvement de l'objet, une estimation explicite de l'incertitude de mesure de pose, et un optimiseur en ligne intégrant les deux. Les auteurs rapportent une amélioration significative sur des benchmarks standardisés d'estimation de pose avec rejet des valeurs aberrantes, sans toutefois chiffrer précisément les gains. La validation expérimentale porte sur une tâche de suivi d'objet par une caméra embarquée sur un manipulateur à commande en couple (torque-controlled). L'estimation de pose 6D (trois degrés de translation, trois de rotation) est un prérequis pour toute manipulation robotique précise : saisie, assemblage, tri industriel. Les estimateurs RGB monoculaires récents atteignent des performances compétitives sur benchmarks, mais présentent des discontinuités temporelles, des sauts brusques d'une image à l'autre, incompatibles avec la stabilité d'une boucle de contrôle en temps réel. Ce travail s'attaque précisément à ce fossé entre performance sur benchmark et déploiement réel : non pas améliorer la précision frame par frame, mais garantir la cohérence temporelle nécessaire à un retour visuel stable. Pour un intégrateur de cellules robotisées, cela réduit la dépendance aux capteurs ToF ou RGBD, plus coûteux et plus sensibles aux conditions d'éclairage industriel. Les graphes de facteurs sont un outil classique du SLAM robotique (localisation et cartographie simultanées), utilisés depuis longtemps dans les estimateurs de navigation, mais leur application à l'estimation de pose d'objet reste moins répandue. Le champ concurrentiel inclut des approches par filtre de Kalman étendu, des méthodes de lissage sur SE(3), ainsi que des systèmes temps réel comme FoundationPose de NVIDIA ou HappyPose, solution open-source portée par des acteurs européens. L'article est pour l'heure un preprint sans validation industrielle publiée ni annonce de déploiement. Les étapes logiques suivantes incluent une comparaison directe avec les méthodes filtrées existantes sur des jeux de données de référence comme YCB-Video ou LINEMOD, et une extension aux scènes multi-objets.

UELa méthode se positionne en concurrent direct de HappyPose, solution open-source portée par des acteurs européens, sans impact opérationnel identifiable à ce stade de preprint non validé industriellement.

RecherchePaper

1 source

3arXiv cs.RO

KineFuse : fusion haptique consciente de la cinématique pour le suivi de pose d'objets occlus en main

Des chercheurs ont publié cette semaine sur arXiv un travail intitulé KineFuse, consacré au suivi de pose 6D d'objets manipulés en main par des robots dextres. Le problème posé est concret : lorsqu'une main multi-doigts saisit un objet, les doigts eux-mêmes masquent partiellement ou totalement l'objet à la caméra, rendant le suivi visuel peu fiable. Les auteurs proposent un encodeur "kinematic-aware" au niveau de chaque doigt, qui combine les signaux haptiques déjà disponibles sur les mains robotiques (proprioception, force/couple proximal, contact binaire) avec un tracker visuel pré-entraîné. Cette architecture a été comparée à quatre designs alternatifs sur trois niveaux d'évaluation : affinage image par image, suivi séquentiel en boucle ouverte, et manipulation en boucle fermée. Résultat marquant : l'évaluation image par image ne permet pas de distinguer la qualité des encodeurs, alors que le suivi séquentiel amplifie les écarts de performance jusqu'à un facteur 15. La tokenisation compacte à 4 jetons par doigt surpasse à la fois la fusion "à plat" et les représentations par articulation, ces dernières écrasant le signal visuel par dominance de norme. L'apport le plus notable tient à ce que l'encodeur apprend de lui-même, sans supervision explicite, une forme de porte de fusion spécifique à la tâche : il s'appuie exclusivement sur la vision pour estimer la translation de l'objet, et dédie une tête d'attention aux données haptiques pour la rotation. Pour les intégrateurs travaillant sur la manipulation dextre, c'est une piste concrète pour réduire la dépendance à une vision toujours disponible, un angle mort classique des démonstrations en environnement contrôlé face aux conditions réelles d'usine ou d'entrepôt. Les auteurs valident d'ailleurs que ce suivi amélioré se traduit par un meilleur taux de succès sur une tâche de réorientation d'objet en main. Le travail s'inscrit dans la lignée des recherches sur la fusion tactile-visuelle pour la manipulation robotique, un axe actif face aux limites connues des trackers purement visuels en environnement occlus. Les auteurs fournissent des démonstrations qualitatives en conditions réelles et mettent à disposition une page projet (cold-young.github.io/kine-fuse) pour approfondir la méthode, sans toutefois annoncer de déploiement industriel ni de calendrier de transfert au-delà du cadre expérimental.

RecherchePaper

1 source

4arXiv cs.RO

DynaMOMA : prédiction instantanée des poses de saisie pour la manipulation mobile d'objets dynamiques

Des chercheurs présentent DynaMOMA, un cadre logiciel pour la manipulation mobile d'objets en mouvement, publié sur arXiv en juin 2026. L'architecture combine deux blocs : un modèle de diffusion ancré (anchor-based diffusion model) qui génère des trajectoires de préhension à court horizon de façon temporellement cohérente, et une politique de contrôle corps entier par apprentissage par renforcement qui pilote simultanément la base mobile et le bras robotique. Un mécanisme nommé anticipation-guided reward ajuste la cible de la politique en substituant progressivement l'observation instantanée à la trajectoire prédite, poussant le système à anticiper plutôt qu'à simplement réagir. Les expériences ont été conduites dans Isaac Gym (NVIDIA), complétées par des validations sur robot physique en environnement réel. L'enjeu industriel est concret : la majorité des systèmes de picking déployés sur convoyeur ou en transfert humain-robot supposent une cible statique ou à trajectoire parfaitement prévisible. Coordonner une base mobile et un bras multi-axes face à un objet dont la pose évolue en continu cumule deux difficultés distinctes : prédire des trajectoires de saisie cohérentes dans le temps, et fermer la boucle de commande corps entier à faible latence. L'usage d'un modèle de diffusion pour la prédiction de trajectoires de préhension (et non pour la génération d'images ou de politiques textuelles) prolonge une tendance récente incluant Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La démonstration d'un transfert sim-to-real fonctionnel constitue l'élément le plus significatif pour les intégrateurs robotiques. Il s'agit à ce stade d'un preprint académique sans affiliation industrielle déclarée, et l'abstract ne fournit ni chiffres de cadence (cycle time) ni de charge utile (payload), ce qui rend toute comparaison directe avec des solutions commerciales impossible. Isaac Gym facilite la reproductibilité, mais la question du sim-to-real gap sur des scènes dynamiques complexes reste ouverte. DynaMOMA s'inscrit dans le même espace de recherche que Physical Intelligence, Agility Robotics ou Apptronik sur la généralisation de la manipulation, sans cibler un segment commercial précis. Des validations sur objets déformables ou partiellement occultés constitueraient l'extension naturelle vers des cas d'usage industriels réels.

RecherchePaper

1 source