Aller au contenu principal
AnchorD : ancrage métrique de la profondeur monoculaire par graphes de facteurs
RecherchearXiv cs.RO 

AnchorD : ancrage métrique de la profondeur monoculaire par graphes de facteurs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs de l'université de Fribourg-en-Brisgau ont publié AnchorD, un framework d'estimation de profondeur présenté comme entraînement-libre (training-free), capable d'ancrer les prédictions métriques de modèles monoculaires dans des mesures de capteurs réels via une optimisation par graphes de facteurs (factor graphs). La méthode réalise un alignement affine par patches, ce qui permet de recaler localement les estimations monoculaires sur une profondeur métrique réelle tout en préservant les discontinuités géométriques fines. Pour valider l'approche dans des conditions difficiles, l'équipe introduit également un nouveau jeu de données de référence avec vérité terrain dense sur des scènes complètes contenant des objets non-lambertiens (transparents, spéculaires, métalliques), obtenue en combinant une peinture mate réfléchissante en spray sur les surfaces problématiques et une fusion multi-caméras, contournant ainsi la dépendance aux annotations CAD par objet des benchmarks existants. Le code et les données sont publiés en accès libre.

L'enjeu pratique est réel pour les intégrateurs de manipulation robotique et de préhension : les capteurs de profondeur structurés (Time-of-Flight, stéréo, LiDAR) décrochent systématiquement sur les surfaces transparentes comme le verre ou spéculaires comme l'inox, des matériaux omniprésents en milieu industriel. Les grands modèles de profondeur monoculaire, Depth Anything V2, UniDepth, ZoeDepth, produisent des priors structurels excellents mais souffrent d'ambiguïté d'échelle métrique, ce qui les rend inutilisables directement pour la planification de trajectoire ou le calcul de prise. AnchorD propose de fusionner les deux sources d'information sans réentraînement, ce qui le rend déployable sur du matériel existant avec n'importe quel modèle fondation de profondeur en entrée. Les auteurs rapportent des améliorations constantes sur des capteurs et domaines variés, sans communiquer de métriques numériques précises dans le résumé, les chiffres restent à consulter dans le papier complet.

Ce travail s'inscrit dans un axe actif de recherche qui tente de "métrifier" les modèles de vision de fondation pour les rendre directement exploitables en robotique, sans passer par des pipelines de calibration coûteux. L'université de Fribourg (groupe Robotics and Embedded Systems, liens avec le DFKI) est un acteur reconnu en perception robotique, notamment sur les terrains non structurés. Dans l'espace concurrent, des approches comme Metric3D v2 (Tianjin/Baidu) ou ScaleDepth cherchent le même objectif par voie paramétrique ou de fine-tuning; AnchorD se distingue par son absence totale de phase d'entraînement. L'article est un preprint arXiv (2605.02667, mai 2026), non encore évalué par les pairs: les résultats présentés devront être confirmés lors d'une revue formelle.

Impact France/UE

Contribution d'un laboratoire européen (Fribourg/DFKI) publiée en open-source et sans réentraînement, directement exploitable par les intégrateurs EU pour la manipulation d'objets industriels à surfaces transparentes ou spéculaires.

À lire aussi

DROID-ANCHOR : estimation récurrente de profondeur métrique ancrée sur l'odométrie
1arXiv cs.RO 

DROID-ANCHOR : estimation récurrente de profondeur métrique ancrée sur l'odométrie

Des chercheurs publient sur arXiv (référence 2607.17058v1, juillet 2026) un nouveau système baptisé Metric-DROID, associé au papier intitulé DROID-ANCHOR, qui vise à résoudre un problème classique de la navigation robotique autonome : l'estimation de profondeur métrique à partir d'une seule caméra. Les systèmes SLAM récents basés sur des flux récurrents atteignent un excellent niveau de robustesse mais restent incapables de fournir une échelle physique fiable, ce qu'on appelle l'ambiguïté d'échelle, avec un risque de dérive au fil du déplacement du robot. Metric-DROID propose une architecture bout-en-bout qui ancre le SLAM visuel à la réalité physique en intégrant des données d'odométrie proprioceptive, c'est-à-dire les mesures internes de déplacement du robot (roues, capteurs inertiels). Le système repose sur trois briques : un opérateur de mise à jour LSTM qui transforme les séquences d'odométrie haute fréquence en cartes de caractéristiques spatiales servant de biais métrique persistant ; un module d'ajustement de faisceaux ($BA_{odom}$) qui pondère intelligemment les données visuelles et les mesures métriques grâce à une covariance apprise, limitant l'impact du glissement des roues et du bruit capteur ; et une stratégie de réglage fin sélectif qui préserve les connaissances géométriques pré-entraînées tout en permettant un alignement métrique sans réentraînement complet (zero-shot). L'enjeu est concret pour l'industrie robotique : la plupart des systèmes de navigation autonome low-cost s'appuient sur une caméra monoculaire plutôt que sur des capteurs stéréo ou LiDAR coûteux, mais butent justement sur cette absence d'échelle métrique fiable, ce qui limite leur usage en cartographie, en évitement d'obstacles précis ou en manipulation mobile. Si l'approche tient ses promesses en conditions réelles et pas seulement en benchmark, elle pourrait permettre à des robots mobiles et des AMR équipés de capteurs bon marché d'obtenir une localisation et une perception de profondeur en unités réelles, sans dépendre exclusivement de capteurs additionnels dédiés, ce qui réduirait les coûts matériels tout en fiabilisant la navigation en environnements dynamiques. Ce travail s'inscrit dans la lignée des systèmes SLAM récurrents de type DROID-SLAM, connus pour leur robustesse mais limités par l'ambiguïté d'échelle inhérente aux approches purement visuelles. En fusionnant apprentissage profond et odométrie classique plutôt que de s'appuyer sur des capteurs de profondeur additionnels, les auteurs se positionnent face aux approches concurrentes de SLAM visuo-inertiel ou visuo-LiDAR. L'article, encore au stade de publication de préprint, ne fournit pas à ce jour de détails sur un déploiement matériel réel ni sur des tests en conditions industrielles : il s'agit pour l'instant d'une contribution méthodologique dont la validation à grande échelle sur des plateformes robotiques commerciales reste à démontrer.

RecherchePaper
1 source
Quel estimateur de profondeur pour le Jetson AGX Orin ? Benchmark 2026 des méthodes monoculaires et stéréo
2arXiv cs.RO 

Quel estimateur de profondeur pour le Jetson AGX Orin ? Benchmark 2026 des méthodes monoculaires et stéréo

Une équipe de chercheurs publie sur arXiv un benchmark des estimateurs de profondeur tournant sur le Jetson AGX Orin de NVIDIA, calculateur embarqué très répandu sur les robots et véhicules, pour lequel les mesures comparables de précision, de vitesse et d'énergie manquaient. Neuf familles de modèles sont évaluées à la date d'octobre 2026: en monoculaire Depth Anything V2 et 3, Depth Pro, MoGe-2, Metric3D v2 et UniDepth V2, en stéréo libSGM, NVIDIA ESS et Fast-FoundationStereo. Chaque méthode tourne en moteur TensorRT FP16 ou en code CUDA natif, jusqu'à trois tailles d'entrée dont la pleine résolution de 5,7 MP. La précision métrique est mesurée sur la vérité terrain Middlebury 2014 (pixels non occultés de 10 scènes dont la disparité reste sous 256 px), avec le temps GPU, l'énergie et la licence. À 30 images par seconde, ESS atteint 0,70 % d'erreur relative (AbsRel) en 8,6 ms et libSGM 0,73 % en 25 ms. Fast-FoundationStereo descend à 0,33 % avec davantage de calcul. Les meilleurs modèles monoculaires plafonnent à 12 % avec la focale réelle (Depth Anything 3 Metric-L en 33 ms, Depth Pro en 803 ms), et n'atteignent 3,8 à 4,0 % (MoGe-2-L, UniDepth V2-B, Metric3D v2-L) qu'avec une échelle par image fournie par un oracle, donc inutilisable en production. Pour un intégrateur ou un responsable technique, le message est net: sur ce matériel, la stéréo est d'un ordre de grandeur plus précise que le monoculaire dès qu'une mesure métrique est requise, pour la préhension, l'évitement d'obstacles ou la navigation. L'erreur stéréo diminue quand la résolution augmente, alors qu'aucun modèle monoculaire ne s'améliore, et l'échelle métrique de la plupart dérive hors de leur résolution d'entraînement. Aux discontinuités de profondeur, que l'AbsRel reflète mal, les modèles monoculaires répartissent 17 à 46 % des points de bord entre premier plan et arrière-plan, contre 2 à 9 % pour la stéréo apprise et 1 % pour libSGM en pleine résolution. Cela relativise l'engouement pour les modèles de fondation monoculaires comme remplaçants des capteurs de profondeur. À noter toutefois que le protocole repose sur un jeu de données statique de scènes intérieures, loin des conditions dynamiques d'un robot mobile, et que la sélection de 10 scènes limite la portée des conclusions. Ce travail comble un manque pratique: les publications de Depth Anything, Depth Pro ou MoGe-2 mesurent surtout la précision relative sur GPU de bureau, pas le compromis latence, énergie et exactitude sur plateforme embarquée. Il oppose l'écosystème NVIDIA (ESS, intégré à ses bibliothèques robotiques) à l'algorithme open source libSGM, étonnamment compétitif, et à Fast-FoundationStereo, qui représente la nouvelle génération de stéréo généraliste. Les auteurs formulent des recommandations par budget de cadence et publient code, résultats par scène et scripts de construction des moteurs, ce qui permet de reproduire et d'étendre la comparaison. La licence des modèles, critère retenu dans l'étude, pèse aussi sur les choix commerciaux. La suite logique serait de tester le même protocole sur le successeur Jetson Thor et sur des données en mouvement.

RecherchePaper
1 source
Estimation de force 3D pour la manipulation à deux bras d'objets linéaires déformables par graphes de facteurs
3arXiv cs.RO 

Estimation de force 3D pour la manipulation à deux bras d'objets linéaires déformables par graphes de facteurs

Des chercheurs proposent, dans un preprint publié sur arXiv (2610.35058), une méthode d'estimation des forces 3D appliquées à des objets linéaires déformables (DLO, pour Deformable Linear Objects), comme les câbles et les fils, manipulés par deux bras robotiques. La technique repose sur des graphes de facteurs, un cadre probabiliste où l'état du DLO et les données de capteurs sont reliés par des distributions conditionnelles. Elle permet d'estimer en même temps la norme, la direction et le point d'application d'une force 3D, tout en reconstruisant la forme de l'objet. Les tests, menés avec du bruit injecté dans les mesures, font suivre au DLO une trajectoire prescrite en présence de forces externes, que le système estime avec précision selon les auteurs. L'abstract ne fournit aucune valeur chiffrée d'erreur, de fréquence de calcul ou de matériel utilisé, et rien n'indique si les essais sont en simulation ou sur robot réel. L'intérêt est d'abord pratique pour l'industrie. Les DLO sont sous-actionnés : on ne contrôle directement que leurs extrémités, et leur finesse exclut en général les jauges de contrainte ou la lecture d'actionneurs le long de leur longueur. Or une estimation fiable du contact est nécessaire pour contrôler précisément le câble et manipuler en sécurité. Les auteurs choisissent de n'utiliser qu'un seul type d'information sensorielle, ce qui vise une technique générique, transposable à des tâches variées sans instrumenter l'objet. Pour un intégrateur travaillant sur le câblage de faisceaux, l'assemblage électrique ou la manipulation de tubes, c'est une piste vers des tâches bimanuelles plus robustes, avec détection de contact sans capteur dédié. Il faut toutefois rester prudent : il s'agit d'un résultat de laboratoire avec bruit synthétique, sans validation industrielle, ni comparaison chiffrée publiée dans le résumé avec les méthodes concurrentes. Ce travail s'inscrit dans une littérature abondante sur la manipulation de DLO, longtemps dominée par des modèles physiques, des approches basées sur l'apprentissage ou des capteurs tactiles et de force installés sur les préhenseurs. Les graphes de facteurs, déjà très répandus en SLAM et en estimation d'état robotique, offrent ici une alternative probabiliste qui gère explicitement l'incertitude des mesures. Le préprint n'est qu'à sa première version (v1) et n'a pas encore franchi, a priori, de relecture par les pairs. Les prochaines étapes naturelles seraient une validation sur plateforme bimanuelle réelle, des tests sur des câbles de rigidités différentes et une intégration dans des boucles de commande fermées, étapes que le résumé ne mentionne pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
RoPE-Flow : estimation de la pose d'un robot par vision monoculaire via un flow matching 3D conditionné par graphe 2D
4arXiv cs.RO 

RoPE-Flow : estimation de la pose d'un robot par vision monoculaire via un flow matching 3D conditionné par graphe 2D

Des chercheurs proposent RoPE-Flow, un cadre de bout en bout qui estime la pose d'un robot par rapport à une caméra (camera-to-robot pose estimation) à partir d'une seule image monoculaire. La méthode part de cartes de chaleur 2D prédites pour les points clés du robot. Un extracteur de caractéristiques centré sur ces points combine information de position et contexte issu de patchs multi-échelles. Un générateur de conditions guidé par graphe, doté d'une matrice d'adjacence apprenable, exploite les corrélations entre points clés pour conditionner un modèle de flow matching qui reconstruit la structure 3D. L'entraînement ajoute deux pertes, une Bone Length Loss pour la cohérence topologique et une Ray-Depth Loss pour la stabilité d'échelle, avec une pondération par articulation. Selon les auteurs, RoPE-Flow dépasse l'état de l'art sur plusieurs types de robots et de caméras. Ils publient aussi un nouveau benchmark inter-scènes pour évaluer l'estimation en zéro-shot, avec des visualisations animées sur ropeflow.netlify.app. Il s'agit d'un travail académique (arXiv 2610.21086), sans produit ni déploiement industriel associé. L'intérêt tient à ce que la méthode vise trois faiblesses connues des approches actuelles. Les méthodes par rendu itératif sont lentes. Celles par recalage 2D-3D souffrent d'ambiguïtés de projection, d'erreurs cumulées sur les articulations distales (celles du bout du bras, où la moindre erreur de base s'amplifie) et d'un apprentissage déséquilibré entre articulations. Pour un intégrateur, localiser un bras uniquement par la vision, sans capteurs de pose dédiés ni calibration main-œil fastidieuse, simplifierait le déploiement de cellules robotisées, notamment avec des caméras déplacées ou des robots variés. Le test zéro-shot inter-scènes est le point le plus pertinent, car la généralisation hors du décor d'entraînement est le principal écart entre démonstration et production. Il faut toutefois rester prudent : le résumé ne donne aucun chiffre (erreur en degrés ou en millimètres, temps d'inférence, taux de réussite). Le benchmark est créé par les auteurs eux-mêmes, et les gains annoncés ne sont pas vérifiables sans lire les résultats complets. Ce travail s'inscrit dans la lignée des méthodes d'estimation de pose de robot par apprentissage profond, qui ont remplacé les marqueurs fiduciaires et les calibrations manuelles. Il emprunte au flow matching, une famille de modèles génératifs qui gagne du terrain en vision et en contrôle robotique. Les concurrents directs sont les approches par rendu différentiable et par recalage de points clés, que les auteurs disent surpasser. Aucun calendrier de pilote, de code ouvert ou d'intégration à un système commercial n'est annoncé dans le résumé. La suite dépendra de la publication du code et des mesures de latence, déterminantes pour une utilisation en navigation et en commande en temps réel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source