RecherchearXiv cs.RO 21 octobre 2026

Quel estimateur de profondeur pour le Jetson AGX Orin ? Benchmark 2026 des méthodes monoculaires et stéréo

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv un benchmark des estimateurs de profondeur tournant sur le Jetson AGX Orin de NVIDIA, calculateur embarqué très répandu sur les robots et véhicules, pour lequel les mesures comparables de précision, de vitesse et d'énergie manquaient. Neuf familles de modèles sont évaluées à la date d'octobre 2026: en monoculaire Depth Anything V2 et 3, Depth Pro, MoGe-2, Metric3D v2 et UniDepth V2, en stéréo libSGM, NVIDIA ESS et Fast-FoundationStereo. Chaque méthode tourne en moteur TensorRT FP16 ou en code CUDA natif, jusqu'à trois tailles d'entrée dont la pleine résolution de 5,7 MP. La précision métrique est mesurée sur la vérité terrain Middlebury 2014 (pixels non occultés de 10 scènes dont la disparité reste sous 256 px), avec le temps GPU, l'énergie et la licence. À 30 images par seconde, ESS atteint 0,70 % d'erreur relative (AbsRel) en 8,6 ms et libSGM 0,73 % en 25 ms. Fast-FoundationStereo descend à 0,33 % avec davantage de calcul. Les meilleurs modèles monoculaires plafonnent à 12 % avec la focale réelle (Depth Anything 3 Metric-L en 33 ms, Depth Pro en 803 ms), et n'atteignent 3,8 à 4,0 % (MoGe-2-L, UniDepth V2-B, Metric3D v2-L) qu'avec une échelle par image fournie par un oracle, donc inutilisable en production.

Pour un intégrateur ou un responsable technique, le message est net: sur ce matériel, la stéréo est d'un ordre de grandeur plus précise que le monoculaire dès qu'une mesure métrique est requise, pour la préhension, l'évitement d'obstacles ou la navigation. L'erreur stéréo diminue quand la résolution augmente, alors qu'aucun modèle monoculaire ne s'améliore, et l'échelle métrique de la plupart dérive hors de leur résolution d'entraînement. Aux discontinuités de profondeur, que l'AbsRel reflète mal, les modèles monoculaires répartissent 17 à 46 % des points de bord entre premier plan et arrière-plan, contre 2 à 9 % pour la stéréo apprise et 1 % pour libSGM en pleine résolution. Cela relativise l'engouement pour les modèles de fondation monoculaires comme remplaçants des capteurs de profondeur. À noter toutefois que le protocole repose sur un jeu de données statique de scènes intérieures, loin des conditions dynamiques d'un robot mobile, et que la sélection de 10 scènes limite la portée des conclusions.

Ce travail comble un manque pratique: les publications de Depth Anything, Depth Pro ou MoGe-2 mesurent surtout la précision relative sur GPU de bureau, pas le compromis latence, énergie et exactitude sur plateforme embarquée. Il oppose l'écosystème NVIDIA (ESS, intégré à ses bibliothèques robotiques) à l'algorithme open source libSGM, étonnamment compétitif, et à Fast-FoundationStereo, qui représente la nouvelle génération de stéréo généraliste. Les auteurs formulent des recommandations par budget de cadence et publient code, résultats par scène et scripts de construction des moteurs, ce qui permet de reproduire et d'étendre la comparaison. La licence des modèles, critère retenu dans l'étude, pèse aussi sur les choix commerciaux. La suite logique serait de tester le même protocole sur le successeur Jetson Thor et sur des données en mouvement.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

AsyncMDE : estimation de profondeur monoculaire en temps réel via mémoire spatiale asynchrone

Des chercheurs ont publié sur arXiv (arXiv:2603.10438v2) AsyncMDE, un système de perception de profondeur monoculaire asynchrone conçu pour permettre un déploiement temps-réel sur plateformes embarquées. L'architecture dissocie deux chemins d'exécution : un modèle fondation "slow path" de 97,5 millions de paramètres, figé, qui génère périodiquement des représentations spatiales de haute qualité en arrière-plan ; et un "fast path" léger de seulement 3,83 millions de paramètres entraînables, qui tourne en parallèle en réutilisant ces features via une fusion complémentaire avec l'observation courante et une mise à jour autorégressive de la mémoire. Sur GPU RTX 4090, le fast path atteint 237 FPS. Sur Jetson AGX Orin optimisé TensorRT, la cible embarquée réaliste pour la robotique mobile, il tourne à 161 FPS tout en récupérant 77 % de l'écart de précision par rapport au modèle fondation complet. L'enjeu industriel est direct : l'estimation de profondeur monoculaire à base de modèles fondation constitue une alternative crédible aux capteurs actifs (LiDAR, ToF), mais leur coût computationnel les rendait jusqu'ici incompatibles avec les contraintes temps-réel des robots mobiles et des AMR. AsyncMDE répond à ce verrou en amortissant le coût du modèle lourd sur plusieurs frames consécutives, en exploitant la redondance spatiale naturelle des déplacements continus d'un robot. La dégradation de précision est bornée et prédictible sur trois benchmarks couvrant des scènes statiques, dynamiques et des mouvements extrêmes synthétiques, ce qui est plus rassurant que des métriques moyennes masquant les cas limites. La profondeur monoculaire est un champ de recherche en forte accélération depuis que les architectures Vision Transformer et les modèles fondation (DPT, Depth Anything, UniDepth) ont montré des généralisations zero-shot solides, mais le goulot computationnel restait le principal obstacle à l'embarquement. AsyncMDE s'inscrit dans une tendance plus large d'inférence asynchrone et de caching de features, similaire aux approches utilisées en détection vidéo temps-réel. Les concurrents directs incluent les méthodes de distillation de modèles fondation (par exemple MobileDepth, FastDepth) et les pipelines LiDAR-caméra fusion légère. La prochaine étape naturelle sera de valider ces chiffres sur des robots réels en navigation autonome, où la latence bout-en-bout, et non le seul débit du réseau, détermine l'utilisabilité.

RecherchePaper

1 source

2arXiv cs.RO

AnchorD : ancrage métrique de la profondeur monoculaire par graphes de facteurs

Des chercheurs de l'université de Fribourg-en-Brisgau ont publié AnchorD, un framework d'estimation de profondeur présenté comme entraînement-libre (training-free), capable d'ancrer les prédictions métriques de modèles monoculaires dans des mesures de capteurs réels via une optimisation par graphes de facteurs (factor graphs). La méthode réalise un alignement affine par patches, ce qui permet de recaler localement les estimations monoculaires sur une profondeur métrique réelle tout en préservant les discontinuités géométriques fines. Pour valider l'approche dans des conditions difficiles, l'équipe introduit également un nouveau jeu de données de référence avec vérité terrain dense sur des scènes complètes contenant des objets non-lambertiens (transparents, spéculaires, métalliques), obtenue en combinant une peinture mate réfléchissante en spray sur les surfaces problématiques et une fusion multi-caméras, contournant ainsi la dépendance aux annotations CAD par objet des benchmarks existants. Le code et les données sont publiés en accès libre. L'enjeu pratique est réel pour les intégrateurs de manipulation robotique et de préhension : les capteurs de profondeur structurés (Time-of-Flight, stéréo, LiDAR) décrochent systématiquement sur les surfaces transparentes comme le verre ou spéculaires comme l'inox, des matériaux omniprésents en milieu industriel. Les grands modèles de profondeur monoculaire, Depth Anything V2, UniDepth, ZoeDepth, produisent des priors structurels excellents mais souffrent d'ambiguïté d'échelle métrique, ce qui les rend inutilisables directement pour la planification de trajectoire ou le calcul de prise. AnchorD propose de fusionner les deux sources d'information sans réentraînement, ce qui le rend déployable sur du matériel existant avec n'importe quel modèle fondation de profondeur en entrée. Les auteurs rapportent des améliorations constantes sur des capteurs et domaines variés, sans communiquer de métriques numériques précises dans le résumé, les chiffres restent à consulter dans le papier complet. Ce travail s'inscrit dans un axe actif de recherche qui tente de "métrifier" les modèles de vision de fondation pour les rendre directement exploitables en robotique, sans passer par des pipelines de calibration coûteux. L'université de Fribourg (groupe Robotics and Embedded Systems, liens avec le DFKI) est un acteur reconnu en perception robotique, notamment sur les terrains non structurés. Dans l'espace concurrent, des approches comme Metric3D v2 (Tianjin/Baidu) ou ScaleDepth cherchent le même objectif par voie paramétrique ou de fine-tuning; AnchorD se distingue par son absence totale de phase d'entraînement. L'article est un preprint arXiv (2605.02667, mai 2026), non encore évalué par les pairs: les résultats présentés devront être confirmés lors d'une revue formelle.

UEContribution d'un laboratoire européen (Fribourg/DFKI) publiée en open-source et sans réentraînement, directement exploitable par les intégrateurs EU pour la manipulation d'objets industriels à surfaces transparentes ou spéculaires.

RecherchePaper

1 source

3arXiv cs.RO

DROID-ANCHOR : estimation récurrente de profondeur métrique ancrée sur l'odométrie

Des chercheurs publient sur arXiv (référence 2607.17058v1, juillet 2026) un nouveau système baptisé Metric-DROID, associé au papier intitulé DROID-ANCHOR, qui vise à résoudre un problème classique de la navigation robotique autonome : l'estimation de profondeur métrique à partir d'une seule caméra. Les systèmes SLAM récents basés sur des flux récurrents atteignent un excellent niveau de robustesse mais restent incapables de fournir une échelle physique fiable, ce qu'on appelle l'ambiguïté d'échelle, avec un risque de dérive au fil du déplacement du robot. Metric-DROID propose une architecture bout-en-bout qui ancre le SLAM visuel à la réalité physique en intégrant des données d'odométrie proprioceptive, c'est-à-dire les mesures internes de déplacement du robot (roues, capteurs inertiels). Le système repose sur trois briques : un opérateur de mise à jour LSTM qui transforme les séquences d'odométrie haute fréquence en cartes de caractéristiques spatiales servant de biais métrique persistant ; un module d'ajustement de faisceaux ($BA_{odom}$) qui pondère intelligemment les données visuelles et les mesures métriques grâce à une covariance apprise, limitant l'impact du glissement des roues et du bruit capteur ; et une stratégie de réglage fin sélectif qui préserve les connaissances géométriques pré-entraînées tout en permettant un alignement métrique sans réentraînement complet (zero-shot). L'enjeu est concret pour l'industrie robotique : la plupart des systèmes de navigation autonome low-cost s'appuient sur une caméra monoculaire plutôt que sur des capteurs stéréo ou LiDAR coûteux, mais butent justement sur cette absence d'échelle métrique fiable, ce qui limite leur usage en cartographie, en évitement d'obstacles précis ou en manipulation mobile. Si l'approche tient ses promesses en conditions réelles et pas seulement en benchmark, elle pourrait permettre à des robots mobiles et des AMR équipés de capteurs bon marché d'obtenir une localisation et une perception de profondeur en unités réelles, sans dépendre exclusivement de capteurs additionnels dédiés, ce qui réduirait les coûts matériels tout en fiabilisant la navigation en environnements dynamiques. Ce travail s'inscrit dans la lignée des systèmes SLAM récurrents de type DROID-SLAM, connus pour leur robustesse mais limités par l'ambiguïté d'échelle inhérente aux approches purement visuelles. En fusionnant apprentissage profond et odométrie classique plutôt que de s'appuyer sur des capteurs de profondeur additionnels, les auteurs se positionnent face aux approches concurrentes de SLAM visuo-inertiel ou visuo-LiDAR. L'article, encore au stade de publication de préprint, ne fournit pas à ce jour de détails sur un déploiement matériel réel ni sur des tests en conditions industrielles : il s'agit pour l'instant d'une contribution méthodologique dont la validation à grande échelle sur des plateformes robotiques commerciales reste à démontrer.

RecherchePaper

1 source

4arXiv cs.RO

Navigation continue d'objets de petite taille dans des agencements changeants : un benchmark et une méthode

Des chercheurs publient sur arXiv (2610.10125) une formalisation et un banc d'essai pour un problème que rencontrent tous les robots domestiques: retrouver à répétition de petits objets, comme des outils ou des jouets, dans un logement où des personnes les déplacent sans que le robot s'en aperçoive. La tâche, baptisée LiSoNav-COL (Lifelong Small-object Navigation in Changing Object Layouts), impose trois contraintes. L'agent doit trouver des points de vue adaptés à une observation fiable, accumuler et réutiliser sa connaissance de la scène pour accélérer les recherches suivantes, et corriger sa mémoire quand un objet a été déplacé. Il démarre avec une mémoire vide, donc sans scan préalable de l'environnement. Le benchmark associé, LiSoNav-Eval, couvre 28 scènes d'intérieur et 45 catégories de petits objets. Ses séquences de navigation « à vie » mélangent cibles inchangées et cibles déplacées, ce qui permet de mesurer séparément la réutilisation de la mémoire et l'adaptation au déplacement. Les auteurs proposent aussi une méthode, IVAM-Nav (Inspection multi-vues avec mémoire ancrée sur les points de vue). Le robot observe activement les surfaces porteuses (tables, étagères, plans de travail) depuis plusieurs angles complémentaires. Il rattache ensuite chaque souvenir au point de vue où l'observation a eu lieu. Le code et le jeu de données sont annoncés comme disponibles. L'intérêt est d'abord de cibler un angle mort de l'évaluation. La plupart des benchmarks de navigation vers objet (ObjectNav) supposent des cibles volumineuses, une scène figée et des épisodes indépendants. Or un robot de service réel manipule des objets de quelques centimètres, souvent masqués, dans un décor qui change. L'ancrage de la mémoire sur les points de vue a une conséquence pratique: une croyance sur la position d'un objet peut être revérifiée dans des conditions d'observation similaires, au lieu d'être simplement écrasée ou conservée. Les analyses des auteurs confirment ce que les intégrateurs soupçonnent: la difficulté augmente quand les objets rétrécissent, quand l'environnement s'agrandit et quand la distance de relocalisation s'allonge. Il faut toutefois rester prudent. Le résumé évoque une performance « favorable » face à des méthodes représentatives, sans donner de taux de réussite ni d'écart chiffré. Tout cela est évalué en simulation, donc sans mesure de l'écart sim-to-real ni test sur matériel physique. Les scénarios de déplacement d'objets sont par ailleurs générés par le benchmark, pas observés dans de vrais foyers. Ces travaux s'inscrivent dans la montée des approches « embodied AI » où la navigation s'appuie sur des cartes sémantiques, des modèles vision-langage et une mémoire persistante. Les résultats reposent souvent sur des scènes statiques et des objets de grande taille. Les robots domestiques commerciaux et les plateformes humanoïdes visant le foyer ont besoin de cette capacité, mais aucun acteur industriel n'est cité ici. Il s'agit d'une publication académique en première version (v1), non évaluée par les pairs, et non d'un produit ou d'un déploiement. La suite logique serait la reprise du benchmark par d'autres équipes, qui comparerait des méthodes concurrentes à base de VLA ou de cartes sémantiques sur les mêmes séquences, puis une validation sur robots réels dans des logements occupés. C'est là que l'on verra si l'inspection multi-vues tient ses promesses malgré les contraintes de temps de cycle et de batterie.

RecherchePaper

1 source