Aller au contenu principal
Fusion RGB-D guidée par la fiabilité pour des cartes de coûts de navigation résistantes à l'éblouissement
RecherchearXiv cs.RO 

Fusion RGB-D guidée par la fiabilité pour des cartes de coûts de navigation résistantes à l'éblouissement

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche décrit, dans la version 2 d'un article publié sur arXiv sous la référence 2604.12753, une méthode de fusion RGB-D résistante aux reflets spéculaires sur les sols brillants, les vitres et les surfaces glacées en intérieur, un phénomène qui corrompt les caméras à stéréo active et fait apparaître des obstacles fantômes dans les cartes de coûts de navigation. Un réseau léger baptisé DRM-Net prédit, pixel par pixel, la fiabilité de la mesure de profondeur; une fusion guidée par cette fiabilité (RGF) applique une pondération continue et un seuil minimal avant intégration dans la carte d'occupation, de sorte qu'une mesure rejetée ne crée ni obstacle ni espace libre et que la cellule reste inconnue ou conserve sa valeur antérieure. L'entraînement s'appuie sur cinq images alignées en pose via des localisations LiDAR/AMCL indépendantes et un modèle d'incertitude calibré selon la distance. Comparée à un nvblox TSDF optimisé, au post-traitement du SDK RealSense d'Intel, à un filtrage à seuil de confiance stéréo élevé et aux réseaux TDCNet et HDCNet, la méthode DRM+RGF atteint, sous reflets sévères, un taux de fausses détections d'obstacles de 0,056, un rappel d'espace libre de 0,897, un temps de traitement de 16,5 ms par image et 91,4% de réussite de tâche; sur les essais en scènes réfléchissantes retenus (98 pour la référence contre 105 pour DRM+RGF), les collisions chutent de 14 à 1.

Pour les intégrateurs de robots mobiles autonomes en entrepôt, hôpital ou usine, ce travail cible un défaut opérationnel bien réel: sols cirés et parois vitrées provoquent soit des arrêts intempestifs, soit des collisions lorsque les mesures douteuses sont ignorées sans discernement. En laissant les cellules incertaines dans un état inconnu plutôt que de trancher, la méthode évite le compromis binaire habituel entre filtrage agressif, qui supprime aussi de vrais obstacles, et complétion dense par apprentissage, qui peut inventer de la géométrie. Les auteurs restent toutefois mesurés: les résultats proviennent d'essais contrôlés portant sur une centaine de passages chacun, et l'article ne revendique ni produit commercial ni déploiement en flotte réelle.

Le brouillage des caméras de profondeur à stéréo active par les reflets spéculaires est un problème connu de longue date en cartographie robotique, où les réponses existantes se limitaient jusqu'ici au filtrage strict des mesures peu fiables ou à la complétion par réseau de neurones. En confrontant DRM-Net et RGF à des références largement utilisées, comme nvblox et le SDK RealSense, ainsi qu'à des réseaux de complétion récents comme TDCNet et HDCNet, l'étude vise une comparaison directe plutôt qu'une simple démonstration isolée. Publié en version révisée sur arXiv, sans partenaire industriel ni feuille de route annoncée, l'article laisse en suspens la validation à plus grande échelle, sur des plateformes robotiques variées et en conditions réelles de terrain.

Dans nos dossiers

À lire aussi

EmbodiedDiffusion : diffusion visuelle guidée par la franchissabilité pour la navigation de robots hétérogènes
1arXiv cs.RO 

EmbodiedDiffusion : diffusion visuelle guidée par la franchissabilité pour la navigation de robots hétérogènes

Des chercheurs présentent EmbodiedDiffusion, un framework basé sur la diffusion qui prédit simultanément des cartes de franchissabilité (traversability) et génère des trajectoires directement à partir d'images RGB, sans carte ni planificateur séparé. Le système distille les connaissances sémantiques d'un modèle vision-langage (VLM) enseignant vers un modèle étudiant léger pendant l'entraînement, ce qui permet une inférence sans prompt, en temps réel, une fois déployé. Un mécanisme de conditionnement modulaire basé sur FiLM isole le raisonnement spécifique à chaque plateforme robotique dans un sous-ensemble compact et entraînable du réseau, sans toucher au backbone visuel ni au modèle de diffusion de trajectoire. Testé en environnements intérieurs sur des robots quadrupèdes et aériens, le système atteint un taux de réussite de navigation de 80 à 100% en régime de données complètes, avec un temps d'inférence de 90 millisecondes, et s'adapte à une nouvelle plateforme robotique avec seulement 10 minutes de collecte de données visuelles. Il s'agit d'une quatrième version révisée d'un article déposé sur arXiv, donc d'un travail académique et non d'un produit commercialisé. L'intérêt principal tient à l'unification de deux tâches habituellement traitées séparément, l'estimation de franchissabilité et la planification de trajectoire, dans un seul modèle bout-en-bout qui se passe de cartographie lourde et de réglage manuel. Pour les intégrateurs travaillant avec des flottes hétérogènes (drones, quadrupèdes, à terme humanoïdes), la promesse clé est la portabilité rapide entre plateformes robotiques sans réentraînement complet, un point de friction connu des pipelines de navigation actuels. Le chiffre de 90 ms d'inférence, s'il se confirme hors laboratoire, positionnerait l'approche comme compatible temps réel sur du matériel embarqué, un critère souvent absent des démonstrations VLM à base de prompts. Les approches dominantes en navigation autonome reposent soit sur des VLM pilotés par prompts, coûteux en latence, soit sur des pipelines découplés associant cartographie SLAM et planificateurs classiques, longs à déployer et à calibrer par robot. EmbodiedDiffusion s'inscrit dans la tendance plus large des modèles vision-action (VLA) qui cherchent à remplacer ces chaînes modulaires par un apprentissage de bout en bout, dans la lignée des travaux sur la généralisation cross-embodiment. Les résultats restent pour l'instant limités à des environnements intérieurs contrôlés avec deux types de plateformes ; leur validation sur des cas industriels réels et sur davantage de morphologies robotiques reste une étape à venir.

RechercheActu
1 source
RACO : optimisation de l'objectif grossier tenant compte de la fiabilité pour la navigation vision-langage des drones d'inspection
2arXiv cs.RO 

RACO : optimisation de l'objectif grossier tenant compte de la fiabilité pour la navigation vision-langage des drones d'inspection

Un article publié en août 2026 sur arXiv (référence 2608.22678) présente RACO, un framework de navigation pour drones guidés par instructions en langage naturel (UAV-VLN), pensé pour les missions d'inspection plutôt que pour la simple atteinte d'un objectif, et LG-UVI, un protocole d'évaluation associé dérivé des jeux de données CityNav et CityRefer. Les auteurs pointent une faiblesse des architectures existantes en deux temps ("coarse-to-fine"): l'objectif grossier prédit avant le raffinement local est traité comme fiable alors qu'il peut dériver vers une région plausible mais erronée, ce que l'étape de raffinement fine ne parvient ensuite pas à corriger. LG-UVI ajoute à ces scènes urbaines simulées des objets cibles, des distracteurs visuellement ou sémantiquement proches, des zones d'inspection typées, ainsi que des métriques distinctes pour l'arrivée en zone et pour la confirmation de l'objet. RACO traite l'objectif grossier comme une hypothèse à vérifier en temps réel plutôt qu'un point de passage fixe, en s'appuyant sur des ancres candidates au niveau objet pour corriger la localisation avant la première étape de navigation puis à la frontière entre les deux étapes, avant d'appliquer un raffinement terminal adaptatif pour les cas de quasi-échec en fin de trajectoire. Sous un protocole d'évaluation en ligne unifié, il améliore le taux de succès de 9,53 points de pourcentage sur le jeu de validation "unseen" et de 7,98 points sur le jeu de test "unseen", par rapport à une reproduction de la référence antérieure HETT. Ce résultat touche un point sensible pour l'inspection industrielle par drone: dans un scénario réel de contrôle d'infrastructure, un appareil qui s'arrête devant le mauvais objet mais confirme tout de même une anomalie représente un risque opérationnel plus grave qu'un simple échec de navigation. En montrant qu'une part importante des erreurs vient d'une dérive précoce de l'objectif grossier, non rattrapée par le raffinement local classique, les auteurs remettent en cause l'hypothèse implicite de nombreux pipelines coarse-to-fine selon laquelle l'étape fine peut compenser une estimation grossière imparfaite. Pour les équipes travaillant sur la navigation vision-langage appliquée aux drones d'inspection, l'implication pratique est qu'une vérification explicite et intermédiaire de l'objectif doit être budgétisée, plutôt que de tout reposer sur la puissance du modèle de perception final. Un gain de 8 à 10 points de taux de succès mesuré sur un protocole en ligne unifié, et non sur des scénarios sélectionnés, reste notable dans un domaine où les progrès se comptent généralement en unités de pourcentage. RACO s'inscrit dans la lignée des travaux sur la navigation vision-langage pour drones en environnement urbain simulé, qui s'appuient historiquement sur CityNav et CityRefer pour l'entraînement et l'évaluation. La comparaison se fait face à HETT, une architecture coarse-to-fine antérieure que les auteurs ont reproduite faute de protocole standardisé pour les tâches d'inspection, un manque que LG-UVI vise justement à combler en distinguant l'atteinte d'un objectif générique de la confirmation fiable d'un objet précis en présence de distracteurs. L'article ne mentionne ni déploiement sur drone physique ni partenariat industriel: il s'agit d'une contribution de recherche évaluée en simulation, dont la suite logique serait une validation sur plateforme réelle et une extension à d'autres familles de distracteurs et de zones d'inspection.

RecherchePaper
1 source
Vol à l'aveugle : la délibération spatiale guidée par vision pour la navigation "voir et atteindre" des drones
3arXiv cs.RO 

Vol à l'aveugle : la délibération spatiale guidée par vision pour la navigation "voir et atteindre" des drones

Une équipe de recherche présente DBFly, un système de navigation pour drones capable d'approcher et de s'arrêter précisément près d'une cible désignée en langage naturel et visible dès la prise de vue initiale, une tâche connue sous le nom de "see-and-reach navigation". Le problème identifié par les auteurs est que les méthodes existantes associent directement les représentations vision-langage aux commandes de vol, sans étape intermédiaire de décision spatiale fine, ce qui provoque un désalignement entre la compréhension sémantique et le contrôle réel et rend les manœuvres incohérentes et les arrêts peu fiables. DBFly introduit à la place une chaîne de décision de manœuvre spatiale en trois étapes : ancrage de la direction cible, diagnostic spatial, puis décision de manœuvre, qui guide explicitement la génération continue de points de passage (waypoints). Le système construit aussi un "corridor de vol implicite", une référence géométrique persistante dérivée de la direction cible initiale et recalculée en continu selon la position du drone, pour affiner les corrections de trajectoire. Une stratégie d'arrêt tenant compte de la convergence du mouvement à court terme complète le dispositif. Sur des jeux de test couvrant des scènes vues, des objets inédits et des scènes inédites, DBFly améliore le taux de succès de 25,07 points de pourcentage en moyenne par rapport à la meilleure méthode existante (SOTA). Cette avancée s'inscrit dans un enjeu central pour la navigation autonome des drones commandés en langage naturel : le fossé entre la compréhension d'une instruction ("va vers la voiture rouge") et l'exécution physique précise qui doit en découler. Un gain de 25 points sur des scènes et objets jamais vus est significatif, car c'est justement la généralisation qui échoue le plus souvent dans les approches "bout-en-bout" pilotées uniquement par des modèles vision-langage. Pour les intégrateurs travaillant sur des drones d'inspection, de livraison ou de surveillance guidés par instruction vocale ou textuelle, ce type d'architecture en couches explicites (perception, diagnostic spatial, décision de manœuvre) offre une piste pour réduire les échecs d'atterrissage ou d'approche qui limitent aujourd'hui le déploiement en conditions réelles, au-delà des démonstrations en environnement contrôlé. Le travail se situe dans la continuité des recherches sur la navigation UAV pilotée par le langage (vision-language navigation appliquée aux drones), un domaine qui a jusqu'ici largement repris les architectures VLA (vision-language-action) développées pour la robotique au sol et les bras manipulateurs, sans toujours les adapter aux contraintes spécifiques du vol. Les auteurs comparent leur approche à une base de référence qualifiée d'état de l'art (SOTA), sans que l'abstract ne précise son nom, laissant supposer une comparaison directe sur les mêmes bancs d'essai plutôt qu'une performance en conditions réelles de terrain. Une page projet dédiée (xuefanfu.github.io/DBFly-Page) et l'annonce sur arXiv suggèrent une publication académique à ce stade, sans indication de déploiement commercial ou de partenariat industriel ; les prochaines étapes attendues seraient une validation sur drones physiques en extérieur et une comparaison avec des architectures VLA génériques comme celles utilisées en robotique mobile terrestre.

RecherchePaper
1 source
G2-Nav : cartes de coûts vision-langage ancrées et sécurisées pour la navigation sociale des robots
4arXiv cs.RO 

G2-Nav : cartes de coûts vision-langage ancrées et sécurisées pour la navigation sociale des robots

Des chercheurs présentent G2-Nav, un nouveau framework de navigation sociale pour robots mobiles, détaillé dans un article déposé sur arXiv (2607.16956v1). Plutôt que de laisser un modèle vision-langage (VLM) décider directement des trajectoires, comme le font les approches end-to-end existantes, G2-Nav traduit le raisonnement sémantique du VLM en une costmap vision-langage interprétable. Le modèle identifie les zones traversables et les agents sociaux à partir d'une perception en ensemble ouvert (open-set), puis cartographie ce contexte social sous forme de coûts exploitables par le planificateur. Pour renforcer la robustesse en conditions réelles, le VLM effectue aussi une vérification sémantique sur le suivi (tracking) en amont, et les auteurs ajoutent un contrôle de sécurité à haute fréquence destiné à compenser la latence du système avant la génération de trajectoire. Des expériences en environnement réel, selon les auteurs, montrent une navigation autonome sûre, efficace et socialement conforme dans des espaces non structurés. Le code source doit être publié ultérieurement. L'intérêt de ce travail tient à la faille qu'il cherche à combler entre deux approches jugées insuffisantes pour l'autonomie complète: les frameworks VLM end-to-end, qui produisent des décisions de planification difficiles à auditer et donc risquées à déployer, et les méthodes d'instruction-following, pensées pour suivre des consignes humaines plutôt que pour opérer de façon totalement autonome. En cantonnant le VLM à un rôle d'évaluation sémantique plutôt que de contrôle direct, G2-Nav vise une architecture plus traçable, un enjeu concret pour les intégrateurs et décideurs industriels qui doivent justifier la sécurité de robots évoluant parmi des humains, en entrepôt, en établissement de santé ou en espace public. Le garde-fou de sécurité haute fréquence répond en particulier à un angle mort fréquent des démonstrations VLM: la latence d'inférence, souvent ignorée dans les vidéos promotionnelles du secteur. Ce travail s'inscrit dans la vague de recherche actuelle sur l'usage des VLM pour doter les robots d'un raisonnement de niveau humain en navigation sociale, un domaine où les benchmarks restent encore largement issus de démonstrations contrôlées. L'abstract ne précise ni l'institution porteuse ni le matériel robotique utilisé pour les essais réels, et le code, annoncé comme futur, n'est pas encore disponible: il s'agit donc à ce stade d'un préprint à confirmer par la publication effective et par une évaluation indépendante, plutôt que d'une solution déployée ou commercialisée.

RecherchePaper
1 source