RecherchearXiv cs.RO 14 août 2026

SAP-Nav : représentation sémantique spatiale et perception active pour la navigation hiérarchique à vocabulaire ouvert

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (2608.12707v1) SAP-Nav, un framework de navigation robotique zero-shot conçu pour suivre des instructions en langage libre désignant une cible à l'échelle de la scène, de la pièce, de la région ou de l'instance, dans des environnements inconnus (navigation hiérarchique vers des objets à vocabulaire ouvert, ou OVON). Sans entraînement dédié à la tâche ni carte préconstruite, le système bâtit en continu une représentation spatiale sémantique interrogeable à partir des vues de pièces acquises activement par l'agent, et s'appuie sur un module de vérification active du point de vue : si l'observation courante ne fournit pas assez d'indices, l'agent se repositionne vers un emplacement plus informatif avant de confronter les candidats aux contraintes de catégorie et d'attributs. Évalué sur les benchmarks LangMap et HM3D-OVON, SAP-Nav obtient les meilleurs scores globaux, avec un gain de 12,2 points de taux de réussite sur la navigation au niveau région par rapport aux méthodes entraînées spécifiquement. Des tests sur robot réel confirment la faisabilité pratique de l'approche ; le code source ne sera publié qu'après acceptation de l'article.

Ce travail répond à une tension classique de la navigation robotique sous observation partielle : l'ancrage spatial exige une mémoire persistante de l'environnement, tandis que la vérification de la cible exige des vues nettes et discriminantes, deux besoins difficiles à concilier simultanément. En misant sur la perception active plutôt que sur un entraînement lourd ou des cartes précalculées, SAP-Nav généralise directement à de nouveaux lieux, un atout pour les robots de service ou les AMR devant exécuter des instructions en langage naturel sans reconfiguration site par site. Le gain annoncé reste toutefois mesuré sur des benchmarks simulés, et la démonstration sur robot réel atteste avant tout une faisabilité technique, pas un déploiement en conditions industrielles.

SAP-Nav prolonge LangMap, un travail antérieur qui a formalisé ce cadre hiérarchique en distinguant indices de scène, de pièce, de région et d'instance. Il se positionne comme alternative zero-shot aux méthodes dites "training-based", qui nécessitent un apprentissage spécifique ou des cartes de scène précalculées, tout en restant compatible avec la navigation classique par catégorie. Aucune entreprise ni laboratoire n'est cité dans le résumé, ce qui indique une contribution académique sans partenariat industriel annoncé à ce stade. Les auteurs précisent que le code source sera rendu public uniquement après acceptation de l'article, signe que la publication est encore en cours d'évaluation par les pairs et que la reproduction complète des résultats n'est pas encore possible.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Représentation hiérarchique des objets pour la perception spatiale des robots : points, maillages et superquadriques

Une équipe de chercheurs a publié sur arXiv (arXiv:2606.01545) un pipeline de représentation hiérarchique des objets pour la perception spatiale des robots, baptisé Hickory et disponible en open source. Le système organise la scène en quatre couches progressives : données brutes de capteurs RGB-D, nuages de points partiels, maillages 3D denses, puis primitives analytiques appelées superquadriques, des formes géométriques paramétriques capables de modéliser objets convexes et concaves avec un nombre réduit de paramètres. Cette architecture s'intègre dans le cadre des 3D Scene Graphs (3DSG), représentations hiérarchiques combinant informations métriques, sémantiques et topologiques utilisées pour l'autonomie longue durée des robots. Les expériences ont été conduites sur quatre jeux de données de référence (HOPE, ReplicaCAD, Kimera-Multi, NUS Campus Dataset), le dernier étant collecté avec un robot quadrupède Unitree B2 en environnement extérieur réel. L'apport concret réside dans deux lacunes comblées simultanément. Premièrement, les méthodes existantes de 3DSG utilisent des représentations géométriques simplistes, boîtes englobantes ou nuages de points partiels, insuffisantes pour la planification de trajectoire en environnement dense et encombré. Les superquadriques permettent ici une vérification analytique des collisions, plus rapide et plus précise que les méthodes volumétriques classiques. Deuxièmement, sur la tâche d'alignement de cartes (map alignment), critique pour la re-localisation multi-robot, le pipeline surpasse ROMAN, l'état de l'art actuel basé sur les objets. Pour un intégrateur déployant une flotte d'AMR en entrepôt, ou un équipementier embarquant de la navigation autonome, c'est un signal que la couche de représentation peut devenir un point de différenciation concret. Le travail s'inscrit dans une tendance de fond : enrichir les cartes métriques-sémantiques au-delà du simple voxel ou du bounding box. Des projets comme Khronos (MIT SPARK Lab) ou les travaux de Kimera ont posé les fondations des 3DSG ; Hickory pousse la granularité au niveau objet avec une couche analytique exploitable directement par un planificateur de mouvement. Les concurrents directs sur le créneau de la représentation objet compacte incluent les approches par ellipsoïdes (EllipsoidSLAM) et les Neural Radiance Fields objets (NeRF-based SLAM), mais ces derniers restent coûteux en inférence. Le code est public sur GitHub (perceptica-robotics/Hickory), ce qui facilite l'évaluation par des équipes tiers, à vérifier en conditions réelles de déploiement sur des scènes non contrôlées.

RecherchePaper

1 source

2arXiv cs.RO

AECNav : consolidation active de preuves pour la navigation vers un objet à vocabulaire ouvert en zero-shot

Un article publié sur arXiv sous la référence 2608.10817v1 présente AECNav, un pipeline sans entraînement pour la navigation "zero-shot" vers un objet en vocabulaire ouvert, où un robot doit localiser un objet désigné arbitrairement dans un environnement inconnu. Le système combine une perception à encodage partagé qui élimine les calculs redondants, une consolidation des preuves en croyances de type log-odds par cluster d'objets pour distinguer une vraie cible d'un distracteur visuellement proche, et une exploration active qui privilégie les frontières au meilleur gain d'information pour le moindre coût de déplacement. Sur les benchmarks HM3D-v2, HM3D-OVON et MP3D, il atteint des taux de réussite de 84,7%, 57,3% et 51,3%, et affiche 95% de succès sur 40 essais menés sur un robot quadrupède physique, à environ 5 Hz. Ces résultats répondent à deux limites connues des pipelines zero-shot en vocabulaire ouvert : la latence élevée et le manque de preuves fiables pour confirmer une cible, deux facteurs qui freinent le passage de la démonstration simulée au déploiement réel. En traitant l'absence de détection comme une preuve négative, AECNav réduit les faux positifs causés par des objets visuellement proches de la cible, un problème classique des robots mobiles autonomes. Pour les intégrateurs évaluant des architectures de navigation sémantique ou vision-language-action, la validation sur un robot quadrupède physique, plutôt qu'une simple vidéo sélectionnée, suggère que le zero-shot en vocabulaire ouvert approche de taux de réussite exploitables hors simulation, même si l'échantillon de 40 essais reste limité pour conclure à une robustesse à grande échelle. Le texte est une prépublication arXiv en attente de relecture ; les auteurs précisent que le code ne sera publié qu'après acceptation, ce qui situe ces travaux côté recherche plutôt que produit commercial. AECNav s'inscrit dans la lignée des méthodes de navigation zero-shot déjà explorées par la communauté robotique, dont beaucoup souffrent de pipelines de perception redondants, un défaut que son encodage partagé vise à corriger. Aucun laboratoire, entreprise ou plateforme robotique commerciale n'est nommé dans le résumé ; les essais ont porté sur un robot quadrupède non identifié. La suite logique, si l'article est accepté, passera par la publication du code et des tests à plus grande échelle.

RecherchePaper

1 source

3arXiv cs.RO

Navigation par objectif à vocabulaire ouvert : généraliser la cartographie sémantique avec CLIP dense

Des chercheurs ont publié une nouvelle version (v2) de l'article arXiv 2407.09016, qui présente OVExp, un framework d'exploration en vocabulaire ouvert pour la navigation robotique vers des objets-cibles non catégorisés au préalable. Le système s'appuie sur des modèles Dense CLIP pour généraliser la cartographie sémantique, sans recourir à l'inférence coûteuse de grands modèles de langage (LLM) ni à un entraînement intensif par apprentissage par renforcement (RL) de bout en bout. L'innovation centrale est une stratégie de transfert cross-modal sur cartographie sémantique : le réseau apprend d'abord uniquement à partir de texte, puis transfère ces représentations, au moment du test, vers une cartographie multimodale combinant localisation spatiale précise des objets et représentations visuelles généralisables. Les auteurs annoncent une généralisation robuste vers des objets-cibles inédits, validée sur les benchmarks établis d'ObjectNav, malgré un entraînement reposant sur des mises en page textuelles limitées en nombre d'objets. Pour l'industrie robotique et les intégrateurs, ce travail cible un problème concret de coût et de latence : les approches actuelles de navigation en vocabulaire ouvert, qui appellent un LLM à chaque décision ou nécessitent des heures d'entraînement RL par environnement, restent difficiles à déployer à grande échelle sur des robots mobiles autonomes (AMR) ou des plateformes d'inspection. En montrant qu'un réseau de prédiction d'objectifs basé sur une carte sémantique peut généraliser sans réentraînement lourd ni appel LLM en boucle, OVExp propose une alternative aux architectures VLA gourmandes en ressources, ce qui intéresse directement tout acteur cherchant à doter des robots de capacités de recherche d'objets flexibles sans exploser les coûts d'inférence en production. Ce travail s'inscrit dans la lignée des recherches sur ObjectNav, la tâche de navigation vers un objet-cible désigné par catégorie ou par image dans un environnement inconnu, un benchmark phare de la navigation embarquée depuis plusieurs années. Il se positionne face à deux familles de méthodes concurrentes : celles qui exploitent des LLM sans entraînement supplémentaire pour raisonner sur la scène, coûteuses en inférence, et celles qui affinent des politiques par RL de bout en bout, limitées en généralisation hors distribution. En s'appuyant sur CLIP, déjà largement utilisé pour l'ancrage vision-langage, et sur un entraînement texte-seul transférable au moment du test, les auteurs proposent une voie plus économe en ressources. Publié en v2 sur arXiv, l'article reste à ce stade une contribution académique évaluée en simulation, sans annonce de déploiement matériel ni de partenariat industriel.

RecherchePaper

1 source

4arXiv cs.RO

CrossMaps : cartographie sémantique à vocabulaire ouvert avec estimation de confiance pour la navigation de rovers

Une équipe de chercheurs a publié le 16 juin 2026 sur arXiv (identifiant 2606.16935) les travaux relatifs à CrossMaps, un pipeline de cartographie sémantique en temps réel conçu pour la navigation de rovers autonomes. Le système exploite des données RGB-D pour construire des cartes interrogeables en langage naturel, en s'appuyant sur des embeddings CLIP multi-échelles fusionnés avec un mécanisme de pondération par confiance. L'architecture repose sur une mémoire duale : une mémoire court terme (STM) qui agrège les observations visuelles bruitées en combinant des métriques de confiance géométrique, sémantique et temporelle, et une mémoire long terme (LTM) dans laquelle sont promus les points d'intérêt stables et cohérents, constituant ainsi des repères sémantiques persistants. Le système est dimensionné pour fonctionner sur un UGV équipé d'un module Jetson Orin de NVIDIA, couplé à un pipeline SLAM, et génère des cartes de chaleur sémantiques interrogeables par requêtes en langage naturel. L'intérêt de CrossMaps réside dans sa gestion explicite de la qualité perceptive, fiabilité du capteur de profondeur, artefacts d'éclairage, densité des données, directement intégrée dans la représentation spatiale, un aspect souvent traité de façon ad hoc dans les systèmes concurrents. En distinguant observations transitoires et connaissances consolidées via la dualité STM/LTM, l'architecture vise à réduire le gap sim-to-real classique des systèmes de navigation sémantique déployés en conditions dégradées. Pour un intégrateur ou un responsable de flotte robotique, cela signifie potentiellement une navigation plus robuste dans des environnements industriels non-structurés sans nécessiter un réentraînement des modèles pour chaque nouveau vocabulaire d'objets. CrossMaps s'inscrit dans la lignée directe des VLMaps (travaux de Huang et al., 2023), qui ont popularisé la fusion de caractéristiques CLIP dans des cartes spatiales 3D pour la navigation en langage naturel. La différence revendiquée ici est la couche de gestion de la confiance et la séparation mémoire court/long terme, absentes dans VLMaps. L'article reste un preprint non encore évalué par les pairs, et les performances réelles sur un UGV physique en dehors de conditions contrôlées ne sont pas détaillées dans l'abstract, un point à vérifier dans le corps du papier avant toute extrapolation industrielle. Les suites naturelles incluent une comparaison quantitative face à ConceptFusion ou LERF, et un déploiement en environnements extérieurs non-structurés.

RecherchePaper

1 source