RecherchearXiv cs.RO 20 juillet 2026

SkillNav : intervention par compétence au niveau des scores pour la navigation zero-shot vers un objet

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie SkillNav, un framework de navigation pour agents basés sur des modèles vision-langage (VLM), destiné à la navigation zero-shot vers un objet cible (object-goal navigation). Le système exploite la carte de valeurs de curiosité déjà maintenue par les navigateurs VLM modernes comme support inscriptible sur lequel des compétences comportementales modulaires s'ajoutent sans coût de tokens supplémentaire. Ces compétences sont organisées en trois niveaux d'autorité croissante : le réglage souple (pondération proportionnelle), le renforcement de borne inférieure (garanties au niveau des régions) et le remplacement forcé (actions imposées par seuil), combinés selon un ordre de composition fixe. Le système est entraîné une fois sans réentraînement additionnel (training-free) et établit de nouveaux records sur trois benchmarks de référence : un score SPL de 25,5 sur MP3D, 39,3 sur HM3D v0.1 et 43,2 sur HM3D v0.2, soit une amélioration allant jusqu'à 6,0 points par rapport à la meilleure méthode antérieure, avec les meilleurs taux de réussite observés (69,7 % sur HM3D v0.1 et 75,9 % sur HM3D v0.2).

L'enjeu dépasse la simple compétition de benchmarks : les agents de navigation basés sur des VLM en mode zero-shot souffrent typiquement d'un raisonnement image par image, sans mémoire comportementale entre les étapes, ce qui provoque des blocages en cul-de-sac, des boucles dans une même pièce ou des trajectoires détournées vers une cible pourtant détectée. Les correctifs existants, fondés sur l'ajout d'instructions textuelles, alourdissent le budget de tokens et peinent à encoder des signaux intrinsèquement spatiaux comme les angles ou les coordonnées de vue. En inscrivant la mémoire directement sur la carte spatiale plutôt que dans le prompt, SkillNav propose une piste pour améliorer les capacités de navigation par simple ajout de nouvelles compétences, sans retoucher le modèle VLM sous-jacent ni perturber les comportements déjà en place.

Ce travail s'inscrit dans la lignée des recherches récentes sur la navigation d'objets sans apprentissage spécifique, où les VLM généralistes sont mobilisés directement comme moteurs de décision pour des robots ou agents simulés, en s'appuyant sur des jeux de données de référence comme Matterport3D (MP3D) et Habitat-Matterport 3D (HM3D). L'approche se positionne face aux méthodes de navigation par prompt engineering, jugées coûteuses en tokens et limitées pour représenter l'espace. En proposant une architecture extensible où chaque nouvelle compétence s'enregistre indépendamment, les auteurs ouvrent la voie à un raffinement continu du comportement de navigation, sans les cycles de réentraînement habituellement nécessaires pour intégrer de nouvelles capacités.

À lire aussi

1arXiv cs.RO

CLUE : indices contextuels à priorité adaptative et carte sémantique unifiée pour la navigation zero-shot vers des objets cibles

Des chercheurs ont publié sur arXiv (référence 2605.19206) un framework de navigation baptisé CLUE, conçu pour résoudre le problème de la navigation vers des objets cibles sans entraînement préalable sur ces objets, un défi connu sous le nom de zero-shot object-goal navigation (ZSON). L'idée centrale : un agent robotique doit localiser un objet donné dans un environnement inconnu en exploitant deux types d'indices contextuels, les pièces (un réfrigérateur se trouve presque toujours dans une cuisine) et les objets voisins co-localisés (des ciseaux peuvent se trouver partout, mais souvent près d'un bureau ou d'un plan de travail). CLUE extrait des connaissances de bon sens à partir d'un grand modèle de langage (LLM) utilisé hors ligne, calcule un score d'association entre la cible et les types de pièces, puis construit une carte sémantique unifiée pondérant dynamiquement ces deux sources d'information selon l'ambiguïté de la cible. Un mécanisme de vérification multi-points de vue complète le système. Les expériences menées en simulation et dans des environnements réels montrent que CLUE dépasse les baselines de l'état de l'art sur les métriques de taux de succès (SR) et de succès pondéré par la longueur du chemin (SPL), sans que des chiffres absolus ne soient communiqués dans l'abstract. L'intérêt pratique de cette approche tient à une critique implicite des méthodes existantes : traiter tous les indices contextuels avec le même poids conduit à une exploration inefficace. Pour un intégrateur de robots de service, cela signifie des trajectoires plus courtes et une meilleure résilience dans des environnements non cartographiés, comme les hôpitaux, les entrepôts ou les environnements domestiques. L'utilisation d'un LLM hors ligne, plutôt qu'en inférence temps réel, réduit la latence et les dépendances cloud, un avantage concret pour le déploiement industriel. La démonstration en environnement réel, même si ses conditions exactes ne sont pas précisées, distingue CLUE de nombreux travaux restés en simulation pure. Ce travail s'inscrit dans un champ de recherche actif sur la navigation sémantique, aux côtés de méthodes comme ESC, VLFM ou SemEXP, issues principalement de laboratoires américains (CMU, Georgia Tech, Berkeley). CLUE se positionne comme une couche d'arbitrage contextuel au-dessus de ces approches plutôt que comme une refonte complète de l'architecture. Le papier est une prépublication arXiv, non encore évalué par les pairs, ce qui invite à la prudence sur la généralisabilité des résultats. Aucune affiliation industrielle ni plateforme matérielle spécifique n'est mentionnée. Les prochaines étapes naturelles seraient une validation sur des robots commerciaux (AMR de type Boston Dynamics Spot, Hello Robot Stretch ou plateformes mobiles ROS2-compatibles) et une comparaison sur les benchmarks standardisés HM3D ou Gibson.

RecherchePaper

1 source

2arXiv cs.RO

REST: arbre de Steiner explorateur à horizon glissant pour la navigation vers un objet en zero-shot

Une équipe de recherche propose REST (Receding Horizon Explorative Steiner Tree), un nouveau cadre de navigation robotique pour la tâche dite de "zero-shot object-goal navigation" (ZSON) : faire trouver un objet cible à un robot dans un environnement totalement inconnu, sans entraînement spécifique à la tâche. Décrit dans une version révisée d'un article déposé sur arXiv (2603.18624v2), le système est entièrement "training-free". Il fonctionne en trois étapes : construction en ligne d'une carte 3D explicite et à vocabulaire ouvert à partir de flux caméra RGB-D, génération d'un arbre de trajectoires sûres et informatives centré sur l'agent via un planificateur par échantillonnage, puis sélection du meilleur chemin par un raisonnement en chaîne de pensée (chain-of-thought) confié à un LLM, chaque branche de l'arbre étant traduite en récit spatial textuel. Testé sur trois benchmarks de référence du domaine, Gibson, HM3D et HSSD, REST se classe systématiquement parmi les meilleures méthodes en taux de réussite et en efficacité de trajectoire. L'apport principal n'est pas le LLM lui-même, déjà largement utilisé pour la navigation sémantique, mais la façon de structurer l'espace des options qu'on lui soumet. Les approches hiérarchiques existantes réduisent généralement chaque candidat à un simple point de destination noté selon son utilité finale, ce qui masque l'information utile collectée en cours de route et empêche de comparer des groupes de trajectoires apparentées. En remplaçant cette liste plate par un arbre de chemins partageant des segments communs, REST permet un raisonnement grossier-vers-fin : le LLM peut écarter ou explorer des branches entières avant d'examiner chaque feuille individuellement, ce qui compresse un espace combinatoire autrement ingérable. Pour les équipes travaillant sur des agents de navigation autonome ou des architectures VLA embarquées, c'est un signal que la qualité de la représentation de l'espace de décision pèse autant que la puissance du modèle de raisonnement utilisé pour trancher. Le travail s'inscrit dans la lignée des méthodes hiérarchiques ZSON qui séparent la représentation de la scène ("belief") de la prise de décision ("policy"), une architecture déjà courante dans la littérature récente sur la navigation sémantique assistée par LLM, mais qui jusqu'ici traitait l'interface entre ces deux modules comme un simple héritage technique plutôt que comme un axe de conception à part entière.

RecherchePaper

1 source

3arXiv cs.RO

IntentionNav : un benchmark pour la navigation vers des objets guidée par des intentions humaines implicites

Un groupe de chercheurs a publié fin mai 2026 IntentionNav, un benchmark diagnostique conçu pour évaluer la navigation d'agents incarnés à partir d'instructions humaines implicites. Contrairement aux benchmarks classiques d'ObjectNav (MP3D, HM3D), qui fournissent à l'agent une catégorie cible explicite ("trouve un micro-ondes"), IntentionNav formule des intents en langage naturel non directif : "j'ai besoin de quelque chose pour réchauffer ce plat" ou "la pièce me semble étouffante". Le benchmark couvre 500 épisodes distribués sur 176 scènes Isaac Sim et 64 catégories d'objets cibles. Chaque intent est reformulé en quatre styles linguistiques contrôlés et annoté selon quatre modes sémantiques distincts (script d'événement, état physique, affordance, usage contextuel), ce qui permet d'isoler les erreurs de reformulation linguistique des erreurs d'inférence sémantique. Trois modèles VLM (Vision-Language Models) ont été évalués avec un agent de navigation fixe. Les résultats sont sans ambiguïté : les modèles identifient correctement l'objet cible dans 48,3 % des épisodes, atteignent son voisinage à 2 mètres dans 68,7 % des cas, mais ne terminent avec succès que dans 24,9 % des épisodes et n'atteignent un succès ancré à 1 mètre que dans 5,5 % des cas. Ces chiffres révèlent que le bottleneck principal dans la navigation incarnée réelle n'est pas la navigation proprement dite, mais l'inférence d'intention, la vérification visuelle de l'instance correcte, et la décision de terminaison. Les intents de type "script d'événement" (ex : préparer le dîner) obtiennent les meilleurs scores (28,7 % de succès terminal), tandis que les intents fondés sur l'état physique (19,2 %) ou l'affordance (18,5 %) restent en deçà. Pour un COO industriel ou un intégrateur robotique, ce résultat est critique : un robot opérant en environnement humain doit recevoir des instructions naturelles, rarement formulées en termes de catégories d'objets précises. Les VLMs actuels échouent précisément sur ce que l'interaction humaine génère le plus souvent. Le benchmark s'inscrit dans la continuité des travaux sur l'embodied AI et le grounding langage-perception (SQA3D, EQA, R2R), mais comble un angle mort : la déconnexion entre succès agrégé et succès ancré dans la géométrie réelle. L'utilisation d'Isaac Sim comme environnement de simulation soulève la question du sim-to-real gap, non adressée dans cette publication. Aucun acteur industriel (Boston Dynamics, Figure, Agility, ni d'acteurs FR/EU comme Enchanted Tools ou Wandercraft) n'est impliqué dans cette étude académique. Les suites naturelles incluent l'extension à des scènes réelles captées en RGB-D, l'évaluation de modèles VLA (Vision-Language-Action) de bout en bout, et l'intégration de mécanismes de clarification active quand l'intent est ambigu, une direction encore peu explorée dans la littérature.

RecherchePaper

1 source

4arXiv cs.RO

Le Navigateur de Schrödinger : imaginer un ensemble de futurs pour la navigation vers des objets en zéro-shot

Des chercheurs ont présenté sur arXiv (2512.21201, v3, déposé en décembre 2025) Schrödinger's Navigator, un système de navigation zéro-shot d'objets (ZSON) pour robots mobiles. Le principe : à l'inférence, le système génère plusieurs "futurs 3D imaginés" le long de trajectoires candidates, maintenant une superposition de représentations plausibles de la scène plutôt que de s'engager sur une carte unique. Un échantillonneur adaptatif concentre l'effort sur les zones occultées et incertaines, tandis qu'une Future-Aware Value Map (FAVM) agrège ces projections pour sélectionner des waypoints proactifs et conscients des risques. Les expériences ont été menées en simulation et sur un quadrupède physique Unitree Go2 dans des scènes encombrées à forte occlusion, avec des résultats supérieurs aux meilleures baselines ZSON actuelles en termes de détection de cibles cachées. Le fossé simulation-réel est l'un des obstacles structurels de la robotique de service : les systèmes efficaces en simulation se dégradent souvent dans des environnements réels encombrés, où les zones inexplorées rendent l'inférence sur une scène unique fragile et risquée. Schrödinger's Navigator attaque ce verrou en raisonnant sur des futurs hypothétiques à l'inférence, sans retraining, ce qui ouvre la voie à une navigation autonome sans cartographie préalable dans des entrepôts, hôpitaux ou bâtiments publics non structurés. La validation sur hardware physique (Go2) plutôt qu'exclusivement en simulation renforce la crédibilité de l'approche, même si les métriques précises (taux de succès chiffrés, nombre de scènes testées) n'apparaissent pas dans le résumé publié. La ZSON est un champ actif mobilisant laboratoires et équipes R&D industrielles, avec des approches concurrentes basées sur des modèles de langage visuel (VLM) ou des représentations sémantiques 3D comme les NeRF ou le Gaussian Splatting. L'originalité de cette proposition est l'usage d'un modèle de monde 3D conditionné par la trajectoire pour projeter des futurs probables, une transposition directe du paradoxe de Schrödinger à la planification sous incertitude. La recherche, déjà en troisième version sur arXiv, reste purement académique : aucun déploiement commercial ni pilote industriel n'est annoncé. Elle constitue néanmoins un signal pertinent pour les équipes travaillant sur la navigation autonome en environnements dynamiques et non structurés, en particulier dans le contexte de l'essor des robots de service et des humanoïdes de deuxième génération.

RecherchePaper

1 source