Aller au contenu principal
CLUE : indices contextuels à priorité adaptative et carte sémantique unifiée pour la navigation zero-shot vers des objets ciblesIllustration générée par IA
RecherchearXiv cs.RO 

CLUE : indices contextuels à priorité adaptative et carte sémantique unifiée pour la navigation zero-shot vers des objets cibles

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont publié sur arXiv (référence 2605.19206) un framework de navigation baptisé CLUE, conçu pour résoudre le problème de la navigation vers des objets cibles sans entraînement préalable sur ces objets, un défi connu sous le nom de zero-shot object-goal navigation (ZSON). L'idée centrale : un agent robotique doit localiser un objet donné dans un environnement inconnu en exploitant deux types d'indices contextuels, les pièces (un réfrigérateur se trouve presque toujours dans une cuisine) et les objets voisins co-localisés (des ciseaux peuvent se trouver partout, mais souvent près d'un bureau ou d'un plan de travail). CLUE extrait des connaissances de bon sens à partir d'un grand modèle de langage (LLM) utilisé hors ligne, calcule un score d'association entre la cible et les types de pièces, puis construit une carte sémantique unifiée pondérant dynamiquement ces deux sources d'information selon l'ambiguïté de la cible. Un mécanisme de vérification multi-points de vue complète le système. Les expériences menées en simulation et dans des environnements réels montrent que CLUE dépasse les baselines de l'état de l'art sur les métriques de taux de succès (SR) et de succès pondéré par la longueur du chemin (SPL), sans que des chiffres absolus ne soient communiqués dans l'abstract.

L'intérêt pratique de cette approche tient à une critique implicite des méthodes existantes : traiter tous les indices contextuels avec le même poids conduit à une exploration inefficace. Pour un intégrateur de robots de service, cela signifie des trajectoires plus courtes et une meilleure résilience dans des environnements non cartographiés, comme les hôpitaux, les entrepôts ou les environnements domestiques. L'utilisation d'un LLM hors ligne, plutôt qu'en inférence temps réel, réduit la latence et les dépendances cloud, un avantage concret pour le déploiement industriel. La démonstration en environnement réel, même si ses conditions exactes ne sont pas précisées, distingue CLUE de nombreux travaux restés en simulation pure.

Ce travail s'inscrit dans un champ de recherche actif sur la navigation sémantique, aux côtés de méthodes comme ESC, VLFM ou SemEXP, issues principalement de laboratoires américains (CMU, Georgia Tech, Berkeley). CLUE se positionne comme une couche d'arbitrage contextuel au-dessus de ces approches plutôt que comme une refonte complète de l'architecture. Le papier est une prépublication arXiv, non encore évalué par les pairs, ce qui invite à la prudence sur la généralisabilité des résultats. Aucune affiliation industrielle ni plateforme matérielle spécifique n'est mentionnée. Les prochaines étapes naturelles seraient une validation sur des robots commerciaux (AMR de type Boston Dynamics Spot, Hello Robot Stretch ou plateformes mobiles ROS2-compatibles) et une comparaison sur les benchmarks standardisés HM3D ou Gibson.

À lire aussi

CovNav : inférence adaptative guidée par prédiction conforme pour la navigation vers un objet cible
Illustration générée par IA
1arXiv cs.RO 

CovNav : inférence adaptative guidée par prédiction conforme pour la navigation vers un objet cible

CovNav, un framework publié sur arXiv (2610.27677), s'attaque à un arbitrage central de la navigation robotique par objet (ObjectNav), où un agent doit trouver une cible, par exemple un lit, dans un environnement jamais vu. Les auteurs utilisent un LLM local en mode rapide, qui répond à une question binaire structurée: la cible est-elle probablement proche d'un objet observé? La prédiction conforme (Conformal Prediction, CP) convertit les probabilités de tokens en un ensemble de prédiction. Seules les requêtes ambiguës sont renvoyées vers un raisonnement lent en chaîne de pensée. Le système n'exige aucun entraînement. Sur les benchmarks Gibson et HM3D, il dépasse la meilleure base zero-shot de 0,8 point (HM3D v1) et de 1,7 point (HM3D v2) en taux de succès, en ne déclenchant la réflexion lente que pour 12,4 % des requêtes. Des essais ont aussi été menés sur un TurtleBot 4. Pour les intégrateurs et les équipes embarquées, l'intérêt tient moins au gain brut, modeste, qu'au profil coût-performance. Les LLM dans le cloud ajoutent de la latence et posent des questions de confidentialité, tandis que les petits modèles embarqués rapides produisent des jugements spatiaux halluciné. CovNav indique qu'on peut conserver l'essentiel du bénéfice d'un raisonnement toujours actif pour une fraction de sa latence, en décidant quand réfléchir à partir d'une incertitude calibrée plutôt que d'heuristiques. Cette approche apporte une garantie statistique que peu de systèmes à base de LLM offrent. Il faut toutefois rester prudent: les résultats viennent de simulation, avec un test réel limité sur une plateforme de recherche à bas coût. Les écarts de quelques points ne disent rien de la robustesse en entrepôt, en usine ou à l'hôpital, et le papier ne fournit pas ici de chiffres de latence absolue ni de coût énergétique. Le travail s'inscrit dans la lignée des méthodes zero-shot d'ObjectNav qui exploitent le sens commun spatial des LLM, comme la co-occurrence d'objets, au détriment d'un apprentissage par renforcement coûteux. Il s'appuie sur des modèles hybrides disposant d'un mode sans réflexion et d'un mode avec réflexion, et reprend la logique des modèles de décision structurés de type Jev, qui traitent une requête comme un jugement binaire plutôt que comme une génération libre. La formulation par paires d'objets rend la calibration praticable et accepte des objets en vocabulaire ouvert grâce à des détecteurs standards. Les prochaines étapes naturelles seraient des tests sur des robots plus variés, dans des environnements dynamiques et réels, ainsi qu'une extension du principe à d'autres décisions d'agents embarqués. Il s'agit pour l'instant d'une recherche académique, sans produit ni déploiement commercial annoncé.

RecherchePaper
1 source
AECNav : consolidation active de preuves pour la navigation vers un objet à vocabulaire ouvert en zero-shot
Illustration générée par IA
2arXiv cs.RO 

AECNav : consolidation active de preuves pour la navigation vers un objet à vocabulaire ouvert en zero-shot

Un article publié sur arXiv sous la référence 2608.10817v1 présente AECNav, un pipeline sans entraînement pour la navigation "zero-shot" vers un objet en vocabulaire ouvert, où un robot doit localiser un objet désigné arbitrairement dans un environnement inconnu. Le système combine une perception à encodage partagé qui élimine les calculs redondants, une consolidation des preuves en croyances de type log-odds par cluster d'objets pour distinguer une vraie cible d'un distracteur visuellement proche, et une exploration active qui privilégie les frontières au meilleur gain d'information pour le moindre coût de déplacement. Sur les benchmarks HM3D-v2, HM3D-OVON et MP3D, il atteint des taux de réussite de 84,7%, 57,3% et 51,3%, et affiche 95% de succès sur 40 essais menés sur un robot quadrupède physique, à environ 5 Hz. Ces résultats répondent à deux limites connues des pipelines zero-shot en vocabulaire ouvert : la latence élevée et le manque de preuves fiables pour confirmer une cible, deux facteurs qui freinent le passage de la démonstration simulée au déploiement réel. En traitant l'absence de détection comme une preuve négative, AECNav réduit les faux positifs causés par des objets visuellement proches de la cible, un problème classique des robots mobiles autonomes. Pour les intégrateurs évaluant des architectures de navigation sémantique ou vision-language-action, la validation sur un robot quadrupède physique, plutôt qu'une simple vidéo sélectionnée, suggère que le zero-shot en vocabulaire ouvert approche de taux de réussite exploitables hors simulation, même si l'échantillon de 40 essais reste limité pour conclure à une robustesse à grande échelle. Le texte est une prépublication arXiv en attente de relecture ; les auteurs précisent que le code ne sera publié qu'après acceptation, ce qui situe ces travaux côté recherche plutôt que produit commercial. AECNav s'inscrit dans la lignée des méthodes de navigation zero-shot déjà explorées par la communauté robotique, dont beaucoup souffrent de pipelines de perception redondants, un défaut que son encodage partagé vise à corriger. Aucun laboratoire, entreprise ou plateforme robotique commerciale n'est nommé dans le résumé ; les essais ont porté sur un robot quadrupède non identifié. La suite logique, si l'article est accepté, passera par la publication du code et des tests à plus grande échelle.

RecherchePaper
1 source
SkillNav : intervention par compétence au niveau des scores pour la navigation zero-shot vers un objet
Illustration générée par IA
3arXiv cs.RO 

SkillNav : intervention par compétence au niveau des scores pour la navigation zero-shot vers un objet

Une équipe de recherche publie SkillNav, un framework de navigation pour agents basés sur des modèles vision-langage (VLM), destiné à la navigation zero-shot vers un objet cible (object-goal navigation). Le système exploite la carte de valeurs de curiosité déjà maintenue par les navigateurs VLM modernes comme support inscriptible sur lequel des compétences comportementales modulaires s'ajoutent sans coût de tokens supplémentaire. Ces compétences sont organisées en trois niveaux d'autorité croissante : le réglage souple (pondération proportionnelle), le renforcement de borne inférieure (garanties au niveau des régions) et le remplacement forcé (actions imposées par seuil), combinés selon un ordre de composition fixe. Le système est entraîné une fois sans réentraînement additionnel (training-free) et établit de nouveaux records sur trois benchmarks de référence : un score SPL de 25,5 sur MP3D, 39,3 sur HM3D v0.1 et 43,2 sur HM3D v0.2, soit une amélioration allant jusqu'à 6,0 points par rapport à la meilleure méthode antérieure, avec les meilleurs taux de réussite observés (69,7 % sur HM3D v0.1 et 75,9 % sur HM3D v0.2). L'enjeu dépasse la simple compétition de benchmarks : les agents de navigation basés sur des VLM en mode zero-shot souffrent typiquement d'un raisonnement image par image, sans mémoire comportementale entre les étapes, ce qui provoque des blocages en cul-de-sac, des boucles dans une même pièce ou des trajectoires détournées vers une cible pourtant détectée. Les correctifs existants, fondés sur l'ajout d'instructions textuelles, alourdissent le budget de tokens et peinent à encoder des signaux intrinsèquement spatiaux comme les angles ou les coordonnées de vue. En inscrivant la mémoire directement sur la carte spatiale plutôt que dans le prompt, SkillNav propose une piste pour améliorer les capacités de navigation par simple ajout de nouvelles compétences, sans retoucher le modèle VLM sous-jacent ni perturber les comportements déjà en place. Ce travail s'inscrit dans la lignée des recherches récentes sur la navigation d'objets sans apprentissage spécifique, où les VLM généralistes sont mobilisés directement comme moteurs de décision pour des robots ou agents simulés, en s'appuyant sur des jeux de données de référence comme Matterport3D (MP3D) et Habitat-Matterport 3D (HM3D). L'approche se positionne face aux méthodes de navigation par prompt engineering, jugées coûteuses en tokens et limitées pour représenter l'espace. En proposant une architecture extensible où chaque nouvelle compétence s'enregistre indépendamment, les auteurs ouvrent la voie à un raffinement continu du comportement de navigation, sans les cycles de réentraînement habituellement nécessaires pour intégrer de nouvelles capacités.

RecherchePaper
1 source
F2A-ObjectNav : une architecture adaptative à base d'agents pour la navigation vers un objet cible
Illustration générée par IA
4arXiv cs.RO 

F2A-ObjectNav : une architecture adaptative à base d'agents pour la navigation vers un objet cible

Des chercheurs proposent F2A-ObjectNav (Fixed-to-Adaptive Object-Goal Navigation), une architecture agentique adaptative pour la navigation par objet-but, tâche où un agent incarné doit explorer un environnement inconnu, repérer un objet cible, s'en approcher et vérifier que l'instance observée correspond bien à la mission. Le travail suit deux étapes. La première teste un cadre modulaire fixe, en combinant plusieurs méthodes d'exploration, de détection d'objets et de validation de cible. Elle met en évidence des compromis nets entre performance de navigation, fiabilité de la validation, temps d'exécution et coût lié aux modèles, sans qu'aucune configuration fixe ne domine partout. La seconde étape en tire F2A-ObjectNav, où un Superviseur à base de règles coordonne des composants spécialisés: navigation et exploration, détection, validation, guidage sémantique et mémoire de mission. Évalué sur 25 épisodes dans chacun des simulateurs AI2-THOR, RoboTHOR et ProcTHOR, le système obtient respectivement un taux de succès (SR) et un SPL (longueur de trajet pondérée par le succès) de 0,84/0,52, 0,40/0,22 et 0,44/0,37. L'intérêt est double. D'abord, le résultat documente un point que les démonstrations masquent souvent: dans la navigation pilotée par modèles de vision et de langage, il n'existe pas de pipeline unique optimal, et le choix entre précision, latence et coût d'appel aux modèles dépend de l'environnement. Confier cet arbitrage à un superviseur déterministe plutôt qu'à un LLM qui décide de tout est une option pragmatique pour des intégrateurs soucieux de prévisibilité et de coûts d'inférence, puisque l'exécution reste légère en fonctionnement normal et que le guidage sémantique n'est activé que sur condition. Ensuite, l'écart entre les trois environnements est parlant: 0,84 de SR dans AI2-THOR, mais seulement 0,40 et 0,44 dans RoboTHOR et ProcTHOR, plus proches de conditions réalistes. Le transfert vers le réel n'est donc pas acquis. Les interventions adaptatives (récupération, changement de stratégie) y sont aussi plus fréquentes, signe que l'adaptativité compense des difficultés réelles. Il faut toutefois rester prudent: 25 épisodes par environnement constituent un échantillon réduit, et les résultats ne sont pas comparés ici à des références publiées. Ce travail s'inscrit dans la lignée des benchmarks de la famille THOR, devenus standards pour la navigation incarnée, et dans le mouvement qui remplace les politiques apprises de bout en bout par des architectures modulaires combinant détecteurs, modèles de fondation et mémoire. Les auteurs ajoutent des métriques comportementales propres à l'architecture (usage du guidage sémantique, bascules de stratégie, activations de récupération, comportement soutenu par la mémoire, stabilité des décisions), utiles pour diagnostiquer les agents au-delà du seul SR/SPL. Il s'agit d'une préimpression arXiv, sans déploiement sur robot physique annoncé. La suite logique serait une validation à plus grande échelle et sur matériel réel.

RecherchePaper
1 source