RecherchearXiv cs.RO 15 septembre 2026

HarnessVLN : unifier la navigation incarnée sans entraînement grâce à un harnais d'agents

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié HarnessVLN, un article arXiv (2609.15195, catégorie "new") qui présente un cadre zero-shot, sans entraînement spécifique, pour la navigation robotique incarnée guidée par instructions en langage naturel. Son composant central, l'Agent Harness, orchestre perception, récupération d'information, ancrage spatial, navigation, récupération d'erreurs et terminaison de tâche via une interface outil unifiée : il confronte chaque proposition du planificateur aux preuves spatiales disponibles, à la faisabilité géométrique et à la cohérence des sous-objectifs, avant de réinjecter ce retour structuré dans la décision suivante. Une mémoire d'événements hiérarchique suit la progression de la tâche et l'historique d'exécution, tandis qu'un graphe spatiotemporel persistant conserve les preuves spatiales réutilisables et les annotations d'échec pour vérification ultérieure. Un exécuteur de navigation interchangeable convertit les cibles validées en mouvements concrets, permettant au même protocole de couvrir à la fois le suivi d'instructions et la navigation vers un objet désigné. Sur les benchmarks R2R, RxR, HM3D-v2 et HM3D-OVON, le système atteint des taux de réussite respectifs de 60,8 %, 53,9 %, 76,0 % et 59,3 %, dépassant les meilleurs résultats "sans entraînement" publiés jusqu'ici. Un déploiement sur robot humanoïde en environnement réel est également démontré.

L'intérêt tient au problème que le cadre cible directement : les grands modèles multimodaux (MLLM) savent générer des plans d'action plausibles à partir d'images, mais rien ne garantit qu'ils tiennent compte de la géométrie réelle du lieu, de l'avancement effectif de la tâche ou des échecs déjà survenus, ce qui produit des trajectoires incohérentes en pratique. En ajoutant une couche de vérification et de mémoire structurée autour du modèle de langage plutôt qu'en le réentraînant, HarnessVLN suggère que l'architecture de contrôle, davantage que le MLLM sous-jacent, conditionne la robustesse d'un agent de navigation. Le fait qu'un seul protocole couvre suivi d'instructions et navigation vers objet, et se transfère à un humanoïde réel, est un signal pertinent pour les intégrateurs évaluant des piles de navigation zero-shot avant d'investir dans du fine-tuning coûteux en données.

Ce travail s'inscrit dans une vague de recherches qui exploitent des MLLM déjà entraînés comme alternative aux politiques VLN classiques, coûteuses à entraîner et peu généralisables hors de leur distribution d'origine. Les benchmarks utilisés, R2R et RxR pour le suivi d'instructions, HM3D-v2 et HM3D-OVON pour la navigation vers objet, sont des références standards du secteur issues des scans Matterport3D et de l'environnement Habitat. La nature exacte de la plateforme humanoïde testée et l'échelle du pilote ne sont pas précisées dans le résumé, ce qui invite à la prudence sur la portée réelle de cette démonstration. La page du projet est accessible à harnessvln.netlify.app.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

AVALON : navigation intérieure sans entraînement préalable grâce à une mémoire topologique amorcée par l'humain

AVALON, un framework de navigation topologique publié sur arXiv (2610.21586), cible les robots de service qui entrent dans un bâtiment non cartographié dont la disposition est pourtant connue des utilisateurs humains. Le robot n'a effectué aucun parcours préalable et n'a reçu aucun entraînement propre au site. Le déploiement exige seulement un plan d'étage, des indices de lieux et un alignement initial entre la topologie et l'odométrie. La navigation repose sur une mémoire spatiale en couches, amorcée par l'humain, et sur une exécution où chaque nœud atteint est vérifié. Ces arrivées vérifiées permettent un recalage en translation pour la navigation visuelle point-but avec profondeur, sans carte SLAM globale construite par le robot. Sur un Unitree Go2, AVALON couplé à la politique X-NavDP a bouclé en 46,4 s (5 essais sur 5) une mission de 12,81 m entre « Intersection » et « Dining », sans cartographie. DimOS-Go2 met 78,5 s et réussit 4 essais sur 5, soit 40,9 % de temps robot en moins pour AVALON. X-NavDP seul, sans la couche topologique, expire dans les 5 essais. L'intérêt tient à la répartition des rôles. L'humain fournit ce que la vision ne voit pas, comme les contraintes de tâche et les modifications hors ligne de l'environnement. Le robot apporte la preuve physique de la traversabilité par une validation in situ. Une mise à jour de la mémoire n'est acceptée que sur preuve perceptive collectée sur le terrain, et les permissions déclarées par l'humain restent distinctes de la traversabilité observée. Seuls les changements jugés pertinents pour la mission en cours déclenchent une validation par le robot. Pour un intégrateur, cela abaisse le coût de mise en service dans des sites changeants (bureaux, hôtels, restauration), puisqu'il n'y a ni passe de cartographie ni réentraînement. Il faut toutefois relativiser. Les résultats portent sur un seul robot quadrupède, un seul trajet de moins de 13 m et cinq essais par configuration. Aucune donnée n'est donnée sur des bâtiments multiples, des étages ou des environnements très encombrés. Le constat que la politique seule échoue systématiquement montre surtout que la couche de mémoire et de vérification apporte l'essentiel du gain, ce qui nuance la promesse d'une navigation purement apprise. Ce travail s'inscrit dans l'opposition entre la navigation par cartes SLAM denses et les approches zero-shot fondées sur des modèles de navigation visuelle. Le Go2 est devenu une plateforme de référence pour ces comparaisons grâce à son coût contenu, et DimOS sert ici de base de comparaison. Le cadre reste de la recherche, sans produit ni pilote industriel annoncé. Les suites logiques seraient des essais multi-sites, d'autres morphologies et un test de la co-mise à jour de mémoire avec des opérateurs non experts.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Repenser la navigation incarnée grâce au biais inductif relationnel

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (référence 2606.10348) DB-Nav, un framework de navigation robotique incarnée conçu pour la tâche ObjectNav : guider un agent autonome vers un objet cible dans un environnement inconnu, en s'appuyant uniquement sur des observations visuelles. La spécificité de DB-Nav est de ne pas se contenter de détecter où chercher, mais d'identifier activement ce à quoi ne pas faire confiance. Le système décompose les relations objet-contexte en deux biais complémentaires : un biais d'activation, qui propage les indices contextuels fiables dans la carte de l'environnement, et un biais d'inhibition, qui supprime les régions trompeuses via deux mécanismes distincts, la confusion perceptuelle (faux positifs issus des détecteurs open-vocabulary) et la falsification par l'action (zones déjà explorées sans succès). Ces deux biais sont unifiés dans un graphe appelé Relational Activation-Inhibition Exploration Graph, qui module dynamiquement les valeurs d'exploration des frontières candidates à partir des observations en ligne et des échecs passés. L'intérêt opérationnel de cette approche réside dans l'identification d'un problème structurel souvent sous-estimé : les modèles de vision-langage (VLM) utilisés en robotique de navigation produisent des biais systématiques, faux positifs récurrents, priors statiques obsolètes, absence de vérification incarnée, qui contaminent la cartographie et la prise de décision. DB-Nav y répond sans recourir à un raisonnement VLM en ligne coûteux, ce qui le rend à la fois léger et interprétable. Sur les benchmarks ObjectNav standards, le framework surpasse significativement les méthodes existantes en taux de succès (SR) et en succès pondéré par la longueur du chemin (SPL), deux métriques de référence dans l'évaluation de la navigation autonome en intérieur. La tâche ObjectNav est un banc d'essai central de la robotique cognitive depuis plusieurs années, avec des contributions majeures issues de laboratoires comme AI2, Meta ou CMU. Les approches dominantes jusqu'ici s'appuient sur des détecteurs open-vocabulary (CLIP, Grounding DINO) ou des VLM comme GPT-4V pour guider l'exploration, au prix d'une latence et d'une dépendance à des modèles lourds. DB-Nav s'inscrit dans un courant de recherche qui cherche à corriger le "reality gap" des VLM en intégrant un retour d'expérience incarné, une piste que suivent également des équipes travaillant sur les architectures Vision-Language-Action (VLA) pour la robotique mobile. Ce travail reste à ce stade une contribution académique sans déploiement annoncé ; son impact dépendra de son intégration dans des pipelines de navigation réels, notamment pour les robots de service en environnements intérieurs non structurés.

RecherchePaper

1 source

3arXiv cs.RO

IndustryNav : explorer le raisonnement spatial des agents incarnés dans la navigation industrielle dynamique

Des chercheurs ont publié IndustryNav, premier benchmark de navigation industrielle dynamique conçu pour évaluer le raisonnement spatial des agents visuels et langagiers (VLLM) en conditions actives. Le dispositif s'appuie sur douze scénarios d'entrepôt haute fidélité créés sous Unity, intégrant objets mobiles et déplacements humains simulés. Les auteurs proposent un pipeline de navigation PointGoal en zero-shot, combinant vision égocentrique et odométrie globale pour tester la planification à la fois locale et globale. Deux métriques originales, le taux de collision et le taux d'alerte, mesurent spécifiquement les comportements orientés sécurité. Quatorze modèles de pointe ont été testés, dont GPT-5.2, Claude-4.6 et Gemini-3, sur cet ensemble de tâches de navigation dynamique. Les résultats montrent que les modèles propriétaires conservent un avantage constant sur les modèles ouverts, mais qu'aucun agent, quel qu'il soit, ne maîtrise réellement l'évitement d'obstacles, la planification de trajectoire robuste ou l'exploration active. C'est un signal important pour les intégrateurs et décideurs qui envisagent de déployer des agents pilotés par VLLM dans des entrepôts ou des lignes de production: la performance impressionnante de ces modèles sur des benchmarks domestiques statiques ne se transfère pas automatiquement à des environnements industriels dynamiques et peuplés d'humains. Le papier vient ainsi nuancer le discours ambiant sur la maturité des agents incarnés génériques, en montrant que la perception passive ne suffit pas là où la sécurité active est requise. Cette étude comble un vide identifié dans la littérature existante: la quasi-totalité des benchmarks d'agents incarnés se limite à des environnements domestiques passifs et statiques, et évalue des capacités isolées plutôt qu'une performance holistique. IndustryNav se positionne comme le premier effort ciblant spécifiquement le domaine industriel avec complexité dynamique. Publié sur arXiv (version révisée du texte initial), le travail appelle la recherche en robotique incarnée à dépasser la simple perception pour développer des comportements stables, exploratoires et sûrs en environnement réel mouvant, une orientation qui concerne directement les futurs déploiements d'AMR et de robots mobiles en logistique.

RecherchePaper

1 source

4arXiv cs.RO

AnyGoal : exploration multi-agents guidée par vision-langage pour une navigation permanente sans entraînement

Une équipe de chercheurs a publié sur arXiv (arXiv:2606.13878) AnyGoal, une architecture multi-agents de navigation en intérieur conçue pour fonctionner sans entraînement préalable sur les scènes cibles. Le système coordonne plusieurs robots via une carte partagée appelée Bayesian Value Map (BVM), une grille 2D maintenant pour chaque pixel une distribution gaussienne (μ, σ²) représentant la pertinence estimée de l'objectif. Cette carte est mise à jour par fusion pondérée des scores issus d'un modèle vision-langage (VLM), projetés via un masque conique de profondeur, et n'est jamais remise à zéro entre les sous-tâches, permettant une accumulation d'indices dite « lifelong ». Sur le benchmark GOAT-Bench (360 épisodes, 2 669 sous-tâches, configuration physique stricte : pas discrets de 0,25 m, champ de vision horizontal de 42°, sans téléportation), la version bi-agent atteint 52,4 % de taux de réussite par sous-tâche (Subtask SR) pour un SPL de 12,7 %, contre 41,9 % en configuration mono-agent. Ce résultat représente un gain de +27,5 points de pourcentage sur Modular GOAT (24,9 %), le système modulaire de référence précédent, ce qui est substantiel dans un domaine où les progrès se mesurent souvent en quelques points. L'intérêt principal réside dans l'approche sans entraînement : là où la plupart des politiques de navigation end-to-end se dégradent dès qu'elles rencontrent des scènes, des catégories d'objets ou des modalités d'objectif hors distribution, AnyGoal s'appuie sur la généralisation intrinsèque du VLM. L'ablation à quatre variables de perception révèle que l'intégration de détecteurs open-vocabulary déplace le goulot d'étranglement : la cause principale d'échec n'est plus l'exploration, mais la vérification de l'objectif, un déplacement de problème qui oriente clairement les futurs travaux. AnyGoal s'inscrit dans la lignée des travaux tentant de remplacer les pipelines fermés (détection à ensemble d'objets fixe, comme dans Modular GOAT) et les mémoires 3D denses (comme 3D-Mem, coûteuses à maintenir et sensibles au point de vue) par des représentations légères pilotées par le langage. La coordination multi-agents repose ici sur un allocateur glouton avec pénalité de séparation spatiale et hysteresis d'engagement, sans contrôleur centralisé, ce qui simplifie le déploiement. L'architecture reste à ce stade une contribution de recherche publiée sur preprint ; aucun pilote industriel ni déploiement réel n'est annoncé. Les prochaines étapes naturelles concernent la robustesse du VLM à la vérification de but et l'extension à des environnements semi-structurés ou extérieurs, où la généralisation sera encore plus mise à l'épreuve.

RecherchePaper

1 source