Aller au contenu principal
NavHarness : des objectifs adaptatifs pour la navigation vision-langage à base d'agentsIllustration générée par IA
RecherchearXiv cs.RO 

NavHarness : des objectifs adaptatifs pour la navigation vision-langage à base d'agents

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

NavHarness, un framework publié sur arXiv (v1), propose d'aborder la navigation vision-langage (VLN) par une architecture à quatre agents spécialisés plutôt que par un seul agent multimodal généraliste. Un Goal Agent fixe des sous-objectifs adaptatifs à partir de l'instruction, de l'observation courante et de l'historique d'exécution. Un Visuomotor Agent exécute les actions de navigation pour atteindre chaque objectif. Un Verify Agent juge ensuite si l'objectif est atteint, grâce à une question de vérification propre à cet objectif. Un Memory Agent compresse enfin l'historique multimodal correspondant, en conservant l'information utile à la suite du trajet. Les auteurs évaluent le système sur les benchmarks simulés R2R-CE et RxR-CE, comparent des variantes sur trois modèles de base et analysent l'évolution du contexte pendant l'exécution. En conditions réelles, NavHarness atteint 83,3 % de succès et 1,51 m d'erreur de navigation sur huit parcours jugés difficiles, chacun parcouru trois fois, soit 24 essais au total.

L'intérêt tient à deux problèmes concrets des agents embarqués pilotés par des modèles multimodaux. Le premier est la dérive sur les tâches longues : choisir une action locale plausible à chaque pas ne garantit pas de rester sur l'itinéraire voulu. La vérification explicite de chaque sous-objectif vise à corriger cette dérive en cours de route. Le second est le coût d'inférence : si l'historique image-texte est réinjecté tel quel à chaque décision, l'entrée grossit sans cesse. Le découpage de l'historique en segments compressés à chaque objectif validé est une réponse d'ingénierie pragmatique, qui concerne directement les intégrateurs soucieux de la latence et du coût de calcul embarqué. Les résultats appellent toutefois de la prudence : l'échantillon réel est restreint (huit parcours, trois passes), la nature des environnements n'est pas détaillée dans le résumé et l'article ne chiffre pas, dans cet extrait, le gain de calcul obtenu.

Ce travail s'inscrit dans la tendance qui consiste à réutiliser des modèles multimodaux généralistes comme base de la navigation, plutôt que d'entraîner des politiques dédiées. R2R-CE et RxR-CE, versions en environnement continu des benchmarks Room-to-Room et Room-across-Room, sont des références habituelles de ce champ. Le texte ne fournit ni comparaison chiffrée avec des méthodes concurrentes, ni robot, ni calendrier de déploiement : il s'agit d'une publication de recherche, pas d'un produit. La suite logique serait de mesurer le système sur davantage d'environnements réels et de quantifier précisément l'économie de contexte apportée par la compression.

Dans nos dossiers

À lire aussi

F2A-ObjectNav : une architecture adaptative à base d'agents pour la navigation vers un objet cible
Illustration générée par IA
1arXiv cs.RO 

F2A-ObjectNav : une architecture adaptative à base d'agents pour la navigation vers un objet cible

Des chercheurs proposent F2A-ObjectNav (Fixed-to-Adaptive Object-Goal Navigation), une architecture agentique adaptative pour la navigation par objet-but, tâche où un agent incarné doit explorer un environnement inconnu, repérer un objet cible, s'en approcher et vérifier que l'instance observée correspond bien à la mission. Le travail suit deux étapes. La première teste un cadre modulaire fixe, en combinant plusieurs méthodes d'exploration, de détection d'objets et de validation de cible. Elle met en évidence des compromis nets entre performance de navigation, fiabilité de la validation, temps d'exécution et coût lié aux modèles, sans qu'aucune configuration fixe ne domine partout.

RecherchePaper
1 source
VLN-Flash : décodage parallèle des actions et exécution adaptative pour la navigation vision-langage
Illustration générée par IA
2arXiv cs.RO 

VLN-Flash : décodage parallèle des actions et exécution adaptative pour la navigation vision-langage

VLN-Flash, une méthode de décodage proposée dans un preprint arXiv (2611.19287v1), s'attaque à un goulot d'étranglement peu visible de la navigation robotique guidée par le langage : la latence entre deux actions. Dans les politiques de vision-and-language navigation (VLN) classiques, le modèle génère les actions de façon autorégressive, ce qui oblige le robot à attendre une chaîne de prédictions dépendantes les unes des autres. Les auteurs exploitent le fait que le vocabulaire d'actions est petit et discret pour évaluer en parallèle l'ensemble de l'arbre des préfixes d'actions à court horizon, en une seule passe avant.

RecherchePaper
1 source
JevVLA : adaptation à base d'énergie inspirée de Jev pour les politiques vision-langage-action
Illustration générée par IA
3arXiv cs.RO 

JevVLA : adaptation à base d'énergie inspirée de Jev pour les politiques vision-langage-action

JevVLA est un cadre d'adaptation léger pour les politiques vision-langage-action (VLA), publié sur arXiv (2610.35010) par une équipe dont le dépôt GitHub, ZJU4EmbodiedAI, suggère un rattachement à l'université du Zhejiang. La politique de base reste gelée. Les auteurs entraînent par-dessus un modèle à énergie, c'est-à-dire un réseau qui attribue un score scalaire différentiable à une action selon l'observation et le contexte de la tâche. L'apprentissage s'appuie sur le retour d'exécution, des corrections d'experts ou des préférences dérivées de démonstrations. Ce score sert de deux façons. Pour le pick-and-place, il classe des candidats discrets. Pour le contrôle de mouvement, son gradient corrige ou guide des séquences d'actions continues.

RecherchePaper
1 source
ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée
Illustration générée par IA
4arXiv cs.RO 

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée

Des chercheurs publient ASENA, un système d'agent incarné qui relie des agents de codage généralistes aux capteurs, au calcul, à l'exécution supervisée et à une mémoire persistante d'un robot. L'agent écrit et exécute des programmes, relit les résultats enregistrés, corrige ses échecs et réutilise des notes et des compétences exécutables, le tout sans modifier les poids du modèle. Le système s'accompagne d'ASENA-VLN, une politique de navigation monoculaire de 4 milliards de paramètres, proposée comme outil optionnel. Elle prédit des trajectoires dans le repère du corps, pour des itinéraires longs comme pour des comportements à court horizon, grâce à un décodeur vision-langage unique.

RecherchePaper
1 source