Aller au contenu principal
SEDualVLN : un système dual à représentation spatiale enrichie pour la navigation vision-langageIllustration générée par IA
RecherchearXiv cs.RO 

SEDualVLN : un système dual à représentation spatiale enrichie pour la navigation vision-langage

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe a publié sur arXiv (2605.17249) SEDualVLN, un cadre de navigation visuo-langagière (VLN) à double système pour guider un agent autonome à partir d'instructions en langage naturel. Le Système 1 est un modèle VLM affiné sur des trajectoires de navigation, enrichi d'une conscience spatiale globale et locale, chargé de générer les actions immédiates. Le Système 2 intègre un MLLM généraliste et un module de cartographie 3D temps réel : il planifie des points de passage à partir de vues aériennes de la carte construite à la volée et d'un flux d'images de chemin rendues. Ce schéma rapide-lent coordonné atteint des performances état-de-l'art sur les benchmarks VLN-CE (VLN in Continuous Environments).

L'intérêt de SEDualVLN est de réconcilier deux paradigmes aux défauts complémentaires. Les approches end-to-end peinent sur les trajectoires longues et manquent de raisonnement dynamique : fine-tunées sur des données de navigation, elles mémorisent des comportements sans réellement planifier. Les pipelines zero-shot exploitent des MLLM pré-entraînés sans ré-entraînement, ce qui offre une meilleure généralisation, mais souffre d'un ancrage spatial insuffisant et d'un temps d'inférence élevé. SEDualVLN hybride les deux : le Système 1 conserve la réactivité end-to-end, le Système 2 apporte la planification raisonnée du modulaire. Pour des robots mobiles de service ou des assistants de livraison intérieure, ce type d'architecture ouvre une voie vers des agents capables de suivre des instructions complexes dans des espaces jamais vus à l'entraînement.

Le VLN est un sous-domaine actif de l'IA incarnée, avec des benchmarks comme R2R (Room-to-Room) et VLN-CE sur des environnements Matterport3D et Habitat. SEDualVLN s'inscrit dans une tendance à combiner LLM généralistes et modules de cartographie explicites, direction déjà explorée par NavGPT ou MapGPT. Le papier reste un preprint non évalué par les pairs, sans code ni démo publique, ce qui rend la reproduction indépendante difficile à ce stade. La prochaine étape naturelle est une validation sur robot physique : toutes les expériences rapportées restent pour l'instant confinées à la simulation.

À lire aussi

SuperMap : un système SLAM spatio-temporel pour la navigation vision-langage
Illustration générée par IA
1arXiv cs.RO 

SuperMap : un système SLAM spatio-temporel pour la navigation vision-langage

La recherche présentée sous la référence arXiv:2608.22896v1 introduit SuperMap, un système de cartographie spatio-temporelle en quatre dimensions destiné à la navigation robotique guidée par le langage. Le système combine un module SLAM géométrique à haute fréquence avec une perception asynchrone en vocabulaire ouvert, c'est-à-dire capable de reconnaître des objets sans liste de catégories prédéfinie, grâce aux modèles de fondation actuels. Sa contribution centrale est un moteur de cartographie piloté par la cohérence, qui associe et réactive les instances d'objets en 3D tout en mettant à jour une confiance combinée sur l'existence et l'étiquette de chaque élément, afin de préserver des identités stables et d'élaguer les contenus obsolètes lors d'occlusions ou de changements de scène. Le résultat est un graphe de scène 4D interrogeable, conçu pour s'interfacer avec des modèles vision-langage via des requêtes compositionnelles sur la sémantique des objets et leurs relations. Les auteurs valident l'approche sur des benchmarks et sur des robots réels, dans des scènes dynamiques incluant apparition, disparition et déplacement d'objets, avec des études d'ablation et une analyse des temps d'exécution. Le système est publié en open source, avec un site dédié à l'adresse superodometry.com/supermap. L'enjeu dépasse la simple démonstration technique. Les modèles de fondation offrent une reconnaissance dite « zero-shot » puissante, mais leurs prédictions restent intermittentes et dépendantes du point de vue caméra : intégrées naïvement dans un pipeline de cartographie, elles provoquent une dérive d'identité, où le même objet revu sous un angle différent est traité comme un nouvel élément, et une sémantique qui ne se met plus à jour. Pour les intégrateurs de robots mobiles destinés aux environnements humains, entrepôts, bureaux ou domiciles, ce problème conditionne directement la fiabilité d'une navigation langage-guidée sur la durée, au-delà d'une simple démo ponctuelle. SuperMap déplace ainsi le curseur du secteur : le défi n'est plus seulement de faire fonctionner un modèle vision-langage-action, mais de maintenir une représentation du monde cohérente dans le temps. Le nom du projet, associé au site superodometry.com, suggère une filiation avec des travaux antérieurs en odométrie et SLAM géométrique, ici étendus à une couche sémantique persistante. L'article ne détaille pas de comparatif nommé avec des systèmes concurrents de graphes de scène ouverts, mais la publication complète en open source vise explicitement à fournir à la communauté robotique une base de référence déployable pour la cartographie spatio-temporelle en vocabulaire ouvert, plutôt qu'un simple résultat de recherche isolé.

RecherchePaper
1 source
SimpleVLN : vers une navigation vision-langage simple et à la pointe
Illustration générée par IA
2arXiv cs.RO 

SimpleVLN : vers une navigation vision-langage simple et à la pointe

SimpleVLN, un cadre de navigation visuo-linguistique (VLN) publié sur arXiv (2610.23203), atteint 76,7 % de taux de succès sur le split R2R-CE et 80,1 % sur RxR-CE, deux benchmarks de navigation en environnement continu où un agent incarné doit suivre des instructions en langage naturel. Les auteurs affirment dépasser nettement les méthodes existantes. L'approche conserve l'architecture native des grands modèles de langage multimodaux (MLLM), sans module spécifique à la navigation. Elle repose sur trois leviers. D'abord, la formulation: des entrées de décision en un seul tour, associées à une mémoire globale-locale de taille fixe qui évite l'explosion du contexte, et des « action chunks » qui produisent plusieurs actions primitives par appel au modèle. Ensuite, les données: démonstrations d'experts, expérience DAgger dépendante de la politique, et pipeline de synthèse produisant des tâches à grande échelle pour l'apprentissage par renforcement. Enfin, l'optimisation: un enchaînement progressif imitation, DAgger puis RL, qui passe de l'imitation d'actions à l'optimisation du résultat au niveau de la tâche. Le cadre a été instancié sur plusieurs backbones et tailles de modèles. L'intérêt tient à l'hypothèse que ce travail conteste: la navigation incarnée exigerait des architectures dédiées. Si des MLLM génériques, bien entraînés, suffisent à dominer R2R-CE et RxR-CE, la logique des modèles vision-langage-action (VLA) se trouve renforcée: la valeur se déplace de l'ingénierie d'architecture vers la conception des données et de la recette d'entraînement. Pour les intégrateurs et équipes robotique, cela suggère des briques de navigation plus simples à maintenir et à faire évoluer avec les modèles de base. Le gain d'efficacité compte aussi: une mémoire à budget fixe et la sortie multi-actions réduisent le coût d'inférence, critère décisif pour un déploiement embarqué. Des réserves s'imposent toutefois. Ces résultats viennent de benchmarks en simulation, sans validation sur robot réel annoncée dans le résumé, et l'écart entre simulation et terrain reste ouvert. Les temps de latence, le matériel et les volumes de tâches synthétiques ne sont pas précisés. Ce travail s'inscrit dans une lignée où la VLN est passée de modèles spécialisés, avec cartes topologiques ou planificateurs dédiés, à des agents fondés sur des MLLM, déjà explorés par plusieurs laboratoires académiques et industriels. R2R-CE et RxR-CE servent de références habituelles pour comparer ces approches, ce qui rend les chiffres directement confrontables aux méthodes antérieures. SimpleVLN se positionne contre les architectures spécialisées en misant sur la généralité entre backbones. Les prochaines étapes naturelles seraient des tests sur robots physiques, une évaluation hors distribution et une extension à la navigation couplée à la manipulation, que le résumé n'annonce pas.

RecherchePaper
1 source
FSD-VLN : modélisation duale rapide-lente pour la navigation aérienne vision-langage à long horizon
Illustration générée par IA
3arXiv cs.RO 

FSD-VLN : modélisation duale rapide-lente pour la navigation aérienne vision-langage à long horizon

Des chercheurs publient sur arXiv (papier 2607.08359, juillet 2026) FSD-VLN, une architecture de navigation aérienne guidée par le langage destinee aux drones (UAV) évoluant en environnement inconnu, sans dépendance GPS ni trajectoire préprogrammée. Le système repose sur deux flux asynchrones : un flux "lent" qui extrait des priors sémantiques stables a partir de modèles vision-langage pré-entraines, et un flux "rapide" fonde sur un Diffusion Transformer (DiT) qui modélise les distributions d'actions dans le temps pour générer des commandes de vol cohérentes. Un optimiseur adaptatif sensible au temps a été intègre pour stabiliser l'entrainement sur de longues séquences et limiter les oscillations de gradient. En simulation a grande échelle sur des scenarios de vol a basse altitude, FSD-VLN atteint un taux de réussite de navigation jusqu'a deux fois supérieur aux méthodes de référence sur des scènes inédites, tout en réduisant de plus de 50% le délai d'inférence par action et la durée totale des taches. L'enjeu technique vise juste : les systèmes de navigation aérienne par langage souffrent généralement d'un désalignement entre compréhension multimodale globale et génération d'actions séquentielles, ce qui produit des trajectoires saccadées et une latence de décision pénalisante sur les missions longues. En découplant explicitement raisonnement sémantique et génération de commandes bas niveau, FSD-VLN reprend une logique "système rapide / système lent" déjà explorée cote robotique humanoïde (Pi-0, GR00T N2, Helix) et l'applique au vol de drone, un domaine ou la contrainte de latence est encore plus stricte qu'au sol. Pour les intégrateurs de drones industriels (inspection, logistique, surveillance), c'est une piste crédible pour rendre la navigation instructable en langage naturel viable sur des taches longues, même si les gains annonces restent, a ce stade, mesures uniquement en simulation. La navigation vision-langage (VLN) s'est imposée ces dernières années comme alternative aux systèmes GPS-dépendants, en promettant une interaction homme-machine plus intuitive et une meilleure adaptabilité environnementale, au prix d'une charge de calcul et de coordination bien plus lourde qu'un pilotage classique. FSD-VLN s'inscrit dans une lignée de travaux cherchant a résoudre ce compromis vitesse/compréhension, déjà au cœur des débats sur les modèles VLA en robotique générale. Les auteurs présentent leurs résultats comme un "paradigme pratique" plutôt qu'un système déployé : la prochaine étape logique, non couverte par cette publication, sera la validation en conditions de vol réelles, seule capable de confirmer si les gains constates en simulation résistent au bruit sensoriel et aux perturbations physiques du monde réel.

RechercheActu
1 source
Suivi binaire pour la QA spatiale et la navigation avec des modèles vision-langage ouverts
Illustration générée par IA
4arXiv cs.RO 

Suivi binaire pour la QA spatiale et la navigation avec des modèles vision-langage ouverts

Une équipe de chercheurs publie sur arXiv (référence 2606.16902) un agent de localisation spatiale open-source baptisé BinTrack, conçu pour permettre à des robots de service de répondre à des questions du type « où puis-je trouver un pressing sur le chemin du retour ? » et de retourner une coordonnée métrique exploitable directement par les modules de navigation. Le système s'appuie sur un robot quadrupède réel déployé dans des rues publiques de Séoul pour constituer GangnamLoop, un nouveau benchmark multi-trajets en extérieur. BinTrack atteint une amélioration de précision allant jusqu'à 22,8 % par rapport aux autres implémentations open-source sur SpaceLocQA, le benchmark de référence du domaine, et égale les résultats des agents basés sur GPT-4o sur la catégorie « global », la plus difficile. Il offre par ailleurs un gain de vitesse d'inférence supérieur à 1,5x par rapport aux approches précédentes. L'intérêt principal de BinTrack pour les intégrateurs et les décideurs industriels tient à son architecture entièrement embarquée et déconnectée. Les approches existantes de Spatial Question Answering s'appuyaient sur des modèles fermés comme GPT-4o via des agents RAG (retrieval-augmented generation), ce qui implique une dépendance réseau, une latence de communication et des coûts d'API prohibitifs pour une flotte de robots en production. BinTrack remplace cela par une recherche binaire sur les segments de trajectoire entre deux repères spatiaux extraits de la requête, en exploitant l'ordre temporel du trajet. Ce faisant, le travail démontre qu'un modèle de vision-langage open-source peut rivaliser avec GPT-4o sur un benchmark spatial de référence, sans connexion cloud, une hypothèse que beaucoup dans le secteur considéraient non résolue à ce stade. GangnamLoop se distingue des benchmarks indoor habituels : il capture les mêmes lieux sous différentes conditions extérieures et croise le point de vue bas du robot quadrupède avec celui de son propriétaire humain, ce qui en fait un jeu de données plus réaliste pour la navigation piétonne en ville. La recherche spatiale embarquée reste un domaine peu exploré par rapport aux approches cloud-first ; des acteurs comme Boston Dynamics, Unitree ou les équipes robotique de Google DeepMind travaillent sur des problèmes connexes, mais rarement avec une contrainte d'inférence locale aussi explicite. Le code et les données de GangnamLoop sont disponibles publiquement sur GitHub, ce qui ouvre la voie à des évaluations indépendantes et à des intégrations dans des pipelines de navigation autonome en contexte réel.

RechercheOpinion
1 source