RecherchearXiv cs.RO 5 août 2026

« Des trajets aux étapes : distinguer la progression sémantique de l'exécution locale en navigation vision-langage »

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent Route2Step, un nouveau cadre pour la navigation vision-langage (VLN), la tâche où un agent doit suivre une instruction en langage naturel découpée en plusieurs étapes en s'appuyant uniquement sur ses observations visuelles égocentriques. Le problème identifié : les navigateurs actuels, basés sur des modèles vision-langage (VLM), supervisent à la fois le suivi de la progression sémantique dans l'instruction et l'exécution locale des mouvements via une seule prédiction de l'action suivante. Quand l'agent dévie de sa route, impossible alors de savoir s'il a mal identifié la sous-instruction en cours ou s'il a échoué à exécuter la bonne action, ce qui le laisse continuer à décider depuis un état de progression erroné. Route2Step sépare explicitement les deux via une interface au niveau des étapes : un module d'analyse d'instruction (MIA) prédit l'état de progression à partir de l'instruction globale et de l'historique visuel, tandis qu'un module de génération d'action (MAG) produit des séquences d'actions locales conditionnées sur cet état. Pour entraîner le premier module sans étiquetage temporel manuel, les auteurs introduisent E-SPA, une procédure qui aligne automatiquement chaque sous-instruction avec la portion correspondante des démonstrations de route. Sur le benchmark R2R-CE, le taux de réussite (SR) grimpe de 48,1% à 55,3% et le score SPL, qui pénalise les trajectoires inefficaces, de 43,3% à 48,2%, avec 190 000 exemples correctifs au niveau de l'état mais seulement 11 500 états directement supervisés par des labels d'action.

Cette séparation entre "savoir où j'en suis dans l'instruction" et "savoir comment bouger" s'attaque à un problème structurel de l'entraînement en VLN : la confusion des signaux d'erreur. Pour les chercheurs en robotique mobile et les concepteurs d'agents suivant des instructions vocales ou textuelles, c'est une piste concrète pour fiabiliser des systèmes destinés à des usages comme la logistique en entrepôt, l'assistance domestique ou les robots de service guidés par la voix. Le gain en efficacité de supervision est notable : 11 500 états annotés par action suffisent là où l'approche classique exigerait un étiquetage massif de chaque trajectoire, un signal encourageant pour réduire le coût d'entraînement de ces agents avant tout déploiement réel.

Ce travail s'inscrit dans la lignée des benchmarks de navigation continue en environnement 3D, dont R2R-CE (Room-to-Room, Continuous Environments) sert de référence standard pour évaluer des agents suivant des instructions pas à pas dans des scènes réalistes. Les approches précédentes, fondées sur des VLM entraînés par prédiction d'action unique, butaient sur l'ambiguïté que Route2Step cherche à lever. Les auteurs ne se limitent pas à la simulation : des expériences en environnements réels, intérieurs et extérieurs, viennent appuyer l'applicabilité pratique du système, une étape que peu de travaux académiques sur le VLN franchissent. Le code et les démonstrations sont disponibles sur la page du projet, sisyphus-hxy.github.io/Route2Step.

À lire aussi

1arXiv cs.RO

« Cartes sémantiques enrichies par instance pour la navigation en langage visuel »

Une équipe de recherche (RCI Lab) publie un nouveau framework baptisé Instance-Enriched Semantic Maps pour la navigation par instructions en langage naturel (Visual Language Navigation, VLN), avec trois apports techniques. D'abord, une cartographie 2.5D au niveau instance construite à partir d'images couleur et de profondeur via segmentation panoptique en vocabulaire ouvert, qui préserve les distinctions verticales et capture les petits objets, tout en associant à chaque élément des attributs sémantiques et des descriptions en langage naturel enrichies du contexte de la pièce. Ensuite, un module de traitement des requêtes s'appuyant sur un LLM pour sélectionner la cible, en routant dynamiquement les requêtes vers des experts spécialisés par type et en fusionnant leurs scores pour une sélection d'objectif cohérente quel que soit le formulation de la requête. Enfin, une représentation sémantique nettement plus compacte, avec une réduction de stockage d'environ 96 % par rapport aux approches à scene-graph 3D, tout en conservant l'information spatiale nécessaire à la navigation. Sur le plan des résultats, la représentation 2.5D dépasse la référence 3D de plus de 27 % en AUC normalisée, et le système complet améliore la récupération d'objets de plus de 17 % et le taux de réussite de navigation de plus de 23 % par rapport à la baseline, sur des types de requêtes variés. Pour les robots mobiles autonomes (AMR) et les agents embarqués évoluant en intérieur, ces travaux ciblent un goulot d'étranglement connu des systèmes VLN actuels : la cartographie sémantique existante manque de granularité au niveau des instances individuelles et se montre fragile face à la diversité réelle des formulations utilisateur. En réduisant drastiquement le coût de stockage des cartes tout en gardant leur précision spatiale, l'approche répond à une contrainte concrète de déploiement embarqué, où la mémoire et le calcul restent limités. C'est un signal que la navigation par langage naturel progresse vers une robustesse compatible avec des usages industriels au-delà des démonstrations de laboratoire. Le travail s'inscrit dans la lignée des systèmes VLN combinant cartes spatiales sémantiques et raisonnement par LLM, une direction de recherche active depuis l'essor des modèles de segmentation en vocabulaire ouvert. Les auteurs comparent explicitement leur méthode à des approches de référence en scene-graph 3D, positionnant leur contribution comme une alternative plus légère et plus précise. Le code et les démonstrations sont disponibles sur la page du projet, mais aucun calendrier de déploiement sur robot physique n'est mentionné à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Navigation hiérarchique augmentée par la sémantique : transport optimal et raisonnement par graphes pour la navigation vision-langage

Une équipe de chercheurs a publié le 2 juin 2026 sur arXiv (identifiant 2606.01565) le cadre HSAN (Hierarchical Semantic-Augmented Navigation), une architecture de navigation pour agents autonomes en environnements 3D intérieurs non contraints, dit VLN-CE (Vision-Language Navigation in Continuous Environments). Le principe : un agent reçoit des instructions en langage naturel ("va jusqu'à la cuisine et tourne à gauche avant la porte") et doit naviguer dans un espace réel sans carte préétablie. HSAN propose trois composants imbriqués : d'abord, un graphe de scène sémantique hiérarchique et dynamique, construit en temps réel à partir de modèles vision-langage, qui représente l'environnement sur trois niveaux (objets, régions, zones) ; ensuite, un planificateur topologique basé sur le transport optimal (dualité de Kantorovich) qui sélectionne des sous-objectifs à long terme en pondérant pertinence sémantique et accessibilité spatiale, avec garanties théoriques d'optimalité ; enfin, une politique de contrôle bas niveau entraînée par apprentissage par renforcement et sensible à la structure du graphe, chargée de la navigation fine et de l'évitement d'obstacles. Les auteurs rapportent des résultats état de l'art sur plusieurs benchmarks VLN-CE standards, sans préciser les métriques exactes dans le résumé disponible. L'intérêt de cette approche tient à la façon dont elle traite le problème des tâches à horizon long, un point de friction majeur des systèmes VLN existants qui perdent le contexte spatial sur des trajectoires de plusieurs dizaines de mètres. En structurant la représentation de l'environnement en graphe multi-niveaux plutôt qu'en carte voxel statique, HSAN permet à l'agent de raisonner sur des concepts spatiaux ("la pièce d'à côté", "le couloir du fond") plutôt que sur des coordonnées brutes. Le planificateur par transport optimal est notable : il évite les heuristiques ad hoc (distance euclidienne, A* classique) en reformulant la sélection de sous-objectifs comme un problème de couplage optimal entre distributions sémantiques, ce qui est théoriquement plus robuste. Pour les intégrateurs de robots de service ou de livraison intérieure, ce type d'architecture facilite potentiellement l'instruction en langage naturel sans cartographie préalable, à condition que le sim-to-real gap soit résolu, ce que le papier n'aborde pas explicitement. La navigation guidée par langage en environnement continu est un champ actif depuis les benchmarks R2R (Room-to-Room, 2018) et VLN-CE (2021, basé sur Matterport3D). Les approches antérieures dominantes combinent généralement des cartes topologiques statiques avec des politiques Transformer (CWP, DUET, GridMM). HSAN s'en distingue en rendant le graphe de scène dynamique et en y couplant le transport optimal, une technique rare dans ce domaine mais bien établie en vision par ordinateur (alignement de nuages de points, correspondance d'images). Aucun acteur industriel ni laboratoire nommé n'est associé à la publication dans le résumé disponible, et il s'agit d'un preprint non encore évalué par les pairs. Les prochaines étapes attendues dans ce type de travaux incluent des expériences sur robots physiques (Boston Dynamics Spot, Fetch, TIAGo) pour valider le transfert simulation-réel.

RechercheOpinion

1 source

3arXiv cs.RO

SOPD-SocialNav : distillation sélective en ligne pour la navigation sociale vision-langage

Des chercheurs présentent SOPD-SocialNav, une méthode de distillation sélective "on-policy" (SOPD) qui transfère les capacités de raisonnement social pour la navigation robotique d'un grand modèle vision-langage (VLM) enseignant vers un VLM étudiant léger, plus facile à déployer sur une plateforme robotique aux ressources limitées. Le mécanisme central repose sur une sélection de tokens basée sur l'entropie: le système repère, grâce à l'incertitude du modèle enseignant, les tokens de décision socialement informatifs, tout en supprimant les gradients des tokens à faible entropie qui correspondent à des situations de navigation triviales. Un objectif de divergence de Jensen-Shannon à température contrôlée aligne ensuite les distributions de l'étudiant et de l'enseignant sur ces tokens sélectionnés uniquement. Sur les benchmarks SNEI et MUSON, SOPD surpasse le fine-tuning supervisé classique, la distillation hors ligne (off-policy) et la distillation on-policy standard, sur trois axes: prédiction d'action, cohérence de perception et cohérence de raisonnement. Les auteurs ont aussi testé le modèle distillé en conditions réelles sur un robot Scout Mini, dans des scénarios de conversation et de file d'attente humaine. L'enjeu dépasse la simple performance benchmark: c'est la tension classique entre VLM massifs, riches en raisonnement social mais trop lourds pour l'embarqué, et VLM légers, rapides mais socialement maladroits. Les méthodes de distillation existantes traitent généralement tous les tokens de façon uniforme, gaspillant de la capacité d'apprentissage sur des états de navigation sans enjeu social réel. En ciblant spécifiquement les moments de décision ambigus (croiser un piéton, gérer une file d'attente), SOPD propose une piste concrète pour des robots socialement compétents sans dépendre d'un cloud ou d'un GPU embarqué surdimensionné, un sujet clé pour les intégrateurs en logistique, santé ou espaces partagés. Ce travail reste toutefois un résultat de recherche publié sur arXiv, validé sur un seul robot (Scout Mini) et deux benchmarks spécialisés (SNEI, MUSON), pas un produit déployé à l'échelle. Il s'inscrit dans la vague plus large des VLA/VLM pour la robotique incarnée (Pi-0, GR00T, Helix), mais se concentre étroitement sur la navigation sociale plutôt que la manipulation généraliste. Les suites logiques attendues seraient des essais sur d'autres plateformes robotiques et une comparaison directe avec d'autres approches de navigation sociale.

RecherchePaper

1 source

4arXiv cs.RO

Vers des objectifs de navigation par le langage : une approche vision-langage pour la navigation sémantique de robots mobiles par perception RGB-D

Une équipe de recherche présente un framework open source de navigation sémantique piloté par le langage naturel pour robots mobiles, publié sur arXiv (2607.13624v1). Le système, bâti sur des composants modulaires ROS 2, traduit des requêtes en langage naturel comme "va vers la boîte aux lettres" en objectifs de navigation exécutables. Concrètement, le pipeline identifie l'objet cible mentionné dans la phrase, estime sa position dans l'espace à partir de données RGB-D, puis génère un point de navigation transmis à la pile Nav2 de ROS 2 pour l'exécution autonome. Les auteurs ont validé l'approche à la fois en simulation et en conditions réelles, sur deux plateformes distinctes : un TurtleBot3 Waffle et un Unitree Go2 équipé d'une caméra RealSense. Le code sera publié en open source après acceptation de l'article. Cette architecture illustre une tendance de fond dans la robotique mobile : le passage d'une navigation pilotée par coordonnées ou par carte à une navigation pilotée par l'intention exprimée en langage naturel, sans expertise technique requise de l'utilisateur. Pour les intégrateurs, l'intérêt réside moins dans la performance brute que dans la portabilité : en s'appuyant sur ROS 2 et sur des topics et services standardisés, le framework promet une adaptation à différentes plateformes robotiques via une simple reconfiguration plutôt qu'un développement spécifique par robot. Le système va au-delà des commandes directes en interprétant aussi des requêtes contextuelles et en générant du feedback en langage naturel, deux capacités clés pour une interaction homme-robot fluide dans des environnements domestiques ou logistiques où les utilisateurs finaux ne sont pas des opérateurs formés. Ce travail s'inscrit dans la vague plus large des architectures vision-langage-action qui traversent la robotique depuis l'essor de modèles comme Pi-0 ou GR00T N2, même si ceux-ci ciblent surtout la manipulation plutôt que la navigation pure. Plutôt qu'une approche end-to-end déléguant tout le raisonnement à un modèle unique, les auteurs optent pour une architecture modulaire combinant perception RGB-D, compréhension du langage et planification via Nav2, une pile de navigation déjà largement adoptée dans l'écosystème ROS 2 académique et industriel. L'ambition de portabilité multi-plateforme et la publication annoncée du code positionnent ce travail comme une brique réutilisable plutôt qu'une démonstration isolée, même si, à ce stade, rien n'indique un calendrier de diffusion précis ni des tests en environnements plus complexes ou à grande échelle.

RecherchePaper

1 source