SignScene : ancrage visuel des panneaux pour la…

1arXiv cs.RO

« Cartes sémantiques enrichies par instance pour la navigation en langage visuel »

Une équipe de recherche (RCI Lab) publie un nouveau framework baptisé Instance-Enriched Semantic Maps pour la navigation par instructions en langage naturel (Visual Language Navigation, VLN), avec trois apports techniques. D'abord, une cartographie 2.5D au niveau instance construite à partir d'images couleur et de profondeur via segmentation panoptique en vocabulaire ouvert, qui préserve les distinctions verticales et capture les petits objets, tout en associant à chaque élément des attributs sémantiques et des descriptions en langage naturel enrichies du contexte de la pièce. Ensuite, un module de traitement des requêtes s'appuyant sur un LLM pour sélectionner la cible, en routant dynamiquement les requêtes vers des experts spécialisés par type et en fusionnant leurs scores pour une sélection d'objectif cohérente quel que soit le formulation de la requête. Enfin, une représentation sémantique nettement plus compacte, avec une réduction de stockage d'environ 96 % par rapport aux approches à scene-graph 3D, tout en conservant l'information spatiale nécessaire à la navigation. Sur le plan des résultats, la représentation 2.5D dépasse la référence 3D de plus de 27 % en AUC normalisée, et le système complet améliore la récupération d'objets de plus de 17 % et le taux de réussite de navigation de plus de 23 % par rapport à la baseline, sur des types de requêtes variés. Pour les robots mobiles autonomes (AMR) et les agents embarqués évoluant en intérieur, ces travaux ciblent un goulot d'étranglement connu des systèmes VLN actuels : la cartographie sémantique existante manque de granularité au niveau des instances individuelles et se montre fragile face à la diversité réelle des formulations utilisateur. En réduisant drastiquement le coût de stockage des cartes tout en gardant leur précision spatiale, l'approche répond à une contrainte concrète de déploiement embarqué, où la mémoire et le calcul restent limités. C'est un signal que la navigation par langage naturel progresse vers une robustesse compatible avec des usages industriels au-delà des démonstrations de laboratoire. Le travail s'inscrit dans la lignée des systèmes VLN combinant cartes spatiales sémantiques et raisonnement par LLM, une direction de recherche active depuis l'essor des modèles de segmentation en vocabulaire ouvert. Les auteurs comparent explicitement leur méthode à des approches de référence en scene-graph 3D, positionnant leur contribution comme une alternative plus légère et plus précise. Le code et les démonstrations sont disponibles sur la page du projet, mais aucun calendrier de déploiement sur robot physique n'est mentionné à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

SiGNgapore : un jeu de données interactif pour la navigation visuelle fondée sur les panneaux

Des chercheurs ont publié sur arXiv (v1, octobre 2026) SiGNgapore, un jeu de données destiné à la navigation visuelle fondée sur les panneaux de signalisation. Les données ont été collectées avec un dispositif tenu à la main dans plusieurs espaces publics de Singapour, des lieux que les humains fréquentent au quotidien. Chaque séquence contient des images RGB, de la profondeur éparse (sparse depth), de l'odométrie et des mesures d'IMU, centrées sur des panneaux de navigation et sur les environnements complexes qui les entourent. Le jeu comprend 56 missions de navigation longue portée et plus de 450 scénarios centrés sur les panneaux. Les données sont livrées dans un format lisible par l'humain, avec des scripts utilitaires de conversion vers ROS 2. Les auteurs fournissent aussi les plans des sites et des graphes de scène alignés sur le GPS pour les environnements de test. Il s'agit d'une ressource de recherche : aucun robot n'a été déployé et aucun résultat de navigation n'est annoncé dans le résumé. L'intérêt tient au problème visé. Un robot qui évolue dans un aéroport, une gare, un centre commercial ou un hôpital ne peut pas toujours compter sur une carte préétablie, dont la création et la maintenance coûtent cher aux intégrateurs. Les humains s'orientent pourtant sans carte grâce à la signalétique. Lui faire lire et interpréter ces panneaux pourrait réduire la cartographie préalable, un poste de coût réel pour les déploiements en espaces publics. Le jeu de données traite aussi un manque : les benchmarks de navigation se concentrent surtout sur la géométrie et la perception de l'espace libre, rarement sur la décision fondée sur le sens d'un panneau, c'est-à-dire le raisonnement sémantique de bout en bout. Les capteurs utilisés (caméra, profondeur éparse, IMU) restent peu coûteux et proches de ce que portent des robots commerciaux. Il faut toutefois rester prudent. La collecte à la main ne reproduit ni la dynamique d'un robot ni ses contraintes de sécurité. Le volume, 56 missions et environ 450 scénarios, est modeste pour entraîner de gros modèles. Il convient donc mieux à l'évaluation qu'à l'apprentissage massif. Ce travail s'inscrit dans le mouvement de la navigation sans carte (mapless) portée par les modèles vision-langage et les VLA (vision-language-action), qui cherchent à comprendre des instructions et des indices sémantiques plutôt qu'à localiser le robot dans une carte métrique. Les graphes de scène alignés sur le GPS permettent de relier perception, sémantique et topologie du lieu. Singapour offre un terrain d'étude dense, multilingue et très signalisé, ce qui en fait un banc d'essai exigeant mais peu représentatif d'autres contextes, notamment européens, où la signalétique varie. Les suites probables sont des benchmarks et des comparaisons de méthodes sur ce jeu de données, puis des essais sur robots réels. Aucun calendrier, pilote industriel ni acteur commercial n'est mentionné dans l'annonce.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

G2-Nav : cartes de coûts vision-langage ancrées et sécurisées pour la navigation sociale des robots

Des chercheurs présentent G2-Nav, un nouveau framework de navigation sociale pour robots mobiles, détaillé dans un article déposé sur arXiv (2607.16956v1). Plutôt que de laisser un modèle vision-langage (VLM) décider directement des trajectoires, comme le font les approches end-to-end existantes, G2-Nav traduit le raisonnement sémantique du VLM en une costmap vision-langage interprétable. Le modèle identifie les zones traversables et les agents sociaux à partir d'une perception en ensemble ouvert (open-set), puis cartographie ce contexte social sous forme de coûts exploitables par le planificateur. Pour renforcer la robustesse en conditions réelles, le VLM effectue aussi une vérification sémantique sur le suivi (tracking) en amont, et les auteurs ajoutent un contrôle de sécurité à haute fréquence destiné à compenser la latence du système avant la génération de trajectoire. Des expériences en environnement réel, selon les auteurs, montrent une navigation autonome sûre, efficace et socialement conforme dans des espaces non structurés. Le code source doit être publié ultérieurement. L'intérêt de ce travail tient à la faille qu'il cherche à combler entre deux approches jugées insuffisantes pour l'autonomie complète: les frameworks VLM end-to-end, qui produisent des décisions de planification difficiles à auditer et donc risquées à déployer, et les méthodes d'instruction-following, pensées pour suivre des consignes humaines plutôt que pour opérer de façon totalement autonome. En cantonnant le VLM à un rôle d'évaluation sémantique plutôt que de contrôle direct, G2-Nav vise une architecture plus traçable, un enjeu concret pour les intégrateurs et décideurs industriels qui doivent justifier la sécurité de robots évoluant parmi des humains, en entrepôt, en établissement de santé ou en espace public. Le garde-fou de sécurité haute fréquence répond en particulier à un angle mort fréquent des démonstrations VLM: la latence d'inférence, souvent ignorée dans les vidéos promotionnelles du secteur. Ce travail s'inscrit dans la vague de recherche actuelle sur l'usage des VLM pour doter les robots d'un raisonnement de niveau humain en navigation sociale, un domaine où les benchmarks restent encore largement issus de démonstrations contrôlées. L'abstract ne précise ni l'institution porteuse ni le matériel robotique utilisé pour les essais réels, et le code, annoncé comme futur, n'est pas encore disponible: il s'agit donc à ce stade d'un préprint à confirmer par la publication effective et par une évaluation indépendante, plutôt que d'une solution déployée ou commercialisée.

RecherchePaper

1 source

4arXiv cs.RO

Zéro pilote : ancrage métrique persistant pour la navigation aérienne vision-langage sans apprentissage

Une équipe de recherche propose Fly0, un framework de navigation aérienne pilotée par instructions en langage naturel (Vision-Language Navigation, VLN) pour drones, décrit dans un article déposé sur arXiv (version révisée, arXiv:2602.15875v2) et dont le code est publié sur GitHub. Le système repose sur un pipeline en trois étapes qui découple le raisonnement sémantique de la planification géométrique : un modèle multimodal de grande taille (MLLM) traduit d'abord l'instruction textuelle en coordonnées de pixels 2D dans l'image, un module de projection géométrique exploite ensuite les données de profondeur pour localiser la cible en 3D, puis un planificateur géométrique génère une trajectoire sans collision. Ce découplage permet au drone de continuer à naviguer vers son objectif même en cas de perte de contact visuel. Sur des expériences menées en simulation et en environnement réel, les auteurs rapportent un taux de réussite supérieur de plus de 20 points par rapport aux meilleures méthodes existantes, ainsi qu'une erreur de navigation réduite d'environ 50 % dans des environnements non structurés. L'enjeu pratique de ce travail est la latence et la stabilité des systèmes de navigation pilotés par IA générative. Utiliser un MLLM comme contrôleur bas niveau en continu produit typiquement des oscillations de trajectoire et une forte latence, deux défauts rédhibitoires pour un drone évoluant en environnement contraint. En confiant le raisonnement sémantique au MLLM uniquement pour l'ancrage initial de la cible, puis en s'appuyant sur un planificateur géométrique classique pour l'exécution, Fly0 réduit la charge de calcul et évite l'inférence continue, ce qui va dans le sens d'une meilleure applicabilité embarquée pour l'inspection, la logistique ou la surveillance par drone autonome. Ce travail s'inscrit dans une tendance plus large de la recherche en VLN et en robotique aérienne, où l'ancrage géométrique persistant (les auteurs parlent de « metric anchoring ») cherche à corriger les limites des architectures purement bout-en-bout fondées sur les VLA (Vision-Language-Action). Il reste à confirmer, au-delà des métriques annoncées dans l'article, la robustesse du système face à des instructions ambiguës ou des scènes encombrées non couvertes par les jeux de test utilisés, et à voir si cette approche modulaire est reprise par d'autres équipes ou intégrée dans des plateformes commerciales de drones autonomes.

RecherchePaper

1 source

SignScene : ancrage visuel des panneaux pour la navigation sans carte

À lire aussi

« Cartes sémantiques enrichies par instance pour la navigation en langage visuel »

SiGNgapore : un jeu de données interactif pour la navigation visuelle fondée sur les panneaux

G2-Nav : cartes de coûts vision-langage ancrées et sécurisées pour la navigation sociale des robots

Zéro pilote : ancrage métrique persistant pour la navigation aérienne vision-langage sans apprentissage