Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
SemGeoNav : une approche de navigation visuelle guidée par la sécurité, combinant raisonnement sémantique et planification géométrique
RecherchearXiv cs.RO 

SemGeoNav : une approche de navigation visuelle guidée par la sécurité, combinant raisonnement sémantique et planification géométrique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont proposé SemGeoNav, un framework de navigation visuelle hiérarchique publié sur arXiv en juin 2026 (arXiv:2606.16400), conçu pour les robots devant atteindre des cibles définies par des images dans des environnements ouverts. L'architecture combine deux couches distinctes : un module de raisonnement sémantique de haut niveau issu des modèles apprenants end-to-end, et un planificateur géométrique local responsable de la sécurité immédiate. Un mécanisme de lissage temporel de trajectoire vient compléter l'ensemble pour garantir des déplacements continus et stables. Les expériences ont été menées sur un robot quadrupède Unitree Go2 dans des environnements réels, et les résultats indiquent des taux de succès supérieurs ainsi que des temps de navigation plus courts que deux baselines de référence du domaine, ViNT et NoMaD.

L'apport principal de SemGeoNav réside dans le traitement d'une tension structurelle bien documentée en robotique autonome : les modèles end-to-end apprenants, en particulier les architectures de type VLA (Vision-Language-Action), excellent dans la compréhension sémantique de haut niveau mais manquent de contraintes géométriques explicites, ce qui génère des comportements imprévisibles face aux obstacles en environnement non structuré. À l'inverse, les planificateurs géométriques classiques (champ de potentiel, DWA) garantissent la sécurité locale mais peinent à interpréter des cibles visuelles haute dimension. L'approche hybride hiérarchique de SemGeoNav apporte une réponse architecturale à ce problème de fiabilité opérationnelle, avec des implications directes pour les intégrateurs déployant des robots mobiles en entrepôt ou en environnement industriel non balisé.

ViNT et NoMaD, tous deux issus du Berkeley AI Research Lab, constituent les références dominantes en navigation visuelle généraliste à cible imageante. SemGeoNav se positionne explicitement contre ces deux modèles en revendiquant de meilleures performances terrain. Il s'inscrit dans un courant plus large qui remet en question les architectures purement end-to-end au profit de systèmes hybrides modulaires, une direction également explorée par plusieurs équipes européennes et asiatiques. Ce preprint ne publie pas de métriques standardisées comme le SPL (Success weighted by Path Length) ou les benchmarks HM3D/MP3D, ce qui rend difficile toute comparaison directe avec l'état de l'art; une validation à plus grande échelle et sur des jeux de données partagés constituerait la prochaine étape crédible pour ce travail.

Dans nos dossiers

UnitreearXiv cs.RO

À lire aussi

HCSG : raisonnement sémantique-géométrique centré sur l'humain pour la navigation vision-langage
1arXiv cs.RO 

HCSG : raisonnement sémantique-géométrique centré sur l'humain pour la navigation vision-langage

Des chercheurs ont publié en mai 2026 HCSG (Human-Centric Semantic-Geometric Reasoning), un cadre de navigation en langage naturel (VLN) conçu pour les environnements intérieurs dynamiques peuplés de piétons, déposé sur arXiv sous la référence 2605.13321. Contrairement aux approches existantes qui traitent les humains comme de simples obstacles mobiles détectés par indices visuels, HCSG introduit un module unifié de compréhension humaine combinant deux capacités complémentaires : la prévision géométrique, qui anticipe poses et trajectoires futures des personnes, et l'interprétation sémantique, qui exploite un modèle vision-langage (VLM) pour générer des descriptions textuelles des actions et intentions perçues. Ces représentations sont fusionnées dans une carte topologique sur laquelle l'agent planifie ses déplacements en fonction des instructions reçues. Une fonction de perte de distance sociale (social distance loss) contraint le robot à maintenir des distances d'interaction socialement acceptables. Sur le benchmark HA-VLNCE, le framework affiche un gain de 14 % sur le taux de succès et une réduction de 34 % du taux de collision face à l'état de l'art, des chiffres à interpréter avec la prudence habituelle réservée aux préprints non encore évalués en pair-à-pair. Ces résultats pointent un changement de paradigme pertinent pour la robotique de service en espace ouvert. La distinction clé de HCSG est de passer d'un évitement passif (détecter puis contourner) à une compréhension active des comportements : le robot infère si un piéton s'apprête à changer de direction, à s'arrêter ou à interagir, ce qui permet une planification plus fluide. L'intégration d'un VLM est cohérente avec la montée en puissance des architectures vision-langage-action (VLA), mais l'article valide ici leur utilité spécifique pour la navigation sociale, pas seulement la manipulation. Pour les intégrateurs de robots de livraison intérieure ou de guidage hospitalier, c'est un signal que les approches purement géométriques atteignent leurs limites dans des environnements non contrôlés. La navigation VLN a progressé rapidement depuis les benchmarks R2R et REVERIE, portée par les transformers de vision et des modèles comme CLIP. HA-VLNCE, sur lequel HCSG est évalué, est une extension de VLN-CE intégrant des agents humains dynamiques, le rapprochant davantage des conditions de déploiement réelles. Les approches concurrentes en navigation sociale incluent des travaux issus de Stanford, CMU ou MIT, et des frameworks comme NaviSTAR. Côté industriel, les robots de Keenon, Aethon ou Savioke opèrent encore largement dans des couloirs semi-contrôlés précisément pour éviter ces problèmes de cohabitation. HCSG reste une contribution académique sans validation industrielle annoncée, mais une page de projet dédiée laisse entrevoir des travaux futurs sur robot physique.

RechercheOpinion
1 source
Rule-VLN : unifier perception et respect des règles par raisonnement sémantique et rectification géométrique
2arXiv cs.RO 

Rule-VLN : unifier perception et respect des règles par raisonnement sémantique et rectification géométrique

Une équipe de chercheurs a publié sur arXiv (2604.16993) un article introduisant Rule-VLN, un benchmark urbain à grande échelle conçu pour évaluer la navigation par instruction langagière (Vision-and-Language Navigation, ou VLN) sous contraintes réglementaires. L'environnement couvre 29 000 nœuds de graphe urbain, avec 8 000 nœuds soumis à 177 catégories de règles distinctes réparties en quatre niveaux de difficulté croissante. Pour corriger les agents existants, les auteurs proposent le Semantic Navigation Rectification Module (SNRM), un module zero-shot greffable sur tout agent VLN pré-entraîné. Dans les expériences rapportées, SNRM réduit le taux de violation des contraintes (Constraint Violation Rate, CVR) de 19,26 % et améliore le taux de complétion de tâche (Task Completion, TC) de 5,97 % par rapport aux modèles de référence. Le problème identifié est structurel : les agents VLN actuels tombent dans ce que les auteurs appellent le "goal-driven trap", un biais où la géométrie physique ("puis-je passer ici ?") prime sur la sémantique réglementaire ("suis-je autorisé à passer ici ?"). Pour les intégrateurs de systèmes de navigation autonome en environnement urbain ou semi-public, cela signifie concrètement que les agents actuels ignorent des contraintes visibles pourtant critiques : panneaux d'interdiction, zones piétonnes, restrictions de circulation. Rule-VLN est le premier benchmark à formaliser ces contraintes à cette échelle, ce qui en fait un outil de qualification utile pour les développeurs souhaitant valider la conformité comportementale avant déploiement réel, au-delà des métriques classiques de succès de navigation. La VLN est un axe de recherche actif depuis les travaux fondateurs de l'environnement R2R (2018, Anderson et al.), majoritairement axés sur la reachability dans des environnements intérieurs. Rule-VLN étend explicitement ce cadre à l'urbain extérieur avec une dimension normative, un angle peu exploré jusqu'ici malgré la montée en charge des robots de livraison et des AMR en espace public. Côté concurrents directs, des benchmarks comme TouchDown ou CityNav posent des bases géographiques réalistes mais sans injection systématique de contraintes réglementaires. Le SNRM s'appuie sur un VLM (Vision-Language Model) en pipeline coarse-to-fine couplé à une carte mentale épistémique pour la planification de détours dynamiques. Les résultats sont présentés uniquement en conditions simulées : aucun déploiement réel n'est mentionné, et les gains de 19 % sur CVR restent à valider sur des environnements physiques avec une distribution de règles non contrôlée.

UEPertinent pour les intégrateurs de robots de livraison et AMR en espace public européen confrontés aux contraintes réglementaires urbaines, mais aucun acteur FR/EU n'est impliqué dans ces travaux.

RechercheOpinion
1 source
OptiSight : relier le raisonnement sémantique au contrôle géométrique pour la navigation incarnée
3arXiv cs.RO 

OptiSight : relier le raisonnement sémantique au contrôle géométrique pour la navigation incarnée

Une prépublication arXiv (2608.23354v1, signée par le développeur avanalperen) présente OptiSight, un framework hybride de navigation autonome en intérieur qui associe raisonnement par modèle vision-langage (VLM) et asservissement visuel déterministe, via une architecture en chaîne de pensée organisée comme un automate à états finis. Grounded-SAM se charge de localiser des cibles en vocabulaire ouvert, tandis que la géométrie de projection caméra traduit directement les observations visuelles en commandes de navigation, sans nécessiter de cartographie dense de l'environnement. Le VLM n'est interrogé qu'aux points de décision clés du parcours, le contrôle géométrique prenant le relais en continu entre deux requêtes pour limiter la charge de calcul. Testé dans le simulateur AI Habitat, le système assure une navigation en zero-shot fiable face à l'évitement d'obstacles et à l'ambiguïté sémantique, dans un budget de seulement 8 Go de VRAM, avec un code source publié en open source sur GitHub. Cette architecture tranche avec la tendance dominante des modèles vision-langage-action (VLA) entraînés de bout en bout, à l'image de Pi-0, GR00T N2 ou Helix, gourmands en données et en puissance de calcul. En limitant les appels au VLM aux seuls moments de décision et en confiant la navigation continue à un contrôle géométrique classique, OptiSight vise une solution plus légère et plus interprétable, potentiellement adaptée à des plateformes mobiles disposant de ressources embarquées modestes. Pour les intégrateurs d'AMR et de robots de service en intérieur, cela illustre une piste alternative pour relier compréhension sémantique de haut niveau et contrôle géométrique bas niveau sans dépendre d'un unique modèle massif ni d'un SLAM dense. Les résultats restent toutefois cantonnés à la simulation, sans validation rapportée sur robot physique, laissant ouverte la question du transfert vers le monde réel. OptiSight s'inscrit dans une lignée de travaux combinant segmentation en vocabulaire ouvert, héritée de Grounding DINO et Segment Anything via Grounded-SAM, et raisonnement multimodal appliqué à la navigation robotique, plutôt que dans la vague des modèles VLA propriétaires développés par les grands acteurs de la robotique humanoïde et de manipulation. Publié comme simple prépublication académique, sans affiliation industrielle mise en avant, le projet se distingue par la mise à disposition immédiate de son code sur GitHub, une pratique courante en recherche mais plus rare chez les acteurs commerciaux. Les suites habituelles pour ce type de travaux, tests sur plateformes physiques et comparaison chiffrée avec les architectures VLA de référence, restent pour l'instant absentes de cette première publication.

RecherchePaper
1 source
G-DRAGON : raisonnement géospatial et planification dynamique pour la navigation extérieure augmentée par récupération
4arXiv cs.RO 

G-DRAGON : raisonnement géospatial et planification dynamique pour la navigation extérieure augmentée par récupération

G-DRAGON (Geospatial Reasoning and Dynamic Planning for Retrieval-Augmented Outdoor Navigation) est un framework de navigation présenté dans un preprint arXiv (mai 2026) pour robots terrestres autonomes en extérieur à grande échelle. Le système associe un LLM léger exécuté localement à OpenStreetMap pour convertir des instructions en langage naturel en coordonnées géospatiales précises, servant à la planification de routes topologiques. Un module de haut niveau relie ces itinéraires au SLAM embarqué du robot, tandis qu'en fin de parcours G-DRAGON bascule vers une exploration à base de frontières couplée à une cartographie sémantique voxel en vocabulaire ouvert, pour localiser des cibles décrites librement. En simulation, le système surpasse les baselines de l'état de l'art. Sur un UGV réel en milieu urbain non préparé, il a complété des missions de recherche de personnes avec des trajectoires atteignant 500 mètres. Ce travail comble un angle mort structurel des approches VLN (Visual-Language Navigation) actuelles, efficaces à courte portée mais dépourvues d'ancrage géospatial pour des missions longue distance. Les méthodes OSM couplées à des LLMs cloud pallient partiellement ce déficit, mais souffrent d'hallucinations factuelles et d'une incapacité à gérer le "dernier kilomètre" en vocabulaire ouvert. En substituant un modèle local et léger, G-DRAGON réduit la dépendance aux API distantes et améliore la fiabilité terrain, une propriété critique pour l'inspection industrielle, la livraison autonome ou les missions de sécurité. La validation en environnement urbain réel, même limitée à 500m et à un seul type de mission, distingue ce travail de la majorité des publications cantonnées à la simulation. G-DRAGON s'inscrit dans une trajectoire de recherche ouverte par NavGPT, LM-Nav et ViNT, qui ont progressivement intégré les LLMs dans la planification de trajectoires robots. La substitution d'un modèle edge à un LLM cloud s'aligne sur une tendance plus large d'inférence locale dans la robotique de service et industrielle. Les concurrents directs sont les frameworks académiques de navigation guidée par le langage ainsi que les pipelines LLM multimodaux couplés à des robots commerciaux. Aucun acteur européen n'est cité dans le papier, bien que des laboratoires comme le LAAS-CNRS travaillent sur des problématiques adjacentes de navigation autonome en environnements complexes. Le papier n'étant pas encore soumis à une relecture par les pairs, les métriques de performance en simulation restent à confirmer sur des environnements plus diversifiés et des missions multi-étapes.

UELe LAAS-CNRS travaille sur des problématiques adjacentes de navigation autonome en environnements complexes, et la tendance à l'inférence locale illustrée par G-DRAGON est directement pertinente pour les équipes R&D robotique françaises et européennes cherchant à réduire leur dépendance aux API cloud.

RecherchePaper
1 source