RecherchearXiv cs.RO 26 octobre 2026

Du langage naturel à Nav2 : politiques opérationnelles pour la navigation par cartes de coûts

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un préprint arXiv décrit une interface en langage naturel qui permet à un opérateur de transmettre des règles d'exploitation à la pile de navigation ROS 2 Nav2. Un modèle de langage exécuté en local convertit chaque consigne en politique JSON précisant destinations, contraintes spatiales et conditions temporelles ou événementielles. Des contrôles déterministes décident ensuite de l'acceptation de la mission. Trois adaptateurs de costmap injectent les politiques validées dans la pile existante, sans toucher au planificateur ni au contrôleur. Sur 150 commandes en anglais rédigées par les chercheurs, quatre modèles locaux produisent entre 107 et 142 politiques correctes acceptées, contre 44 pour un parseur à règles, avec 3 à 20 acceptations erronées selon le modèle. L'injection de fautes montre le rejet de huit défauts d'endpoint ou de JSON et de 29 défauts au stade du validateur. En navigation, avec des politiques correctes, les temps de trajet moyens des tâches 1 à 3 baissent de 18,4 à 24,5 % en simulation et de 23,1 à 35,0 % sur un TurtleBot3, par rapport à une référence sans ces politiques. Une comparaison avec le KeepoutFilter natif de Nav2 et des démonstrations à deux robots complètent l'étude.

Pour les intégrateurs d'AMR, l'intérêt tient à l'architecture : le LLM ne pilote jamais le robot, il produit une spécification que du code déterministe vérifie avant qu'elle n'atteigne les costmaps. L'usage de modèles locaux répond aussi aux contraintes de confidentialité des sites industriels. Les résultats appellent toutefois de la prudence. Les commandes viennent des auteurs, en anglais, et ne reflètent pas le langage réel d'opérateurs. Entre 2 % et 13 % de politiques erronées acceptées restent un taux élevé pour un entrepôt. Le gain de temps compare le robot à une référence qui ignore les règles, pas à un autre planificateur, et le banc d'essai est un robot éducatif, pas un AMR industriel. Il s'agit d'un prototype de recherche, sans produit ni déploiement annoncé.

Nav2 est devenu la pile de navigation de référence sous ROS 2, et ses filtres de costmap (keepout, vitesse) sont aujourd'hui configurés à la main, par carte ou interface dédiée. Les gestionnaires de flotte propriétaires et les approches de type SayCan, où le modèle sélectionne directement des actions, occupent le même terrain par d'autres voies. Ce travail se distingue en traduisant le langage vers des contraintes explicites, plutôt que vers des commandes ou du code. Aucun acteur français ou européen n'est cité. Le préprint n'annonce ni pilote ni calendrier. Les prochaines étapes logiques sont des essais avec de vrais opérateurs, des langues autres que l'anglais et une flotte industrielle.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modélisation du monde conditionnée par le langage pour la navigation visuelle

Une équipe de chercheurs publie sur arXiv (2603.26741, version 2) un travail sur la navigation visuelle conditionnée par le langage, baptisée LCVN. Dans cette tâche, un agent incarné doit suivre une instruction en langage naturel en ne disposant que d'une observation égocentrique initiale, sans image du but. La perception et le contrôle continu doivent donc être guidés uniquement par le texte. Les auteurs introduisent le jeu de données LCVN, qui regroupe 39 016 trajectoires et 117 048 instructions vérifiées par des humains, couvrant des environnements et des styles de consigne variés. Ils comparent deux approches. La première, l'imagination latente, associe un modèle du monde à base de diffusion (LCVN-WM), qui imagine les observations futures, à un agent acteur-critique (LCVN-AC) dont la politique est apprise entièrement dans cet espace latent imaginé. La seconde, la prédiction autorégressive unifiée (LCVN-Uni), utilise un seul backbone multimodal qui prédit actions et observations en une passe sur une séquence de tokens partagée. Les résultats montrent que les deux approches sont complémentaires. L'imagination latente produit des déroulés plus cohérents dans le temps, tandis que la prédiction unifiée généralise mieux à des environnements jamais vus. Pour un ingénieur robotique ou un intégrateur, l'enseignement porte sur l'arbitrage d'architecture entre un modèle du monde explicite, utile pour la planification, et un modèle unique de type VLA (vision-langage-action), plus robuste hors distribution. Des ablations isolent l'effet du guidage linguistique, des signaux de conditionnement et du style d'instruction. Elles permettent de savoir si le goulot d'étranglement vient de l'ancrage du langage ou de la modélisation de la dynamique. Cette distinction est précieuse pour orienter les investissements, entre meilleures données langagières et meilleurs modèles dynamiques. Il faut cependant rester prudent : il s'agit d'un travail académique évalué sur un benchmark, sans déploiement sur robot physique annoncé. Il ne dit rien du transfert sim-to-real ni des temps de latence en conditions industrielles. Ce travail s'inscrit dans la longue tradition de la navigation visuelle conditionnée par un but image, qui sert de banc d'essai à l'IA incarnée depuis des années. Il rejoint la tendance actuelle qui combine modèles du monde génératifs et politiques linguistiques, portée par des modèles du monde comme ceux de la famille Genie ou Cosmos et par les VLA généralistes (Pi-0, GR00T, Helix), qui visent surtout la manipulation. La navigation par instruction reste moins couverte par ces modèles. Le jeu de données, relativement volumineux pour la tâche, peut servir de référence commune. Aucune suite commerciale ni calendrier de pilote n'est annoncé. La prochaine étape logique serait de tester ces approches hybrides sur du matériel réel, ou d'unifier imagination latente et prédiction autorégressive dans une même architecture.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

« Cartes sémantiques enrichies par instance pour la navigation en langage visuel »

Une équipe de recherche (RCI Lab) publie un nouveau framework baptisé Instance-Enriched Semantic Maps pour la navigation par instructions en langage naturel (Visual Language Navigation, VLN), avec trois apports techniques. D'abord, une cartographie 2.5D au niveau instance construite à partir d'images couleur et de profondeur via segmentation panoptique en vocabulaire ouvert, qui préserve les distinctions verticales et capture les petits objets, tout en associant à chaque élément des attributs sémantiques et des descriptions en langage naturel enrichies du contexte de la pièce. Ensuite, un module de traitement des requêtes s'appuyant sur un LLM pour sélectionner la cible, en routant dynamiquement les requêtes vers des experts spécialisés par type et en fusionnant leurs scores pour une sélection d'objectif cohérente quel que soit le formulation de la requête. Enfin, une représentation sémantique nettement plus compacte, avec une réduction de stockage d'environ 96 % par rapport aux approches à scene-graph 3D, tout en conservant l'information spatiale nécessaire à la navigation. Sur le plan des résultats, la représentation 2.5D dépasse la référence 3D de plus de 27 % en AUC normalisée, et le système complet améliore la récupération d'objets de plus de 17 % et le taux de réussite de navigation de plus de 23 % par rapport à la baseline, sur des types de requêtes variés. Pour les robots mobiles autonomes (AMR) et les agents embarqués évoluant en intérieur, ces travaux ciblent un goulot d'étranglement connu des systèmes VLN actuels : la cartographie sémantique existante manque de granularité au niveau des instances individuelles et se montre fragile face à la diversité réelle des formulations utilisateur. En réduisant drastiquement le coût de stockage des cartes tout en gardant leur précision spatiale, l'approche répond à une contrainte concrète de déploiement embarqué, où la mémoire et le calcul restent limités. C'est un signal que la navigation par langage naturel progresse vers une robustesse compatible avec des usages industriels au-delà des démonstrations de laboratoire. Le travail s'inscrit dans la lignée des systèmes VLN combinant cartes spatiales sémantiques et raisonnement par LLM, une direction de recherche active depuis l'essor des modèles de segmentation en vocabulaire ouvert. Les auteurs comparent explicitement leur méthode à des approches de référence en scene-graph 3D, positionnant leur contribution comme une alternative plus légère et plus précise. Le code et les démonstrations sont disponibles sur la page du projet, mais aucun calendrier de déploiement sur robot physique n'est mentionné à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

G2-Nav : cartes de coûts vision-langage ancrées et sécurisées pour la navigation sociale des robots

Des chercheurs présentent G2-Nav, un nouveau framework de navigation sociale pour robots mobiles, détaillé dans un article déposé sur arXiv (2607.16956v1). Plutôt que de laisser un modèle vision-langage (VLM) décider directement des trajectoires, comme le font les approches end-to-end existantes, G2-Nav traduit le raisonnement sémantique du VLM en une costmap vision-langage interprétable. Le modèle identifie les zones traversables et les agents sociaux à partir d'une perception en ensemble ouvert (open-set), puis cartographie ce contexte social sous forme de coûts exploitables par le planificateur. Pour renforcer la robustesse en conditions réelles, le VLM effectue aussi une vérification sémantique sur le suivi (tracking) en amont, et les auteurs ajoutent un contrôle de sécurité à haute fréquence destiné à compenser la latence du système avant la génération de trajectoire. Des expériences en environnement réel, selon les auteurs, montrent une navigation autonome sûre, efficace et socialement conforme dans des espaces non structurés. Le code source doit être publié ultérieurement. L'intérêt de ce travail tient à la faille qu'il cherche à combler entre deux approches jugées insuffisantes pour l'autonomie complète: les frameworks VLM end-to-end, qui produisent des décisions de planification difficiles à auditer et donc risquées à déployer, et les méthodes d'instruction-following, pensées pour suivre des consignes humaines plutôt que pour opérer de façon totalement autonome. En cantonnant le VLM à un rôle d'évaluation sémantique plutôt que de contrôle direct, G2-Nav vise une architecture plus traçable, un enjeu concret pour les intégrateurs et décideurs industriels qui doivent justifier la sécurité de robots évoluant parmi des humains, en entrepôt, en établissement de santé ou en espace public. Le garde-fou de sécurité haute fréquence répond en particulier à un angle mort fréquent des démonstrations VLM: la latence d'inférence, souvent ignorée dans les vidéos promotionnelles du secteur. Ce travail s'inscrit dans la vague de recherche actuelle sur l'usage des VLM pour doter les robots d'un raisonnement de niveau humain en navigation sociale, un domaine où les benchmarks restent encore largement issus de démonstrations contrôlées. L'abstract ne précise ni l'institution porteuse ni le matériel robotique utilisé pour les essais réels, et le code, annoncé comme futur, n'est pas encore disponible: il s'agit donc à ce stade d'un préprint à confirmer par la publication effective et par une évaluation indépendante, plutôt que d'une solution déployée ou commercialisée.

RecherchePaper

1 source

4arXiv cs.RO

Fusion RGB-D guidée par la fiabilité pour des cartes de coûts de navigation résistantes à l'éblouissement

Une équipe de recherche décrit, dans la version 2 d'un article publié sur arXiv sous la référence 2604.12753, une méthode de fusion RGB-D résistante aux reflets spéculaires sur les sols brillants, les vitres et les surfaces glacées en intérieur, un phénomène qui corrompt les caméras à stéréo active et fait apparaître des obstacles fantômes dans les cartes de coûts de navigation. Un réseau léger baptisé DRM-Net prédit, pixel par pixel, la fiabilité de la mesure de profondeur; une fusion guidée par cette fiabilité (RGF) applique une pondération continue et un seuil minimal avant intégration dans la carte d'occupation, de sorte qu'une mesure rejetée ne crée ni obstacle ni espace libre et que la cellule reste inconnue ou conserve sa valeur antérieure. L'entraînement s'appuie sur cinq images alignées en pose via des localisations LiDAR/AMCL indépendantes et un modèle d'incertitude calibré selon la distance. Comparée à un nvblox TSDF optimisé, au post-traitement du SDK RealSense d'Intel, à un filtrage à seuil de confiance stéréo élevé et aux réseaux TDCNet et HDCNet, la méthode DRM+RGF atteint, sous reflets sévères, un taux de fausses détections d'obstacles de 0,056, un rappel d'espace libre de 0,897, un temps de traitement de 16,5 ms par image et 91,4% de réussite de tâche; sur les essais en scènes réfléchissantes retenus (98 pour la référence contre 105 pour DRM+RGF), les collisions chutent de 14 à 1. Pour les intégrateurs de robots mobiles autonomes en entrepôt, hôpital ou usine, ce travail cible un défaut opérationnel bien réel: sols cirés et parois vitrées provoquent soit des arrêts intempestifs, soit des collisions lorsque les mesures douteuses sont ignorées sans discernement. En laissant les cellules incertaines dans un état inconnu plutôt que de trancher, la méthode évite le compromis binaire habituel entre filtrage agressif, qui supprime aussi de vrais obstacles, et complétion dense par apprentissage, qui peut inventer de la géométrie. Les auteurs restent toutefois mesurés: les résultats proviennent d'essais contrôlés portant sur une centaine de passages chacun, et l'article ne revendique ni produit commercial ni déploiement en flotte réelle. Le brouillage des caméras de profondeur à stéréo active par les reflets spéculaires est un problème connu de longue date en cartographie robotique, où les réponses existantes se limitaient jusqu'ici au filtrage strict des mesures peu fiables ou à la complétion par réseau de neurones. En confrontant DRM-Net et RGF à des références largement utilisées, comme nvblox et le SDK RealSense, ainsi qu'à des réseaux de complétion récents comme TDCNet et HDCNet, l'étude vise une comparaison directe plutôt qu'une simple démonstration isolée. Publié en version révisée sur arXiv, sans partenaire industriel ni feuille de route annoncée, l'article laisse en suspens la validation à plus grande échelle, sur des plateformes robotiques variées et en conditions réelles de terrain.

RecherchePaper

1 source