LocalNav : distillation de VLMs frontière et RL incarné pour la navigation embarquée vers un objet cible

LightNav-0 : révéler l'intelligence spatiale des VLM pour la navigation incarnée généraliste

Publié sur arXiv le 30 août 2026 (référence 2608.30935), LightNav-0 est un modèle compact et généraliste de navigation robotique qui exploite directement les capacités spatiales des modèles vision-langage pré-entraînés, sans tête de prédiction propre à chaque tâche. Il unifie suivi d'instructions, navigation vers un objet en vocabulaire ouvert et suivi visuel via un pointage spatial à double canal, converti en trajectoires par un tokenizer d'action à quantification vectorielle résiduelle propre à chaque robot. Entraîné sur plus de 2 000 scènes et 4 000 heures de données, via un pré-entraînement au raisonnement embarqué (checkpoint LightNav-ER), un fine-tuning supervisé puis du renforcement, il revendique la meilleure moyenne sur 8 benchmarks de raisonnement embarqué et des scores état de l'art en monoculaire sur les 10 environnements de simulation testés, avec généralisation zero-shot en conditions réelles sur plusieurs robots. Cette approche compte car elle traite la navigation comme une capacité transférable plutôt qu'un empilement de modules dédiés par tâche et par robot, une fragmentation qui limite aujourd'hui la portabilité entre plateformes. En s'appuyant sur un VLM générique, LightNav-0 rejoint la tendance des modèles vision-langage-action comme Pi-0 ou GR00T N2, qui visent à unifier perception, raisonnement et contrôle moteur. Pour les intégrateurs, l'intérêt tient à la promesse d'un backbone unique redéployable sur des robots variés sans réentraînement complet. Il s'agit toutefois à ce stade d'un résultat de recherche en preprint, mesuré sur benchmarks et en simulation, non d'un produit commercialisé. LightNav-0 s'inscrit dans la course aux modèles de fondation généralistes pour la robotique, aux côtés de systèmes VLA comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI), tous conçus pour transférer une même intelligence spatiale à plusieurs tâches et plateformes. L'article ne mentionne aucune affiliation industrielle, aucun partenaire de déploiement ni acteur français ou européen. Les auteurs présentent leurs résultats comme une preuve que des VLM compacts peuvent servir de socle transférable pour la navigation embarquée généraliste, sans annoncer de calendrier de déploiement commercial au-delà des essais réels décrits dans l'étude.

OpenFlyV2 : un modèle vision-langage-action (VLA) embarqué pour la perception et la navigation aériennes

OpenFlyV2, un modèle vision-langage-action (VLA) embarqué pour drones, a été présenté par une équipe académique dans un preprint arXiv (version 2). Il tourne entièrement à bord d'un NVIDIA Jetson Orin NX, un module de calcul compact. Il génère des blocs d'actions de 12 points de passage (waypoints) à 10 Hz, sans calcul déporté. Un « expert d'action » léger convertit le contexte multimodal partagé en trajectoires de vol à court horizon. Une mémoire temporelle sensible au mouvement et des a priori d'action réduisent le coût du contrôle en boucle fermée. Les auteurs ont construit un jeu de données simulé d'environ 70 000 trajectoires de navigation et 60 000 paires instruction-réponse en langage naturel. Le transfert de la simulation au quadrirotor réel se fait en zero-shot, sans aucune donnée aérienne réelle, avec 48 % de réussite en navigation sur quatre environnements réels. Le code doit être publié sur GitHub sous le nom AeroBrain. L'intérêt tient à l'architecture plus qu'au score. Les systèmes aériens existants sont le plus souvent spécialisés dans une seule fonction (détection, grounding d'objets ou navigation). Ils dépendent aussi d'un calcul déporté ou ne tiennent pas la boucle fermée sur une plateforme contrainte. OpenFlyV2 montre qu'un même modèle peut combiner compréhension sémantique, perception ancrée dans le langage, raisonnement spatial et pilotage continu sur du matériel embarqué. Pour un intégrateur de drones d'inspection ou de logistique, cela rend crédible l'autonomie sans liaison permanente vers un serveur. Le taux de 48 % reste toutefois modeste. Il signifie qu'un vol sur deux échoue, loin d'un seuil opérationnel. Le nombre de scénarios réels, la difficulté des consignes et les conditions d'essai ne sont pas détaillés dans le résumé. La mention de transfert sim-to-real sans données réelles est un résultat encourageant, mais il s'agit d'une validation de laboratoire, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la montée des VLA, d'abord développés pour la manipulation et les robots au sol (Pi-0, GR00T, Helix), puis étendus à l'aérien, où les contraintes de masse, de consommation et de latence sont plus sévères. Il prolonge la série OpenFly, consacrée à la navigation aérienne guidée par le langage. Les alternatives restent soit des pipelines modulaires combinant perception, planification et contrôle, soit des modèles lourds exécutés sur GPU distant. La prochaine étape probable est la publication du code, qui permettra de reproduire les 48 % et de mesurer la robustesse hors des environnements testés. Les comparaisons avec d'autres modèles de navigation aérienne et des essais en conditions réelles plus variées (vent, éclairage, obstacles dynamiques) seront décisifs pour juger de la maturité de l'approche.

NavWAM : modèle du monde et d'action pour la navigation visuelle guidée par objectif

Des chercheurs présentent NavWAM (Navigation World Action Model), une architecture diffusion-transformer publiée en préprint sur arXiv (identifiant 2606.13494, juin 2026), conçue pour la navigation visuelle conditionnée par un objectif. Le problème posé est classique en robotique mobile : un robot doit naviguer vers une cible image sous observabilité partielle, en anticipant uniquement depuis sa caméra embarquée comment ses déplacements vont modifier son champ de vision. NavWAM fusionne dans une séquence latente partagée trois composantes distinctes : les observations visuelles futures prédites, les valeurs de progression vers l'objectif, et les blocs d'actions (action chunks). L'entraînement combine un préentraînement en simulation suivi d'une adaptation sur robot réel, avec une évaluation en boucle fermée sur des tâches de navigation image-à-image. Ce travail répond à une limitation bien identifiée des modèles de monde pour la navigation : ces modèles prédisent correctement l'évolution visuelle future, mais restent des modules passifs qui exigent un planificateur externe pour convertir leurs prédictions en commandes effectives. NavWAM élimine ce découplage en apprenant conjointement la prédiction visuelle, les valeurs d'objectif et la politique d'action. Concrètement, la clairvoyance visuelle du modèle de monde devient directement exploitable pour le contrôle moteur, sans recourir à une recherche d'actions de type CEM (Cross-Entropy Method). Sur les benchmarks offline et en déploiement réel en boucle fermée, NavWAM surpasse les baselines world-model à planification externe reportées par les auteurs. Comme pour tout préprint non encore revu par les pairs, ces résultats restent à valider sur une diversité d'environnements plus large. L'approche s'inscrit dans une tendance qui cherche à unifier modèles génératifs et politiques de contrôle, direction explorée notamment par les modèles VLA (Vision-Language-Action) tels que Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui opèrent eux aussi sur des espaces latents partagés multi-modalités. La différence ici est la focalisation stricte sur la navigation monoculaire, sans instruction sémantique en langage naturel. Le passage sim-to-real est traité par fine-tuning sur données réelles, méthode désormais standard mais dont la robustesse dépend fortement de la diversité des scènes d'entraînement, non précisée dans l'abstract. Aucun code ni dataset n'est encore annoncé ; une page projet avec démonstrations vidéo est disponible à l'adresse fournie par les auteurs.

Ordonnancement sensorimoteur inter-étapes et encodage de cartes éparses pour la navigation incarnée en périphérie

Des chercheurs ont publié sur arXiv (réf. 2405.14154, version 5) une étude sur le déploiement d'agents robotiques autonomes sur matériel embarqué contraint. La tâche centrale est l'ObjectNav (navigation orientée-objet) : l'agent doit localiser et atteindre un objet cible dans un environnement intérieur inconnu. Le profilage d'un pipeline modulaire existant révèle deux goulots distincts : la construction de la carte sémantique domine la latence par étape, tandis que la prédiction de destination domine la mémoire de pointe. Les auteurs proposent deux optimisations orthogonales : SKIP, un ordonnanceur adaptatif qui détermine à chaque pas de navigation si la mise à jour de la carte peut être omise sans dégrader la performance, et SCOUT, un encodeur appliquant des convolutions parcimonieuses (submanifold sparse convolutions) sur les seules régions actives de la carte. Sur le benchmark HM3D, testé sur serveur et sur plateformes embarquées, SKIP+SCOUT atteint 1,7x d'accélération globale, 50,5 % de réduction de la mémoire de pointe, et +7,1 % en SPL (Success weighted by Path Length) par rapport à la baseline dense. Ce dernier chiffre est le plus contre-intuitif : réduire la complexité perceptive améliore non seulement l'efficacité mais aussi la qualité de navigation, suggérant que la sélectivité perceptive affine la carte plutôt qu'elle ne la dégrade. Pour les intégrateurs cherchant à déployer de la navigation autonome sur des SoC Nvidia Orin ou des robots AMR sous contrainte de coût, une réduction de 50,5 % de la mémoire de pointe est directement décisive. SKIP se transfère à un second pipeline modulaire (PONI) avec des pertes quasi nulles et reste robuste au bruit de capteur de profondeur, deux signaux positifs pour la généralisation au-delà du pipeline initial. L'article s'inscrit dans la vague de travaux sur l'IA physique embarquée portée par Meta AI Research (Habitat), CMU et plusieurs équipes universitaires. Le benchmark HM3D reste un environnement simulé et les auteurs ne présentent pas de résultats sur robot physique, laissant entière la question du sim-to-real gap dans ce contexte précis. Les prochaines étapes logiques seraient une validation sur plateformes commerciales réelles et une extension aux agents de type VLA (Vision-Language-Action), où la pression sur l'inférence embarquée est encore plus forte.

💬 Le truc contre-intuitif ici, c'est que faire moins de perception améliore la navigation (+7,1% SPL en prime de la réduction mémoire). Ça valide une intuition qu'on avait depuis un moment : les pipelines actuels calculent trop, pas trop peu, et l'overhead perceptif pollue autant qu'il guide. Reste le sim-to-real, qui est toujours l'éléphant dans la pièce de ce genre de recherche.