Aller au contenu principal
Un cadre hiérarchique de vision-langage-navigation embarqué pour les robots aériens en environnements complexesIllustration générée par IA
RecherchearXiv cs.RO 

Un cadre hiérarchique de vision-langage-navigation embarqué pour les robots aériens en environnements complexes

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv (v1, novembre 2026) VLN-AR, un cadre hiérarchique de navigation vision-langage (VLN) conçu pour des robots aériens évoluant dans des environnements complexes, avec exécution embarquée. L'architecture sépare le raisonnement multimodal du contrôle bas niveau : le modèle prédit de manière structurée des commandes de pose 3D et des intentions de navigation, ensuite converties en actions dynamiquement réalisables par le drone. Pour pallier le manque de données 3D, l'équipe propose une chaîne entièrement automatisée fondée sur le 3D Gaussian Splatting (3DGS), qui génère à grande échelle des données de navigation photoréalistes. L'entraînement se fait en trois étapes progressives (ancrage visuel, raisonnement de scène, navigation complexe), et un agent cognitif léger gère la mémoire et la décomposition des tâches pour les trajets longs. Côté embarqué, la sparsification des tokens et l'allègement du modèle apportent une accélération de 7,1x à 9,4x sur des plateformes à ressources limitées, sans perte notable de performance selon les auteurs. Les résultats sont annoncés meilleurs que les méthodes existantes, en simulation comme en vol réel.

L'intérêt tient à ce que le travail s'attaque à quatre verrous qui freinent le passage des modèles de fondation aux drones : rareté des données 3D, faisabilité des trajectoires, raisonnement à long horizon et coût de calcul. Séparer le « cerveau » sémantique du contrôle de bas niveau est un schéma déjà courant pour les VLA en robotique mobile et manipulation ; son transfert à l'aérien, où la masse, l'énergie et la latence sont plus contraignantes, est un test utile de la maturité de ces approches. Le facteur d'accélération de 7,1x à 9,4x est le chiffre le plus parlant pour un intégrateur : il indique qu'un raisonnement vision-langage peut tourner sur du calcul embarqué sans liaison permanente vers le cloud, condition clé pour l'inspection, la logistique ou la sécurité en environnement dégradé. Le recours au 3DGS pour fabriquer des données synthétiques réduit aussi l'écart simulation-réel, sans le faire disparaître : la robustesse hors des scènes reconstruites reste à démontrer.

Il convient toutefois de lire ces résultats avec prudence. Il s'agit d'une prépublication non évaluée par les pairs, sans produit ni déploiement commercial annoncé. Le résumé ne précise ni le matériel embarqué, ni la taille du modèle, ni le nombre ou la nature des essais en conditions réelles, et le « maintien de la performance » dépend des benchmarks choisis par les auteurs. Le travail s'inscrit dans la lignée des recherches sur la navigation aérienne guidée par le langage, qui exploitent les grands modèles vision-langage et se heurtent depuis plusieurs années aux mêmes limites de données et de calcul. Les suites probables sont la publication du code et des jeux de données via le site du projet, des comparaisons sur des benchmarks partagés et des essais en environnements non vus, étape nécessaire avant tout pilote industriel.

Dans nos dossiers

À lire aussi

VLN en vol : une pile de navigation vision-langage embarquée pour robots aériens
Illustration générée par IA
1arXiv cs.RO 

VLN en vol : une pile de navigation vision-langage embarquée pour robots aériens

Une équipe de chercheurs a publié sur arXiv, le 18 septembre 2026 (référence 2609.20191), une étude décrivant "VLN on the Fly", une pile logicielle de navigation par instructions en langage naturel (vision-language navigation, VLN) fonctionnant intégralement à bord d'un robot aérien. Le système enchaîne quatre étages distincts et inspectables plutôt qu'un unique réseau de bout en bout : un modèle vision-langage (VLM) quantifié associe l'instruction textuelle à une cellule grossière de l'image caméra, la carte de profondeur convertit cette cellule en un objectif 3D, un planificateur de trajectoire rapide basé sur des splines B calcule un chemin faisable, puis une politique d'apprentissage par renforcement préentraînée traduit cette trajectoire en commandes moteur pour des quadricoptères. Sur 15 vols embarqués testant trois objets de référence du quotidien dans un volume intérieur contrôlé, le drone atteint sa cible dans 13 cas sur 15, avec une erreur moyenne de 5,72 cm par rapport à l'objectif et une utilisation moyenne du GPU embarqué de 39,3 %. Six essais supplémentaires en environnement encombré montrent des trajectoires sans collision grâce à un filtrage de la perception embarquée. L'intérêt de ces travaux tient à la contrainte de calcul propre aux drones, bien plus sévère que sur des robots au sol ou humanoïdes : grounding, planification et contrôle doivent se partager une puissance embarquée limitée, et une erreur dans un pipeline fusionné en un seul réseau (comme le font la plupart des politiques VLA de bout en bout) est difficile à isoler en vol. En conservant des étages séparés et observables, l'équipe défend une architecture plus sûre et plus facile à diagnostiquer, au prix probable d'une latence ou d'une flexibilité moindre qu'une politique end-to-end. Le chiffre de 39,3 % d'utilisation GPU suggère une marge de calcul disponible, preuve que l'exécution embarquée complète reste viable sans déport vers une station sol ou le cloud, un point clé pour les intégrateurs de drones d'inspection ou de logistique intéressés par un pilotage vocal ou textuel autonome. Il faut toutefois noter la portée limitée de la démonstration : 15 vols, trois objets, un environnement intérieur contrôlé, et un taux d'échec de 2 essais sur 15, loin d'un déploiement industriel validé. Ces travaux s'inscrivent dans le débat plus large opposant les architectures VLA de bout en bout, popularisées par des modèles comme Pi-0 ou GR00T N2 sur des plateformes au sol, à des pipelines modulaires jugés plus sûrs pour des systèmes critiques comme les drones volant à proximité d'humains ou d'obstacles. Aucun acteur français ou européen n'est mentionné dans cette étude, qui reste un prototype de recherche sans annonce de partenariat industriel ni de calendrier de déploiement commercial. Les essais en environnement encombré laissent entrevoir une prochaine étape vers des scénarios plus réalistes, mais aucun pilote opérationnel n'est pour l'instant annoncé.

RecherchePaper
1 source
Coordination souple centrée sur les passages pour la navigation hiérarchique multi-robots en environnements à goulots d'étranglement
Illustration générée par IA
2arXiv cs.RO 

Coordination souple centrée sur les passages pour la navigation hiérarchique multi-robots en environnements à goulots d'étranglement

Une équipe de chercheurs publie sur arXiv (2611.18877) un cadre de navigation multi-robots centré sur les passages, conçu pour les environnements à goulots d'étranglement : couloirs, portes, intersections étroites. Le système construit un graphe d'ensembles convexes induit par les passages, puis planifie les trajectoires par ordre de priorité avec deux niveaux de coordination dite « souple ». Le premier niveau est une sélection de route qui tient compte de l'usage de chaque passage et du sens de traversée. Le second est une planification espace-temps continue, restreinte à la route choisie, qui pénalise les conflits temporels au lieu de les interdire. Les références produites alimentent un contrôleur MPPI (Model Predictive Path Integral) qui évite les collisions en ligne. Sur 1 200 instances réparties dans 4 environnements, avec 5 à 30 robots, les auteurs annoncent un taux de succès quasi parfait et de meilleurs résultats que les méthodes de référence testées en makespan (durée totale de la mission) et en flowtime (somme des temps d'achèvement de chaque robot). Des essais matériels avec 8 robots se sont conclus sans collision sur tous les essais. Le travail s'attaque à une tension bien connue des intégrateurs de flottes. Les plannings globaux rigides, avec réservations de trajectoires, produisent de bonnes garanties sur le papier mais se dégradent dès qu'un robot prend du retard, patine ou rencontre un obstacle imprévu. À l'inverse, les méthodes purement locales réagissent bien mais se bloquent dans les goulots, faute de vision à long terme. Remplacer les réservations strictes par des pénalités, avec un suivi temporel et géométrique adaptatif et un replanning sélectif, vise un compromis exploitable en entrepôt, en usine ou en hôpital, où les écarts d'exécution sont la norme. Reste à relativiser : il s'agit d'un préprint non évalué par les pairs, les résultats reposent largement sur la simulation, et 8 robots en conditions de laboratoire restent loin des flottes de plusieurs centaines d'unités des déploiements logistiques. La comparaison dépend aussi du choix des baselines, que le résumé ne détaille pas. Ce travail s'inscrit dans la lignée du multi-agent path finding (MAPF) et de ses variantes continues, qui ont longtemps dominé la coordination de flottes, notamment dans les systèmes AMR et de goods-to-person comme ceux d'acteurs européens tels qu'Exotec. Les approches basées sur des ensembles convexes et la planification par priorités répondent à la limite de passage à l'échelle des solveurs optimaux, tandis que le MPPI, contrôleur d'échantillonnage parallélisable sur GPU, s'est imposé comme brique de commande réactive. Les suites possibles sont des tests sur des flottes plus grandes, avec des robots hétérogènes et des environnements dynamiques peuplés d'humains, ainsi qu'une confrontation directe avec les gestionnaires de trafic des fournisseurs d'AMR commerciaux. Aucun calendrier de transfert industriel n'est annoncé.

RecherchePaper
1 source
HAVANA : un modèle hiérarchique vidéo-action pour la navigation vision-langage
Illustration générée par IA
3arXiv cs.RO 

HAVANA : un modèle hiérarchique vidéo-action pour la navigation vision-langage

HAVANA, un modèle vidéo-action (VAM) hiérarchique dédié à la navigation guidée par le langage (Vision-Language Navigation, VLN), est décrit dans une nouvelle version d'un preprint arXiv (2610.24122v3). Son architecture à double système sépare deux fonctions que la plupart des VAM existants exécutent ensemble à l'inférence. Un système lent produit, à partir de l'historique d'observations, un plan latent compact conditionné par l'instruction en langage naturel. Un système rapide combine le dernier plan disponible avec l'observation courante pour générer des trajectoires locales. Les deux tournent de façon asynchrone, et aucune vidéo future n'est générée à l'inférence : le modèle apprend des représentations d'états visuels futurs sans les rendre explicitement. Les auteurs revendiquent des performances de pointe sur le benchmark OmniNavBench face aux méthodes de référence, ainsi que des déploiements réels en zero-shot dans des environnements inconnus. Le résumé ne fournit ni score chiffré, ni plateforme robotique, ni latence, ni détail sur le nombre ou la nature des essais réels. L'intérêt tient à l'argument d'ingénierie. Anticiper l'évolution des observations le long de la route apporte une information au-delà du champ de vision courant, mais les VAM qui couplent prédiction visuelle et génération d'actions recalculent cette prédiction à chaque pas de contrôle. Or le guidage lié à l'instruction varie lentement et peut être réutilisé sur plusieurs pas, alors que la trajectoire locale doit réagir aux observations fraîches (obstacles, géométrie immédiate). Découpler les deux réduit le coût de calcul embarqué, un point critique pour des robots mobiles ou des humanoïdes qui ne disposent pas d'un GPU de datacenter. Cela rejoint la logique des architectures dual-system déjà popularisées en manipulation, comme Helix de Figure ou GR00T de NVIDIA, et suggère qu'elle se transpose à la navigation. Reste à vérifier la portée des résultats : un benchmark unique, vraisemblablement en simulation, et des tests réels dont le protocole n'est pas précisé, laissent ouverte la question de l'écart entre démonstration et fiabilité en exploitation. Ce travail s'inscrit dans l'évolution de la VLN, passée de modèles entraînés sur des environnements simulés restreints à des approches fondées sur des modèles vision-langage-action (VLA) puis, plus récemment, sur des modèles du monde et des représentations prédictives de la vidéo. La limite de ces dernières est leur coût à l'inférence, que HAVANA cherche précisément à contourner en abandonnant la génération vidéo explicite au profit d'un plan latent. Il se place face aux VLA de navigation end-to-end et aux VAM couplés, mais le résumé ne nomme pas les baselines dépassées. Il s'agit d'une publication académique, non d'un produit : aucune commercialisation ni pilote industriel n'est annoncé. Les prochaines étapes à surveiller sont la publication des chiffres détaillés, la disponibilité éventuelle du code et des poids, et des validations sur des plateformes variées, notamment des robots à pattes ou humanoïdes, en environnements non contrôlés.

RecherchePaper
1 source
Relier le raisonnement vision-langage et le contrôle appris pour la navigation de robots à pattes en milieu naturel
Illustration générée par IA
4arXiv cs.RO 

Relier le raisonnement vision-langage et le contrôle appris pour la navigation de robots à pattes en milieu naturel

Des chercheurs présentent ROAM (Robust Open-world Autonomous Mobility), un système qui permet à des robots à pattes de naviguer sur des distances de l'ordre du kilomètre dans des environnements alpins et urbains complexes. L'architecture associe un modèle vision-langage (VLM), pré-entraîné sur des données à l'échelle d'internet, à deux politiques d'apprentissage par renforcement (RL) entraînées en simulation, l'une dédiée à la locomotion agile, l'autre à la navigation locale. Le VLM évalue les risques de la scène, interprète les panneaux et produit des étiquettes sémantiques assorties de coûts de navigation. Un module de segmentation à vocabulaire ouvert transforme ces étiquettes en une carte de risque dense, calculée en temps réel, qui sert d'entrée de conditionnement aux deux politiques. Lors des essais en conditions réelles, le robot a effectué des randonnées longues d'un kilomètre avec une intervention humaine minimale, a su lire des panneaux pour éviter des zones dangereuses et a identifié des surfaces sûres où poser ses pieds. L'article, publié sur arXiv, ne fournit pas dans son résumé de chiffres sur le taux d'intervention, le nombre d'essais ou la plateforme matérielle exacte. L'intérêt tient à la manière dont le système découple le raisonnement du contrôle. Plutôt que de demander à un modèle de fondation de piloter directement les articulations, ROAM lui confie la sémantique (ce qui est dangereux, ce qui est praticable) et laisse à des politiques RL éprouvées en simulation le soin de la dynamique du mouvement. Cette séparation répond à une critique récurrente des approches VLA de bout en bout, dont la latence et la fiabilité physique restent limitées sur des plateformes dynamiques. Pour les intégrateurs et les responsables d'exploitation qui envisagent des robots quadrupèdes pour l'inspection de sites, la surveillance d'infrastructures ou l'intervention en terrain non structuré, la carte de risque sémantique offre une interface lisible et auditable entre l'IA de haut niveau et le contrôleur. Les auteurs tempèrent toutefois le propos : ils reconnaissent des limites persistantes sur la fiabilité des VLM et leur raisonnement spatial, et concluent que les modèles de fondation sont une brique indispensable mais pas une solution complète pour la navigation en milieu sauvage. Cela contredit l'idée d'un problème résolu et rappelle l'écart entre démonstration réussie et déploiement robuste. Ce travail s'inscrit dans la convergence entre locomotion apprise par RL en simulation, devenue quasi standard sur les quadrupèdes depuis plusieurs années, et l'intégration de modèles de fondation pour la perception et la planification. Il se positionne face aux approches de navigation purement géométrique, qui ignorent la sémantique des panneaux ou de la nature du sol, et face aux politiques de bout en bout, plus gourmandes en données réelles. Il s'agit ici d'une contribution de recherche, sans produit commercial ni calendrier de pilote annoncé. Les prochaines étapes probables concernent la robustesse du VLM face aux erreurs de jugement, l'amélioration du raisonnement spatial et une évaluation quantitative plus large, indispensable avant tout transfert vers des usages industriels où une mauvaise interprétation d'un terrain peut coûter cher en matériel.

RecherchePaper
1 source