RecherchearXiv cs.RO 16 octobre 2026

X-Fly : apprendre à atteindre et à s'arrêter en navigation aérienne vision-langage par blocs complets

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Les agents de navigation aérienne guidés par le langage (aerial VLN), bâtis sur de grands modèles vision-langage, coûtent cher à interroger. Un papier publié sur arXiv (2610.21450) présente X-Fly, un cadre d'entraînement par étapes qui exécute en entier le « chunk » d'actions prédit avant de replanifier. Cette exécution complète fait passer l'inférence de 195 à 42 ms par waypoint exécuté pour la politique des auteurs. Sur le benchmark OpenFly, le clonage de comportement (BC) en chunk complet échoue surtout par absence d'arrêt : 47,78 % de ses issues sur test-seen sont des échecs « no-stop ». Avec huit contrôles par décision, X-Fly atteint 74,18 % de taux de succès (SR) sur test-seen et 51,73 % sur test-unseen. Le BC en chunk complet plafonne à 16,45 % et 18,43 %, et DreamFly, la référence comparée, à 32,04 % et 29,46 %.

Le résultat touche un point sensible du déploiement des drones pilotés par modèle de fondation : le coût d'inférence par pas de commande. Réduire le temps de calcul par waypoint d'un facteur 4,6 rend plausible un contrôle embarqué ou à bas coût. Mais la méthode montre aussi que ce gain a un prix, car le chunk complet éloigne la politique des états visités par l'expert. Les démonstrations ne supervisent alors ni la récupération après dérive ni l'arrêt à l'arrivée. Cela confirme qu'un simple clonage d'experts ne tient pas en boucle fermée, et que l'apprentissage par renforcement et l'étiquetage des états visités par l'apprenant sont indispensables. À relativiser : les résultats viennent d'un benchmark en simulation, et l'écart entre test-seen (74,18 %) et test-unseen (51,73 %) rappelle que la généralisation à des scènes inédites reste le point faible. Aucun test sur drone réel n'est annoncé.

Pour y parvenir, X-Fly combine plusieurs briques. Recovery DAgger étiquette les états de décision visités par l'apprenant avec des chunks lissés qui rejoignent les segments experts futurs, et avec un STOP dès le premier état dans la zone cible. Flow-GRPO affine ensuite conjointement le contrôleur de flux par chunks et une politique STOP de type Bernoulli, à partir des résultats en boucle fermée de tâches identiques, complétés par une supervision d'arrêt vérifiée sur les résultats. Cette approche prolonge la vague des politiques VLA à génération par flux et des méthodes de type GRPO, appliquées ici à la navigation aérienne. Il s'agit d'une publication de recherche : aucun produit, calendrier de pilote ou acteur industriel n'est cité, et les prochaines étapes probables sont une validation sur d'autres benchmarks puis sur matériel réel.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

GeoScaffold : apprendre des latents géométriques compacts par reconstruction pour une navigation vision-langage efficace

Une équipe de chercheurs publie sur arXiv GeoScaffold, un cadre de supervision géométrique pour la navigation vision-langage (VLN) en environnement continu. Il cible les politiques Video-LLM en streaming. Ces modèles convertissent directement des images RGB égocentriques et une instruction en actions de bas niveau, mais héritent de faibles a priori 3D de leur préentraînement 2D. La méthode se déroule en deux temps. Un tokenizer de profondeur compact est d'abord appris sur les cartes de profondeur des trajectoires d'entraînement, puis gelé. La politique est ensuite affinée avec quelques tokens de requête géométrique apprenables, dont les états cachés doivent reconstruire des informations utiles à la navigation: profondeur, connectivité de l'espace et traversabilité. Après l'entraînement, le tokenizer, les générateurs de cibles et les têtes de reconstruction sont supprimés. Le backbone et l'interface d'action restent identiques. Les auteurs affirment que GeoScaffold surpasse les navigateurs purement visuels de référence sur des benchmarks VLN continus. Le résumé ne donne aucun chiffre, ni taux de succès, ni latence, ni taille de modèle. L'enjeu est le coût d'inférence. Les extensions géométriques existantes imposent en production des capteurs de profondeur, des encodeurs 3D ou des appels d'outils de perception à chaque pas. Cela alourdit la nomenclature matérielle, la consommation et la latence. GeoScaffold déplace ce coût vers l'entraînement. Pour un intégrateur qui vise un déploiement embarqué sur robot mobile ou quadrupède, l'idée est donc de gagner en compréhension spatiale sans ajouter de capteur. Il faut toutefois rester prudent. Les résultats portent sur des benchmarks, probablement simulés, et aucun essai sur robot réel n'est mentionné. La profondeur reste indispensable à l'entraînement, ce qui suppose des données qui en contiennent. Ce travail ne tranche donc pas la question du transfert sim-to-real. Ce travail s'inscrit dans le passage des pipelines de navigation modulaires aux politiques de bout en bout de type VLA et Video-LLM. Ces dernières sont séduisantes par leur simplicité, mais limitées par leur pauvreté géométrique. Les approches concurrentes y répondent en ajoutant des modules au moment de l'inférence. GeoScaffold suit l'autre voie, qui consiste à injecter la structure 3D dans les poids par des objectifs auxiliaires de reconstruction. Aucun acteur français ou européen n'est cité. Il s'agit d'un preprint, sans produit ni déploiement. Les prochaines étapes à surveiller sont la publication du code, la mesure de la latence sur matériel embarqué et une validation sur robot physique.

RecherchePaper

1 source

2arXiv cs.RO

Navigation air-sol collaborative vision-langage pour la navigation via cartes aériennes partagées

Des chercheurs ont publié sur arXiv (2609.03483) un système baptisé AGC-VLN, pour "Air-Ground Collaborative Vision-and-Language Navigation", qui fait collaborer un drone (UAV) offrant une vue aérienne globale et un véhicule terrestre autonome (UGV) doté d'une caméra en vue subjective. Le drone superpose sur sa vue plongeante la position rapportée de l'UGV et la cible identifiée par un modèle vision-langage (VLM), sous forme de repères "CAR" et "GOAL" avec distances, pour construire une carte partagée en vue aérienne. L'UGV s'en sert pour planifier un trajet le long des routes avec un VLM figé, non réentraîné, pendant que le drone exécute en parallèle 3D-SPF, une variante de la méthode de localisation SPF, pour repérer et rejoindre la cible depuis les airs. Sur 100 épisodes en boucle fermée dans la scène Town10HD du simulateur CARLA-Air, le taux de réussite conjoint atteint 77,0%, contre 50,0% pour le drone seul, soit un gain de collaboration de 27,0 points, et dépasse de 24,0 points la meilleure référence mono-agent publiée, Travel UAV (53,0%). Ce travail comble un angle mort documenté: une évaluation récente sur CARLA-Air portant sur cinq modèles VLA de pointe n'avait trouvé aucune coopération stable entre drone et robot terrestre, la communication sémantique naïve ou le couplage bidirectionnel dégradant même les performances. AGC-VLN propose une architecture sans réentraînement, qui sépare le raisonnement sémantique confié au VLM de l'exécution géométrique déterministe, ouvrant une interface de collaboration exploitable sans données supplémentaires. Pour les intégrateurs qui déploient des flottes hétérogènes drones et robots mobiles, la preuve que le gain vient de la complémentarité des points de vue plutôt que d'un modèle plus puissant plaide pour des architectures multi-agents modulaires plutôt que des VLA monolithiques appliqués robot par robot. Le papier s'inscrit dans la lignée des méthodes de navigation vision-langage sans entraînement, jusqu'ici cantonnées au mono-agent, et se compare à Travel UAV ainsi qu'à SPF, dont 3D-SPF est une extension. Les auteurs revendiquent la première base de référence "training-free" pour la navigation collaborative air-sol, une affirmation à prendre comme un positionnement plutôt qu'un fait vérifié indépendamment, le domaine restant, de leur propre aveu, largement inexploré. Les résultats reposent uniquement sur simulation, sans essai en conditions réelles ni chiffres de déploiement industriel; le code est publié sur GitHub (ZSN2024/AGC-VLN), laissant ouverte la question du transfert simulation-vers-réel pour des flottes physiques.

RechercheActu

1 source

3arXiv cs.RO

C²Nav : comparer avant de s'engager, pour la navigation vision-langage en zero-shot

Publié sur arXiv le 15 septembre 2026 (2609.15142), C2Nav est un framework de navigation vision-langage zero-shot pour environnements continus (VLN-CE), sans entraînement supplémentaire. Trois modules le composent : Seeing élit par comparaison ordinale une vue parmi des candidates validées physiquement ; Remembering maintient un croquis de route et compare les hypothèses d'étapes d'instruction voisines ; Arriving combine une échelle d'hésitation, une comparaison rétrospective et un retour en arrière révocable pour décider l'arrêt. Sur le protocole public OpenNav R2R-CE 100, C2Nav avec Qwen3-VL-8B-Instruct obtient 41,0% de taux de réussite oracle (OSR), 31,0% de taux de réussite (SR) et 16,7% de SPL, le taux pondéré par la longueur du trajet ; avec GPT-5.5, ces scores montent à 54,0%, 44,0% et 29,0%. Sans Seeing, Remembering ou Arriving, le SR tombe respectivement à 14,0%, 25,0% et 29,0% ; remplacer les réponses comparatives par des questions cardinales le réduit à entre 12,0% et 28,0% selon l'étape du trajet. L'apport tient à l'interface entre modèle et robot plutôt qu'au modèle seul. La plupart des systèmes VLN-CE font produire au VLM des sorties cardinales, points de passage, pixels, caps, décisions d'arrivée absolues, couplant une réponse générative incertaine à une magnitude géométrique ou à un engagement irréversible. C2Nav inverse cette logique : le VLM compare des alternatives déjà construites par le contrôleur, tandis que géométrie, seuils et exécution restent du côté physique du robot. Les résultats montrent qu'une interface décisionnelle contrainte et un raisonnement de VLM plus puissant sont complémentaires et non substituables, ce qui suggère aux intégrateurs un gain de fiabilité accessible sans fine-tuning, par simple reformulation des questions posées au modèle. Le travail s'inscrit dans la navigation vision-langage en environnement continu, où l'essor des VLM généralistes pousse les chercheurs à les insérer directement dans la boucle de commande, souvent en zero-shot pour éviter un entraînement dédié à chaque environnement. C2Nav se positionne face aux architectures existantes exigeant des sorties géométriques directes, en s'appuyant sur deux VLM distincts, Qwen3-VL-8B-Instruct en version compacte et GPT-5.5 en référence plus puissante, évalués sur le protocole public OpenNav R2R-CE 100. Il s'agit à ce stade d'un article de recherche déposé sur arXiv, sans intégration dans un robot commercial ni déploiement réel, et sans suite annoncée par les auteurs.

RecherchePaper

1 source

4arXiv cs.RO

LA4VLA : apprendre à agir sans vision par pré-entraînement langage-action

Des chercheurs ont publié sur arXiv (2606.27295, juin 2026) un cadre de pré-entraînement baptisé LA4VLA qui s'attaque à un défaut structurel des modèles Vision-Langage-Action (VLA) : en supervision conjointe visuelle et textuelle, le signal visuel écrase le signal langage, poussant les politiques de contrôle à exploiter des raccourcis visuels spécifiques à une scène plutôt qu'à exécuter des instructions généralisables. LA4VLA introduit une phase de pré-entraînement sans images : les trajectoires de démonstration existantes sont découpées en segments atomiques, chacun associé à une description textuelle bas-niveau, produisant LA4-33K, un dataset de 33 000 épisodes Langage-Action construits entièrement à partir de données existantes sans collecte robotique supplémentaire. Le modèle LA4VLA-1B (1 milliard de paramètres) est évalué selon trois paradigmes : pré-entraînement LA seul, séquentiel LA puis VLA, et mixte LA+VLA. Le pré-entraînement mixte améliore le taux de succès moyen de 17,8 points de pourcentage en simulation et de 45 points sur tâches réelles par rapport à l'absence de pré-entraînement. Ces résultats ont une portée directe pour les développeurs de politiques robotiques polyvalentes. Le problème des raccourcis visuels est bien documenté dans la littérature : les robots apprennent à reconnaître un arrangement de scène particulier plutôt qu'à interpréter une instruction générique, ce qui fragilise les politiques dès que l'environnement varie légèrement. Le gain de 45 points sur les tâches réelles, contre 17,8 en simulation, est particulièrement notable : il suggère que l'approche atténue précisément le sim-to-real gap, principal obstacle aux déploiements industriels. Pour les intégrateurs, la méthode permet de valoriser des datasets de démonstrations existants sans mobiliser de ressources robotiques supplémentaires, réduisant substantiellement le coût d'entrée vers des politiques plus robustes. Les modèles VLA ont connu une forte accélération depuis 2023, portée par des travaux comme RT-2 (Google DeepMind), OpenVLA ou π0 de Physical Intelligence, qui s'appuient tous sur un pré-entraînement visuel massif suivi d'un fine-tuning robotique. LA4VLA propose une direction complémentaire et orthogonale : renforcer le conditionnement langage indépendamment du flux visuel, en exploitant la structure sémantique des trajectoires plutôt que leur apparence. L'abstract ne mentionne ni affiliations institutionnelles précises ni partenaires industriels ; il s'agit d'une contribution académique validée en laboratoire, sans pilote commercial annoncé. La suite logique serait une évaluation sur des benchmarks standardisés comme LIBERO ou CALVIN, ainsi qu'une intégration dans des pipelines humanoïdes à manipulation complexe où la généralisation au langage est particulièrement critique.

RechercheOpinion

1 source