RecherchearXiv cs.RO 22 octobre 2026

AirPlayground : un banc d'essai de navigation aérienne dans divers environnements reconstruits

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

AirPlayground est un benchmark unifié pour l'entraînement et l'évaluation de politiques de navigation aérienne, présenté sur arXiv (2610.29699). Ses auteurs ont reconstruit 94 environnements photoréalistes en 3D Gaussian Splatting (3DGS), couvrant des intérieurs, des zones urbaines extérieures et de la végétation, chacun doté d'une géométrie de collision alignée. Sur cette base, un pipeline adaptatif à chaque scène génère automatiquement des vols d'experts : 94 000 démonstrations, soit 46,5 millions d'échantillons synchronisés observation-état-action à 50 Hz. Une API extensible permet d'entraîner différentes formulations de politiques sur ce corpus commun et de les évaluer en boucle fermée selon des protocoles identiques. Sept méthodes de référence, réparties en quatre paradigmes de politiques, sont testées sur trois configurations de navigation, dans des environnements connus et inconnus. Avec ACT (Action Chunking Transformer), le passage de 5 à 70 scènes d'entraînement fait monter le taux de succès médian de 30,6 % à 41,2 % sur les scènes vues, et de 16,8 % à 29,4 % sur les scènes inédites.

Pour les équipes qui développent des drones autonomes, l'intérêt tient moins à un nouvel algorithme qu'à l'outillage. Les jeux de données de vol existants offrent peu de démonstrations denses et une couverture d'environnements trop étroite pour une évaluation standardisée en boucle fermée, ce qui rend les comparaisons entre architectures peu fiables. Les résultats sont à lire avec prudence. Même avec 70 scènes, ACT réussit moins d'une mission sur deux en environnement vu et environ trois sur dix en environnement inconnu, ce qui montre que la généralisation reste loin d'être acquise. L'effet d'échelle est cependant net, et la courbe n'est pas saturée, ce qui plaide pour plus de diversité de scènes plutôt que pour plus de vols par scène. Les auteurs relient aussi les erreurs de prédiction hors ligne aux résultats en boucle fermée, et soulignent le rôle des protocoles d'exécution et des interactions avec la scène. Un faible écart de prédiction ne garantit donc pas un bon vol, un point utile pour les intégrateurs qui valident des politiques apprises avant tout essai réel. L'étude ne dit pas non plus dans quelle mesure ces scènes reconstruites, aussi réalistes soient-elles, se transposent à des vols physiques.

Ce travail s'inscrit dans la tendance qui consiste à exploiter le 3DGS comme simulateur peu coûteux et visuellement fidèle, en alternative aux moteurs de jeu classiques, pour réduire l'écart sim-to-real en perception. Il prolonge les approches d'apprentissage par imitation issues de la manipulation robotique, comme ACT, vers la navigation aérienne, où les corpus de démonstrations à grande échelle restent rares. Le code et les données sont fournis sous forme d'API, ce qui devrait permettre à d'autres laboratoires de reproduire et d'étendre les comparaisons. Les prochaines étapes logiques sont des tests sur plateformes réelles, l'ajout de scènes et l'évaluation de politiques de type VLA (vision-langage-action), non abordées dans les résultats annoncés.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

NavGPT-3 : exploiter le contexte dans un environnement d'exécution de navigation hiérarchique

NavGPT-3 est un système de navigation embarquée décrit dans un preprint arXiv (2610.10787) qui associe un grand modèle de langage entraîné par apprentissage par renforcement agentique à long horizon et une politique d'action de type VLA (vision-langage-action), baptisée NavGPT VLA. Le modèle de langage raisonne et planifie, tandis que la politique pilote le mouvement en boucle serrée. Entre les deux, un « harness » fonctionne comme un petit système d'exploitation. Le raisonnement, l'exécution et la supervision tournent en threads séparés, chacun avec son propre contexte, ses outils et ses permissions. Un ordonnanceur décide quel thread contrôle le robot, ce qui permet d'interrompre une action et de changer de thread face à un imprévu. NavGPT VLA a été entraîné sur 19,28 millions d'exemples. Il alloue ses tokens visuels par « codec allocation », proportionnellement au changement de la scène. Seul, son modèle de 8 milliards de paramètres atteint 74,51 de taux de succès (SR) sur R2R-CE et 78,19 SR sur RxR-CE, ce qui le place en tête de ce benchmark. Avec le harness complet, le système monte à 81,51 SR sur R2R-CE. Sur RxR-CE, il obtient 90,43 SR contre 90,4 pour des suiveurs humains, et 78,47 nDTW (fidélité du chemin) contre 77,7. Un épisode dure 1 min 22 s, contre environ 3 min pour un humain. L'intérêt tient moins au score qu'à l'architecture. Les auteurs affirment que c'est la première fois qu'un agent autonome atteint le niveau humain sur ce benchmark. Surtout, ils chiffrent le gain de réactivité. Quand NavGPT VLA exécute la route, la boucle de raisonnement se raccourcit et le temps de réaction minimal passe de 3 à 19 secondes par décision du modèle de langage à 0,5 à 1 seconde par pas de la politique (1 à 2 Hz). Pour les intégrateurs et les équipes qui déploient des agents embarqués, cela appuie une thèse de plus en plus répandue : les modèles de langage de pointe ne doivent pas piloter directement les moteurs. Il faut une couche d'interface qui délègue le contrôle fin à une politique rapide et garde le LLM pour la décision de haut niveau. Les ablations portent sur la conception du harness et sur l'interaction entre les deux modèles. Elles visent à montrer que cette interface est un levier de performance à part entière, au même titre que la taille des modèles. Il faut toutefois relativiser. R2R-CE et RxR-CE sont des benchmarks de navigation en environnements simulés (Habitat), à instructions en langage naturel, et non des déploiements sur robot réel. La parité avec l'humain porte sur des métriques de succès et de fidélité de trajectoire, pas sur la robustesse en conditions industrielles. Le temps de 1 min 22 s n'est comparé qu'à une durée humaine approximative. Le travail s'inscrit dans la lignée des NavGPT précédents et dans la vague des modèles VLA de navigation, qui rivalisent avec des approches fondées sur de grands modèles vision-langage. Les auteurs promettent de publier tous les modèles, le code et les enregistrements d'évaluation. Cette ouverture permettra à des tiers de vérifier ces résultats, notamment le gain de réactivité annoncé, avant tout transfert vers des plateformes physiques.

UEPas d\'impact direct sur la France/UE

RechercheOpinion

1 source

2arXiv cs.RO

NavArena : construction automatisée de bancs d'essai de navigation orientés objectifs à partir de reconstructions par 3D Gaussian Splatting

Une équipe de recherche publie sur arXiv (arXiv:2609.04602v1, septembre 2026) NavArena, un framework automatisé qui transforme des reconstructions figées en 3D Gaussian Splatting (3DGS) en bancs d'essai pour la navigation visuelle orientée objectif. Le système combine trois briques techniques : un modèle 3DGS gelé pour le rendu RGB-D en vue égocentrique, une carte d'occupation dérivée de la densité des gaussiennes et de statistiques de hauteur pour évaluer la franchissabilité du terrain et détecter les collisions, et des candidats d'objectifs sémantiques extraits de masques multi-vues en vocabulaire ouvert. Ces composants permettent de générer automatiquement des épisodes de navigation et de les évaluer selon un protocole unifié en boucle fermée. Sur plus de 2 000 scènes, NavArena a généré 22,2 millions de trajectoires expertes. Les auteurs annoncent la publication publique de tous les outils de génération de benchmarks, des protocoles d'évaluation et des jeux de données dérivés. Le problème que résout NavArena est concret : les reconstructions 3DGS offrent des vues nouvelles photoréalistes mais manquaient jusqu'ici des contraintes de franchissabilité, des objectifs valides et des protocoles en boucle fermée nécessaires pour évaluer réellement une politique de navigation. En automatisant la construction de ces bancs d'essai à grande échelle, le framework répond à un goulot d'étranglement classique de la recherche en navigation embarquée et en IA incarnée, où la création manuelle de benchmarks réalistes reste coûteuse et peu reproductible. Pour les laboratoires qui entraînent des politiques de navigation visuelle sur robots mobiles ou AMR, l'intérêt est double : un volume massif de trajectoires expertes pour l'apprentissage, et une capacité diagnostique, les auteurs précisant que les tests de politiques (rollouts) servent surtout à démontrer la valeur diagnostique du protocole d'évaluation, plutôt qu'à afficher des scores flatteurs. NavArena s'inscrit dans la généralisation du 3D Gaussian Splatting comme technique de rendu rapide et photoréaliste, de plus en plus utilisée pour construire des environnements de simulation à partir de captures du monde réel, en remplacement des maillages synthétiques des bancs d'essai historiques bâtis sur des jeux de données comme Matterport3D. Ces reconstructions 3DGS existantes manquaient jusqu'ici de la couche sémantique et physique nécessaire à une évaluation de navigation rigoureuse, se limitant à la synthèse de vues. Aucune date de disponibilité publique n'est communiquée pour l'instant : seule l'intention de publier les outils de génération, les protocoles d'évaluation et les données dérivées est annoncée, sans calendrier ni partenaire de déploiement précisé.

RecherchePaper

1 source

3arXiv cs.RO

EvoNav-Bench : évaluer la navigation continue dans des environnements évolutifs

Des chercheurs présentent EvoNav-Bench, un banc d'essai conçu pour évaluer la navigation "lifelong" (LN) des agents robotiques dans des environnements qui changent au fil du temps, détaillé dans une version révisée déposée sur arXiv (identifiant 2609.08292v2). Construit sur le framework de génération procédurale ProcTHOR et étendant le format GOAT-Bench devenu la référence pour ce type de tâche, ce benchmark introduit des modifications de l'environnement entre les sous-tâches de navigation qu'un même agent doit résoudre séquentiellement dans un lieu donné. Les auteurs y testent trois méthodes récentes qui construisent et réutilisent des représentations persistantes de scène, comme des graphes de scène ou des captures visuelles, pour éviter de ré-explorer un lieu déjà visité. Ils comparent aussi trois stratégies heuristiques de gestion du changement : Frontier-Update, Fail-then-Update et Stage-Reset. Résultat principal : les méthodes existantes se révèlent fragiles dès que l'environnement évolue entre deux tâches. L'enjeu dépasse le simple exercice académique. La plupart des systèmes de navigation "lifelong" actuels supposent un environnement statique, alors que dans un entrepôt, un hôpital ou un domicile, des objets sont déplacés, des portes ouvertes ou fermées, des meubles réarrangés par l'activité humaine. Les benchmarks existants ne révélaient pas ce mode de défaillance : un agent peut fusionner sans discernement des observations obsolètes avec de nouvelles données, dégradant sa fiabilité sans que rien ne l'alerte. Pour les intégrateurs travaillant sur des robots de service ou de logistique s'appuyant sur des mémoires de scène persistantes, ce travail suggère que la simple accumulation d'expérience ne suffit pas : il faut des mécanismes explicites de détection et de mise à jour des changements, sous peine de dégrader la navigation au lieu de l'améliorer. Ce banc d'essai s'inscrit dans la continuité des travaux sur la navigation "goal-oriented" en environnements intérieurs simulés, où ProcTHOR et GOAT-Bench servent de fondations standards à la communauté de recherche en robotique embarquée. Aucun acteur commercial ni robot physique n'est impliqué ici : il s'agit d'un outil d'évaluation destiné aux laboratoires développant des agents de navigation. Les stratégies heuristiques proposées, plutôt que des solutions abouties, offrent une base de comparaison pour de futurs agents dotés de mécanismes d'adaptation plus sophistiqués aux changements de scène.

RecherchePaper

1 source

4arXiv cs.RO

UAV-ON : un référentiel pour la navigation aérienne autonome vers des objets en monde ouvert

Un nouveau benchmark baptisé UAV-ON vise à évaluer la capacité de drones autonomes à localiser des objets dans de vastes environnements ouverts, sans dépendre d'instructions linguistiques détaillées. Publié sur arXiv (2508.00288v5), le jeu de données couvre 14 environnements haute fidélité construits sous Unreal Engine, mêlant zones urbaines, milieux naturels et espaces mixtes, avec des agencements spatiaux complexes. Il définit 1270 objets cibles annotés individuellement, chacun décrit par une instruction de niveau instance précisant la catégorie, l'emprise physique et des descripteurs visuels, permettant un raisonnement ancré dans la scène. Les chercheurs ont aussi implémenté plusieurs méthodes de référence, dont Aerial ObjectNav Agent (AOA), une politique modulaire combinant sémantique de l'instruction et observations égocentriques pour une exploration orientée objectif sur de longs horizons. Résultat: tous les modèles testés peinent à accomplir la tâche, ce qui souligne la difficulté cumulée de la navigation aérienne et de l'ancrage sémantique des objectifs. Ce benchmark marque une rupture avec le paradigme dominant de la navigation vision-langage (VLN), qui repose sur des séquences d'instructions pas à pas et limite de fait l'autonomie et le passage à l'échelle des agents. En proposant une tâche d'Object Goal Navigation où l'agent ne reçoit qu'un objectif sémantique de haut niveau, UAV-ON teste une compétence plus proche des besoins réels d'inspection, de surveillance ou de cartographie par drone. L'échec généralisé des baselines confirme que le passage d'instructions détaillées à des objectifs sémantiques abstraits reste un verrou majeur, loin d'être résolu malgré les progrès des modèles vision-langage-action sur d'autres plateformes robotiques. La navigation aérienne embarquée demeure sous-explorée comparée à la navigation terrestre, où les benchmarks VLN se sont multipliés ces dernières années. UAV-ON s'inscrit dans cette lignée en l'adaptant aux contraintes spécifiques du vol: grande échelle, environnements non structurés, absence de repères au sol. Les auteurs positionnent ce travail comme une fondation pour de futures recherches sur l'autonomie UAV pilotée par des descriptions sémantiques, ouvrant la voie à des méthodes capables de généraliser au-delà des scénarios scriptés actuels.

RecherchePaper

1 source