RecherchearXiv cs.RO 18 septembre 2026

GPT-6-Astra dans un flux de navigation : analyse comportementale en navigation vision-langage zéro-shot dans des environnements continus

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont évalué GPT-6-Astra comme agent de navigation dans un système zero-shot de Vision-and-Language Navigation en environnements continus (VLN-CE), où le modèle interprète des instructions en langage naturel, observe son environnement et propose des actions de déplacement. Le système s'appuie sur un cycle observation-décision-exécution avec des appels directs à l'API du modèle, sans harnais d'agent package ni fine-tuning spécifique à la navigation : chaque requête reçoit un sous-ensemble d'observations visuelles, un retour d'exécution des actions précédentes et un historique de progression conservé. L'étude, publiée sur arXiv (2609.20116), porte sur 50 des 100 épisodes val-unseen du benchmark R2R-CE utilisés par le système de référence Open-Nav. Résultats obtenus : taux de réussite de 52,0 %, SPL (Success weighted by Path Length) de 48,9 % et nDTW (normalized Dynamic Time Warping) de 70,8 %. À l'arrêt, 36,0 % des épisodes réussissent via un signal STOP validé par le workflow, et 16,0 % supplémentaires atteignent seulement le critère de distance, à la limite du nombre de pas autorisés.

Cette évaluation illustre à la fois le potentiel et les limites d'un grand modèle multimodal utilisé tel quel comme agent de navigation, sans entraînement dédié à la tâche. L'analyse des réponses montre que le modèle relie correctement repères visuels et actions passées aux instructions fournies, et qu'il sait demander des vues supplémentaires ou revenir sur un jugement incertain, un comportement de raisonnement explicite rarement documenté avec ce niveau de détail. Mais l'écart mis en évidence entre compréhension locale et achèvement autonome de la tâche, par exemple un franchissement reconnu comme inachevé alors que le modèle continue de pivoter sur lui-même, pointe une faiblesse structurelle : savoir qu'une action est correcte ne suffit pas à produire un comportement cohérent jusqu'à l'arrêt. Pour les intégrateurs qui envisagent des LLM généralistes pour piloter des robots mobiles ou des AMR, ce résultat tempère l'idée que les modèles zero-shot actuels suffisent en production, d'autant que l'échantillon reste limité à 50 épisodes.

Le protocole reprend le sous-ensemble d'épisodes de validation R2R-CE (Room-to-Room en environnements continus) déjà utilisé par Open-Nav, système de navigation antérieur servant de point de comparaison implicite. L'approche se distingue des architectures VLA spécialisées, entraînées de bout en bout sur des données de navigation, en testant directement les capacités générales d'un modèle multimodal via son API, sans fine-tuning ni harnais logiciel dédié. Les auteurs présentent ce travail comme une analyse comportementale plutôt qu'une revendication de performance record, en documentant précisément où le raisonnement du modèle réussit et où il échoue à se traduire en actions physiques cohérentes jusqu'à l'arrêt. Aucun déploiement réel ni produit commercial n'est annoncé : il s'agit d'une évaluation de recherche en preprint, dont les résultats invitent à des travaux futurs sur le contrôle de la terminaison des épisodes et sur l'articulation entre jugement local et planification de trajectoire à plus long terme.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Transfert simulation-réel de la navigation vision-langage en environnements continus avec un robot mobile à direction Ackermann

Des chercheurs publient sur arXiv (2610.07192) une étude de transfert simulation-réel pour la navigation guidée par le langage (Vision-Language Navigation, VLN) en environnement continu, testée sur un robot de conception artisanale à direction Ackermann, c'est-à-dire de type voiture, équipé d'une caméra et d'un LiDAR. Le système repose sur une architecture à attention croisée (Cross-Modal Attention, CMA). Celle-ci aligne images et instructions textuelles dans un espace d'embedding commun. Elle a d'abord été entraînée sur un jeu de données existant en simulation, puis affinée avec des données réelles collectées sur le robot. Deux leviers suffisent à l'adaptation : des ajustements photométriques linéaires et un fine-tuning sur un nombre limité d'épisodes. L'ensemble tourne hors ligne sur du matériel dédié embarqué, sans connexion à un service distant. Les performances sont mesurées par le SPL (Success weighted by Path Length) et le nDTW (Normalized Dynamic Time Warping). Le résumé publié ne fournit toutefois aucune valeur chiffrée, ni la taille du jeu de données réel, ni le nombre d'épisodes, ni les références comparées. L'intérêt tient à la contrainte levée. La plupart des modèles VLN académiques supposent un graphe de navigation prédéfini, des vues panoramiques à 360 degrés et une localisation parfaite. Ces hypothèses sont rarement réunies sur un robot de production. Faire fonctionner un modèle sans graphe, avec une seule caméra frontale, rapproche donc la VLN d'un cas d'usage déployable : donner un ordre en langage naturel à un AMR ou à un véhicule autonome dans un site non cartographié. Pour un intégrateur, le résultat suggère qu'un écart sim-to-real se réduit avec peu de données réelles et un recalage d'image simple, sans pipeline lourd. Il faut cependant rester prudent. Il s'agit d'un prototype de laboratoire, évalué sur un seul robot, et le résumé ne donne ni taux de réussite ni comparaison avec des VLA récents. Les conditions d'essai (lieux, éclairage, obstacles dynamiques) restent inconnues. On ne peut donc pas parler de transfert « résolu ». Ce travail s'inscrit dans la lignée des benchmarks VLN en simulation, notamment ceux en environnement continu, longtemps éloignés des contraintes matérielles réelles. Il se distingue des grands modèles vision-langage-action (Pi-0, GR00T, Helix) qui visent la manipulation et exigent des ressources de calcul bien supérieures. Ici, l'approche est plus modeste : un modèle CMA léger, exécutable embarqué. Aucune entreprise ni pilote commercial n'est annoncé, et aucun acteur européen n'est cité dans le résumé. La suite logique serait de publier des chiffres comparatifs, de tester d'autres plateformes (robots à roues différentielles, quadrupèdes) et de confronter l'approche à des environnements plus variés. Aucune date de code ou de jeu de données ouvert n'est précisée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

C²Nav : comparer avant de s'engager, pour la navigation vision-langage en zero-shot

Publié sur arXiv le 15 septembre 2026 (2609.15142), C2Nav est un framework de navigation vision-langage zero-shot pour environnements continus (VLN-CE), sans entraînement supplémentaire. Trois modules le composent : Seeing élit par comparaison ordinale une vue parmi des candidates validées physiquement ; Remembering maintient un croquis de route et compare les hypothèses d'étapes d'instruction voisines ; Arriving combine une échelle d'hésitation, une comparaison rétrospective et un retour en arrière révocable pour décider l'arrêt. Sur le protocole public OpenNav R2R-CE 100, C2Nav avec Qwen3-VL-8B-Instruct obtient 41,0% de taux de réussite oracle (OSR), 31,0% de taux de réussite (SR) et 16,7% de SPL, le taux pondéré par la longueur du trajet ; avec GPT-5.5, ces scores montent à 54,0%, 44,0% et 29,0%. Sans Seeing, Remembering ou Arriving, le SR tombe respectivement à 14,0%, 25,0% et 29,0% ; remplacer les réponses comparatives par des questions cardinales le réduit à entre 12,0% et 28,0% selon l'étape du trajet. L'apport tient à l'interface entre modèle et robot plutôt qu'au modèle seul. La plupart des systèmes VLN-CE font produire au VLM des sorties cardinales, points de passage, pixels, caps, décisions d'arrivée absolues, couplant une réponse générative incertaine à une magnitude géométrique ou à un engagement irréversible. C2Nav inverse cette logique : le VLM compare des alternatives déjà construites par le contrôleur, tandis que géométrie, seuils et exécution restent du côté physique du robot. Les résultats montrent qu'une interface décisionnelle contrainte et un raisonnement de VLM plus puissant sont complémentaires et non substituables, ce qui suggère aux intégrateurs un gain de fiabilité accessible sans fine-tuning, par simple reformulation des questions posées au modèle. Le travail s'inscrit dans la navigation vision-langage en environnement continu, où l'essor des VLM généralistes pousse les chercheurs à les insérer directement dans la boucle de commande, souvent en zero-shot pour éviter un entraînement dédié à chaque environnement. C2Nav se positionne face aux architectures existantes exigeant des sorties géométriques directes, en s'appuyant sur deux VLM distincts, Qwen3-VL-8B-Instruct en version compacte et GPT-5.5 en référence plus puissante, évalués sur le protocole public OpenNav R2R-CE 100. Il s'agit à ce stade d'un article de recherche déposé sur arXiv, sans intégration dans un robot commercial ni déploiement réel, et sans suite annoncée par les auteurs.

RecherchePaper

1 source

$SC$^{2}$-WM : un modèle du monde autocorrecteur à boucle de rétroaction fermée pour la navigation vision-langage en environnement continu$

3arXiv cs.RO

SC$^{2}$-WM : un modèle du monde autocorrecteur à boucle de rétroaction fermée pour la navigation vision-langage en environnement continu

Des chercheurs ont publié le 11 août 2026 sur arXiv (référence 2608.07548v1) un article présentant SC²-WM, un modèle du monde auto-correcteur destiné à la navigation par vision et langage en environnement continu (VLN-CE), une tâche où un agent robotique doit suivre des instructions en langage naturel pour se déplacer dans un espace qu'il ne perçoit que partiellement. Contrairement à la plupart des méthodes existantes, qui fonctionnent en boucle ouverte sans mécanisme pour détecter une dérive de leur représentation interne pendant l'exécution, SC²-WM introduit une boucle de rétroaction fermée : le modèle du monde anticipe les conséquences d'une action avant de l'exécuter et affine le plan de navigation au niveau de l'état interne. Pour les cas les plus difficiles, les auteurs ajoutent un mécanisme d'adaptation conditionnelle qui met à jour le modèle du monde lui-même au moment du test, lorsque la rétroaction signale que ses capacités sont insuffisantes pour la situation rencontrée. Les expériences, menées sur les benchmarks standards de VLN-CE, montrent une robustesse et une généralisation améliorées par rapport aux approches en boucle ouverte. Le code est mis à disposition sur GitHub (sunrise-ikun/SC2_WM). Aucun chiffre précis de gain de performance ni comparaison avec des systèmes commerciaux n'est communiqué dans le résumé. Cette contribution touche un point sensible de la navigation robotique par instructions : le fossé entre les démonstrations en simulation et la fiabilité en conditions réelles. Un agent en boucle ouverte accumule des erreurs de perception ou d'interprétation du langage sans pouvoir les corriger, ce qui dégrade rapidement ses performances dès que l'environnement s'écarte des données d'entraînement. En donnant au modèle du monde la capacité de vérifier ses propres prédictions avant d'agir, puis de se réadapter localement quand ses connaissances ne suffisent plus, SC²-WM s'inscrit dans une tendance de fond de la recherche en IA incarnée : rendre les architectures de type modèle du monde ou VLA plus robustes à l'inférence, sans réentraînement complet. Pour les intégrateurs travaillant sur des AMR ou des plateformes mobiles guidées par langage naturel, ce type de mécanisme de correction interne est un prérequis pour sortir des scénarios de laboratoire scriptés et s'approcher d'un déploiement fiable en environnement non structuré. SC²-WM s'inscrit dans la lignée des travaux récents combinant modèles du monde et navigation instruite par le langage, un domaine où la littérature s'est jusqu'ici surtout concentrée sur l'amélioration de la perception et de la planification en boucle ouverte, laissant de côté la correction d'erreurs pendant l'exécution. L'article ne précise ni affiliation institutionnelle ni partenariat industriel ; il s'agit d'une publication de recherche accompagnée d'un code open source, sans annonce de produit ni de déploiement commercial. Les prochaines étapes attendues pour ce type de travaux sont généralement une validation sur des plateformes robotiques physiques et une comparaison directe avec d'autres architectures de navigation par le langage, notamment les approches fondées sur des modèles VLA génériques.

RecherchePaper

1 source

4arXiv cs.RO

ZeST : navigation zero-shot par modèle vision-langage pour évaluer la traversabilité en environnements inconnus

ZeST est une méthode de navigation robotique qui s'appuie sur un modèle vision-langage (VLM) pour estimer, sans entraînement préalable, la traversabilité d'un terrain inconnu. Elle a été décrite dans un preprint arXiv (version 4). Les auteurs partent d'un constat : les jeux de données servant à entraîner les modèles de prédiction de traversabilité exigent d'envoyer des robots dans des environnements potentiellement dangereux, au risque d'endommager le matériel. Leur approche traite les réponses répétées du VLM comme des mesures stochastiques et les fusionne en une distribution a posteriori qui tient compte de l'incertitude. Les essais ont été menés en intérieur contrôlé et en extérieur non structuré. Selon les auteurs, ZeST atteint un taux de réussite de 90 à 100 % en navigation, alors qu'aucune des méthodes de référence ne dépasse 60 %. Le taux reste de 100 % pour des latences de requête allant jusqu'à 3,6 secondes. L'intérêt tient à la manière dont la méthode contourne la collecte de données en conditions réelles, étape coûteuse et risquée pour la navigation tout-terrain. Elle utilise un modèle généraliste déjà entraîné, ce qui réduit le coût de développement et facilite le passage à l'échelle. La tolérance à la latence est le point le plus utile pour un intégrateur. Les VLM sont lents et rarement embarquables en temps réel, et une requête de plusieurs secondes sans dégradation suggère que ce type de modèle peut servir de couche de perception sémantique, en complément d'un contrôle bas niveau plus rapide. Cette conclusion reste à confirmer sur des plateformes variées. Il faut toutefois lire ces chiffres avec prudence. Le résumé ne précise ni la taille des essais, ni le nombre de scénarios, ni la nature des méthodes de référence, ni le robot ou le VLM utilisés. Un écart de 90-100 % contre moins de 60 % dépend beaucoup de la définition de la réussite et du choix des baselines. Le résultat vient d'un travail académique, sans déploiement industriel ni produit annoncé. Il s'inscrit dans un mouvement plus large qui applique les modèles de fondation à la navigation, en remplaçant les pipelines de traversabilité appris sur des données propres à chaque site. Les prochaines étapes à surveiller sont la reproduction des résultats par d'autres laboratoires, des tests sur des terrains plus variés et la possibilité de faire tourner le VLM sur le robot, sans calcul déporté.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source