RecherchearXiv cs.RO 27 octobre 2026

MOON : apprendre quand oublier et comment passer à autre chose en navigation vision-langage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'équipe AutoLab (SAI, Shanghai Jiao Tong University) présentent MOON, un cadre qui greffe deux modules légers (moins de 1 % des paramètres) sur une politique de navigation vision-langage (VLN) gelée. Le premier, un « juge de déviation », prédit si l'agent s'est écarté de l'itinéraire décrit et, si c'est le cas, déclenche une alarme qui efface l'historique visuel. Le second, une politique de récupération entraînée par GRPO à partir des états d'alarme, apprend à repartir du bon pied. Sur les benchmarks en environnement continu R2R-CE et RxR-CE, MOON obtient le meilleur taux de succès R2R-CE parmi les méthodes comparées et gagne respectivement 5,2 et 6,0 points sur sa politique de base. Sans réentraînement, il améliore aussi la navigation zéro-shot vers un objet cible sur HM3D-OVON. Le code est publié sur GitHub. Il s'agit de résultats académiques en simulation, sans déploiement sur robot réel.

Le point notable tient au diagnostic. Des interventions appariées sur quatre politiques VLN montrent qu'effacer l'historique double le taux de succès poolé au début d'une déviation, mais le réduit quand l'agent est sur la bonne route. Plus tard dans la déviation, retirer seulement les images hors itinéraire aide beaucoup moins. Les auteurs parlent d'« inertie comportementale » : l'historique conservé empêche la politique de tourner là où il le faudrait. Un test avec un déclencheur aléatoire indique que le gain dépend bien du moment de l'effacement, pas seulement de la présence du module de récupération. Pour les équipes qui visent la navigation robotique en intérieur guidée par le langage, cela suggère que la mémoire longue des modèles récents est à la fois un atout et un risque, et que la détection d'erreur compte autant que la qualité de l'action. L'approche est modulaire, donc applicable à des politiques existantes sans les réentraîner. Reste à confirmer sa robustesse hors simulateur, avec du bruit de perception et de la dynamique réelle.

Ces travaux s'inscrivent dans la vague des politiques VLN qui exploitent l'historique visuel, souvent via de grands modèles vision-langage, et qui ont fait progresser R2R-CE et RxR-CE au prix d'une fragilité face aux erreurs cumulées. L'usage de GRPO, déjà répandu pour le post-entraînement des modèles de raisonnement, prolonge une tendance où l'apprentissage par renforcement affine des politiques figées. Le gain de 5 à 6 points est mesuré face à la base gelée et dans un cadre de comparaison choisi par les auteurs. La généralisation à d'autres politiques et à des scènes réelles reste à démontrer. Aucune échéance de pilote ni partenaire industriel n'est annoncé.

À lire aussi

1arXiv cs.RO

X-Fly : apprendre à atteindre et à s'arrêter en navigation aérienne vision-langage par blocs complets

Les agents de navigation aérienne guidés par le langage (aerial VLN), bâtis sur de grands modèles vision-langage, coûtent cher à interroger. Un papier publié sur arXiv (2610.21450) présente X-Fly, un cadre d'entraînement par étapes qui exécute en entier le « chunk » d'actions prédit avant de replanifier. Cette exécution complète fait passer l'inférence de 195 à 42 ms par waypoint exécuté pour la politique des auteurs. Sur le benchmark OpenFly, le clonage de comportement (BC) en chunk complet échoue surtout par absence d'arrêt : 47,78 % de ses issues sur test-seen sont des échecs « no-stop ». Avec huit contrôles par décision, X-Fly atteint 74,18 % de taux de succès (SR) sur test-seen et 51,73 % sur test-unseen. Le BC en chunk complet plafonne à 16,45 % et 18,43 %, et DreamFly, la référence comparée, à 32,04 % et 29,46 %. Le résultat touche un point sensible du déploiement des drones pilotés par modèle de fondation : le coût d'inférence par pas de commande. Réduire le temps de calcul par waypoint d'un facteur 4,6 rend plausible un contrôle embarqué ou à bas coût. Mais la méthode montre aussi que ce gain a un prix, car le chunk complet éloigne la politique des états visités par l'expert. Les démonstrations ne supervisent alors ni la récupération après dérive ni l'arrêt à l'arrivée. Cela confirme qu'un simple clonage d'experts ne tient pas en boucle fermée, et que l'apprentissage par renforcement et l'étiquetage des états visités par l'apprenant sont indispensables. À relativiser : les résultats viennent d'un benchmark en simulation, et l'écart entre test-seen (74,18 %) et test-unseen (51,73 %) rappelle que la généralisation à des scènes inédites reste le point faible. Aucun test sur drone réel n'est annoncé. Pour y parvenir, X-Fly combine plusieurs briques. Recovery DAgger étiquette les états de décision visités par l'apprenant avec des chunks lissés qui rejoignent les segments experts futurs, et avec un STOP dès le premier état dans la zone cible. Flow-GRPO affine ensuite conjointement le contrôleur de flux par chunks et une politique STOP de type Bernoulli, à partir des résultats en boucle fermée de tâches identiques, complétés par une supervision d'arrêt vérifiée sur les résultats. Cette approche prolonge la vague des politiques VLA à génération par flux et des méthodes de type GRPO, appliquées ici à la navigation aérienne. Il s'agit d'une publication de recherche : aucun produit, calendrier de pilote ou acteur industriel n'est cité, et les prochaines étapes probables sont une validation sur d'autres benchmarks puis sur matériel réel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Joint apprentissage sur et hors politique pour la navigation vision-langage

Une équipe de chercheurs présente JOP-VLN, un nouveau framework d'apprentissage pour la navigation par instructions en langage naturel (Vision-and-Language Navigation, VLN), où un agent embarqué doit se déplacer dans un environnement physique en suivant des consignes textuelles. L'article, publié sur arXiv (2607.13461v1), combine pour la première fois deux approches jusqu'ici traitées séparément : l'apprentissage par imitation (IL) à partir de démonstrations expertes, renforcé par l'algorithme DAgger pour corriger les erreurs de trajectoire, et l'apprentissage par renforcement (RL) piloté par des récompenses vérifiables pour améliorer le raisonnement et l'exploration. Le pipeline se déroule en trois étapes : acquisition des compétences de base par imitation, génération de trajectoires d'exploration heuristiques via DAgger pour muscler la récupération d'erreurs, puis une phase conjointe on-policy/off-policy combinant échantillonnage de trajectoires à haute entropie et un tri priorisant la correction d'erreurs. Résultat : 69,9% de taux de réussite sur le benchmark VLN-CE R2R et 68,0% sur RxR, un nouveau record sur R2R. Ces chiffres comptent parce qu'ils comblent un angle mort méthodologique de la navigation par modèles vision-langage : la plupart des systèmes actuels choisissent soit l'imitation (stable mais peu exploratoire, sujette à la dérive en cas d'erreur), soit le renforcement (meilleur en exploration mais coûteux et instable à entraîner). Prouver qu'une combinaison structurée des deux surpasse chaque approche isolée est un signal pour les équipes qui développent des agents de navigation embarqués, notamment pour les robots mobiles autonomes (AMR) ou les futurs humanoïdes devant suivre des instructions en environnement non contrôlé, un domaine où la robustesse aux erreurs reste le principal verrou avant tout déploiement réel. Le travail s'inscrit dans la lignée des modèles vision-langage appliqués à la robotique, où des architectures VLA comme GR00T N2 ou Pi-0 cherchent à unifier perception, langage et action. JOP-VLN se positionne spécifiquement sur les benchmarks de référence R2R et RxR, sans annonce de déploiement matériel ni de partenariat industriel à ce stade ; il s'agit pour l'instant d'un résultat de recherche évalué en simulation, la page projet dédiée servant de vitrine aux résultats.

RecherchePaper

1 source

3arXiv cs.RO

LA4VLA : apprendre à agir sans vision par pré-entraînement langage-action

Des chercheurs ont publié sur arXiv (2606.27295, juin 2026) un cadre de pré-entraînement baptisé LA4VLA qui s'attaque à un défaut structurel des modèles Vision-Langage-Action (VLA) : en supervision conjointe visuelle et textuelle, le signal visuel écrase le signal langage, poussant les politiques de contrôle à exploiter des raccourcis visuels spécifiques à une scène plutôt qu'à exécuter des instructions généralisables. LA4VLA introduit une phase de pré-entraînement sans images : les trajectoires de démonstration existantes sont découpées en segments atomiques, chacun associé à une description textuelle bas-niveau, produisant LA4-33K, un dataset de 33 000 épisodes Langage-Action construits entièrement à partir de données existantes sans collecte robotique supplémentaire. Le modèle LA4VLA-1B (1 milliard de paramètres) est évalué selon trois paradigmes : pré-entraînement LA seul, séquentiel LA puis VLA, et mixte LA+VLA. Le pré-entraînement mixte améliore le taux de succès moyen de 17,8 points de pourcentage en simulation et de 45 points sur tâches réelles par rapport à l'absence de pré-entraînement. Ces résultats ont une portée directe pour les développeurs de politiques robotiques polyvalentes. Le problème des raccourcis visuels est bien documenté dans la littérature : les robots apprennent à reconnaître un arrangement de scène particulier plutôt qu'à interpréter une instruction générique, ce qui fragilise les politiques dès que l'environnement varie légèrement. Le gain de 45 points sur les tâches réelles, contre 17,8 en simulation, est particulièrement notable : il suggère que l'approche atténue précisément le sim-to-real gap, principal obstacle aux déploiements industriels. Pour les intégrateurs, la méthode permet de valoriser des datasets de démonstrations existants sans mobiliser de ressources robotiques supplémentaires, réduisant substantiellement le coût d'entrée vers des politiques plus robustes. Les modèles VLA ont connu une forte accélération depuis 2023, portée par des travaux comme RT-2 (Google DeepMind), OpenVLA ou π0 de Physical Intelligence, qui s'appuient tous sur un pré-entraînement visuel massif suivi d'un fine-tuning robotique. LA4VLA propose une direction complémentaire et orthogonale : renforcer le conditionnement langage indépendamment du flux visuel, en exploitant la structure sémantique des trajectoires plutôt que leur apparence. L'abstract ne mentionne ni affiliations institutionnelles précises ni partenaires industriels ; il s'agit d'une contribution académique validée en laboratoire, sans pilote commercial annoncé. La suite logique serait une évaluation sur des benchmarks standardisés comme LIBERO ou CALVIN, ainsi qu'une intégration dans des pipelines humanoïdes à manipulation complexe où la généralisation au langage est particulièrement critique.

RechercheOpinion

1 source

4arXiv cs.RO

SimpleVLN : vers une navigation vision-langage simple et à la pointe

SimpleVLN, un cadre de navigation visuo-linguistique (VLN) publié sur arXiv (2610.23203), atteint 76,7 % de taux de succès sur le split R2R-CE et 80,1 % sur RxR-CE, deux benchmarks de navigation en environnement continu où un agent incarné doit suivre des instructions en langage naturel. Les auteurs affirment dépasser nettement les méthodes existantes. L'approche conserve l'architecture native des grands modèles de langage multimodaux (MLLM), sans module spécifique à la navigation. Elle repose sur trois leviers. D'abord, la formulation: des entrées de décision en un seul tour, associées à une mémoire globale-locale de taille fixe qui évite l'explosion du contexte, et des « action chunks » qui produisent plusieurs actions primitives par appel au modèle. Ensuite, les données: démonstrations d'experts, expérience DAgger dépendante de la politique, et pipeline de synthèse produisant des tâches à grande échelle pour l'apprentissage par renforcement. Enfin, l'optimisation: un enchaînement progressif imitation, DAgger puis RL, qui passe de l'imitation d'actions à l'optimisation du résultat au niveau de la tâche. Le cadre a été instancié sur plusieurs backbones et tailles de modèles. L'intérêt tient à l'hypothèse que ce travail conteste: la navigation incarnée exigerait des architectures dédiées. Si des MLLM génériques, bien entraînés, suffisent à dominer R2R-CE et RxR-CE, la logique des modèles vision-langage-action (VLA) se trouve renforcée: la valeur se déplace de l'ingénierie d'architecture vers la conception des données et de la recette d'entraînement. Pour les intégrateurs et équipes robotique, cela suggère des briques de navigation plus simples à maintenir et à faire évoluer avec les modèles de base. Le gain d'efficacité compte aussi: une mémoire à budget fixe et la sortie multi-actions réduisent le coût d'inférence, critère décisif pour un déploiement embarqué. Des réserves s'imposent toutefois. Ces résultats viennent de benchmarks en simulation, sans validation sur robot réel annoncée dans le résumé, et l'écart entre simulation et terrain reste ouvert. Les temps de latence, le matériel et les volumes de tâches synthétiques ne sont pas précisés. Ce travail s'inscrit dans une lignée où la VLN est passée de modèles spécialisés, avec cartes topologiques ou planificateurs dédiés, à des agents fondés sur des MLLM, déjà explorés par plusieurs laboratoires académiques et industriels. R2R-CE et RxR-CE servent de références habituelles pour comparer ces approches, ce qui rend les chiffres directement confrontables aux méthodes antérieures. SimpleVLN se positionne contre les architectures spécialisées en misant sur la généralité entre backbones. Les prochaines étapes naturelles seraient des tests sur robots physiques, une évaluation hors distribution et une extension à la navigation couplée à la manipulation, que le résumé n'annonce pas.

RecherchePaper

1 source