VISTA : navigation visuelle à l'échelle par…

1arXiv cs.RO

Modélisation du monde conditionnée par le langage pour la navigation visuelle

Une équipe de chercheurs publie sur arXiv (2603.26741, version 2) un travail sur la navigation visuelle conditionnée par le langage, baptisée LCVN. Dans cette tâche, un agent incarné doit suivre une instruction en langage naturel en ne disposant que d'une observation égocentrique initiale, sans image du but. La perception et le contrôle continu doivent donc être guidés uniquement par le texte. Les auteurs introduisent le jeu de données LCVN, qui regroupe 39 016 trajectoires et 117 048 instructions vérifiées par des humains, couvrant des environnements et des styles de consigne variés. Ils comparent deux approches. La première, l'imagination latente, associe un modèle du monde à base de diffusion (LCVN-WM), qui imagine les observations futures, à un agent acteur-critique (LCVN-AC) dont la politique est apprise entièrement dans cet espace latent imaginé. La seconde, la prédiction autorégressive unifiée (LCVN-Uni), utilise un seul backbone multimodal qui prédit actions et observations en une passe sur une séquence de tokens partagée. Les résultats montrent que les deux approches sont complémentaires. L'imagination latente produit des déroulés plus cohérents dans le temps, tandis que la prédiction unifiée généralise mieux à des environnements jamais vus. Pour un ingénieur robotique ou un intégrateur, l'enseignement porte sur l'arbitrage d'architecture entre un modèle du monde explicite, utile pour la planification, et un modèle unique de type VLA (vision-langage-action), plus robuste hors distribution. Des ablations isolent l'effet du guidage linguistique, des signaux de conditionnement et du style d'instruction. Elles permettent de savoir si le goulot d'étranglement vient de l'ancrage du langage ou de la modélisation de la dynamique. Cette distinction est précieuse pour orienter les investissements, entre meilleures données langagières et meilleurs modèles dynamiques. Il faut cependant rester prudent : il s'agit d'un travail académique évalué sur un benchmark, sans déploiement sur robot physique annoncé. Il ne dit rien du transfert sim-to-real ni des temps de latence en conditions industrielles. Ce travail s'inscrit dans la longue tradition de la navigation visuelle conditionnée par un but image, qui sert de banc d'essai à l'IA incarnée depuis des années. Il rejoint la tendance actuelle qui combine modèles du monde génératifs et politiques linguistiques, portée par des modèles du monde comme ceux de la famille Genie ou Cosmos et par les VLA généralistes (Pi-0, GR00T, Helix), qui visent surtout la manipulation. La navigation par instruction reste moins couverte par ces modèles. Le jeu de données, relativement volumineux pour la tâche, peut servir de référence commune. Aucune suite commerciale ni calendrier de pilote n'est annoncé. La prochaine étape logique serait de tester ces approches hybrides sur du matériel réel, ou d'unifier imagination latente et prédiction autorégressive dans une même architecture.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Des échecs aux mondes apprenables : génération d'environnements conditionnée par la politique pour les agents de navigation

Des chercheurs présentent WEDGE, un cadre de génération d'environnements de simulation pour agents de navigation, qui part des échecs d'une politique préentraînée pour décider quoi lui faire apprendre. À chaque cycle d'adaptation, un LLM compare les trajectoires réussies et ratées de la politique et propose des « caractéristiques de faiblesse » sous forme de code exécutable. Ces hypothèses sont validées automatiquement sur un jeu diagnostique, et la plus forte est retenue selon son écart de taux de réussite. Elle est ensuite reliée aux facteurs d'environnement qui la commandent. WEDGE fait varier ces facteurs pour construire des scènes dans les régimes de difficulté où l'agent échoue. L'évaluation porte sur trois agents de navigation aux mécanismes d'adaptation différents, dont Uni-NaVid et Gemini, sur ProcTHOR, avec un transfert testé sur HM3D. Le résumé publié ne donne aucun chiffre de gain, ce qui empêche d'en juger l'ampleur. L'intérêt tient à ce que le travail contredit l'idée qu'il suffit de produire davantage de données simulées, réalistes et variées. Les auteurs observent que chaque politique présente un profil de faiblesses propre et profite d'environnements différents. L'adaptation guidée par les faiblesses bat des références à budget équivalent, un tirage aléatoire et une sélection d'exemples difficiles. Pour un intégrateur ou une équipe qui affine un modèle de navigation avant un déploiement sur site, cela revient à diagnostiquer avant de générer, plutôt que de multiplier les scènes. Les gains obtenus sur ProcTHOR se retrouvent sur HM3D pour Uni-NaVid et Gemini, signe d'un transfert partiel entre jeux de scènes. Les deux jeux restent des environnements simulés d'intérieur. Rien ne prouve donc encore un transfert sim-to-real sur un robot physique. Le travail s'inscrit dans la lignée des pipelines de génération procédurale d'environnements comme ProcTHOR, de la curation de données synthétiques et de l'entraînement par curriculum, jusqu'ici surtout pilotés par des critères génériques. L'usage d'un LLM comme outil de diagnostic rapproche WEDGE des approches d'évaluation automatisée des politiques. Les auteurs montrent aussi que la faiblesse dominante peut persister ou se déplacer à mesure que l'agent progresse, ce qui justifie un ré-diagnostic itératif. Cette boucle reste à tester sur des modèles vision-langage-action plus larges et sur du matériel réel. Il s'agit d'une prépublication arXiv, sans produit ni pilote industriel annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Réseau de perception visuelle multitâche conditionné par un LLM pour la navigation autonome

Un article de recherche publié en septembre 2026 sur arXiv (référence 2609.14297) décrit un nouveau framework de navigation autonome pour robots de service, baptisé VL-Navigation. Le système associe un réseau de perception visuelle multi-tâches à un grand modèle de langage (LLM) capable d'interpréter des commandes vocales ou textuelles de l'utilisateur. Contrairement aux approches classiques de planification de trajectoire comme A, RRT, DiPPer ou ViT-A, qui s'appuient sur une carte 2D globale et se dégradent avec l'accumulation de dérive odométrique et d'erreurs de capteurs, VL-Navigation génère des plans d'action séquentiels à partir d'indices visuels locaux et d'instructions géométriques égocentriques. La localisation est réinitialisée à chaque cible intermédiaire, ce qui limite l'accumulation de dérive sans nécessiter la maintenance d'une carte globale cohérente. Les chercheurs annoncent des résultats supérieurs aux méthodes existantes sur des données réelles et simulées, sans toutefois publier dans le résumé de chiffres précis de taux de réussite ou de temps de cycle, ce qui invite à la prudence tant que le travail n'a pas été validé par une relecture par les pairs. Le code source est disponible publiquement sur GitHub, sous le dépôt PraveenSingh24/VL-Navigation. Pour les intégrateurs de robots de service, en hôtellerie, en logistique légère ou en environnement hospitalier, ce travail cible un point de friction bien réel: le coût de maintenance des cartes SLAM dans des lieux qui évoluent constamment, mobilier déplacé, couloirs encombrés, zones en travaux. En confiant à un LLM la traduction d'instructions naturelles en plans d'action locaux plutôt qu'à une carte globale figée, l'approche s'inscrit dans la tendance plus large des modèles vision-langage-action qui cherchent à remplacer une partie du pipeline de cartographie classique par du raisonnement contextuel embarqué. Si les résultats se confirment à plus grande échelle, une telle méthode pourrait réduire le temps d'ingénierie nécessaire au déploiement de flottes mobiles dans des environnements partiellement inconnus, un frein récurrent à la commercialisation de la robotique de service au-delà des démonstrations contrôlées. La dérive odométrique cumulative reste un problème non résolu depuis les débuts de la navigation mobile autonome, et les algorithmes de référence cités dans l'article, A, RRT, DiPPer et ViT-A, illustrent les limites successives des approches purement géométriques face à des environnements dynamiques. VL-Navigation se positionne dans la lignée d'autres travaux récents associant modèles de langage et perception visuelle pour la navigation robotique, un champ en pleine expansion en parallèle des modèles VLA appliqués à la manipulation comme Pi-0 ou GR00T N2. Publié comme preprint sans affiliation industrielle mentionnée, l'article ne précise ni calendrier de déploiement pilote ni partenariat commercial; la mise à disposition du code sur GitHub vise avant tout la reproductibilité par la communauté académique, une étape encore éloignée d'une intégration en produit commercial.

RecherchePaper

1 source

4arXiv cs.RO

LAPT-Scale : passage à l'échelle des politiques d'IA incarnée par préentraînement d'actions latentes sur des vidéos humaines

Des chercheurs publient sur arXiv LAPT-Scale, un cadre de pré-entraînement par actions latentes conçu pour entraîner des politiques robotiques généralistes à partir de vidéos humaines égocentriques, sans étiquettes d'actions robot. Il repose sur deux briques. LAPT-Scale-LAM est un modèle d'actions latentes (LAM) qui apprend des actions continues en expliquant les transitions visuelles image par image, et ces actions servent ensuite de supervision dérivée de l'humain. LAPT-Scale-Policy est une politique VLA (vision-langage-action) entraînée en trois temps: pré-entraînement sur les actions latentes issues de vidéos humaines, alignement sur l'embodiment du robot cible, puis post-entraînement spécifique à la tâche. Le LAM a été entraîné sur 23,3 k heures de vidéo égocentrique. Le résultat chiffré principal concerne le robot réel: le taux de succès passe de 63,3 % à 85,0 % lorsque le volume de vidéo humaine annotée passe de 1 k à 5 k heures. La politique généraliserait aussi à des conditions visuelles inédites. L'intérêt pour l'industrie tient au coût de la collecte de données. La téléopération et les démonstrations sur robot restent le principal goulot d'étranglement des modèles généralistes, alors que les vidéos égocentriques humaines sont abondantes mais sans étiquettes d'actions exploitables. Les méthodes d'annotation existantes sont bruitées dès que les scènes sont visuellement complexes ou que les dynamiques de manipulation varient. Une courbe de montée en charge régulière avec les heures de vidéo suggère que ce canal de données peut remplacer en partie la collecte robotique, ce qui change l'économie du pré-entraînement pour les intégrateurs et les développeurs de modèles. Il faut toutefois rester prudent: il s'agit d'un préprint non évalué par les pairs. Le gain mesuré porte sur un volume de vidéo annotée encore modeste face aux 23,3 k heures du LAM. Le résumé ne précise ni le nombre de tâches, ni le robot, ni le nombre d'essais, ni les benchmarks de comparaison. Le passage du laboratoire à la fiabilité exigée en production reste donc à démontrer. Sur le plan technique, les auteurs se distinguent des LAM précédents, qui utilisent des espaces latents quantifiés vectoriellement (VQ). Leur espace latent continu cherche à préserver les mouvements fins et les dynamiques d'interaction. Ils combinent aussi des signaux d'alignement perceptuel, sémantique et de flux optique pour que la supervision porte sur la transition elle-même plutôt que sur la seule reconstruction des pixels. Cette approche s'inscrit dans la lignée des travaux d'apprentissage à partir de vidéos humaines et d'actions latentes, que poursuivent de nombreux laboratoires et acteurs de la robotique humanoïde, soucieux d'exploiter les vidéos à grande échelle. Aucun déploiement industriel ni calendrier de pilote n'est annoncé. La suite probable est une validation sur davantage de plateformes et de tâches, ainsi qu'une réplication indépendante, avant toute intégration dans un produit.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

VISTA : navigation visuelle à l'échelle par conditionnement sur l'historique d'actions

À lire aussi

Modélisation du monde conditionnée par le langage pour la navigation visuelle

Des échecs aux mondes apprenables : génération d'environnements conditionnée par la politique pour les agents de navigation

Réseau de perception visuelle multitâche conditionné par un LLM pour la navigation autonome

LAPT-Scale : passage à l'échelle des politiques d'IA incarnée par préentraînement d'actions latentes sur des vidéos humaines