RecherchearXiv cs.RO 9 octobre 2026

ImagiNav : navigation incarnée à grande échelle par prédiction visuelle générative et dynamique inverse

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent ImagiNav, un cadre hiérarchique de navigation robotique guidée par le langage, décrit dans un article arXiv (2603.13833, version 2). Au lieu de prédire directement des points de passage (waypoints) comme les politiques de bout en bout classiques, le système génère une vidéo égocentrique future, conditionnée par une instruction en langage naturel. Cette vidéo sert de plan de haut niveau. Un modèle de dynamique inverse l'interprète ensuite pour en extraire des trajectoires métriques exécutables par le robot. Les auteurs ont aussi développé un pipeline d'auto-étiquetage qui améliore la précision des annotations de mouvement. Ils revendiquent un transfert zero-shot vers la navigation robotique, sans aucune démonstration sur robot. L'abstract ne donne ni chiffres de performance, ni taux de réussite, ni robot de test, ni volume de vidéos d'entraînement. Une page de projet est annoncée.

L'intérêt est d'abord économique. La navigation vision-langage (VLN) repose aujourd'hui sur des politiques entraînées sur des données robot coûteuses et propres à chaque morphologie. Les modèles de fondation entraînés sur de vastes volumes de simulation progressent, mais butent sur la diversité limitée des scènes et sur le réalisme visuel. En séparant la planification (dans l'espace visuel) de l'actionnement (confié au modèle de dynamique inverse), ImagiNav permet d'exploiter des vidéos de navigation « in the wild », non étiquetées, qui existent en quantité bien supérieure à toute collecte robotique. Si l'approche tient à l'échelle, elle réduirait la dépendance aux flottes de téléopération et au sim-to-real. Les réserves sont claires : sans métriques publiées dans l'abstract, le transfert « zero-shot » reste à vérifier sur des environnements variés. La génération vidéo reste coûteuse en calcul et pose la question de la latence en boucle fermée. Rien n'indique non plus que la vidéo imaginée respecte les contraintes physiques et la sécurité d'un déploiement réel.

Ce travail s'inscrit dans un mouvement plus large où les modèles génératifs de vidéo servent de « modèles du monde » pour la planification, en parallèle des architectures VLA (vision-langage-action) qui prédisent directement les actions. Il s'oppose aux approches de VLN de bout en bout entraînées sur données robot, et prolonge les travaux qui extraient des actions de vidéos via des modèles de dynamique inverse. Il s'agit d'un résultat de recherche académique, sans produit, pilote industriel ni calendrier de déploiement annoncé. Les prochaines étapes à surveiller sont la publication de résultats chiffrés sur robots réels, la comparaison avec les politiques VLN de référence et la libération éventuelle du code et du pipeline d'annotation.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Image2Sim : le passage à l'échelle de la navigation incarnée grâce à un simulateur neuronal génératif

Une équipe de recherche publie Image2Sim, un simulateur neuronal temps réel conçu pour entraîner des agents de navigation embarquée à partir de simples séquences d'images RGB-D posées. Le système sépare l'ancrage spatial 3D de la synthèse photoréaliste des observations: un modèle feed-forward de "feature Gaussians" reconstruit la scène en une seule passe, tandis qu'un modèle de flux de pixels en une étape, dit "geometry-aware", transforme les projections gaussiennes éparses et bruitées en images RGB-D panoramiques de haute qualité. Utilisé comme moteur de données entièrement automatisé, Image2Sim convertit de larges collections de vidéos et de photos en près de 20 000 scènes interactives et génère plus de 10 millions d'échantillons d'entraînement à la navigation, avec instructions diverses et actions exécutables associées. Les modèles entraînés uniquement dans ces environnements neuronaux affichent des gains significatifs sur les benchmarks de référence et transfèrent efficacement en conditions réelles sans fine-tuning (zero-shot). L'enjeu dépasse la simple prouesse technique: il s'agit de résoudre le compromis historique entre réalisme visuel et scalabilité qui bride l'entraînement des agents de navigation. Les jeux de données scannés en conditions réelles offrent un rendu fidèle mais restent coûteux à collecter et donc limités en volume, tandis que les simulateurs synthétiques classiques scalent facilement mais souffrent d'un écart sim-to-real important. Si les résultats de transfert zero-shot se confirment à plus grande échelle, cela validerait l'idée qu'une simulation neuronale générative, construite depuis des vidéos ordinaires plutôt que des moteurs de jeu, peut devenir un substrat d'entraînement crédible pour la navigation robotique, avec des implications directes pour les AMR et les plateformes de navigation embarquée en usine ou en logistique. Cette approche s'inscrit dans la lignée des travaux récents combinant Gaussian Splatting et modèles de diffusion pour la reconstruction de scènes, un courant de recherche actif face aux limites des NeRF classiques. Elle rejoint aussi la tendance plus large des "world models" appliqués à la robotique, où générer des environnements d'entraînement remplace progressivement leur capture manuelle. Publiée sur arXiv, cette contribution reste à ce stade une preuve de concept académique; sa reproductibilité et son passage à l'échelle sur des flottes robotiques réelles restent les prochaines étapes à observer.

RecherchePaper

1 source

2arXiv cs.RO

LDA-1B : mise à l'échelle d'un modèle d'action à dynamique latente via ingestion universelle de données incarnées

LDA-1B est un modèle fondation pour la robotique à 1 milliard de paramètres, présenté dans un preprint arXiv (2602.12215v2, "replace", donc une version révisée). Ses auteurs introduisent ce qu'ils appellent une "ingestion universelle de données incarnées" : plutôt que le clonage comportemental classique, qui se borne à imiter des actions expertes en ignorant la connaissance des dynamiques physiques, LDA-1B entraîne simultanément un modèle de dynamiques, une politique d'action et un module de prévision visuelle. Pour opérer à cette échelle, les chercheurs ont constitué EI-30k, un jeu de données standardisé regroupant plus de 30 000 heures de trajectoires humaines et robotiques dans un format unifié. La prédiction s'effectue dans l'espace latent structuré de DINO (modèle de vision auto-supervisé de Meta), évitant la modélisation redondante au niveau pixel. L'architecture repose sur un transformeur de diffusion multimodal gérant des flux vidéo et d'action asynchrones. En simulation et en conditions réelles, LDA-1B dépasse π0.5 de Physical Intelligence de 21 % sur les tâches à contacts intenses, 48 % sur les tâches de dextérité, et 23 % sur les tâches à long horizon. Résultat contre-intuitif : en réintégrant 30 % de trajectoires de faible qualité habituellement écartées, le modèle gagne 10 % de performance supplémentaire. Ce travail s'attaque à une limite structurelle des modèles robotiques actuels : le clonage comportemental traite comme déchets toutes les données sans annotation action-état précise, vidéos téléopérées approximatives, démonstrations ratées, captations partielles. En assignant des rôles distincts selon la qualité des données, LDA-1B récupère de la valeur dans ces corpus dégradés. Pour les intégrateurs et décideurs industriels, l'implication est concrète : si des trajectoires sous-optimales contribuent positivement à l'entraînement, le coût de constitution des jeux de données de référence diminue sensiblement. Les gains de 48 % sur la dextérité, talon d'Achille historique des robots manipulateurs, sont particulièrement significatifs, même si ces chiffres proviennent d'un preprint non encore évalué par les pairs, et que les conditions exactes des benchmarks méritent une lecture critique avant généralisation. LDA-1B s'inscrit dans une course aux modèles fondation robotiques qui s'intensifie depuis 2024. Physical Intelligence (Pi), dont π0 puis π0.5 font référence sur les benchmarks manipulation, est le principal étalon ici. Google DeepMind pousse RT-2 et ses successeurs, tandis que des modèles open-source comme OpenVLA et Octo peinent à franchir le cap du milliard de paramètres avec des données hétérogènes. La formulation UWM (Unified World Model), que LDA-1B exploite et étend, tentait déjà de valoriser des données non-action (vidéos, interactions humaines), mais les tentatives précédentes manquaient d'échelle et de standardisation. EI-30k, avec ses 30 000 heures normalisées, est l'une des bases d'interaction incarnée les plus vastes publiées à ce jour. Ce preprint n'annonce ni produit commercial ni déploiement terrain, c'est de la recherche académique avec expériences en simulation et quelques validations réelles. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés comme LIBERO ou RoboSuite, et une intégration sur des plateformes humanoïdes comme Unitree H1 ou G1.

RechercheOpinion

1 source

3arXiv cs.RO

Robot quadrupède : navigation par imagination latente prédictive

Des chercheurs ont publié sur arXiv (arXiv:2607.17574, dépôt de juillet 2026) une nouvelle méthode d'entraînement pour la navigation de robots quadrupèdes en environnement dynamique. Le système part d'une architecture réactive classique, un backbone LSTM-SRU qui choisit ses actions à partir des observations courantes et d'une mémoire à court terme, et lui ajoute pendant l'entraînement un prédicteur auxiliaire de type JEPA couplé à une régularisation SIGReg. Ce module apprend à l'état caché du réseau à anticiper son propre état futur, donc la dynamique probable des obstacles mobiles à court horizon, avant d'être entièrement supprimé au moment de l'inférence : le contrôleur final reste aussi léger que la version purement réactive, sans paramètre ni coût de calcul supplémentaire. Les auteurs valident l'approche en simulation puis sur un robot réel, un Unitree Go2, déployé en environnements intérieurs encombrés et en extérieur avec obstacles dynamiques, avec transfert sim-to-réel en zero-shot, c'est-à-dire sans aucun réglage fin sur le robot physique. L'intérêt de ce travail est de s'attaquer à un problème concret des politiques de navigation par apprentissage par renforcement : leur tendance à réagir trop tard face à des obstacles mobiles, parce que le risque de collision dépend de la structure de la scène à court horizon et non de la seule position instantanée des obstacles. En injectant une supervision prédictive uniquement pendant l'entraînement, la méthode évite le compromis habituel entre capacité d'anticipation et complexité embarquée à l'inférence, un enjeu central pour les intégrateurs qui doivent faire tourner ces contrôleurs sur du matériel embarqué à ressources limitées. Le transfert zero-shot vers un Go2 sans fine-tuning est aussi un point notable : il illustre que l'écart sim-to-réel, souvent cité comme le principal obstacle à la robotique mobile apprise, peut être réduit sans données réelles supplémentaires pour ce type de tâche de navigation. À noter toutefois que l'abstract ne fournit pas de chiffres précis de taux de réussite ou de réduction de collisions, seulement une amélioration qualifiée de substantielle. Ce travail s'inscrit dans la lignée des méthodes d'apprentissage prédictif du monde (world models, architectures JEPA popularisées notamment par les travaux de Yann LeCun chez Meta) appliquées cette fois à la robotique locomotrice plutôt qu'à la vision ou au langage. Il rejoint une tendance plus large de la recherche en navigation robotique visant à doter les politiques réactives de capacités anticipatives sans alourdir l'inférence, un axe suivi par plusieurs laboratoires travaillant sur les quadrupèdes de type Unitree Go2 ou Boston Dynamics Spot. Les prochaines étapes attendues incluent l'extension à des flottes de robots ou à des environnements encore plus denses en obstacles humains, ainsi que la comparaison directe avec d'autres approches prédictives publiées sur les mêmes benchmarks.

RecherchePaper

1 source

4arXiv cs.RO

VISTA : navigation visuelle à l'échelle par conditionnement sur l'historique d'actions

VISTA, un nouveau modèle de navigation visuelle présenté en preprint (arXiv:2606.17294), s'attaque à une faille structurelle identifiée dans les Vision Navigation Foundation Models (VNMs) actuels : la normalisation des actions prédites. Lorsqu'un VNM produit des trajectoires normalisées, l'application d'un facteur d'échelle différent selon le robot ou l'environnement déforme la géométrie physique de la trajectoire, ce qui dégrade les performances de navigation et augmente les risques de collision. Pour corriger cela, VISTA conditionne ses prédictions sur l'historique normalisé des actions exécutées, en parallèle des observations visuelles, offrant au modèle un contexte explicite sur la relation entre ses sorties et le déplacement physique réel du robot. Le modèle intègre également un encodeur DINOv3, dont les représentations plus riches permettent de mieux discriminer les environnements visuellement répétitifs (couloirs, entrepôts) où les VNMs classiques peinent à se localiser. En déploiement zéro-shot dans trois environnements réels (extérieur, forêt, bureau), VISTA affiche 100 % de précision dans la prédiction des objectifs et un taux moyen de 95 % de points de passage atteints. Ce résultat éclaire un angle mort largement sous-estimé dans le déploiement des politiques de navigation généralisées : l'invariance à l'échelle. Un modèle entraîné sur une flotte homogène peut échouer sur un robot dont la calibration diffère légèrement, sans qu'aucun défaut de l'architecture ne soit en cause. VISTA propose une correction légère mais systémique, applicable sans ré-entraînement, ce qui représente un avantage concret pour les intégrateurs qui déploient des politiques de navigation sur des flottes hétérogènes. Les résultats à 100 % méritent toutefois d'être nuancés : ils portent sur trois environnements seulement, et le terme "zéro-shot" désigne ici l'absence de fine-tuning spécifique aux sites de test, non une absence totale de données d'entraînement supervisé. VISTA s'inscrit dans la montée en puissance des modèles de navigation généraux, portée ces deux dernières années par des travaux comme NoMaD (CMU/Berkeley, 2023) ou GNFactor, qui cherchent tous à produire une politique de déplacement transférable sans adaptation manuelle. L'usage de DINOv3 suit une tendance nette : les encodeurs de la famille DINOv2/v3 (Meta FAIR) s'imposent progressivement comme backbone de référence pour les tâches nécessitant une compréhension géométrique fine de l'environnement. Le preprint ne mentionne ni partenaires industriels ni timeline de commercialisation ; il s'agit à ce stade d'une contribution académique, sans annonce de déploiement à grande échelle.

RechercheOpinion

1 source