Aller au contenu principal
Image2Sim : le passage à l'échelle de la navigation incarnée grâce à un simulateur neuronal génératifIllustration générée par IA
RecherchearXiv cs.RO 

Image2Sim : le passage à l'échelle de la navigation incarnée grâce à un simulateur neuronal génératif

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche publie Image2Sim, un simulateur neuronal temps réel conçu pour entraîner des agents de navigation embarquée à partir de simples séquences d'images RGB-D posées. Le système sépare l'ancrage spatial 3D de la synthèse photoréaliste des observations: un modèle feed-forward de "feature Gaussians" reconstruit la scène en une seule passe, tandis qu'un modèle de flux de pixels en une étape, dit "geometry-aware", transforme les projections gaussiennes éparses et bruitées en images RGB-D panoramiques de haute qualité. Utilisé comme moteur de données entièrement automatisé, Image2Sim convertit de larges collections de vidéos et de photos en près de 20 000 scènes interactives et génère plus de 10 millions d'échantillons d'entraînement à la navigation, avec instructions diverses et actions exécutables associées. Les modèles entraînés uniquement dans ces environnements neuronaux affichent des gains significatifs sur les benchmarks de référence et transfèrent efficacement en conditions réelles sans fine-tuning (zero-shot).

L'enjeu dépasse la simple prouesse technique: il s'agit de résoudre le compromis historique entre réalisme visuel et scalabilité qui bride l'entraînement des agents de navigation. Les jeux de données scannés en conditions réelles offrent un rendu fidèle mais restent coûteux à collecter et donc limités en volume, tandis que les simulateurs synthétiques classiques scalent facilement mais souffrent d'un écart sim-to-real important. Si les résultats de transfert zero-shot se confirment à plus grande échelle, cela validerait l'idée qu'une simulation neuronale générative, construite depuis des vidéos ordinaires plutôt que des moteurs de jeu, peut devenir un substrat d'entraînement crédible pour la navigation robotique, avec des implications directes pour les AMR et les plateformes de navigation embarquée en usine ou en logistique.

Cette approche s'inscrit dans la lignée des travaux récents combinant Gaussian Splatting et modèles de diffusion pour la reconstruction de scènes, un courant de recherche actif face aux limites des NeRF classiques. Elle rejoint aussi la tendance plus large des "world models" appliqués à la robotique, où générer des environnements d'entraînement remplace progressivement leur capture manuelle. Publiée sur arXiv, cette contribution reste à ce stade une preuve de concept académique; sa reproductibilité et son passage à l'échelle sur des flottes robotiques réelles restent les prochaines étapes à observer.

Dans nos dossiers

À lire aussi

ImagiNav : navigation incarnée à grande échelle par prédiction visuelle générative et dynamique inverse
Illustration générée par IA
1arXiv cs.RO 

ImagiNav : navigation incarnée à grande échelle par prédiction visuelle générative et dynamique inverse

Des chercheurs proposent ImagiNav, un cadre hiérarchique de navigation robotique guidée par le langage, décrit dans un article arXiv (2603.13833, version 2). Au lieu de prédire directement des points de passage (waypoints) comme les politiques de bout en bout classiques, le système génère une vidéo égocentrique future, conditionnée par une instruction en langage naturel. Cette vidéo sert de plan de haut niveau. Un modèle de dynamique inverse l'interprète ensuite pour en extraire des trajectoires métriques exécutables par le robot. Les auteurs ont aussi développé un pipeline d'auto-étiquetage qui améliore la précision des annotations de mouvement. Ils revendiquent un transfert zero-shot vers la navigation robotique, sans aucune démonstration sur robot. L'abstract ne donne ni chiffres de performance, ni taux de réussite, ni robot de test, ni volume de vidéos d'entraînement. Une page de projet est annoncée. L'intérêt est d'abord économique. La navigation vision-langage (VLN) repose aujourd'hui sur des politiques entraînées sur des données robot coûteuses et propres à chaque morphologie. Les modèles de fondation entraînés sur de vastes volumes de simulation progressent, mais butent sur la diversité limitée des scènes et sur le réalisme visuel. En séparant la planification (dans l'espace visuel) de l'actionnement (confié au modèle de dynamique inverse), ImagiNav permet d'exploiter des vidéos de navigation « in the wild », non étiquetées, qui existent en quantité bien supérieure à toute collecte robotique. Si l'approche tient à l'échelle, elle réduirait la dépendance aux flottes de téléopération et au sim-to-real. Les réserves sont claires : sans métriques publiées dans l'abstract, le transfert « zero-shot » reste à vérifier sur des environnements variés. La génération vidéo reste coûteuse en calcul et pose la question de la latence en boucle fermée. Rien n'indique non plus que la vidéo imaginée respecte les contraintes physiques et la sécurité d'un déploiement réel. Ce travail s'inscrit dans un mouvement plus large où les modèles génératifs de vidéo servent de « modèles du monde » pour la planification, en parallèle des architectures VLA (vision-langage-action) qui prédisent directement les actions. Il s'oppose aux approches de VLN de bout en bout entraînées sur données robot, et prolonge les travaux qui extraient des actions de vidéos via des modèles de dynamique inverse. Il s'agit d'un résultat de recherche académique, sans produit, pilote industriel ni calendrier de déploiement annoncé. Les prochaines étapes à surveiller sont la publication de résultats chiffrés sur robots réels, la comparaison avec les politiques VLN de référence et la libération éventuelle du code et du pipeline d'annotation.

RecherchePaper
1 source
NavGen : les modèles génératifs visuels comme moteur de données évolutif pour la navigation 3D incarnée
Illustration générée par IA
2arXiv cs.RO 

NavGen : les modèles génératifs visuels comme moteur de données évolutif pour la navigation 3D incarnée

Des chercheurs présentent NavGen dans un article publié sur arXiv (identifiant 2609.30770), un pipeline de génération de données texte-vers-vidéo destiné à l'entraînement de modèles de navigation aérienne pour drones. Le système produit des épisodes de navigation vision-langage (VLN) simulant des environnements intérieurs et extérieurs, associés à une méthode de diversification stylistique conçue pour multiplier les scénarios rares et coûteux à collecter dans la réalité. Le jeu de données résultant compte environ 400 000 épisodes de navigation. Les auteurs comparent leurs résultats à ceux obtenus avec des jeux de données UAV existants sur plusieurs métriques et constatent que les performances du modèle entraîné sur NavGen progressent avec l'échelle des données, dépassant les modèles entraînés sur les corpus concurrents. Pour vérifier le transfert vers le monde réel, l'équipe a déployé le modèle selon un paradigme dit "world-action-model" lors d'essais de vol réels, avec un taux de réussite de 75% sur des tâches et environnements de navigation variés. Cette approche s'attaque à un compromis structurel connu du secteur de la robotique aérienne : les données simulées sont générables à grande échelle mais souffrent d'un écart visuel important entre simulation et réalité, tandis que les données de vol réelles sont fidèles mais coûteuses et lentes à rassembler. En proposant les modèles génératifs vidéo comme une troisième voie, capable de produire des observations visuelles réalistes sans les contraintes logistiques du vol réel, NavGen apporte un élément de preuve empirique en faveur de l'hypothèse selon laquelle des générateurs vidéo haute fidélité peuvent servir de moteurs de données scalables pour l'IA incarnée. Le résultat intéresse directement les intégrateurs et laboratoires travaillant sur des modèles vision-langage-action : un taux de succès de 75% en conditions réelles, à nuancer selon la difficulté exacte des tâches testées et le nombre d'essais réalisés, suggère que l'écart entre démonstration et déploiement réel peut se réduire grâce à des données synthétiques mieux conçues plutôt que par la seule accumulation de vols réels. NavGen s'inscrit dans la lignée des travaux récents qui cherchent à contourner la pénurie de données d'entraînement pour la robotique incarnée, un problème déjà posé pour les bras manipulateurs et les humanoïdes et qui touche tout autant la navigation aérienne autonome. L'article ne révèle ni affiliation institutionnelle ni drone commercial associé au projet, et reste au stade de préprint scientifique : aucun partenariat industriel, pilote client ni feuille de route de déploiement n'est mentionné à ce jour. Les auteurs positionnent leur travail comme une alternative aux jeux de données UAV existants utilisés comme références dans le domaine, sans toutefois les nommer explicitement. La suite logique, non confirmée par les auteurs, serait l'extension de la méthode à d'autres classes de robots mobiles ou à des tâches de navigation plus complexes.

RechercheOpinion
1 source
AutoRSR : génération automatisée de données réel-simulation-réel pour un apprentissage robotique à grande échelle
Illustration générée par IA
3arXiv cs.RO 

AutoRSR : génération automatisée de données réel-simulation-réel pour un apprentissage robotique à grande échelle

AutoRSR, un framework publié sur arXiv (2610.20336) par une équipe de recherche, automatise la conversion d'un espace de travail réel en environnement de simulation prêt pour l'apprentissage robotique, puis en données de manipulation à grande échelle. À partir d'observations multi-vues, des états du robot et de requêtes sémantiques en vocabulaire ouvert, le système reconstruit la scène, extrait chaque objet sous forme d'actif 3D individuel et recale automatiquement la scène dans le repère de la base du robot, à l'échelle métrique. Quelques mouvements de référence suffisent ensuite pour générer des trajectoires exécutables, démultipliées par interpolation et randomisation de domaine. Sur trois tâches de manipulation réelles, des politiques entraînées sur 1 000 épisodes générés automatiquement par tâche atteignent 73,3 à 86,7 % de réussite sur robot réel. Ce niveau est comparable à celui de pi 0.5 entraîné sur 150 démonstrations téléopérées, avec un temps humain de production de données divisé environ par dix. L'enjeu est le goulot d'étranglement le plus coûteux de l'apprentissage par imitation : la collecte de démonstrations par téléopération, qui mobilise des opérateurs et immobilise des robots. Après le scan de l'espace et les requêtes sémantiques, le pipeline ne demande plus ni annotation manuelle des objets, ni calibration scène-robot, ni téléopération. Pour un intégrateur, cela rapproche l'idée de « scanner la cellule du client, puis entraîner » d'un flux de travail reproductible. Il faut toutefois rester prudent : trois tâches, un seul article préliminaire (v1), et une comparaison avec un seul modèle de référence. Les travaux ne précisent pas, dans ce résumé, la complexité des tâches ni leur robustesse face à des objets déformables, articulés ou à des variations d'éclairage importantes. Le chiffre de 73,3 à 86,7 % reste aussi inférieur à ce qu'exige une exploitation industrielle, où l'on vise plutôt le haut des 90 %. Le travail s'inscrit dans la lignée des approches real-to-sim-to-real, qui cherchent à réduire l'écart entre simulation et réalité sans repartir de zéro à chaque nouvelle scène. Il s'oppose à la stratégie dominante des grands acteurs de l'humanoïde et des modèles vision-langage-action (VLA), qui misent sur de vastes corpus de téléopération, et complète les pipelines de génération synthétique comme ceux popularisés autour de l'écosystème NVIDIA. Il fait aussi écho aux méthodes d'augmentation de démonstrations à partir de peu d'exemples. La suite logique serait une validation sur des tâches plus longues, des manipulateurs variés et des scènes industrielles, ainsi qu'une comparaison avec d'autres VLA. Aucun déploiement commercial ni calendrier de pilote n'est annoncé, et aucun acteur français ou européen n'est mentionné.

RecherchePaper
1 source
Passage à l'échelle de l'apprentissage par renforcement VLA sim-vers-réel grâce à des mondes 3D génératifs
Illustration générée par IA
4arXiv cs.RO 

Passage à l'échelle de l'apprentissage par renforcement VLA sim-vers-réel grâce à des mondes 3D génératifs

Une preprint arXiv mise a jour (2603.18532v3) présente une méthode pour affiner par apprentissage par renforcement (RL) des modèles vision-langage-action (VLA) en remplaçant les données réelles couteuses par des mondes 3D génératifs. Partant d'une politique pretrainee par imitation, les chercheurs combinent des modèles génératifs de scènes 3D et un concepteur de scènes pilote par langage naturel pour produire 100 environnements interactifs varies, permettant un entrainement RL massivement parallèle. Le taux de réussite en simulation grimpe de 9,7% a 79,8%, avec un temps de complétion des taches réduit de 1,25x. Transfere vers le réel grâce a de la randomisation de domaine, le taux de réussite passe de 21,7% a 75%, pour un gain de vitesse de 1,13x. Ce résultat s'attaque a un problème connu du secteur : affiner un VLA par RL directement en conditions réelles évite le fosse sim-to-real mais transforme paradoxalement un modèle généraliste en politique surspecialisee a une seule scene, faute de pouvoir diversifier les environnements physiques a bas cout. La simulation promettait plus de diversité, mais concevoir manuellement des scènes variées restait tout aussi couteux en travail. En montrant qu'un générateur de mondes 3D peut produire a la demande des dizaines d'environnements exploitables pour du RL a grande échelle, ces travaux ouvrent une voie pour les laboratoires et intégrateurs cherchant a entrainer des politiques généralistes sans multiplier les campagnes de collecte réelle, tout en traitant le fosse sim-to-real par la diversité des scènes plutôt que par le seul réalisme physique du simulateur. La méthode s'inscrit dans la lignée des travaux sur le fine-tuning RL des VLA, inspires par les progrès des grands modèles vision-langage entraines par renforcement, et se distingue des approches concurrentes fondées sur le RL purement réel ou sur des bibliothèques de scènes simulées construites a la main. Cette troisième version (v3) succède a des publications antérieures de la même preprint sur arXiv, signe d'un travail itératif. Une étude d'ablation montre que la généralisation zero-shot s'améliore directement avec la diversité des scènes générées, ce qui laisse présager une mise a l'échelle au-delà des 100 environnements testes ici avant tout déploiement industriel.

RechercheActu
1 source