RecherchearXiv cs.RO 12 octobre 2026

HorizonNav : diffusion vidéo guidée par la géométrie pour une navigation robotique 3D anticipative

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

HorizonNav, un framework décrit dans un preprint arXiv (2610.13849v1), propose de transformer une seule image RGB et un prompt textuel en représentation 3D géométriquement alignée de l'espace environnant, pour permettre une navigation « anticipatrice » sans lidar. Un modèle vision-langage interprète la scène et construit des prompts structurés pour un modèle de diffusion vidéo, qui génère une séquence d'observations futures plausibles. Cette vidéo est ensuite traitée par ORB-SLAM3 en mode monoculaire pour estimer les poses de caméra, et par Video Depth Anything pour prédire une profondeur dense. L'apport central est une étape d'alignement de la profondeur guidée par la géométrie, qui combine les poses estimées et des points de repère visuels triangulés pour contraindre les cartes de profondeur sur plusieurs vues. Les auteurs soulignent que la seule cohérence temporelle de la vidéo générée ne suffit pas à garantir une géométrie cohérente.

Les résultats chiffrés restent modestes, mais ils sont présentés avec une franchise rare. Sur une étude de 19 scènes, le nombre de scènes permettant une planification passe de 13/19 à 15/19 entre les configurations P20 et P81, et les essais RRT réussis de 62/90 à 75/90. Dans une étude de couloirs, 6 trajectoires de caméra générées sur 25 évaluables violent les contraintes de collision reconstruites, et le planificateur RRT trouve une alternative faisable dans 5 de ces 6 cas. Sur une archive plus large, 58 reconstructions exploitables sur 67 tentatives ont été obtenues, mais seules 36 débouchent sur un plan, contre 22 sans plan possible. L'erreur moyenne de reconstruction atteint environ 0,30 m sur 15 couloirs, mesurée à des repères structurels appariés. Pour un intégrateur, 0,30 m est loin d'une précision suffisante pour de la manipulation, et même pour de la navigation en espace étroit la marge est faible. Aucun test sur robot réel n'est mentionné dans le résumé, et l'évaluation se fait dans des environnements « imaginés ».

L'intérêt tient à la publication des échecs : près d'un tiers des reconstructions exploitables ne supporte aucun plan, ce qui chiffre l'écart entre une vidéo visuellement plausible et un espace libre réellement fiable. Cela tempère l'idée que les modèles de monde génératifs peuvent remplacer directement la cartographie par capteurs actifs. Dans ce cadre, la vidéo générée reste une hypothèse sur ce qui est hors champ, pas une mesure. Le travail s'inscrit dans la tendance à utiliser la diffusion vidéo comme modèle de monde pour la robotique, en concurrence avec les approches de navigation fondées sur la cartographie classique, le SLAM visuel-inertiel ou les VLA de navigation. Il s'agit d'une preuve de concept académique : ni produit, ni déploiement, ni calendrier annoncé. Les prochaines étapes naturelles seraient des essais sur plateforme mobile réelle et une réduction de l'erreur métrique.

Dans nos dossiers

World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

VGP-Nav : perception géométrique visuelle adaptée aux métriques pour la navigation robotique

Une équipe de chercheurs a présenté en juin 2026 VGP-Nav (arXiv:2606.09268), un cadre unifié permettant à un robot mobile de se localiser avec précision et de détecter des obstacles avec cohérence métrique en n'utilisant qu'une seule caméra RGB monoculaire standard. Contrairement aux systèmes de navigation conventionnels qui combinent caméras et capteurs actifs comme le LiDAR pour obtenir des mesures métriques fiables, VGP-Nav s'appuie exclusivement sur la vision monoculaire. L'architecture ancre la géométrie visuelle à des contraintes d'échelle physiquement significatives extraites de la géométrie du plan sol, ce qui permet de résoudre en ligne l'ambiguïté d'échelle inhérente à tout système monoculaire. Les expériences présentées couvrent des environnements variés et incluent un déploiement validé sur des robots mobiles réels. L'ambiguïté d'échelle est l'un des obstacles fondamentaux à la navigation monoculaire : une caméra seule ne peut pas distinguer un objet proche et petit d'un objet lointain et grand sans référence externe. Les approches classiques contournent ce problème avec du LiDAR (coûteux, encombrant, nécessitant une calibration spatio-temporelle complexe entre capteurs) ou des centrales inertielles, ce qui augmente le coût et la complexité des déploiements, notamment pour les flottes d'AMR en logistique ou en industrie. Si VGP-Nav tient ses promesses à l'échelle, il ouvre la voie à des robots mobiles autonomes basse consommation capables de naviguer en sécurité dans des environnements non structurés sans infrastructure sensorielle lourde, un enjeu critique pour les intégrateurs cherchant à réduire le coût total de possession. La navigation purement visuelle fait l'objet d'intenses recherches depuis la première génération de systèmes SLAM monoculaires comme ORB-SLAM (2015), mais la cohérence métrique restait leur talon d'Achille face au LiDAR. Des approches récentes basées sur la profondeur monoculaire apprise, Depth Anything, UniDepth, ou des architectures de localisation neuronale cherchent à combler cet écart, tandis que des acteurs comme Nvidia (Isaac Perceptor), Clearpath Robotics ou Slamtec intègrent progressivement davantage de vision dans leurs pipelines de navigation pour AMR. VGP-Nav reste à ce stade une contribution de recherche en pré-print : sa validité industrielle n'est pas encore confirmée par des benchmarks tiers indépendants sur des datasets standardisés comme nuScenes ou ScanNet, et aucun partenariat commercial ni calendrier de transfert technologique n'est annoncé.

UEPotentiel indirect pour les intégrateurs AMR européens si la technologie est validée industriellement, aucun partenariat commercial ni transfert vers l'Europe n'est annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Diffusion socialement guidée pour une navigation robotique pilotable et ancrée dans les normes sociales : SoGuDiff

Une équipe de recherche publie SoGuDiff (Socially Guided Diffusion), un cadre de navigation robotique fondé sur un modèle de diffusion, dans une prépublication arXiv (2609.30560v1, catégorie "new"). Le système permet de régler à l'exécution le style social d'un robot mobile : distance de passage, côté privilégié pour contourner un obstacle, degré de déférence envers un groupe de personnes. Contrairement aux politiques classiques, entraînées par apprentissage par renforcement sur une récompense fixe ou par imitation de démonstrations humaines, qui figent un comportement unique sans réglage possible, SoGuDiff définit des axes de style continus, utilisables seuls ou combinés, plutôt qu'un catalogue de comportements discrets prédéfinis. Une couche de projection de faisabilité sépare ce comportement social appris des contraintes cinématiques et de l'évitement de collision. Les auteurs montrent qu'un balayage sur un seul axe de style produit une courbe de compromis qui domine strictement les configurations de référence à comportement fixe testées, et que les différences de style se retrouvent dans des démonstrations réelles ; aucune plateforme commerciale, entreprise ni volume de déploiement n'est cité, il s'agit d'une contribution méthodologique et non d'un produit livré. Pour les intégrateurs de robots mobiles autonomes et de service évoluant en environnements partagés avec des humains, l'absence d'interface de réglage du comportement social est une limite connue : chaque site, culture ou réglementation impose ses propres conventions de distance et de priorité de passage, qu'une politique figée gère mal. Pouvoir ajuster ce comportement via des paramètres continus au déploiement, sans ré-entraînement ni choix parmi des comportements discrets prédéfinis, simplifierait l'adaptation d'une même flotte à plusieurs sites. La validation reste toutefois limitée à un seul axe de style balayé et à des références "comportement fixe" définies par les auteurs eux-mêmes, sans comparaison à un système commercial existant ni test à grande échelle : le résultat démontré est une courbe de compromis en banc d'essai, pas un déploiement en flotte. Le travail prolonge des recherches antérieures sur les modèles de diffusion appliqués à la planification de trajectoire, une approche qui a gagné du terrain depuis 2023 pour sa capacité à représenter des comportements multimodaux, à la différence des politiques par renforcement ou par imitation classiques qui convergent vers un comportement moyen unique. L'abstract ne cite aucun concurrent ni acteur industriel, américain ou européen, ni aucun des acteurs FR/EU du secteur AMR comme Wandercraft ou Exotec, le travail relevant de la recherche académique plutôt que d'un produit commercial. Aucun calendrier de pilote ni prochaine étape n'est annoncé : il s'agit pour l'instant d'une simple prépublication, dont la portée pratique dépendra de validations futures sur du matériel varié et à plus grande échelle.

UEAucune entreprise ni institution européenne n'est impliquée, mais la méthode pourrait intéresser les intégrateurs européens de robots mobiles de service confrontes a des normes sociales variables selon les pays.

RecherchePaper

1 source

3arXiv cs.RO

Voir ce qui compte : la planification vidéo guidée par indices visuels pour une navigation robotique généralisable

Un preprint arXiv (2609.16737, mis en ligne mi-septembre 2026) présente CueNav, un système de navigation robotique combinant planification vidéo guidée par indices visuels et modèle inverse-dynamique (IDM) propre a chaque plateforme. Le planificateur vidéo s'appuie sur deux indices : une carte vue-du-dessus (Bird's-Eye View) donnant le contexte global de la tache, et le maintien d'une partie du corps du robot dans le champ égocentrique pour exposer le contexte d'embodiment. L'IDM traduit ensuite les champs de flux optique extraits de la vidéo en commandes d'actuation. Sur un test de labyrinthe, CueNav quasiment double le taux de réussite par rapport a une planification sans indice global, et atteint 70% de réussite dans un couloir étroit la ou les méthodes comparées échouent majoritairement. Les auteurs démontrent aussi une navigation conditionnée sémantiquement en zero-shot et le déploiement d'un même planificateur vidéo sur plusieurs plateformes robotiques, avec code et résultats sur cuenav.github.io. Le travail cible un angle mort des approches actuelles de navigation par modèle vidéo, qui conditionnent généralement la planification sur un horizon court et récupèrent des points de passage géométriques via reconstruction de scene, au détriment du long horizon et d'une traduction vidéo-vers-action précise. En couplant contexte global et ancrage d'action spécifique a l'embodiment, CueNav esquisse une piste pour transformer les modèles vidéo génératifs en véritable backbone de politique de navigation généralisable, plutôt qu'en simple outil de visualisation a court terme. Pour les intégrateurs qui explorent les architectures vision-langage-action (VLA) au-delà de la manipulation, cela suggère qu'une même logique de planification vidéo peut se transférer entre plateformes, un enjeu pour les flottes hétérogènes d'AMR et de robots humanoïdes. Ce travail s'inscrit dans une tendance ou des modèles vidéo génératifs sont testes comme backbone de politiques robotiques, en parallèle d'architectures VLA comme Pi-0 ou GR00T N2 employées en manipulation, et se positionne explicitement contre les méthodes limitant la planification a un horizon court avec reconstruction géométrique. Il s'agit d'un preprint non encore revu par les pairs, dont les taux de réussite annonces (quasi-doublement en labyrinthe, 70% en couloir étroit) proviennent de bancs d'essai contrôles propres a l'étude, sans précision sur le nombre d'essais ni déploiement en environnement industriel réel. Aucune entreprise ni feuille de route commerciale n'est associée a l'annonce : il s'agit d'une contribution académique, sans calendrier de pilote a ce jour.

RecherchePaper

1 source

4arXiv cs.RO

Anticipation sans rendu pour la vision active guidée par les questions

Des chercheurs proposent Rendering-Free Lookahead (RFL), une politique de sélection de point de vue pour la vision active robotique, décrite dans l'étude arXiv 2610.11039. Le problème visé est celui des questions dont la réponse dépend de l'angle de caméra. Pour savoir ce que contient une boîte, par exemple, il faut lever la caméra et regarder à l'intérieur. Les modèles vision-langage (VLM) savent interpréter une image déjà captée, mais pas anticiper l'utilité d'une vue qu'ils n'ont pas encore. Les auteurs définissent donc une grandeur, l'« answerability » : l'estimation par un VLM qu'une vue suffit pour répondre à la question. RFL classe les mouvements de caméra candidats selon l'answerability qu'ils devraient produire. La méthode déplace le calcul d'anticipation du déploiement vers l'entraînement. Un enseignant « privilégié » rend les vues futures candidates dans des scènes 3D Gaussian Splatting (3DGS). Un VLM gelé en déduit des cibles d'answerability à un et deux pas. Une distillation en deux étapes apprend ensuite à un modèle élève à prédire la valeur de chaque action à partir de la question, des observations récentes et du mouvement candidat. Au déploiement, l'élève choisit le mouvement sans rendre aucune vue future. Sur 377 épisodes de test du benchmark E3VS-Bench, dans des environnements inédits, RFL améliore de 43 % le score moyen d'un juge par rapport à une base de référence à action directe qui utilise le même VLM. L'intérêt pratique tient à ce qu'on évite de rendre ou de simuler des vues candidates en ligne, ce qui coûterait en latence et en calcul sur un robot réel. Le résultat soutient aussi l'idée qu'une information disponible seulement en simulation (les scènes 3DGS complètes) peut être transférée à une politique qui ne verra jamais ces scènes. Les limites sont claires. Le gain est mesuré sur un benchmark et contre une seule base de référence, avec un score attribué par un juge, donc un modèle. Rien n'indique de test sur un robot physique, ni de chiffres de latence ou de taux de réussite absolus. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la vision active, où l'agent choisit ses observations au lieu de subir un flux d'images fixe. Il se rapproche des approches de questions-réponses incarnées, qui exigent d'explorer pour répondre. Il profite aussi de la généralisation du 3D Gaussian Splatting pour reconstruire des scènes rendables à bas coût. La suite logique serait une validation sur matériel réel, avec des bras ou des têtes mobiles, et avec des questions plus ouvertes que celles du benchmark. Le papier, de type « cross-list » sur arXiv, ne mentionne ni entreprise ni calendrier de commercialisation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source