Aller au contenu principal
Voir ce qui compte : la planification vidéo guidée par indices visuels pour une navigation robotique généralisable
RecherchearXiv cs.RO 

Voir ce qui compte : la planification vidéo guidée par indices visuels pour une navigation robotique généralisable

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un preprint arXiv (2609.16737, mis en ligne mi-septembre 2026) présente CueNav, un système de navigation robotique combinant planification vidéo guidée par indices visuels et modèle inverse-dynamique (IDM) propre a chaque plateforme. Le planificateur vidéo s'appuie sur deux indices : une carte vue-du-dessus (Bird's-Eye View) donnant le contexte global de la tache, et le maintien d'une partie du corps du robot dans le champ égocentrique pour exposer le contexte d'embodiment. L'IDM traduit ensuite les champs de flux optique extraits de la vidéo en commandes d'actuation. Sur un test de labyrinthe, CueNav quasiment double le taux de réussite par rapport a une planification sans indice global, et atteint 70% de réussite dans un couloir étroit la ou les méthodes comparées échouent majoritairement. Les auteurs démontrent aussi une navigation conditionnée sémantiquement en zero-shot et le déploiement d'un même planificateur vidéo sur plusieurs plateformes robotiques, avec code et résultats sur cuenav.github.io.

Le travail cible un angle mort des approches actuelles de navigation par modèle vidéo, qui conditionnent généralement la planification sur un horizon court et récupèrent des points de passage géométriques via reconstruction de scene, au détriment du long horizon et d'une traduction vidéo-vers-action précise. En couplant contexte global et ancrage d'action spécifique a l'embodiment, CueNav esquisse une piste pour transformer les modèles vidéo génératifs en véritable backbone de politique de navigation généralisable, plutôt qu'en simple outil de visualisation a court terme. Pour les intégrateurs qui explorent les architectures vision-langage-action (VLA) au-delà de la manipulation, cela suggère qu'une même logique de planification vidéo peut se transférer entre plateformes, un enjeu pour les flottes hétérogènes d'AMR et de robots humanoïdes.

Ce travail s'inscrit dans une tendance ou des modèles vidéo génératifs sont testes comme backbone de politiques robotiques, en parallèle d'architectures VLA comme Pi-0 ou GR00T N2 employées en manipulation, et se positionne explicitement contre les méthodes limitant la planification a un horizon court avec reconstruction géométrique. Il s'agit d'un preprint non encore revu par les pairs, dont les taux de réussite annonces (quasi-doublement en labyrinthe, 70% en couloir étroit) proviennent de bancs d'essai contrôles propres a l'étude, sans précision sur le nombre d'essais ni déploiement en environnement industriel réel. Aucune entreprise ni feuille de route commerciale n'est associée a l'annonce : il s'agit d'une contribution académique, sans calendrier de pilote a ce jour.

À lire aussi

VIP : planification itérative par variation pour la navigation robotique
1arXiv cs.RO 

VIP : planification itérative par variation pour la navigation robotique

Une équipe de recherche présente VIP (Variation-based Iterative-learning Planning), un nouveau cadre de planification de trajectoires pour robots mobiles individuels et essaims robotiques, publie sur arXiv le 26 aout 2026 sous l'identifiant 2608.24618. Contrairement aux méthodes classiques qui paramètrent la trajectoire par un nombre fini de variables discrètes ou qui allongent l'horizon de prédiction au prix d'un cout de calcul croissant, VIP met a jour directement la commande de planification comme une fonction continue dans un espace de fonctions de dimension infinie. Cette mise a jour par variation peut s'exécuter soit hors ligne, en boucle avec un modèle, soit en ligne, en boucle avec l'exécution physique du robot. Le résultat clé est une complexité de calcul par itération en O(n), n etant le nombre de points de discrétisation spatiale, indépendamment de l'allongement de l'horizon ou de la dimension de la trajectoire. Les auteurs rapportent des simulations étendues et des expériences réelles validant la capacité du cadre a générer et améliorer itérativement des plans de mouvement pour différents objectifs, plateformes robotiques et configurations d'essaims. Le problème cible n'est pas anecdotique: la planification de mouvement en environnement large, complexe et encombre d'obstacles, avec des ressources de calcul embarquées limitées, est un goulot d'étranglement connu pour les applications de relève topographique, de recherche et sauvetage et de livraison du dernier kilomètre. La croissance rapide des couts de calcul des méthodes conventionnelles devient particulièrement problématique en scenario multi-robots, ou chaque agent supplémentaire alourdit la charge globale. En maintenant une complexité linéaire en n independamment du nombre de robots ou de l'horizon de prédiction, VIP s'attaque directement a un frein a l'échelle qui limite aujourd'hui le déploiement d'essaims robotiques en conditions réelles. Pour les intégrateurs et décideurs du secteur, l'intérêt tient moins a une démonstration ponctuelle qu'a la promesse de scalabilité: un cadre générique, applicable a plusieurs plateformes et objectifs sans redesign complet, réduirait le cout d'ingénierie pour déployer des flottes plus grandes. Les résultats publies restent toutefois issus d'expériences contrôlées en simulation et de tests réels limites, non d'un déploiement opérationnel a grande échelle. VIP s'inscrit dans une lignée de recherche en optimisation de trajectoires qui cherche depuis plusieurs années a dépasser les limites des approches par discrétisation finie, historiquement dominantes en planification robotique mais couteuses des que l'horizon temporel ou le nombre d'agents augmente. En traitant la commande de planification comme une fonction continue plutôt qu'un vecteur de variables discrètes, les auteurs se rapprochent des méthodes de calcul des variations appliquées au contrôle optimal, transposées ici a un cadre itératif compatible avec l'apprentissage en boucle physique. L'article, classe comme nouvelle soumission arXiv en robotique, ne précise ni partenaire industriel ni calendrier de transfert vers un produit commercial: il s'agit a ce stade d'une contribution méthodologique destinée a la communauté de recherche en planification et contrôle, dont l'adoption dépendra de sa reprise par des laboratoires ou entreprises spécialisées en navigation autonome et systèmes multi-robots.

RecherchePaper
1 source
HorizonNav : diffusion vidéo guidée par la géométrie pour une navigation robotique 3D anticipative
2arXiv cs.RO 

HorizonNav : diffusion vidéo guidée par la géométrie pour une navigation robotique 3D anticipative

HorizonNav, un framework décrit dans un preprint arXiv (2610.13849v1), propose de transformer une seule image RGB et un prompt textuel en représentation 3D géométriquement alignée de l'espace environnant, pour permettre une navigation « anticipatrice » sans lidar. Un modèle vision-langage interprète la scène et construit des prompts structurés pour un modèle de diffusion vidéo, qui génère une séquence d'observations futures plausibles. Cette vidéo est ensuite traitée par ORB-SLAM3 en mode monoculaire pour estimer les poses de caméra, et par Video Depth Anything pour prédire une profondeur dense. L'apport central est une étape d'alignement de la profondeur guidée par la géométrie, qui combine les poses estimées et des points de repère visuels triangulés pour contraindre les cartes de profondeur sur plusieurs vues. Les auteurs soulignent que la seule cohérence temporelle de la vidéo générée ne suffit pas à garantir une géométrie cohérente. Les résultats chiffrés restent modestes, mais ils sont présentés avec une franchise rare. Sur une étude de 19 scènes, le nombre de scènes permettant une planification passe de 13/19 à 15/19 entre les configurations P20 et P81, et les essais RRT réussis de 62/90 à 75/90. Dans une étude de couloirs, 6 trajectoires de caméra générées sur 25 évaluables violent les contraintes de collision reconstruites, et le planificateur RRT trouve une alternative faisable dans 5 de ces 6 cas. Sur une archive plus large, 58 reconstructions exploitables sur 67 tentatives ont été obtenues, mais seules 36 débouchent sur un plan, contre 22 sans plan possible. L'erreur moyenne de reconstruction atteint environ 0,30 m sur 15 couloirs, mesurée à des repères structurels appariés. Pour un intégrateur, 0,30 m est loin d'une précision suffisante pour de la manipulation, et même pour de la navigation en espace étroit la marge est faible. Aucun test sur robot réel n'est mentionné dans le résumé, et l'évaluation se fait dans des environnements « imaginés ». L'intérêt tient à la publication des échecs : près d'un tiers des reconstructions exploitables ne supporte aucun plan, ce qui chiffre l'écart entre une vidéo visuellement plausible et un espace libre réellement fiable. Cela tempère l'idée que les modèles de monde génératifs peuvent remplacer directement la cartographie par capteurs actifs. Dans ce cadre, la vidéo générée reste une hypothèse sur ce qui est hors champ, pas une mesure. Le travail s'inscrit dans la tendance à utiliser la diffusion vidéo comme modèle de monde pour la robotique, en concurrence avec les approches de navigation fondées sur la cartographie classique, le SLAM visuel-inertiel ou les VLA de navigation. Il s'agit d'une preuve de concept académique : ni produit, ni déploiement, ni calendrier annoncé. Les prochaines étapes naturelles seraient des essais sur plateforme mobile réelle et une réduction de l'erreur métrique.

RecherchePaper
1 source
Voir l'invisible : invite visuelle guidée par la physique pour une navigation VLA sensible à la température et aux radiations
3arXiv cs.RO 

Voir l'invisible : invite visuelle guidée par la physique pour une navigation VLA sensible à la température et aux radiations

Des chercheurs proposent PG-VP (Physics-Guided Visual Prompting), un module de perception multimodal « plug-and-play » qui permet à un modèle vision-langage-action (VLA) de navigation d'éviter des dangers invisibles à une caméra RGB, comme une source de rayonnement ou un pic de température. Le module évalue le risque à partir de la physique d'une source thermique ou radioactive proche, détermine la direction d'évitement, puis superpose aux images un obstacle virtuel qui se déplace d'une image à l'autre (Dynamic Visual Prompting). La politique de navigation, restée gelée, contourne alors le danger comme elle le ferait pour un obstacle visible. L'obstacle virtuel est identique quel que soit le type de risque. Sans danger détecté, rien n'est affiché et la politique se comporte comme sans PG-VP. Sur OmniNav, avec les splits val-unseen de R2R-CE et RxR-CE, le module oriente la politique vers l'action à faible risque dans 84,9 % et 83,2 % des cas, pour un coût de 6,8 et 7,9 points de taux de succès de navigation. Un test sur robot réel, avec de vraies sources thermiques et radioactives et sans réentraînement, améliore de 63,45 % (thermique) et 32,59 % (radiation) la sécurité moyenne des 10 % pires trajectoires. L'intérêt tient à la méthode. Intégrer un nouveau risque à un VLA exige d'ordinaire un encodeur dédié, de nouvelles données et un réentraînement, un coût qui freine le déploiement en site sensible (installations nucléaires, sites industriels chauds). PG-VP déplace le problème vers l'entrée visuelle. Ajouter un capteur ne change pas le motif de prompt, ce qui rend l'extension peu coûteuse pour un intégrateur. Le travail montre aussi qu'un VLA gelé peut être détourné vers un comportement de sécurité sans toucher à ses poids. Deux réserves s'imposent. Le gain n'est pas gratuit : la perte de 7 à 8 points de succès est significative pour un robot de production. Et les résultats réels portent sur des « scénarios distincts » dont l'ampleur n'est pas précisée, avec une métrique centrée sur les pires 10 % des trajectoires. Il s'agit d'une preuve de concept académique, pas d'un produit. Le travail s'inscrit dans la vague des modèles VLA appliqués à la navigation vision-langage (VLN), évalués sur les benchmarks R2R-CE et RxR-CE, ici avec OmniNav comme politique de base. La sécurité de ces modèles reste un angle peu traité : la plupart des travaux visent le taux de succès en environnement domestique simulé, pas les risques non visuels. L'approche concurrence implicitement les solutions qui ajoutent des modalités et réentraînent les modèles. Aucun pilote ni calendrier n'est annoncé. Les prochaines étapes probables sont l'ajout d'autres capteurs (gaz, champs électromagnétiques), des tests sur plus de scénarios réels et une réduction du compromis sur le succès de navigation.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Génération guidée par le langage pour la planification d'inspection personnalisée
4arXiv cs.RO 

Génération guidée par le langage pour la planification d'inspection personnalisée

Des chercheurs proposent une méthode sans entraînement (training-free) guidée par un modèle vision-langage (VLM) pour générer automatiquement des trajectoires d'inspection à partir de descriptions textuelles, détaillée dans un article arXiv (2506.02917v2, version révisée). Le système extrait d'abord les points d'intérêt (POI) mentionnés dans le texte, puis identifie des points de passage garantissant leur visibilité tout en respectant les contraintes spatiales du prompt. Il affine ensuite la trajectoire par itérations avec le VLM, résout un problème du voyageur de commerce (TSP) pour déterminer l'ordre de visite optimal, puis applique une optimisation de trajectoire pour produire des chemins lisses et exécutables par des véhicules aériens ou sous-marins. La méthode a été testée sur des environnements construits à la main et sur des scènes réelles scannées en 3D. Contrairement aux approches classiques de navigation vision-langage (VLN), conçues pour des agents évoluant dans des environnements inconnus, cette technique cible spécifiquement l'inspection de scènes déjà connues et cartographiées, avec des applications potentielles en imagerie médicale, en inspection marine et en génie civil. L'absence de phase d'entraînement dédiée est l'argument central : elle éviterait la collecte de données et le réentraînement coûteux à chaque nouvel environnement, un frein habituel à l'adoption de la planification automatisée pour drones et véhicules sous-marins autonomes. Pour les intégrateurs, l'intérêt est de remplacer la programmation manuelle de points de passage par une simple instruction en langage naturel, un pas vers des systèmes de planification pilotés par le langage à l'échelle d'un site industriel plutôt que du seul bras manipulateur. Le travail s'inscrit dans la vague plus large d'intégration des modèles vision-langage-action en robotique, jusqu'ici surtout démontrée sur la manipulation par des systèmes comme Pi-0, GR00T N2 ou Helix ; il l'étend ici à la planification de trajectoires pour l'inspection aérienne et sous-marine. Aucune entreprise ni plateforme commerciale n'est citée : il s'agit d'un travail de recherche académique, publié en préprint et évalué uniquement en environnements contrôlés ou scannés, sans déploiement terrain ni produit commercialisé à ce stade. La suite logique attendue serait une validation sur des missions d'inspection réelles avec des drones ou véhicules sous-marins physiques, hors simulation ou reconstruction 3D statique.

RechercheActu
1 source