Aller au contenu principal
Voir l'invisible : invite visuelle guidée par la physique pour une navigation VLA sensible à la température et aux radiationsIllustration générée par IA
RecherchearXiv cs.RO 

Voir l'invisible : invite visuelle guidée par la physique pour une navigation VLA sensible à la température et aux radiations

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent PG-VP (Physics-Guided Visual Prompting), un module de perception multimodal « plug-and-play » qui permet à un modèle vision-langage-action (VLA) de navigation d'éviter des dangers invisibles à une caméra RGB, comme une source de rayonnement ou un pic de température. Le module évalue le risque à partir de la physique d'une source thermique ou radioactive proche, détermine la direction d'évitement, puis superpose aux images un obstacle virtuel qui se déplace d'une image à l'autre (Dynamic Visual Prompting). La politique de navigation, restée gelée, contourne alors le danger comme elle le ferait pour un obstacle visible. L'obstacle virtuel est identique quel que soit le type de risque. Sans danger détecté, rien n'est affiché et la politique se comporte comme sans PG-VP. Sur OmniNav, avec les splits val-unseen de R2R-CE et RxR-CE, le module oriente la politique vers l'action à faible risque dans 84,9 % et 83,2 % des cas, pour un coût de 6,8 et 7,9 points de taux de succès de navigation. Un test sur robot réel, avec de vraies sources thermiques et radioactives et sans réentraînement, améliore de 63,45 % (thermique) et 32,59 % (radiation) la sécurité moyenne des 10 % pires trajectoires.

L'intérêt tient à la méthode. Intégrer un nouveau risque à un VLA exige d'ordinaire un encodeur dédié, de nouvelles données et un réentraînement, un coût qui freine le déploiement en site sensible (installations nucléaires, sites industriels chauds). PG-VP déplace le problème vers l'entrée visuelle. Ajouter un capteur ne change pas le motif de prompt, ce qui rend l'extension peu coûteuse pour un intégrateur. Le travail montre aussi qu'un VLA gelé peut être détourné vers un comportement de sécurité sans toucher à ses poids. Deux réserves s'imposent. Le gain n'est pas gratuit : la perte de 7 à 8 points de succès est significative pour un robot de production. Et les résultats réels portent sur des « scénarios distincts » dont l'ampleur n'est pas précisée, avec une métrique centrée sur les pires 10 % des trajectoires. Il s'agit d'une preuve de concept académique, pas d'un produit.

Le travail s'inscrit dans la vague des modèles VLA appliqués à la navigation vision-langage (VLN), évalués sur les benchmarks R2R-CE et RxR-CE, ici avec OmniNav comme politique de base. La sécurité de ces modèles reste un angle peu traité : la plupart des travaux visent le taux de succès en environnement domestique simulé, pas les risques non visuels. L'approche concurrence implicitement les solutions qui ajoutent des modalités et réentraînent les modèles. Aucun pilote ni calendrier n'est annoncé. Les prochaines étapes probables sont l'ajout d'autres capteurs (gaz, champs électromagnétiques), des tests sur plus de scénarios réels et une réduction du compromis sur le succès de navigation.

Dans nos dossiers

À lire aussi

Vol à l'aveugle : la délibération spatiale guidée par vision pour la navigation "voir et atteindre" des drones
Illustration générée par IA
1arXiv cs.RO 

Vol à l'aveugle : la délibération spatiale guidée par vision pour la navigation "voir et atteindre" des drones

Une équipe de recherche présente DBFly, un système de navigation pour drones capable d'approcher et de s'arrêter précisément près d'une cible désignée en langage naturel et visible dès la prise de vue initiale, une tâche connue sous le nom de "see-and-reach navigation". Le problème identifié par les auteurs est que les méthodes existantes associent directement les représentations vision-langage aux commandes de vol, sans étape intermédiaire de décision spatiale fine, ce qui provoque un désalignement entre la compréhension sémantique et le contrôle réel et rend les manœuvres incohérentes et les arrêts peu fiables.

RecherchePaper
1 source
Voir ce qui compte : la planification vidéo guidée par indices visuels pour une navigation robotique généralisable
Illustration générée par IA
2arXiv cs.RO 

Voir ce qui compte : la planification vidéo guidée par indices visuels pour une navigation robotique généralisable

Un preprint arXiv (2609.16737, mis en ligne mi-septembre 2026) présente CueNav, un système de navigation robotique combinant planification vidéo guidée par indices visuels et modèle inverse-dynamique (IDM) propre a chaque plateforme. Le planificateur vidéo s'appuie sur deux indices : une carte vue-du-dessus (Bird's-Eye View) donnant le contexte global de la tache, et le maintien d'une partie du corps du robot dans le champ égocentrique pour exposer le contexte d'embodiment. L'IDM traduit ensuite les champs de flux optique extraits de la vidéo en commandes d'actuation. Sur un test de labyrinthe, CueNav quasiment double le taux de réussite par rapport a une planification sans indice global, et atteint 70% de réussite dans un couloir étroit la ou les méthodes comparées échouent majoritairement.

RecherchePaper
1 source
ViTL : navigation en langage naturel zéro-shot guidée par logique temporelle via modèles vision-langage
Illustration générée par IA
3arXiv cs.RO 

ViTL : navigation en langage naturel zéro-shot guidée par logique temporelle via modèles vision-langage

Des chercheurs présentent ViTL (Vision-Language Temporal Logic), un système de navigation robotique capable d'exécuter des commandes en langage naturel impliquant plusieurs cibles et des contraintes temporelles, sans entraînement spécifique à l'environnement testé. Publié sur arXiv le 30 juin 2026, le framework s'attaque à un cas concret : une instruction comme "Nettoie la chaise ou le canapé, puis allume la télé" implique un ordre logique et un choix entre deux objets, ce qu'aucun système zero-shot existant ne gérait jusqu'ici. ViTL agit à deux niveaux.

RecherchePaper
1 source
GS-PRM : une feuille de route visuelle gaussienne pour la navigation guidée par image-objectif
Illustration générée par IA
4arXiv cs.RO 

GS-PRM : une feuille de route visuelle gaussienne pour la navigation guidée par image-objectif

Des chercheurs proposent GS-PRM, une « feuille de route visuelle gaussienne » destinée à la navigation par image-but, c'est-à-dire la tâche où un robot doit rejoindre un point défini uniquement par une image. La méthode s'appuie sur le 3D Gaussian Splatting (3DGS), qui fournit des rendus RGB, d'opacité et de profondeur recalés sur la carte, mais n'encode pas la topologie navigable. GS-PRM construit donc, directement par rendu 3DGS, des jalons, des connexions locales et des images de référence, sans passer par une grille d'occupation ni par un champ de distance signée. La profondeur panoramique donne une marge de dégagement prudente pour valider les jalons et adapter la couverture.

RecherchePaper
1 source