RecherchearXiv cs.RO 19 octobre 2026

PASS-VLN : navigation vision-langage avec commandes locales tenant compte de la franchissabilité

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

PASS-VLN, présenté dans une prépublication arXiv (2610.22812), est un benchmark et un modèle de navigation robotique guidée par le langage (VLN, vision-and-language navigation) qui s'attaque à un angle mort des évaluations actuelles: la capacité réelle d'un robot à exécuter physiquement une commande locale compte tenu de sa morphologie. Le benchmark fige la scène, l'instruction, la pose de départ et la trajectoire de référence, et ne fait varier que la largeur du corps du robot. Le robot doit atteindre la cible si le passage demandé est franchissable, et s'arrêter avant l'obstacle dans le cas contraire. Côté modèle, la largeur du corps est encodée par un gonflement des obstacles dans une vue locale en perspective aérienne (bird's-eye view) dérivée de la profondeur. Cette géométrie est fusionnée avec le contexte visuel et linguistique, puis le système prédit des codes d'action latents discrets pour une exécution continue en boucle fermée. Les auteurs annoncent un gain d'environ 12 points de pourcentage en succès sans collision face à un modèle VLN solide, affiné sur leur propre benchmark, ainsi qu'une adaptation du comportement atteindre ou s'arrêter à la largeur du corps, y compris pour des largeurs jamais vues. Un déploiement réel est mentionné, sans chiffres détaillés dans le résumé.

L'intérêt pour l'industrie tient à la question posée. La plupart des benchmarks VLN supposent que chaque instruction est exécutable et privilégient les tâches longues, où un échec peut venir de la planification, de la mémoire spatiale ou de la collision, sans qu'on sache lequel. En isolant l'exécution locale, PASS-VLN rend l'échec attribuable. Pour un intégrateur, la question « mon robot passe-t-il par là ? » est centrale dès que des plateformes de gabarits différents (AMR, quadrupèdes, humanoïdes) partagent un même site. Le travail montre aussi qu'un modèle de langage peut être conditionné par la morphologie plutôt que d'ignorer son propre corps, et que le refus raisonné de passer devient une métrique mesurable. Le couplage avec un planificateur de haut niveau, qui obtient un meilleur succès avec moins de commandes locales, suggère une architecture hiérarchique crédible. Les réserves sont claires: la seule dimension variée est la largeur, le gain de 12 points se mesure sur un benchmark conçu par les auteurs, et la validation sur robot réel reste qualitative dans ce résumé.

Ce travail s'inscrit dans la tendance des modèles VLA et VLN à passer de démonstrations de bout en bout à des briques spécialisées et évaluables séparément, notamment comme exécuteur bas niveau sous un planificateur. Il prolonge les benchmarks VLN classiques, centrés sur des scènes d'intérieur et des instructions supposées réalisables, et rejoint les efforts sur la généralisation inter-morphologies portés par des acteurs comme Physical Intelligence ou NVIDIA avec GR00T. Aucune entreprise ni plateforme précise n'est citée, et aucun prix ou volume de déploiement n'est donné. La publication du benchmark et du modèle est annoncée, sans date. Elle conditionnera la reproductibilité des résultats et leur adoption comme référence par la communauté.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

RACO : optimisation de l'objectif grossier tenant compte de la fiabilité pour la navigation vision-langage des drones d'inspection

Un article publié en août 2026 sur arXiv (référence 2608.22678) présente RACO, un framework de navigation pour drones guidés par instructions en langage naturel (UAV-VLN), pensé pour les missions d'inspection plutôt que pour la simple atteinte d'un objectif, et LG-UVI, un protocole d'évaluation associé dérivé des jeux de données CityNav et CityRefer. Les auteurs pointent une faiblesse des architectures existantes en deux temps ("coarse-to-fine"): l'objectif grossier prédit avant le raffinement local est traité comme fiable alors qu'il peut dériver vers une région plausible mais erronée, ce que l'étape de raffinement fine ne parvient ensuite pas à corriger. LG-UVI ajoute à ces scènes urbaines simulées des objets cibles, des distracteurs visuellement ou sémantiquement proches, des zones d'inspection typées, ainsi que des métriques distinctes pour l'arrivée en zone et pour la confirmation de l'objet. RACO traite l'objectif grossier comme une hypothèse à vérifier en temps réel plutôt qu'un point de passage fixe, en s'appuyant sur des ancres candidates au niveau objet pour corriger la localisation avant la première étape de navigation puis à la frontière entre les deux étapes, avant d'appliquer un raffinement terminal adaptatif pour les cas de quasi-échec en fin de trajectoire. Sous un protocole d'évaluation en ligne unifié, il améliore le taux de succès de 9,53 points de pourcentage sur le jeu de validation "unseen" et de 7,98 points sur le jeu de test "unseen", par rapport à une reproduction de la référence antérieure HETT. Ce résultat touche un point sensible pour l'inspection industrielle par drone: dans un scénario réel de contrôle d'infrastructure, un appareil qui s'arrête devant le mauvais objet mais confirme tout de même une anomalie représente un risque opérationnel plus grave qu'un simple échec de navigation. En montrant qu'une part importante des erreurs vient d'une dérive précoce de l'objectif grossier, non rattrapée par le raffinement local classique, les auteurs remettent en cause l'hypothèse implicite de nombreux pipelines coarse-to-fine selon laquelle l'étape fine peut compenser une estimation grossière imparfaite. Pour les équipes travaillant sur la navigation vision-langage appliquée aux drones d'inspection, l'implication pratique est qu'une vérification explicite et intermédiaire de l'objectif doit être budgétisée, plutôt que de tout reposer sur la puissance du modèle de perception final. Un gain de 8 à 10 points de taux de succès mesuré sur un protocole en ligne unifié, et non sur des scénarios sélectionnés, reste notable dans un domaine où les progrès se comptent généralement en unités de pourcentage. RACO s'inscrit dans la lignée des travaux sur la navigation vision-langage pour drones en environnement urbain simulé, qui s'appuient historiquement sur CityNav et CityRefer pour l'entraînement et l'évaluation. La comparaison se fait face à HETT, une architecture coarse-to-fine antérieure que les auteurs ont reproduite faute de protocole standardisé pour les tâches d'inspection, un manque que LG-UVI vise justement à combler en distinguant l'atteinte d'un objectif générique de la confirmation fiable d'un objet précis en présence de distracteurs. L'article ne mentionne ni déploiement sur drone physique ni partenariat industriel: il s'agit d'une contribution de recherche évaluée en simulation, dont la suite logique serait une validation sur plateforme réelle et une extension à d'autres familles de distracteurs et de zones d'inspection.

RecherchePaper

1 source

2arXiv cs.RO

ShieldVLA : un alignement de sécurité tenant compte de la faisabilité pour les modèles vision-langage-action

Déposée sur arXiv en septembre 2026 (référence 2609.13231), l'étude présente ShieldVLA, un framework de fine-tuning pour la sécurité des modèles Vision-Language-Action (VLA) en manipulation robotique et en navigation. Face aux pénalités lagrangiennes des méthodes existantes, qui laissent des violations résiduelles ou imposent une prudence excessive, ShieldVLA apprend depuis les seules observations visuelles une approximation model-free de la fonction de valeur de réchabilité Hamilton-Jacobi, séparant maximisation de récompense en zone sûre et récupération près des états dangereux. La supervision s'appuie sur des scores de sécurité générés par un modèle vision-langage plutôt que sur un étiquetage manuel. Sur cinq bancs d'essai de navigation et manipulation, avec plusieurs architectures VLA, ShieldVLA réduit le coût de sécurité cumulé de 57% en moyenne et améliore le taux de réussite de 0,13 point par rapport à SafeVLA. Le résultat cible un angle mort des VLA : leur forte généralisation en manipulation et en navigation ne garantit aucune sécurité robuste une fois affinés sur une tâche, un enjeu critique dès qu'un robot opère près d'humains ou de matériel fragile. Les méthodes lagrangiennes actuelles imposent un compromis entre violations et prudence excessive peu compatible avec un déploiement industriel. En réduisant les violations tout en améliorant le taux de succès grâce à une supervision automatisée par modèle vision-langage plutôt qu'un étiquetage humain, l'étude suggère qu'un pipeline de sécurité scalable est possible sans sacrifier les performances, un point que pèseront intégrateurs et décideurs évaluant la maturité réelle des VLA en production, au-delà des démonstrations. L'approche s'inscrit dans la lignée des recherches sur l'alignement de sécurité post-entraînement des modèles robotiques de fondation, où SafeVLA sert de référence par optimisation lagrangienne que ShieldVLA reprend comme point de comparaison direct. L'article, déposé sur arXiv, ne précise ni les architectures VLA testées ni leur origine industrielle, et reste une contribution de recherche évaluée sur bancs d'essai simulés, sans essai sur robot physique, partenaire industriel ni calendrier annoncés. La suite logique, non détaillée par les auteurs, consisterait à valider l'approche par réchabilité sur du matériel réel et à l'étendre aux architectures VLA propriétaires des acteurs commerciaux du secteur, où les garanties de sécurité demeurent un frein identifié à l'adoption à grande échelle.

RecherchePaper

1 source

3arXiv cs.RO

Modèles vision-langage-action tenant compte du système de préhension

Une équipe de recherche publie sur arXiv, sous la référence 2608.24603, une étude introduisant MiGA, un jeu de données pour la manipulation robotique par modèles vision-langage-action (VLA), et GVLA, le modèle associé. MiGA couvre cinq types de pinces distincts répartis sur plusieurs robots, pour un total de 103 000 démonstrations capturant la divergence des stratégies de préhension selon l'effecteur pour un même objectif. GVLA combine un tokenizer multi-gripper et un routage de politique par adaptateurs, avec des représentations internes conditionnées par le type de pince. En simulation comme sur robots réels, GVLA surpasse les modèles de référence, avec une meilleure généralisation à des objets et tâches inédits et une adaptation plus rapide entre pinces. L'apport tient surtout au diagnostic : la plupart des VLA actuels supposent implicitement une invariance au type de pince, alors que la stratégie de préhension dépend de l'effecteur terminal, une pince parallèle et une ventouse exigeant des interactions distinctes pour saisir un même objet. Or les jeux de données d'entraînement existants reposent presque exclusivement sur des pinces parallèles, limitant la généralisation vers les ventouses ou pinces adaptatives utilisées en logistique et en manipulation industrielle. Pour les intégrateurs exploitant des flottes hétérogènes d'effecteurs, un modèle entraîné sur pince parallèle ne transfère pas trivialement à un bras équipé de ventouse. L'étude montre ainsi que le passage à l'échelle des VLA doit intégrer l'hétérogénéité matérielle des effecteurs, pas seulement celle des tâches ou des objets. Cette publication s'inscrit dans la vague de recherche sur les modèles vision-langage-action, qui ont démontré ces dernières années leur capacité à traduire des instructions en langage naturel en séquences d'actions robotiques, en se concentrant surtout sur la diversité des tâches et des scènes plutôt que sur celle des effecteurs. Il s'agit ici d'une contribution de recherche déposée sur arXiv, sans annonce de déploiement industriel : MiGA et GVLA sont pour l'instant validés en simulation et sur essais robots en laboratoire, sans précision sur une mise à disposition publique du code ou du dataset. La suite attendue est leur publication effective et une éventuelle reprise par des laboratoires confrontés, sur le terrain, à la diversité réelle des effecteurs de préhension.

RechercheActu

1 source

4arXiv cs.RO

C²Nav : comparer avant de s'engager, pour la navigation vision-langage en zero-shot

Publié sur arXiv le 15 septembre 2026 (2609.15142), C2Nav est un framework de navigation vision-langage zero-shot pour environnements continus (VLN-CE), sans entraînement supplémentaire. Trois modules le composent : Seeing élit par comparaison ordinale une vue parmi des candidates validées physiquement ; Remembering maintient un croquis de route et compare les hypothèses d'étapes d'instruction voisines ; Arriving combine une échelle d'hésitation, une comparaison rétrospective et un retour en arrière révocable pour décider l'arrêt. Sur le protocole public OpenNav R2R-CE 100, C2Nav avec Qwen3-VL-8B-Instruct obtient 41,0% de taux de réussite oracle (OSR), 31,0% de taux de réussite (SR) et 16,7% de SPL, le taux pondéré par la longueur du trajet ; avec GPT-5.5, ces scores montent à 54,0%, 44,0% et 29,0%. Sans Seeing, Remembering ou Arriving, le SR tombe respectivement à 14,0%, 25,0% et 29,0% ; remplacer les réponses comparatives par des questions cardinales le réduit à entre 12,0% et 28,0% selon l'étape du trajet. L'apport tient à l'interface entre modèle et robot plutôt qu'au modèle seul. La plupart des systèmes VLN-CE font produire au VLM des sorties cardinales, points de passage, pixels, caps, décisions d'arrivée absolues, couplant une réponse générative incertaine à une magnitude géométrique ou à un engagement irréversible. C2Nav inverse cette logique : le VLM compare des alternatives déjà construites par le contrôleur, tandis que géométrie, seuils et exécution restent du côté physique du robot. Les résultats montrent qu'une interface décisionnelle contrainte et un raisonnement de VLM plus puissant sont complémentaires et non substituables, ce qui suggère aux intégrateurs un gain de fiabilité accessible sans fine-tuning, par simple reformulation des questions posées au modèle. Le travail s'inscrit dans la navigation vision-langage en environnement continu, où l'essor des VLM généralistes pousse les chercheurs à les insérer directement dans la boucle de commande, souvent en zero-shot pour éviter un entraînement dédié à chaque environnement. C2Nav se positionne face aux architectures existantes exigeant des sorties géométriques directes, en s'appuyant sur deux VLM distincts, Qwen3-VL-8B-Instruct en version compacte et GPT-5.5 en référence plus puissante, évalués sur le protocole public OpenNav R2R-CE 100. Il s'agit à ce stade d'un article de recherche déposé sur arXiv, sans intégration dans un robot commercial ni déploiement réel, et sans suite annoncée par les auteurs.

RecherchePaper

1 source