RecherchearXiv cs.RO 15 septembre 2026

NavPatch : correction de costmap au niveau objet guidée par preuves avec des modèles vision-langage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent NavPatch, une couche de correction au niveau objet destinée aux robots mobiles qui s'appuie sur un modèle vision-langage pour ajuster les cartes de coûts géométriques utilisées en navigation. Le système applique trois types de correction (ADD, REMOVE, EXTEND) à des catégories d'objets pertinentes pour la navigation, comme un câble bas ignoré par les capteurs, un rideau souple créant un blocage fictif, ou un plot de signalisation nécessitant une zone d'exclusion plus large que son empreinte réelle. La localisation des objets repose sur du grounding en vocabulaire ouvert, complété par des données LiDAR et RGB-D pour le support 3D, avec un filtrage de la qualité des observations et un suivi inter images qui décide quand chaque correction est validée, remplacée ou annulée. Sur 50 essais réels répartis sur cinq configurations d'environnement, NavPatch atteint un taux de réussite global de 86,0%. Une étude d'ablation portant sur quatre configurations et 200 essais au total montre une progression du taux de réussite de 70,0% à 86,0%, et une réduction du taux de fausses validations de 68,4% à 40,7% par rapport à une approche fondée uniquement sur l'observation courante.

Ce travail s'attaque à un problème concret pour les intégrateurs de robotique mobile: les cartes géométriques classiques, construites à partir de nuages de points ou de grilles d'occupation, peinent à représenter correctement des objets ambigus, transparents, filiformes ou nécessitant une marge de sécurité contextuelle. En montrant qu'une correction sémantique pilotée par un modèle vision-langage réduit significativement les faux positifs de blocage tout en améliorant le taux de succès en navigation réelle, l'étude apporte une preuve empirique que l'ajout d'une compréhension de scène au-dessus de la géométrie brute améliore la robustesse en conditions réelles, plutôt que de rester une simple démonstration en simulation. Pour les équipes déployant des AMR (robots mobiles autonomes) en entrepôt ou en environnement industriel, cela suggère une voie pour réduire les arrêts intempestifs et les erreurs de planification de trajectoire sans reconcevoir entièrement la pile de perception existante.

Cette approche s'inscrit dans la tendance plus large consistant à combiner cartographie géométrique traditionnelle et modèles vision-langage pour de la navigation robotique, un axe de recherche actif alors que les capacités de grounding en vocabulaire ouvert des modèles multimodaux progressent rapidement. L'article, publié sous la référence arXiv:2609.14543v1, ne précise pas l'identité des auteurs ni leur affiliation institutionnelle dans les éléments fournis, et les essais restent limités à 50 essais réels sur cinq configurations, un périmètre expérimental modeste qui laisse ouvertes les questions de généralisation à des environnements industriels plus vastes ou plus dynamiques. Aucun partenariat industriel, déploiement commercial ou suite annoncée n'est mentionné à ce stade, ce qui situe clairement ce travail au stade de la recherche académique plutôt que du produit prêt à déployer.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage

EAFG (Evidence Acquisition and Feasibility Gating), publié sur arXiv le 20 août 2026 (2608.20084v1), est un framework de planification de tâches et de mouvements (TAMP) pilotée par des modèles vision-langage (VLM) pour robots manipulateurs. Face à une instruction longue, comme cuisiner un plat, le VLM peut halluciner la présence d'objets jamais observés et bâtir des sous-objectifs sur ses connaissances a priori plutôt que sur la perception réelle, causant des échecs d'exécution. EAFG fait d'abord explorer le robot, via des sous-objectifs générés par le VLM et exécutés par TAMP, pour recueillir des preuves visuelles ; une porte de faisabilité décide ensuite de planifier, d'explorer davantage, ou d'arrêter. Sur des tâches culinaires à usage d'objets ambigu, EAFG améliore la complétion des recettes en découvrant les objets pertinents avant de planifier, et réduit les tentatives inutiles quand un objet requis est absent, sans chiffres précis publiés. Cette approche cible un point de friction concret pour l'industrialisation des robots manipulateurs pilotés par VLM : l'écart entre la compréhension sémantique d'une instruction et la vérification géométrique et perceptive de sa faisabilité réelle. Pour les intégrateurs opérant en environnement partiellement observable, un robot qui agit sur des suppositions non vérifiées représente un risque opérationnel, en temps perdu ou en échecs silencieux. En séparant explicitement planifier, explorer et arrêter, EAFG remet en question l'hypothèse implicite de nombreux pipelines VLM+TAMP selon laquelle une seule perception de la scène suffit avant de planifier une tâche longue, une piste utile face au fossé persistant entre démonstrations contrôlées et déploiement fiable. EAFG s'inscrit dans la lignée des travaux combinant VLM et planification robotique, un courant structuré notamment autour d'approches comme SayCan, qui traduisent des instructions en langage naturel en séquences d'actions exécutables. Il s'agit ici d'une contribution académique : aucun robot commercial ni déploiement en production n'est mentionné, et le résumé ne précise pas si les expériences culinaires ont été menées sur un robot physique ou en simulation. La suite logique pour ce type de recherche serait une validation sur des tâches plus longues, dans des environnements moins contrôlés que la cuisine, et une comparaison directe avec d'autres pipelines VLM+TAMP sur des benchmarks partagés.

RecherchePaper

1 source

2arXiv cs.RO

PIGEON : navigation vers des objets guidée par un modèle vision-langage via la sélection de points d'intérêt

Des chercheurs ont publié PIGEON (Point of Interest Guided Exploration for Object Navigation), un cadre de navigation robotique pour localiser des objets dans des espaces intérieurs inconnus. L'approche repose sur des modèles vision-langage (VLM), mais résout leur principal obstacle opérationnel : l'inférence dense image par image est trop coûteuse pour un usage embarqué temps réel. PIGEON introduit des Points d'Intérêt (PoI), unités de décision visuelles couplant waypoints géométriques et observations égocentriques brutes, que le VLM utilise pour sélectionner parmi des destinations candidates : frontières d'exploration, objets suspectés, escaliers franchissables, résumés de niveau sol. Un planificateur bas niveau exécute les trajectoires continues entre ces points. Le système intègre un pipeline RLVR (Reinforcement Learning with Verifiable Rewards) permettant d'affiner des VLM locaux sans annotations Chain-of-Thought manuelles. Sur le benchmark Habitat ObjectNav, référence standard en navigation simulée, PIGEON affiche les meilleures performances zero-shot publiées à ce jour et se transfère à la tâche Active Embodied Question Answering par simple modification du prompt. Des déploiements sur robots physiques sont documentés dans le papier (arXiv 2511.13207). L'enjeu central est l'efficacité computationnelle des VLM dans des boucles de contrôle robotique. Les approches concurrentes utilisent soit les VLM comme contrôleurs denses (coûteux), soit pour un simple ranking de frontières d'exploration (sémantiquement appauvri). PIGEON propose un compromis : décisions rares mais ancrées dans les observations brutes, rendant chaque choix vérifiable et compatible avec l'apprentissage par renforcement sans supervision humaine. La réduction de la dépendance aux données annotées est un avantage concret pour des équipes robotiques sans large budget d'annotation. La progression des performances avec la taille du modèle de fondation (scaling) indique une architecture alignée avec les tendances génératives actuelles. La navigation d'objets en environnement inconnu est un benchmark actif en robotique cognitive, avec des systèmes concurrents comme ESC, SG-Nav ou OpenFMNav exploitant également des LLM pour la planification sémantique. PIGEON se différencie par son mode zero-shot strict, sans réentraînement spécifique à l'environnement cible. Habitat, le simulateur d'intérieur de Meta AI Research, reste la plateforme d'évaluation de référence pour ce type de tâche. Ce résultat est académique : aucun partenariat commercial ni déploiement industriel n'est mentionné, et la robustesse en environnements réels dynamiques non contrôlés reste à valider à plus grande échelle. Les prochaines étapes naturelles incluent des tests en milieux variés et l'adaptation à des VLM embarqués contraints en ressources.

RechercheOpinion

1 source

3arXiv cs.RO

DropVLA : une attaque par porte dérobée au niveau des actions sur les modèles vision-langage-action

Des chercheurs présentent DropVLA, une attaque de type backdoor visant les modèles Vision-Language-Action (VLA), ces systèmes qui traduisent perception multimodale et instructions en langage naturel en commandes robotiques exécutables. Contrairement aux attaques précédentes qui perturbaient la tâche entière, DropVLA cible une action précise : forcer un primitive réutilisable (par exemple open_gripper) à s'exécuter à un instant choisi par l'attaquant, en n'empoisonnant qu'une fraction infime des données d'entraînement. Testée sur OpenVLA-7B avec la suite d'évaluation LIBERO, une contamination purement visuelle atteint un taux de réussite de l'attaque (ASR) de 98,67 à 99,83% avec seulement 0,31% d'épisodes empoisonnés, tout en conservant 98,50 à 99,17% de performance sur les tâches normales. L'action ciblée se déclenche en moins de 25 pas de contrôle à 500 Hz, soit 0,05 seconde. Les déclencheurs textuels seuls s'avèrent instables à faible budget d'empoisonnement (0,72% d'ASR) et leur combinaison avec le visuel n'apporte aucun gain constant. Les auteurs valident aussi la faisabilité en environnement physique sur un bras Franka à 7 degrés de liberté (DoF) piloté par pi0-fast, malgré la dérive du déclencheur dans le plan image due au mouvement relatif de la caméra. Ce résultat est significatif pour l'industrie robotique car il expose une vulnérabilité de sécurité critique dans une classe de modèles de plus en plus déployée comme couche de contrôle générique pour des bras manipulateurs et humanoïdes. Que le backdoor reste indétectable sur les métriques de performance nominale tout en atteignant une fiabilité proche de 100% avec une contamination minime remet en question la confiance accordée aux pipelines d'entraînement VLA, notamment quand les données proviennent de sources tierces ou de démonstrations crowdsourcées. Pour les intégrateurs et décideurs B2B qui envisagent de déployer des VLA sur des tâches physiques sensibles (préhension, assemblage, environnements partagés avec des humains), cela souligne l'urgence d'audits de la chaîne de données et de mécanismes de détection de déclencheurs avant mise en production, un sujet jusqu'ici largement éclipsé par les annonces de performance de modèles comme Pi-0, GR00T N2 ou Helix. Ce travail s'inscrit dans une littérature émergente sur les attaques adverses ciblant les modèles fondation robotiques, qui jusqu'ici se concentrait sur des attaques non ciblées ou un détournement au niveau de la tâche globale plutôt que sur le contrôle fin d'actions individuelles. La méthode s'appuie sur un schéma de réétiquetage cohérent par fenêtre temporelle, adapté au fine-tuning par blocs d'actions (chunked fine-tuning), dans un cadre réaliste où l'attaquant n'a qu'un accès limité à l'empoisonnement des données et traite le pipeline comme une boîte noire. Le backdoor résiste à des variations modérées du déclencheur et se transfère entre suites d'évaluation (96,27% et 99,09% d'ASR), renforçant l'idée qu'il exploite une faiblesse structurelle plutôt qu'un artefact spécifique au benchmark. Les auteurs ne mentionnent pas de contre-mesure déployée à ce stade, laissant la détection et la défense contre ce type d'attaque comme prochaine étape ouverte pour la communauté.

UECette vulnérabilité concerne directement les intégrateurs européens qui envisagent de déployer des VLA en environnement industriel ou partage avec des humains, dans un contexte ou l'AI Act impose des exigences de robustesse pour les systèmes a haut risque.

RechercheActu

1 source

4arXiv cs.RO

DevGRU : navigation visuelle guidée par la profondeur avec modèle récurrent conscient des collisions

Des chercheurs présentent DevGRU (arXiv:2608.18470v1, prépublication mise en ligne le 20 août 2026), un système de navigation visuelle pour robots conditionné par image de profondeur et point de destination (point-goal). Le cœur du système est un prédicteur d'action (action predictor, AP) qui génère des trajectoires futures tenant compte des collisions, permettant d'éviter les obstacles immédiats. Un second module, le prédicteur de collision, travaille en tandem avec l'AP pour compenser les erreurs accumulées dans l'estimation de la pose cible et anticiper les déviations de trajectoire avant qu'elles ne se produisent. Les auteurs ont évalué leur méthode sur neuf scènes différentes, en la comparant à trois approches de référence considérées comme état de l'art (ViNT, NoMaD et NavDP) ainsi qu'à quatre variantes supplémentaires de ViNT et NoMaD. DevGRU surpasse nettement ViNT et NoMaD en performance de navigation, tout en utilisant un nombre de paramètres entraînables nettement plus faible : le modèle est 7 fois plus compact que NavDP et son temps d'inférence est 17 fois plus rapide. L'enjeu que cible ce travail est concret pour l'industrie : les modèles de navigation dits "fondation", censés généraliser d'une plateforme robotique à l'autre, échouent souvent dans des environnements intérieurs structurés, en particulier dans les passages étroits, où les collisions restent fréquentes malgré des démonstrations convaincantes en conditions contrôlées. En traitant explicitement la prédiction de collision comme un signal de correction plutôt qu'un simple filtre a posteriori, DevGRU illustre une piste pour combler cet écart entre démonstration et fiabilité réelle. Le gain en légèreté et en vitesse d'inférence est également significatif pour les intégrateurs, puisqu'il ouvre la voie à un déploiement embarqué sur du matériel de calcul limité, sans dépendre d'une infrastructure de calcul déportée. Ce travail s'inscrit dans la lignée des modèles de navigation généralistes issus de la recherche académique, dont ViNT et NoMaD sont des jalons de référence, avec NavDP comme benchmark plus récent. Il s'agit à ce stade d'une publication de recherche (arXiv, type "new"), sans lien annoncé avec une entreprise, un produit commercial ou un déploiement réel signalé. Aucun pilote industriel ni calendrier de mise en production n'est mentionné dans l'article.

RecherchePaper

1 source