Aller au contenu principal
Génération guidée par le langage pour la planification d'inspection personnaliséeIllustration générée par IA
RecherchearXiv cs.RO 

Génération guidée par le langage pour la planification d'inspection personnalisée

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent une méthode sans entraînement (training-free) guidée par un modèle vision-langage (VLM) pour générer automatiquement des trajectoires d'inspection à partir de descriptions textuelles, détaillée dans un article arXiv (2506.02917v2, version révisée). Le système extrait d'abord les points d'intérêt (POI) mentionnés dans le texte, puis identifie des points de passage garantissant leur visibilité tout en respectant les contraintes spatiales du prompt. Il affine ensuite la trajectoire par itérations avec le VLM, résout un problème du voyageur de commerce (TSP) pour déterminer l'ordre de visite optimal, puis applique une optimisation de trajectoire pour produire des chemins lisses et exécutables par des véhicules aériens ou sous-marins. La méthode a été testée sur des environnements construits à la main et sur des scènes réelles scannées en 3D.

Contrairement aux approches classiques de navigation vision-langage (VLN), conçues pour des agents évoluant dans des environnements inconnus, cette technique cible spécifiquement l'inspection de scènes déjà connues et cartographiées, avec des applications potentielles en imagerie médicale, en inspection marine et en génie civil. L'absence de phase d'entraînement dédiée est l'argument central : elle éviterait la collecte de données et le réentraînement coûteux à chaque nouvel environnement, un frein habituel à l'adoption de la planification automatisée pour drones et véhicules sous-marins autonomes. Pour les intégrateurs, l'intérêt est de remplacer la programmation manuelle de points de passage par une simple instruction en langage naturel, un pas vers des systèmes de planification pilotés par le langage à l'échelle d'un site industriel plutôt que du seul bras manipulateur.

Le travail s'inscrit dans la vague plus large d'intégration des modèles vision-langage-action en robotique, jusqu'ici surtout démontrée sur la manipulation par des systèmes comme Pi-0, GR00T N2 ou Helix ; il l'étend ici à la planification de trajectoires pour l'inspection aérienne et sous-marine. Aucune entreprise ni plateforme commerciale n'est citée : il s'agit d'un travail de recherche académique, publié en préprint et évalué uniquement en environnements contrôlés ou scannés, sans déploiement terrain ni produit commercialisé à ce stade. La suite logique attendue serait une validation sur des missions d'inspection réelles avec des drones ou véhicules sous-marins physiques, hors simulation ou reconstruction 3D statique.

À lire aussi

V-VLAPS : planification guidée par valeur pour les modèles vision-langage-action (VLA)
Illustration générée par IA
1arXiv cs.RO 

V-VLAPS : planification guidée par valeur pour les modèles vision-langage-action (VLA)

Des chercheurs proposent V-VLAPS (Value-Guided Vision-Language-Action Planning and Search), une méthode qui augmente les modèles VLA (Vision-Language-Action) d'un signal de valeur appris pour améliorer la planification en manipulation robotique. Les VLA encodent perception visuelle, langage et commande motrice pour générer des actions, mais leur comportement purement réactif se dégrade hors distribution d'entraînement ou sur des tâches à horizon long. V-VLAPS ajoute une tête de valeur légère (value head), entraînée sur des trajectoires hors-ligne (offline rollouts), qui prédit les retours Monte Carlo et guide un MCTS (Monte Carlo Tree Search) vers les branches de plus haute valeur. Sur les cinq suites du benchmark LIBERO, V-VLAPS égale la baseline sans valeur au budget de recherche standard ; avec un budget élargi, il la dépasse dans toutes les suites, avec +6 points de pourcentage sur LIBERO-Object et +4 points sur LIBERO-10. L'apport central est de démontrer que les représentations internes des VLA encodent non seulement des informations sur l'échec d'une trajectoire (déjà documenté dans la littérature), mais peuvent aussi estimer la valeur pendant la planification. Cela ouvre une voie pragmatique pour les intégrateurs : renforcer des politiques VLA existantes sans réentraînement complet, par simple ajout d'une tête de valeur et d'un budget de recherche accru. L'analyse révèle toutefois une limite claire : la majorité des échecs durs sont des timeouts au niveau racine, là où les valeurs prédites restent peu différenciées, ce qui plafonne le gain observé et indique que le signal de valeur est encore insuffisamment discriminant en début de trajectoire. Ce travail (préprint arXiv, janvier 2026) s'inscrit dans une série de méthodes cherchant à coupler la puissance générative des VLA modernes (RT-2, OpenVLA, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) avec des mécanismes de planification structurée, face aux approches concurrentes par world models et diffusion planifiante. Les résultats sont obtenus uniquement en simulation sur LIBERO et ne sont pas encore validés sur robot réel, limite classique de ce type de contribution arxiv. La prochaine étape naturelle est une évaluation sim-to-real pour vérifier si le signal de valeur appris se transfère hors simulation, notamment sur des tâches à contacts complexes ou en environnement non structuré.

RechercheOpinion
1 source
Guidage par barrières latentes : une sécurité hiérarchique pour la planification générative
Illustration générée par IA
2arXiv cs.RO 

Guidage par barrières latentes : une sécurité hiérarchique pour la planification générative

Des chercheurs proposent Latent Barrier Steering (LBS), un cadre hiérarchique de type « sémantique vers trajectoire » conçu pour sécuriser les planificateurs génératifs fondés sur le flow matching, publié sur arXiv (2611.13227v1) en novembre 2026. Le principe repose sur deux interventions coordonnées. D'abord, le système oriente le latent de comportement du générateur vers des rollouts présentant une marge de sécurité plus large. Ensuite, il décode ce latent et applique un programme quadratique (QP) fondé sur une fonction barrière de contrôle (CBF) dans l'espace des trajectoires, uniquement pour corriger les violations résiduelles. Les auteurs affirment que ce pilotage latent accroît la marge dont dispose le correcteur de trajectoire, ce qui donne des garanties de récupération en temps fini et réduit la charge de correction. Les expériences portent sur des tâches de navigation et de planification d'effecteur terminal de bras robotique, sans que le résumé ne chiffre les gains ni ne nomme les plateformes testées. Il s'agit d'un travail académique, sans produit ni déploiement associé. L'enjeu touche un point sensible des politiques génératives, de plus en plus utilisées en robotique, notamment dans les architectures VLA et les politiques par diffusion. Les filtres de sécurité CBF actuels agissent localement sur les échantillons générés, soit pendant l'échantillonnage, soit après la prédiction. Cette réparation fonctionne pour de petites violations, mais elle atteint ses limites quand une nouvelle contrainte, par exemple un obstacle apparu en cours de route, bloque l'ensemble du mode de comportement choisi au lieu de le perturber légèrement. Dans ce cas, le filtre force une trajectoire peu naturelle, éloignée de la distribution d'entraînement, ce qui dégrade l'atteinte de l'objectif et peut provoquer blocages ou comportements erratiques. En séparant le choix du comportement de la certification du chemin, LBS propose de laisser le générateur changer de mode plutôt que de le contraindre à se déformer. Pour un intégrateur, cela répond à une question concrète : comment ajouter des garanties de sécurité formelles à une politique apprise sans sacrifier ses performances. Les résultats restent toutefois à relativiser : le résumé ne précise ni l'ampleur des améliorations, ni les baselines exactes, ni la validation sur matériel réel, et rien n'indique des tests hors simulation ou en environnement dynamique dense. Ce travail s'inscrit dans la convergence entre méthodes génératives (diffusion, flow matching) et contrôle classique à garanties, qui s'est accélérée avec l'adoption de ces politiques dans la manipulation et la navigation. Les CBF, issues de la théorie du contrôle, servent depuis une dizaine d'années de couche de sécurité autour de contrôleurs arbitraires, et plusieurs équipes les ont greffées sur les planificateurs par diffusion, avec la limite de localité décrite ici. LBS prolonge cette lignée en agissant en amont, dans l'espace latent. Les approches concurrentes restent les filtres de trajectoire post-hoc, le guidage par gradient pendant l'échantillonnage et les méthodes de shielding. La suite logique serait une validation sur robots réels, l'intégration avec des modèles VLA de grande taille et la mesure du surcoût de calcul, critique pour le temps réel. Aucune échéance de pilote ou de transfert industriel n'est annoncée à ce stade.

RecherchePaper
1 source
LENS : simplification d'environnement guidée par LLM pour la planification et le contrôle en milieu encombré
Illustration générée par IA
3arXiv cs.RO 

LENS : simplification d'environnement guidée par LLM pour la planification et le contrôle en milieu encombré

Une équipe de recherche publie LENS (LLM-guided Environment Simplification), une méthode qui utilise un grand modèle de langage pour simplifier automatiquement la représentation d'une scène encombrée avant de la transmettre aux modules de planification et de contrôle d'un robot manipulateur. Le système fusionne les objets empilés ou proches et élimine les éléments jugés non pertinents pour la tâche en cours, en boucle fermée et en fonction de la progression réelle de l'exécution. Contrairement aux abstractions de scène classiques, construites manuellement pour chaque tâche par des ingénieurs, LENS génère ces simplifications de façon automatique, spécifique à la scène et à la tâche, et les met à jour en continu. Les auteurs le présentent comme un module ajoutable directement sur des piles de planification et de contrôle existantes, sans réingénierie. Les tests couvrent trois familles d'approches distinctes: la planification classique, le contrôle basé modèle, et un modèle vision-langage-action (VLA), sur un ensemble varié de scènes de manipulation fortement encombrées. Le site du projet est accessible à lens-2026.github.io. L'intérêt de LENS tient au goulot d'étranglement qu'il cible: le passage à l'échelle des abstractions de scène, aujourd'hui produites à la main et donc coûteuses à créer, difficiles à ajuster et non réutilisables d'une tâche à l'autre. Pour les intégrateurs et décideurs en robotique industrielle, c'est précisément ce type de travail d'ingénierie manuelle qui freine le déploiement de robots manipulateurs en environnement réel, où le désordre, les objets distracteurs et l'ambiguïté des tâches multiplient les cas particuliers. En montrant des gains de performance simultanés sur trois paradigmes de contrôle différents, dont un modèle VLA, l'étude appuie l'idée qu'une couche d'abstraction pilotée par LLM peut se greffer en amont de stacks hétérogènes plutôt que d'exiger une solution de bout en bout propre à chaque architecture, ce qui va dans le sens d'une meilleure généralisation en environnement encombré, un point faible reconnu des approches actuelles de manipulation généraliste. Le travail s'inscrit dans la tendance récente consistant à exploiter les LLM comme couche de raisonnement de haut niveau au-dessus de piles robotiques existantes, plutôt que de tout réentraîner de bout en bout, une direction également explorée par des modèles comme GR00T N2 ou Helix pour la manipulation généraliste. La publication, un article arXiv daté du 24 juillet 2026, reste à ce stade une contribution de recherche évaluée en simulation ou en laboratoire selon un protocole expérimental propre aux auteurs, sans indication de partenariat industriel ni de déploiement chez un intégrateur. Les prochaines étapes attendues porteraient sur une validation à plus grande échelle et sur l'intégration effective avec des piles de production, notamment des modèles VLA déployés commercialement.

RecherchePaper
1 source
Voir ce qui compte : la planification vidéo guidée par indices visuels pour une navigation robotique généralisable
Illustration générée par IA
4arXiv cs.RO 

Voir ce qui compte : la planification vidéo guidée par indices visuels pour une navigation robotique généralisable

Un preprint arXiv (2609.16737, mis en ligne mi-septembre 2026) présente CueNav, un système de navigation robotique combinant planification vidéo guidée par indices visuels et modèle inverse-dynamique (IDM) propre a chaque plateforme. Le planificateur vidéo s'appuie sur deux indices : une carte vue-du-dessus (Bird's-Eye View) donnant le contexte global de la tache, et le maintien d'une partie du corps du robot dans le champ égocentrique pour exposer le contexte d'embodiment. L'IDM traduit ensuite les champs de flux optique extraits de la vidéo en commandes d'actuation. Sur un test de labyrinthe, CueNav quasiment double le taux de réussite par rapport a une planification sans indice global, et atteint 70% de réussite dans un couloir étroit la ou les méthodes comparées échouent majoritairement. Les auteurs démontrent aussi une navigation conditionnée sémantiquement en zero-shot et le déploiement d'un même planificateur vidéo sur plusieurs plateformes robotiques, avec code et résultats sur cuenav.github.io. Le travail cible un angle mort des approches actuelles de navigation par modèle vidéo, qui conditionnent généralement la planification sur un horizon court et récupèrent des points de passage géométriques via reconstruction de scene, au détriment du long horizon et d'une traduction vidéo-vers-action précise. En couplant contexte global et ancrage d'action spécifique a l'embodiment, CueNav esquisse une piste pour transformer les modèles vidéo génératifs en véritable backbone de politique de navigation généralisable, plutôt qu'en simple outil de visualisation a court terme. Pour les intégrateurs qui explorent les architectures vision-langage-action (VLA) au-delà de la manipulation, cela suggère qu'une même logique de planification vidéo peut se transférer entre plateformes, un enjeu pour les flottes hétérogènes d'AMR et de robots humanoïdes. Ce travail s'inscrit dans une tendance ou des modèles vidéo génératifs sont testes comme backbone de politiques robotiques, en parallèle d'architectures VLA comme Pi-0 ou GR00T N2 employées en manipulation, et se positionne explicitement contre les méthodes limitant la planification a un horizon court avec reconstruction géométrique. Il s'agit d'un preprint non encore revu par les pairs, dont les taux de réussite annonces (quasi-doublement en labyrinthe, 70% en couloir étroit) proviennent de bancs d'essai contrôles propres a l'étude, sans précision sur le nombre d'essais ni déploiement en environnement industriel réel. Aucune entreprise ni feuille de route commerciale n'est associée a l'annonce : il s'agit d'une contribution académique, sans calendrier de pilote a ce jour.

RecherchePaper
1 source