Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Génération guidée par le langage pour la planification d'inspection personnalisée
RecherchearXiv cs.RO 

Génération guidée par le langage pour la planification d'inspection personnalisée

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent une méthode sans entraînement (training-free) guidée par un modèle vision-langage (VLM) pour générer automatiquement des trajectoires d'inspection à partir de descriptions textuelles, détaillée dans un article arXiv (2506.02917v2, version révisée). Le système extrait d'abord les points d'intérêt (POI) mentionnés dans le texte, puis identifie des points de passage garantissant leur visibilité tout en respectant les contraintes spatiales du prompt. Il affine ensuite la trajectoire par itérations avec le VLM, résout un problème du voyageur de commerce (TSP) pour déterminer l'ordre de visite optimal, puis applique une optimisation de trajectoire pour produire des chemins lisses et exécutables par des véhicules aériens ou sous-marins. La méthode a été testée sur des environnements construits à la main et sur des scènes réelles scannées en 3D.

Contrairement aux approches classiques de navigation vision-langage (VLN), conçues pour des agents évoluant dans des environnements inconnus, cette technique cible spécifiquement l'inspection de scènes déjà connues et cartographiées, avec des applications potentielles en imagerie médicale, en inspection marine et en génie civil. L'absence de phase d'entraînement dédiée est l'argument central : elle éviterait la collecte de données et le réentraînement coûteux à chaque nouvel environnement, un frein habituel à l'adoption de la planification automatisée pour drones et véhicules sous-marins autonomes. Pour les intégrateurs, l'intérêt est de remplacer la programmation manuelle de points de passage par une simple instruction en langage naturel, un pas vers des systèmes de planification pilotés par le langage à l'échelle d'un site industriel plutôt que du seul bras manipulateur.

Le travail s'inscrit dans la vague plus large d'intégration des modèles vision-langage-action en robotique, jusqu'ici surtout démontrée sur la manipulation par des systèmes comme Pi-0, GR00T N2 ou Helix ; il l'étend ici à la planification de trajectoires pour l'inspection aérienne et sous-marine. Aucune entreprise ni plateforme commerciale n'est citée : il s'agit d'un travail de recherche académique, publié en préprint et évalué uniquement en environnements contrôlés ou scannés, sans déploiement terrain ni produit commercialisé à ce stade. La suite logique attendue serait une validation sur des missions d'inspection réelles avec des drones ou véhicules sous-marins physiques, hors simulation ou reconstruction 3D statique.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

V-VLAPS : planification guidée par valeur pour les modèles vision-langage-action (VLA)
1arXiv cs.RO 

V-VLAPS : planification guidée par valeur pour les modèles vision-langage-action (VLA)

Des chercheurs proposent V-VLAPS (Value-Guided Vision-Language-Action Planning and Search), une méthode qui augmente les modèles VLA (Vision-Language-Action) d'un signal de valeur appris pour améliorer la planification en manipulation robotique. Les VLA encodent perception visuelle, langage et commande motrice pour générer des actions, mais leur comportement purement réactif se dégrade hors distribution d'entraînement ou sur des tâches à horizon long. V-VLAPS ajoute une tête de valeur légère (value head), entraînée sur des trajectoires hors-ligne (offline rollouts), qui prédit les retours Monte Carlo et guide un MCTS (Monte Carlo Tree Search) vers les branches de plus haute valeur. Sur les cinq suites du benchmark LIBERO, V-VLAPS égale la baseline sans valeur au budget de recherche standard ; avec un budget élargi, il la dépasse dans toutes les suites, avec +6 points de pourcentage sur LIBERO-Object et +4 points sur LIBERO-10. L'apport central est de démontrer que les représentations internes des VLA encodent non seulement des informations sur l'échec d'une trajectoire (déjà documenté dans la littérature), mais peuvent aussi estimer la valeur pendant la planification. Cela ouvre une voie pragmatique pour les intégrateurs : renforcer des politiques VLA existantes sans réentraînement complet, par simple ajout d'une tête de valeur et d'un budget de recherche accru. L'analyse révèle toutefois une limite claire : la majorité des échecs durs sont des timeouts au niveau racine, là où les valeurs prédites restent peu différenciées, ce qui plafonne le gain observé et indique que le signal de valeur est encore insuffisamment discriminant en début de trajectoire. Ce travail (préprint arXiv, janvier 2026) s'inscrit dans une série de méthodes cherchant à coupler la puissance générative des VLA modernes (RT-2, OpenVLA, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) avec des mécanismes de planification structurée, face aux approches concurrentes par world models et diffusion planifiante. Les résultats sont obtenus uniquement en simulation sur LIBERO et ne sont pas encore validés sur robot réel, limite classique de ce type de contribution arxiv. La prochaine étape naturelle est une évaluation sim-to-real pour vérifier si le signal de valeur appris se transfère hors simulation, notamment sur des tâches à contacts complexes ou en environnement non structuré.

RechercheOpinion
1 source
LENS : simplification d'environnement guidée par LLM pour la planification et le contrôle en milieu encombré
2arXiv cs.RO 

LENS : simplification d'environnement guidée par LLM pour la planification et le contrôle en milieu encombré

Une équipe de recherche publie LENS (LLM-guided Environment Simplification), une méthode qui utilise un grand modèle de langage pour simplifier automatiquement la représentation d'une scène encombrée avant de la transmettre aux modules de planification et de contrôle d'un robot manipulateur. Le système fusionne les objets empilés ou proches et élimine les éléments jugés non pertinents pour la tâche en cours, en boucle fermée et en fonction de la progression réelle de l'exécution. Contrairement aux abstractions de scène classiques, construites manuellement pour chaque tâche par des ingénieurs, LENS génère ces simplifications de façon automatique, spécifique à la scène et à la tâche, et les met à jour en continu. Les auteurs le présentent comme un module ajoutable directement sur des piles de planification et de contrôle existantes, sans réingénierie. Les tests couvrent trois familles d'approches distinctes: la planification classique, le contrôle basé modèle, et un modèle vision-langage-action (VLA), sur un ensemble varié de scènes de manipulation fortement encombrées. Le site du projet est accessible à lens-2026.github.io. L'intérêt de LENS tient au goulot d'étranglement qu'il cible: le passage à l'échelle des abstractions de scène, aujourd'hui produites à la main et donc coûteuses à créer, difficiles à ajuster et non réutilisables d'une tâche à l'autre. Pour les intégrateurs et décideurs en robotique industrielle, c'est précisément ce type de travail d'ingénierie manuelle qui freine le déploiement de robots manipulateurs en environnement réel, où le désordre, les objets distracteurs et l'ambiguïté des tâches multiplient les cas particuliers. En montrant des gains de performance simultanés sur trois paradigmes de contrôle différents, dont un modèle VLA, l'étude appuie l'idée qu'une couche d'abstraction pilotée par LLM peut se greffer en amont de stacks hétérogènes plutôt que d'exiger une solution de bout en bout propre à chaque architecture, ce qui va dans le sens d'une meilleure généralisation en environnement encombré, un point faible reconnu des approches actuelles de manipulation généraliste. Le travail s'inscrit dans la tendance récente consistant à exploiter les LLM comme couche de raisonnement de haut niveau au-dessus de piles robotiques existantes, plutôt que de tout réentraîner de bout en bout, une direction également explorée par des modèles comme GR00T N2 ou Helix pour la manipulation généraliste. La publication, un article arXiv daté du 24 juillet 2026, reste à ce stade une contribution de recherche évaluée en simulation ou en laboratoire selon un protocole expérimental propre aux auteurs, sans indication de partenariat industriel ni de déploiement chez un intégrateur. Les prochaines étapes attendues porteraient sur une validation à plus grande échelle et sur l'intégration effective avec des piles de production, notamment des modèles VLA déployés commercialement.

RecherchePaper
1 source
Voir ce qui compte : la planification vidéo guidée par indices visuels pour une navigation robotique généralisable
3arXiv cs.RO 

Voir ce qui compte : la planification vidéo guidée par indices visuels pour une navigation robotique généralisable

Un preprint arXiv (2609.16737, mis en ligne mi-septembre 2026) présente CueNav, un système de navigation robotique combinant planification vidéo guidée par indices visuels et modèle inverse-dynamique (IDM) propre a chaque plateforme. Le planificateur vidéo s'appuie sur deux indices : une carte vue-du-dessus (Bird's-Eye View) donnant le contexte global de la tache, et le maintien d'une partie du corps du robot dans le champ égocentrique pour exposer le contexte d'embodiment. L'IDM traduit ensuite les champs de flux optique extraits de la vidéo en commandes d'actuation. Sur un test de labyrinthe, CueNav quasiment double le taux de réussite par rapport a une planification sans indice global, et atteint 70% de réussite dans un couloir étroit la ou les méthodes comparées échouent majoritairement. Les auteurs démontrent aussi une navigation conditionnée sémantiquement en zero-shot et le déploiement d'un même planificateur vidéo sur plusieurs plateformes robotiques, avec code et résultats sur cuenav.github.io. Le travail cible un angle mort des approches actuelles de navigation par modèle vidéo, qui conditionnent généralement la planification sur un horizon court et récupèrent des points de passage géométriques via reconstruction de scene, au détriment du long horizon et d'une traduction vidéo-vers-action précise. En couplant contexte global et ancrage d'action spécifique a l'embodiment, CueNav esquisse une piste pour transformer les modèles vidéo génératifs en véritable backbone de politique de navigation généralisable, plutôt qu'en simple outil de visualisation a court terme. Pour les intégrateurs qui explorent les architectures vision-langage-action (VLA) au-delà de la manipulation, cela suggère qu'une même logique de planification vidéo peut se transférer entre plateformes, un enjeu pour les flottes hétérogènes d'AMR et de robots humanoïdes. Ce travail s'inscrit dans une tendance ou des modèles vidéo génératifs sont testes comme backbone de politiques robotiques, en parallèle d'architectures VLA comme Pi-0 ou GR00T N2 employées en manipulation, et se positionne explicitement contre les méthodes limitant la planification a un horizon court avec reconstruction géométrique. Il s'agit d'un preprint non encore revu par les pairs, dont les taux de réussite annonces (quasi-doublement en labyrinthe, 70% en couloir étroit) proviennent de bancs d'essai contrôles propres a l'étude, sans précision sur le nombre d'essais ni déploiement en environnement industriel réel. Aucune entreprise ni feuille de route commerciale n'est associée a l'annonce : il s'agit d'une contribution académique, sans calendrier de pilote a ce jour.

RecherchePaper
1 source
Engagement sélectif pour la récupération d'objets guidée par le langage en observabilité partielle
4arXiv cs.RO 

Engagement sélectif pour la récupération d'objets guidée par le langage en observabilité partielle

Un article publié sur arXiv (référence 2609.23131v1, catégorie "nouveau") présente un système robotique en boucle fermée destiné à retrouver un objet désigné en langage naturel par rapport à un contenant de référence, dans des scènes partiellement observables. À chaque étape, le système arbitre entre quatre options: recueillir davantage de preuves visuelles, interagir avec la scène, saisir un candidat, ou s'abstenir. Il maintient une croyance conjointe persistante sur l'identité de la cible, sa relation au contenant et sa présence, structurée en trois hypothèses (objet suivi, cible non observée, cible absente), mise à jour par des observations catégorielles issues d'un modèle vision-langage (VLM) conditionnées par le point de vue. L'éligibilité de la prise est calibrée par prédiction conforme et combinée à la faisabilité robotique pour décider du moment de l'engagement, tandis qu'une planification en espace de croyances à horizon fini sélectionne les actions de collecte d'information. Sur cinq scénarios simulés, la méthode réussit 19 épisodes sur 25, contre 12 sur 25 pour la meilleure référence adaptée à la tâche, et c'est la seule politique testée à obtenir au moins une réussite dans chacun des cinq scénarios. Des essais sur robot réel montrent une ré-observation en boucle fermée et une récupération autonome après des échecs de prise provoqués artificiellement, mais des échecs de point de vue injectés se traduisent par de faux abandons, le robot renonçant à tort. Ces résultats s'adressent directement à un problème connu de la manipulation robotique en logistique et en intralogistique: la plupart des systèmes actuels supposent une observabilité quasi complète de la scène, ce qui s'effondre dès qu'un objet est partiellement occulté dans un bac ou un tiroir. En formalisant explicitement le choix entre agir, observer davantage ou renoncer, ce travail illustre une piste pour réduire les échecs silencieux des pipelines vision-langage-action (VLA) déployés en conditions réelles, où la confiance mal calibrée d'un modèle mène souvent à des prises ratées plutôt qu'à un report prudent. Les auteurs notent toutefois eux-mêmes une limite importante: leurs ablations montrent que le système complet ne surpasse pas systématiquement des variantes simplifiées, ce qui nuance la promesse d'un gain automatique lié à la complexité du cadre proposé. Ce travail s'inscrit dans la lignée des recherches académiques sur la prise de décision sous incertitude en robotique de manipulation, à la croisée des modèles vision-langage et de la planification bayésienne, sans lien annoncé avec un produit commercial ou un déploiement industriel. Il reste à ce stade au niveau de la validation en simulation complétée par des essais limités sur robot physique, et non un système prêt à l'emploi. Les auteurs ne mentionnent ni partenariat industriel ni calendrier de transfert vers une plateforme commerciale, ce qui distingue clairement cette contribution des annonces produit du secteur des humanoïdes ou des bras robotiques en entrepôt.

RecherchePaper
1 source