Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
VL-LN Bench : vers une navigation orientée objectifs à long horizon avec dialogues actifs
RecherchearXiv cs.RO 

VL-LN Bench : vers une navigation orientée objectifs à long horizon avec dialogues actifs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche propose Interactive Instance Goal Navigation (IIGN), une nouvelle tâche de navigation robotique où l'agent peut librement interroger un oracle en langage naturel pendant sa recherche d'un objet spécifique, plutôt que de recevoir une instruction figée et non ambiguë comme c'est le cas dans la navigation par instruction classique. Pour évaluer cette capacité, les chercheurs publient VL-LN Bench, un benchmark construit autour d'un pipeline de collecte de données automatisé ayant généré plus de 41 000 trajectoires de dialogue longues et augmentées, destinées à l'entraînement des modèles. Le benchmark inclut aussi un protocole d'évaluation automatique couplé à un oracle dédié capable de répondre aux questions de l'agent en cours de mission. Les expériences menées identifient deux verrous techniques majeurs : l'exploration sur de longs horizons temporels et la capacité à relier finement une information textuelle à la bonne instance parmi des distracteurs de même catégorie visuelle.

Ce travail éclaire un point sensible pour l'industrie de la robotique embarquée : la plupart des agents de navigation actuels, y compris les modèles vision-langage-action (VLA) les plus avancés, fonctionnent bien sur des instructions bien formées mais s'effondrent dès que la consigne devient ambiguë, ce qui est pourtant la norme dans un usage réel en entrepôt, en intérieur domestique ou en environnement industriel non structuré. Les résultats montrent que le dialogue actif atténue partiellement ces limites, mais que l'écart avec la performance humaine reste important, ce qui tempère les annonces de robots capables de "comprendre" des instructions naturelles complexes sans supervision.

IIGN s'inscrit dans la continuité de l'Instance Goal Navigation (IGN), une tâche déjà établie dans la littérature d'IA embarquée, en y ajoutant la dimension conversationnelle qui manquait pour rapprocher les benchmarks académiques des conditions réelles de déploiement. Les auteurs valident également, via des ablations, l'intérêt de leur pipeline de génération de données et montrent que leur oracle automatisé peut se substituer à une supervision humaine à moindre coût, ouvrant la voie à un entraînement à plus grande échelle de ces agents dialogiques.

Dans nos dossiers

IA physique & VLA

À lire aussi

AirGroundVLN : un benchmark à grande échelle pour la navigation vision-langage collaborative air-sol orientée vers un objectif
1arXiv cs.RO 

AirGroundVLN : un benchmark à grande échelle pour la navigation vision-langage collaborative air-sol orientée vers un objectif

Des chercheurs publient sur arXiv AirGroundVLN, un benchmark dédié à la navigation guidée par vision et langage (VLN) pour des équipes mixtes drone et robot terrestre. Il regroupe 10 281 épisodes de navigation et 955 instances de cibles réparties sur 19 environnements simulés sous Unreal Engine. Il propose des découpages « vus » et « non vus » pour mesurer la généralisation, ainsi qu'un protocole de visibilité aérienne qui encadre ce que le drone perçoit pendant l'évaluation. Les auteurs livrent aussi AG-CoNAV, un cadre de référence entraînable. Il repose sur deux modules. Le premier, SACM (Spatiotemporally Anchored Collaborative Memory), conserve et retrouve un contexte historique cohérent dans l'espace à partir des observations aériennes et terrestres. Le second, AGRLP (Aerial-Guided Regional-to-Local Planning), combine un guidage régional fourni par la vue aérienne et une navigation fine au sol. Les auteurs annoncent des expériences « extensives » validant AG-CoNAV, mais le résumé ne donne aucun score chiffré. La tâche est de type « goal-oriented » : l'agent doit trouver et atteindre une cible décrite en langage naturel, sans itinéraire prescrit. C'est plus proche d'une mission réelle que le VLN classique, où l'on suit des instructions pas à pas. Le benchmark cible deux difficultés précises. Les vues aérienne et terrestre diffèrent fortement, et des observations utiles disparaissent au fil du déplacement, ce qui complique le maintien d'un contexte spatial cohérent entre plateformes et dans le temps. Par ailleurs, l'observabilité est asymétrique : le sol voit avec précision mais sur un champ limité, tandis que le drone couvre une large zone avec peu de détail local. Ce couple correspond à des usages concrets, comme l'inspection de sites industriels, la logistique extérieure, la recherche et le secours, ou la surveillance de grands entrepôts. Cependant, tout le travail reste en simulation. Aucun transfert sim-to-real n'est démontré, et l'écart entre environnements Unreal et terrain réel, avec ses occlusions, son vent et sa perception bruitée, reste entier. Le benchmark fournit surtout un terrain commun pour comparer des méthodes multi-robots hétérogènes, qui manquait jusqu'ici. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) et de la navigation incarnée, qui se sont longtemps concentrés sur un seul agent, au sol ou en vol. Les benchmarks VLN aériens et terrestres existent séparément, mais la collaboration air-sol y était peu étudiée à grande échelle. Aucun acteur industriel ni produit n'est cité, et l'article ne mentionne aucun pilote ni calendrier de déploiement : il s'agit d'une contribution purement académique, au stade de préimpression (v1) et sans évaluation par les pairs. La suite logique consiste à voir si d'autres équipes adoptent le benchmark, si des modèles de fondation généralistes dépassent AG-CoNAV, et si des validations sur matériel réel apparaissent. Les intégrateurs qui suivent les flottes mixtes drones et robots mobiles y trouveront surtout un indicateur de maturité de la recherche, pas encore une technologie déployable.

RecherchePaper
1 source
RAVEN : raisonnement à long horizon et navigation avec une mémoire visuo-spatio-temporelle
2arXiv cs.RO 

RAVEN : raisonnement à long horizon et navigation avec une mémoire visuo-spatio-temporelle

Des chercheurs ont publié RAVEN (arXiv:2606.25206), un système de mémoire agentique conçu pour les robots devant opérer sur de longues durées sans réinitialisation. Le système stocke des embeddings visuels enrichis de données de pose et d'horodatage dans une base vectorielle, puis ancre la récupération dans une carte spatiale pour répondre à des requêtes ou naviguer vers des objectifs exprimés en langage naturel. Contrairement aux approches classiques qui convertissent les images en descriptions textuelles, RAVEN opère directement sur les représentations visuelles brutes, évitant la perte d'information sémantique inhérente à cette étape de transcription. Le système a été évalué sur plusieurs benchmarks de question-réponse vidéo en simulation et en environnement réel, puis déployé physiquement sur un robot quadrupède Unitree Go1 pour des tâches de navigation longue portée dans de grands espaces intérieurs. Les résultats publiés indiquent que RAVEN surpasse systématiquement les mémoires à base de captioning sur les benchmarks long-horizon, tout en égalant les VLM de pointe à un coût de récupération dix fois inférieur. Ce ratio coût-performance est directement pertinent pour les intégrateurs : maintenir une mémoire épisodique précise sur des heures ou des jours de déploiement est l'un des verrous principaux vers l'autonomie prolongée. La capacité à répondre à des questions sémantiques et spatiales depuis une mémoire compacte ouvre la voie à des robots de service, de logistique ou d'inspection capables de missions multi-sessions, sans réinitialisation entre chaque passage. Il faut cependant noter que les benchmarks et environnements de test restent contrôlés : le fossé entre performance en labo et déploiement industriel à grande échelle n'est pas encore comblé. La mémoire à long terme est un défi structurel de la robotique autonome depuis l'essor des approches LLM+captioning popularisées entre 2022 et 2024 (SayPlan, CLIP-Nav et leurs dérivés), lesquelles sacrifient la précision visuelle au profit de la flexibilité textuelle. RAVEN s'inscrit dans une tendance croissante de mémoires vectorielles embarquées, proche des architectures RAG transposées au robotique, en compétition conceptuelle avec des systèmes comme SpatialVLM ou MemoryOS. Le Unitree Go1, quadrupède commercialisé autour de 9 000 dollars, sert ici de plateforme de validation accessible, ce qui renforce la reproductibilité potentielle. Aucun partenariat industriel ni calendrier de productisation n'est annoncé : RAVEN demeure une contribution de recherche dont l'impact concret dépendra de la qualité du code publié et de son éventuelle intégration dans des frameworks ouverts comme ROS2.

RecherchePaper
1 source
MORN : régulation métacognitive des objectifs pour une navigation à long horizon économe en ressources
3arXiv cs.RO 

MORN : régulation métacognitive des objectifs pour une navigation à long horizon économe en ressources

Des chercheurs ont publié MORN (Metacognitive Object-goal Regulation Navigation) sur arXiv (2605.16932), une architecture de contrôle exécutif conçue pour les robots autonomes chargés de missions longues et séquentielles dans des environnements non structurés. Le scénario typique visé : un robot doit localiser successivement une tasse, une chaise, puis une imprimante dans un bâtiment inconnu, avec des contraintes strictes de temps et d'énergie. Évalué sur le dataset HM3D (Habitat-Matterport 3D), MORN améliore le taux de complétion des objectifs (Goal Completion Rate) de 0,23 à 0,30, soit une progression de 30 %, tout en réduisant la fraction de pas gaspillés (Wasted Step Fraction) de 0,90 à 0,70. L'architecture s'intègre sans modification des backbones de navigation existants, ce qu'elle augmente via un meta-contrôleur plug-in. Le problème adressé est concret et sous-estimé dans la littérature robotique : les agents ObjectNav modernes basés sur des VLMs (Vision-Language Models) sont purement réactifs. Ils localisent des cibles sémantiques efficacement, mais ignorent totalement l'état global de la mission. Résultat : ils s'acharnent sur des sous-objectifs devenus inatteignables, épuisant batterie et temps sur ce que les auteurs appellent des "zombie goals". Pour les intégrateurs et COOs qui évaluent des flottes de robots mobiles en entrepôt ou en milieu hospitalier, c'est un vrai point de friction opérationnel. MORN propose d'y remédier via trois états neuro-cognitifs formalisés : le Potentiality Index (estimation de la faisabilité d'un sous-objectif), le Persistence Gating (décision d'abandon anticipé), et l'Evidence Accumulation (agrégation perceptuelle pour réduire l'incertitude). Ce mécanisme est présenté comme une neutralisation du biais du coût irrécupérable ("Sunk Cost Fallacy"), appliqué à la planification robotique. L'inspiration théorique est explicitement la Dual-Process Theory issue des sciences cognitives, popularisée par Kahneman : System 1 (locomotion réactive, rapide) supervisé par un System 2 (méta-raisonnement, lent et global). Ce cadre conceptuel est mobilisé dans la robotique depuis quelques années, notamment dans les travaux sur les agents LLM incarnés, mais son application formalisée à la gestion de ressources en ObjectNav reste peu explorée. Le champ concurrent direct inclut les architectures VLM-as-planner (SQA3D, EmbodiedScan, ESC) et les méthodes end-to-end de navigation zéro-shot. Aucun déploiement industriel n'est annoncé à ce stade : il s'agit d'une contribution de recherche académique, avec des résultats sur simulateur uniquement. La question du transfert sim-to-real sur hardware physique reste ouverte, ce qui est le principal écart à surveiller avant toute considération d'intégration.

RecherchePaper
1 source
Metro-WM : planification latente à long horizon avec des sous-objectifs réalisables
4arXiv cs.RO 

Metro-WM : planification latente à long horizon avec des sous-objectifs réalisables

Metro-WM, décrit dans l'article arXiv 2609.31868 (version 2), est un cadre de planification hiérarchique pour les modèles du monde de type JEPA (Joint-Embedding Predictive Architecture). Au lieu de faire prédire par un planificateur macro des sous-objectifs sous forme de vecteurs latents, il construit un graphe dont les sommets sont des images réellement observées, issues de démonstrations expertes hors ligne ou de trajectoires à actions aléatoires. Des images provenant d'épisodes différents peuvent être reliées entre elles, ce qui permet de composer des routes vers l'objectif. Les auteurs annoncent un taux de réussite supérieur de jusqu'à 37,33 points de pourcentage à celui de la meilleure approche hiérarchique concurrente. Ils annoncent aussi une exécution jusqu'à 10,9 fois plus rapide, un calcul hors ligne 13 à 56 fois moindre et moins d'hyperparamètres à régler. Ces résultats viennent d'un travail académique, sans déploiement matériel annoncé. La démarche part d'un constat : la commande prédictive (MPC) avec un JEPA donne un bon planificateur « zero-shot » pour atteindre un objectif, mais seulement sur de courts horizons. Les approches hiérarchiques existantes entraînent un planificateur macro à prédire des sous-objectifs latents pour guider le planificateur micro. Les auteurs montrent que le planificateur macro de référence émet régulièrement des sous-objectifs physiquement irréalisables. En ne proposant que des états déjà vus, Metro-WM garantit des cibles atteignables. La planification sur tout le graphe apporte aussi une tolérance aux erreurs d'exécution : si le planificateur micro dérive, le système recalcule immédiatement le meilleur chemin depuis l'état courant. Pour la robotique, cela concerne les tâches longues et multi-étapes, où les erreurs s'accumulent. Les auteurs affirment que les chemins trouvés sont plus courts que ceux des démonstrations, qu'ils dépassent un oracle utilisant la démonstration propre à la requête, et que la méthode résiste à des jeux de données très épars. Ces chiffres restent à prendre avec prudence : l'abstract ne précise ni les benchmarks ni les environnements, et on ignore si la méthode passe à l'échelle de scènes réelles complexes ou à des observations visuelles bruitées. Ce travail s'inscrit dans la montée des modèles du monde latents, dont les JEPA popularisés par l'équipe de Yann LeCun, comme alternative aux politiques entraînées de bout en bout. Il rejoint l'idée plus ancienne de planifier sur des graphes de souvenirs, qui retrouve ici une pertinence avec les représentations apprises. Les concurrents directs sont les méthodes hiérarchiques à sous-objectifs générés, que l'article critique sans les nommer dans son résumé. Les suites probables sont des tests sur des benchmarks de manipulation et de navigation plus riches, puis des essais sur robot réel. Aucune date, aucun partenaire industriel ni aucun calendrier de transfert n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source