Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Hierarchical Fast-Slow ReAct : un agent de navigation vers un objectif sans apprentissage préalable
RecherchearXiv cs.RO 

Hierarchical Fast-Slow ReAct : un agent de navigation vers un objectif sans apprentissage préalable

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Publié en août 2026 sur arXiv, ce travail de recherche présente un agent hiérarchique rapide-lent pour la navigation vers un objet cible en zero-shot (ZSON) : un robot doit localiser une catégorie d'objet dans un bâtiment jamais visité. Les méthodes dominantes choisissent la frontière d'exploration par argmax sur une carte de valeur vision-langage, sans conserver les preuves passées. Le système proposé garde ce contrôleur réactif actif à chaque pas, en construisant une mémoire ancrée sur les coordonnées : grille sémantique des pièces et objets confirmés, plus des images-clés bornées, chaque détection filtrée par un VLM avant écriture. Une couche délibérative relit cette mémoire en boucle bornée raisonnement-récupération-action, se déclenche sur des événements structurels, raisonne d'abord en texte et ne rappelle une image qu'en dernier recours, sous plafonds d'appels et repli automatique. Résultat : 68,75% de succès sur HM3D v1 (val) et 47,29% sur MP3D (val), meilleur score zero-shot comparé ; sur 2000 épisodes HM3D, un argmax simple à la place de la délibération coûte 3,40 points de succès (IC 95% [1,70 ; 5,05]), perte que la délibération systématique ne comble pas.

Ce résultat contredit l'hypothèse selon laquelle interroger un VLM à intervalle fixe depuis la vue courante suffit, et qu'une mémoire explicite ne vaut pas son coût de calcul. En montrant qu'une mémoire persistante couplée à une délibération sélective bat l'argmax pur et la délibération exhaustive, l'étude donne un argument concret aux intégrateurs de robots mobiles d'intérieur (logistique, inspection, service) arbitrant entre coût des appels VLM et qualité de décision, et confirme la bascule vers des architectures hybrides rapide-lent en IA incarnée.

Le travail s'inscrit dans la lignée des méthodes ZSON à carte de valeur vision-langage, dominantes mais sans mémoire longue, et des architectures plus récentes plaçant un VLM directement dans la boucle de décision, jugées coûteuses et rigides. Il s'appuie sur les benchmarks standards HM3D et MP3D, sous simulateur Habitat, pour se comparer aux méthodes zero-shot existantes. Aucun partenaire industriel n'est mentionné : la validation reste en simulation, l'étape suivante logique étant un test sur robot réel.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

HAM-VLN : une mémoire agentique hiérarchique pour la navigation vision-langage sans apprentissage préalable
1arXiv cs.RO 

HAM-VLN : une mémoire agentique hiérarchique pour la navigation vision-langage sans apprentissage préalable

Une équipe de recherche présente HAM-VLN, un système de navigation robotique par instructions en langage naturel (Vision-and-Language Navigation) fonctionnant sans aucun entraînement spécifique, exploitant un modèle multimodal de type LLM pour interpréter les observations visuelles et décider de l'action suivante. Le système introduit une mémoire agentique hiérarchique : à chaque appel du modèle servant à choisir le prochain déplacement, HAM-VLN enregistre aussi des informations sémantiques et réflexives, type de pièce, objets détectés, progression de la navigation, notes d'échec, dans un graphe du monde persistant et ancré en profondeur (depth-grounded). Les points de passage récents restent conservés textuellement dans une fenêtre bornée, tandis que l'historique plus ancien n'est réintégré au contexte que via une recherche pondérée par pertinence, récence et importance, complétée par une expansion topologique à un saut. Sur les benchmarks standards, HAM-VLN atteint 61,0% de taux de réussite sur VLN-CE R2R, 52,7% sur VLN-CE RxR et 79,7% sur HM3D-v2 ObjectNav, avec une réduction de plus de 65% de la longueur de contexte par rapport aux approches précédentes, sans appel LLM supplémentaire au-delà de la décision par point de passage. L'enjeu principal est le goulot d'étranglement mémoire qui limite aujourd'hui la navigation robotique à long horizon pilotée par LLM : empiler des flux d'images ou des cartes denses dans le contexte d'un modèle devient vite ingérable en coût de calcul et en cohérence de raisonnement. En couplant la génération de mémoire à la décision d'action elle-même, sans multiplier les appels au modèle, HAM-VLN répond à une critique récurrente des approches "training-free" en robotique : leur dépendance à des contextes toujours plus longs et coûteux. Une réduction de 65% de ce contexte, à performances égales ou supérieures, est un signal concret pour les équipes qui cherchent à déployer des agents de navigation en environnement inconnu sans phase de fine-tuning coûteuse. Ce travail s'inscrit dans la lignée des méthodes récentes de VLN "zero-shot" apparues avec la généralisation des LLM multimodaux, qui remplacent les pipelines de navigation entraînés end-to-end par du raisonnement en langage naturel au moment de l'inférence. Les benchmarks utilisés, VLN-CE (R2R et RxR) et HM3D-v2 ObjectNav, sont des références académiques standard du domaine, ce qui permet une comparaison directe avec les approches concurrentes basées sur mémoire d'images ou cartographie dense. L'article, publié sur arXiv, ne mentionne pas d'implémentation matérielle sur robot réel ni de calendrier de déploiement industriel.

RecherchePaper
1 source
ZONDA : navigation vers un objet sans apprentissage préalable avec évitement dynamique en environnements multi-étages
2arXiv cs.RO 

ZONDA : navigation vers un objet sans apprentissage préalable avec évitement dynamique en environnements multi-étages

Une équipe de recherche présente ZONDA, un nouveau framework de navigation robotique "zero-shot" vers un objet désigné (Object Goal Navigation), conçu pour fonctionner dans des environnements multi-étages et en présence de piétons en mouvement. Le système repose sur trois composants : une planification heuristique multi-étages qui exploite des cartes de différences de hauteur pour permettre à un robot de gravir des escaliers et de changer d'étage sans contrôleur spécifique à la plateforme ; une vérification multi-vues de la cible, qui croise des observations à différentes échelles avec un modèle vision-langage (VLM) pour réduire les faux positifs de détection ; et un module d'évitement dynamique des piétons, qui suit et anticipe leurs déplacements pour générer des trajectoires préventives. Le système a été testé sur un robot bipède TITA du fabricant chinois Direct Drive Tech, ainsi que sur des simulations extensives utilisant les jeux de données HM3D et MP3D, deux benchmarks de référence pour la navigation en environnement intérieur photoréaliste. Les auteurs annoncent des résultats "significativement améliorés" par rapport aux méthodes existantes, ainsi qu'une robustesse maintenue sur HM3D-DYNA, une variante dynamique du benchmark incluant des agents mobiles. Cette publication s'attaque à une limite concrète et rarement traitée des systèmes de navigation robotique actuels : la quasi-totalité des méthodes de pointe supposent un environnement statique et confiné à un seul étage, une hypothèse commode en laboratoire mais irréaliste pour un déploiement réel en entrepôt, hôpital ou bâtiment de bureaux à plusieurs niveaux. En combinant franchissement d'escaliers sans apprentissage spécifique au robot et anticipation des piétons, ZONDA vise directement l'écart entre démonstration en simulation et usage industriel, un problème central pour les intégrateurs qui cherchent à déployer des robots mobiles ou humanoïdes au-delà d'un seul plateau. À noter que l'abstract ne fournit pas de chiffres précis de performance (taux de succès, distance parcourue, temps de cycle) permettant de comparer objectivement l'ampleur du gain revendiqué face aux méthodes concurrentes, une réserve à garder en tête avant de considérer le résultat comme acquis. Le champ de l'Object Goal Navigation s'est largement construit sur des benchmarks comme HM3D et MP3D, où les méthodes récentes intègrent de plus en plus des modèles vision-langage pour améliorer la reconnaissance sémantique des cibles, dans la lignée de travaux comme les architectures VLA utilisées en manipulation robotique. Le choix du robot bipède TITA de Direct Drive Tech comme plateforme de test réel, plutôt qu'un robot à roues plus classique en recherche de navigation, souligne l'ambition de valider l'approche sur une morphologie capable physiquement de franchir des escaliers, condition nécessaire à toute navigation multi-étages. L'article, publié sur arXiv le 24 juillet 2026, ne mentionne pas de partenariat industriel ni de calendrier de déploiement commercial ; il s'agit à ce stade d'une contribution académique, dont la prochaine étape logique serait une validation sur davantage de plateformes robotiques et dans des environnements réels plus variés que le cadre expérimental actuel.

RecherchePaper
1 source
LG-VLN : un cadre de navigation vision-langage sans apprentissage préalable, orchestré par états LangGraph
3arXiv cs.RO 

LG-VLN : un cadre de navigation vision-langage sans apprentissage préalable, orchestré par états LangGraph

Une équipe de recherche présente LG-VLN, un framework de navigation vision-langage en environnement continu (VLN-CE), dans un preprint arXiv de septembre 2026 (arXiv:2609.15098v1). Contrairement aux méthodes existantes qui s'appuient sur LiDAR ou cameras panoramiques, LG-VLN navigue en zero-shot a partir d'une seule camera RGB monoculaire, grâce a un réseau de reconstruction 3D qui estime profondeur, pose et nuage de points, a des features visuelles CleanDIFT partagées entre géométrie et sémantique, et a une carte de valeur sémantique combinant similarité visuelle et pertinence image-texte via BLIP-2. Tout le pipeline, de l'analyse de l'instruction a la récupération d'échec, est orchestre par LangGraph sous forme de graphe d'états a transitions conditionnelles. Sur un sous-ensemble fixe de 550 épisodes du split val-unseen de R2R-CE, le système atteint 21,3% de réussite et 12,1% de SPL, le code devant être publie ultérieurement. Ces résultats, modestes compares aux meilleures méthodes VLN-CE qui s'appuient sur des capteurs plus riches, montrent néanmoins qu'une navigation purement monoculaire et zero-shot reste possible dans des scènes 3D inédites, sans reentrainement dédié a l'environnement. Pour les intégrateurs robotiques, l'enjeu est économique: une navigation fiable sans LiDAR ni vues panoramiques allégé le cout matériel des plateformes mobiles. Le choix de LangGraph illustre aussi une tendance plus large, l'importation d'outils d'orchestration issus des agents LLM dans des pipelines robotiques jusque-la gérés par des machines a états codées en dur. Les ablations confirment que le partage de features sémantiques entre géométrie et navigation, renforce par la fusion avec BLIP-2, explique l'essentiel du gain, validant l'hypothèse que l'incohérence spatiale-sémantique freinait les pipelines séparés. La VLN-CE vise a faire suivre a des robots des instructions en langage naturel dans des bâtiments jamais vus, un objectif longtemps freine par des capteurs géométriques couteux ou un entrainement lourd propre a chaque environnement. LG-VLN s'appuie plutôt sur des modules de vision pré-entraines existants, CleanDIFT et BLIP-2. Le travail reste une publication de recherche en navigation, distincte des architectures vision-langage-action déployées sur des robots humanoïdes comme Optimus, Pi-0 ou GR00T N2, sans déploiement industriel ni partenaire commercial annonce. La suite dépendra de la publication du code, promise mais non datée, pour vérifier les scores au-delà des 550 épisodes testes.

RecherchePaper
1 source
Fonctions de navigation neuronales pour une planification de mouvement généralisable sans apprentissage préalable
4arXiv cs.RO 

Fonctions de navigation neuronales pour une planification de mouvement généralisable sans apprentissage préalable

Des chercheurs présentent en juin 2026 (arXiv 2606.03756) Neural Navigation Functions (Neural-NF), un planificateur réactif conçu pour opérer en transfert zéro-shot sur des géométries d'environnements jamais vus. La méthode intègre l'apprentissage dans un planificateur elliptique structuré : les features dérivées du Laplacien intrinsèque de la géométrie cible sont converties en coefficients locaux d'une équation aux dérivées partielles (EDP), dont la résolution produit une fonction de valeur globalement cohérente sur le domaine cible. Par construction, le comportement est garanti sans collision, avec descente monotone et minimum global unique à l'objectif, pour tout modèle admissible. Empiriquement, Neural-NF surpasse les planificateurs appris à prédiction directe de fonction de valeur d'un facteur allant jusqu'à 5, sur un ensemble de géométries variées. L'enjeu est la combinaison rare de garanties formelles et de capacité de généralisation. La quasi-totalité des planificateurs appris abandonnent les preuves de convergence pour s'adapter à de nouvelles géométries ; à l'inverse, les navigation functions classiques de Koditschek et Rimon offrent des garanties mathématiques mais sur des classes de géométries fixées à l'avance. En encapsulant l'apprentissage dans la structure PDE plutôt qu'en laissant le réseau prédire librement la sortie, Neural-NF préserve ces garanties par construction. Pour un intégrateur robotique ou un COO industriel, cela signifie un planificateur qui n'a pas besoin d'être ré-entraîné à chaque nouveau site de déploiement, tout en maintenant une trajectoire certifiée sans collision. Le facteur 5 annoncé mérite toutefois d'être nuancé : il est mesuré contre une famille spécifique de planificateurs à prédiction directe, et non contre l'état de l'art global de la planification de mouvement. La navigation function remonte aux travaux fondateurs de Koditschek et Rimon publiés dans l'International Journal of Robotics Research entre 1990 et 1992, qui établissaient des garanties de convergence dans des espaces à obstacles sphériques. Neural-NF s'inscrit dans l'effort actuel de généralisation à des géométries arbitraires, en concurrence avec les approches par champs de distances signées, représentations NeRF, ou planificateurs par diffusion. L'article reste un preprint non encore revu par les pairs, sans affiliation industrielle ni plan de commercialisation mentionné. Les prochaines étapes naturelles seraient une validation sur des benchmarks 3D partagés tels que Habitat ou MuJoCo, pour situer Neural-NF face aux planificateurs MPPI, par diffusion, et aux VLA appliqués à la navigation.

RecherchePaper
1 source