RecherchearXiv cs.RO 8 juillet 2026

UniLM-Nav : un cadre unifié pour la navigation zero-shot du dernier kilomètre

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs presentent UniLM-Nav, un framework unifie pour la navigation dite du dernier metre en manipulation mobile, capable de fonctionner en zero-shot sur du vocabulaire ouvert. Le probleme vise: un robot peut atteindre les abords d'un objet ou d'un meuble cible sans que sa position finale permette reellement de le manipuler. UniLM-Nav decompose la tache en trois etapes traitees par un seul modele multimodal de langage (MLLM): selection de la vue de reference parmi les observations recemment collectees, identification du point d'affordance pertinent pour la tache dans cette vue puis projection dans le repere du robot, et calcul d'une pose de base compatible avec sa geometrie. Sur le benchmark OVMM, la methode depasse l'etat de l'art precedent, MoTo, de 3,13 points de pourcentage. Les auteurs ont aussi teste le systeme sur un robot reel, un quadrupede Unitree B2 equipe d'un bras manipulateur Unitree Z1 a 6 degres de liberte (DoF), validant l'approche au-dela de la simulation.

Ce travail s'attaque a un maillon souvent neglige de la manipulation mobile: s'approcher d'une cible ne suffit pas si la pose finale rend la prise instable ou impossible. Les methodes existantes reglaient ce probleme via une annotation manuelle des poses ou un entrainement specifique a chaque tache, deux approches couteuses qui passent mal a l'echelle en vocabulaire ouvert. En s'appuyant sur un MLLM partage pour resoudre selection de vue, ancrage d'affordance et raisonnement geometrique, UniLM-Nav illustre une tendance de fond: les grands modeles multimodaux remplacent progressivement des modules geometriques specialises construits a la main. Les auteurs notent que le choix du MLLM sous-jacent a un effet substantiel sur la performance, un point a surveiller pour tout integrateur voulant reproduire l'approche. Le passage de la simulation a un robot physique reduit un peu l'ecart persistant entre demonstrations en laboratoire et deploiement reel qui marque encore la recherche en robotique mobile.

Le probleme du dernier metre est identifie de longue date dans la litterature sur la manipulation mobile, la plupart des pipelines de navigation s'arretant a une proximite grossiere de la cible sans garantir une pose exploitable pour le bras. La comparaison avec MoTo, presente comme la reference precedente sur OVMM (Open Vocabulary Mobile Manipulation), situe UniLM-Nav dans une lignee de travaux visant a generaliser la manipulation mobile a des objets et environnements non vus a l'entrainement. Le choix du materiel de validation, un quadrupede associe a un bras a 6 DoF, s'inscrit dans une tendance plus large a coupler locomotion a pattes et manipulation pour des environnements non structures. Publie sur arXiv (2607.06537), l'article ne mentionne aucun calendrier de commercialisation: il s'agit a ce stade d'une contribution de recherche, dont la reproduction sur d'autres plateformes testera sa robustesse au-dela du benchmark.

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

REST: arbre de Steiner explorateur à horizon glissant pour la navigation vers un objet en zero-shot

Une équipe de recherche propose REST (Receding Horizon Explorative Steiner Tree), un nouveau cadre de navigation robotique pour la tâche dite de "zero-shot object-goal navigation" (ZSON) : faire trouver un objet cible à un robot dans un environnement totalement inconnu, sans entraînement spécifique à la tâche. Décrit dans une version révisée d'un article déposé sur arXiv (2603.18624v2), le système est entièrement "training-free". Il fonctionne en trois étapes : construction en ligne d'une carte 3D explicite et à vocabulaire ouvert à partir de flux caméra RGB-D, génération d'un arbre de trajectoires sûres et informatives centré sur l'agent via un planificateur par échantillonnage, puis sélection du meilleur chemin par un raisonnement en chaîne de pensée (chain-of-thought) confié à un LLM, chaque branche de l'arbre étant traduite en récit spatial textuel. Testé sur trois benchmarks de référence du domaine, Gibson, HM3D et HSSD, REST se classe systématiquement parmi les meilleures méthodes en taux de réussite et en efficacité de trajectoire. L'apport principal n'est pas le LLM lui-même, déjà largement utilisé pour la navigation sémantique, mais la façon de structurer l'espace des options qu'on lui soumet. Les approches hiérarchiques existantes réduisent généralement chaque candidat à un simple point de destination noté selon son utilité finale, ce qui masque l'information utile collectée en cours de route et empêche de comparer des groupes de trajectoires apparentées. En remplaçant cette liste plate par un arbre de chemins partageant des segments communs, REST permet un raisonnement grossier-vers-fin : le LLM peut écarter ou explorer des branches entières avant d'examiner chaque feuille individuellement, ce qui compresse un espace combinatoire autrement ingérable. Pour les équipes travaillant sur des agents de navigation autonome ou des architectures VLA embarquées, c'est un signal que la qualité de la représentation de l'espace de décision pèse autant que la puissance du modèle de raisonnement utilisé pour trancher. Le travail s'inscrit dans la lignée des méthodes hiérarchiques ZSON qui séparent la représentation de la scène ("belief") de la prise de décision ("policy"), une architecture déjà courante dans la littérature récente sur la navigation sémantique assistée par LLM, mais qui jusqu'ici traitait l'interface entre ces deux modules comme un simple héritage technique plutôt que comme un axe de conception à part entière.

RecherchePaper

1 source

2arXiv cs.RO

CLUE : indices contextuels à priorité adaptative et carte sémantique unifiée pour la navigation zero-shot vers des objets cibles

Des chercheurs ont publié sur arXiv (référence 2605.19206) un framework de navigation baptisé CLUE, conçu pour résoudre le problème de la navigation vers des objets cibles sans entraînement préalable sur ces objets, un défi connu sous le nom de zero-shot object-goal navigation (ZSON). L'idée centrale : un agent robotique doit localiser un objet donné dans un environnement inconnu en exploitant deux types d'indices contextuels, les pièces (un réfrigérateur se trouve presque toujours dans une cuisine) et les objets voisins co-localisés (des ciseaux peuvent se trouver partout, mais souvent près d'un bureau ou d'un plan de travail). CLUE extrait des connaissances de bon sens à partir d'un grand modèle de langage (LLM) utilisé hors ligne, calcule un score d'association entre la cible et les types de pièces, puis construit une carte sémantique unifiée pondérant dynamiquement ces deux sources d'information selon l'ambiguïté de la cible. Un mécanisme de vérification multi-points de vue complète le système. Les expériences menées en simulation et dans des environnements réels montrent que CLUE dépasse les baselines de l'état de l'art sur les métriques de taux de succès (SR) et de succès pondéré par la longueur du chemin (SPL), sans que des chiffres absolus ne soient communiqués dans l'abstract. L'intérêt pratique de cette approche tient à une critique implicite des méthodes existantes : traiter tous les indices contextuels avec le même poids conduit à une exploration inefficace. Pour un intégrateur de robots de service, cela signifie des trajectoires plus courtes et une meilleure résilience dans des environnements non cartographiés, comme les hôpitaux, les entrepôts ou les environnements domestiques. L'utilisation d'un LLM hors ligne, plutôt qu'en inférence temps réel, réduit la latence et les dépendances cloud, un avantage concret pour le déploiement industriel. La démonstration en environnement réel, même si ses conditions exactes ne sont pas précisées, distingue CLUE de nombreux travaux restés en simulation pure. Ce travail s'inscrit dans un champ de recherche actif sur la navigation sémantique, aux côtés de méthodes comme ESC, VLFM ou SemEXP, issues principalement de laboratoires américains (CMU, Georgia Tech, Berkeley). CLUE se positionne comme une couche d'arbitrage contextuel au-dessus de ces approches plutôt que comme une refonte complète de l'architecture. Le papier est une prépublication arXiv, non encore évalué par les pairs, ce qui invite à la prudence sur la généralisabilité des résultats. Aucune affiliation industrielle ni plateforme matérielle spécifique n'est mentionnée. Les prochaines étapes naturelles seraient une validation sur des robots commerciaux (AMR de type Boston Dynamics Spot, Hello Robot Stretch ou plateformes mobiles ROS2-compatibles) et une comparaison sur les benchmarks standardisés HM3D ou Gibson.

RecherchePaper

1 source

3arXiv cs.RO

Au-delà de l'isolement : un benchmark unifié pour la navigation polyvalente

Une équipe de chercheurs vient de publier OmniNavBench (arXiv:2505.09441), un nouveau benchmark conçu pour évaluer la navigation des agents incarnés dans des conditions proches du réel. Contrairement aux protocoles existants qui testent une compétence à la fois sur un seul type de robot, OmniNavBench impose des instructions composites enchaînant six catégories de sous-tâches au sein d'un même épisode : navigation vers un point cible (PointNav), navigation guidée par le langage (VLN), recherche d'objets (ObjectNav), navigation sociale (SocialNav), suivi de personne (Human Following) et question-réponse incarnée (EQA). La plateforme de simulation propose 170 environnements combinant assets synthétiques et scans de lieux réels, et couvre trois morphologies robotiques : humanoïdes, quadrupèdes et robots à roues. Le dataset comprend 1 779 trajectoires expertes collectées par télé-opération humaine, capturant des nuances comportementales comme les regards exploratoires et les évitements anticipatoires, au lieu des classiques plus courts chemins algorithmiques. L'intérêt de ce travail est de révéler une faille systémique dans l'évaluation actuelle des agents navigants. Les méthodes publiées, même celles se réclamant d'une conception unifiée, peinent dès lors qu'on leur demande d'enchaîner des comportements hétérogènes dans un seul épisode continu. Ce résultat contredit implicitement les affirmations de généralité de plusieurs architectures récentes et met en évidence un écart réel entre les performances en benchmark isolé et les exigences d'un déploiement terrain. Pour un intégrateur ou un décideur industriel, cela signifie que les métriques publiées sur des benchmarks mono-tâche ne sont pas transposables à des scénarios opérationnels où un robot doit simultanément localiser un objet, éviter un humain et répondre à une consigne en langage naturel. OmniNavBench s'inscrit dans une dynamique plus large d'unification des évaluations en robotique incarnée, un domaine où les benchmarks fragmentés ont longtemps permis aux équipes de revendiquer des SOTA partiels sans comparabilité réelle. Les benchmarks dominants comme R2R (Vision-and-Language Navigation) ou HM3D (Habitat) restent mono-morphologie et mono-tâche. La plateforme est disponible en open access avec dataset, code et leaderboard, ce qui facilitera l'adoption par la communauté. Les suites logiques incluent l'intégration de modèles VLA récents comme pi0 ou GR00T N2 dans le leaderboard, et potentiellement des évaluations en simulation-to-real pour tester si les scores obtenus se transfèrent sur hardware réel.

RecherchePaper

1 source

4arXiv cs.RO

Le Navigateur de Schrödinger : imaginer un ensemble de futurs pour la navigation vers des objets en zéro-shot

Des chercheurs ont présenté sur arXiv (2512.21201, v3, déposé en décembre 2025) Schrödinger's Navigator, un système de navigation zéro-shot d'objets (ZSON) pour robots mobiles. Le principe : à l'inférence, le système génère plusieurs "futurs 3D imaginés" le long de trajectoires candidates, maintenant une superposition de représentations plausibles de la scène plutôt que de s'engager sur une carte unique. Un échantillonneur adaptatif concentre l'effort sur les zones occultées et incertaines, tandis qu'une Future-Aware Value Map (FAVM) agrège ces projections pour sélectionner des waypoints proactifs et conscients des risques. Les expériences ont été menées en simulation et sur un quadrupède physique Unitree Go2 dans des scènes encombrées à forte occlusion, avec des résultats supérieurs aux meilleures baselines ZSON actuelles en termes de détection de cibles cachées. Le fossé simulation-réel est l'un des obstacles structurels de la robotique de service : les systèmes efficaces en simulation se dégradent souvent dans des environnements réels encombrés, où les zones inexplorées rendent l'inférence sur une scène unique fragile et risquée. Schrödinger's Navigator attaque ce verrou en raisonnant sur des futurs hypothétiques à l'inférence, sans retraining, ce qui ouvre la voie à une navigation autonome sans cartographie préalable dans des entrepôts, hôpitaux ou bâtiments publics non structurés. La validation sur hardware physique (Go2) plutôt qu'exclusivement en simulation renforce la crédibilité de l'approche, même si les métriques précises (taux de succès chiffrés, nombre de scènes testées) n'apparaissent pas dans le résumé publié. La ZSON est un champ actif mobilisant laboratoires et équipes R&D industrielles, avec des approches concurrentes basées sur des modèles de langage visuel (VLM) ou des représentations sémantiques 3D comme les NeRF ou le Gaussian Splatting. L'originalité de cette proposition est l'usage d'un modèle de monde 3D conditionné par la trajectoire pour projeter des futurs probables, une transposition directe du paradoxe de Schrödinger à la planification sous incertitude. La recherche, déjà en troisième version sur arXiv, reste purement académique : aucun déploiement commercial ni pilote industriel n'est annoncé. Elle constitue néanmoins un signal pertinent pour les équipes travaillant sur la navigation autonome en environnements dynamiques et non structurés, en particulier dans le contexte de l'essor des robots de service et des humanoïdes de deuxième génération.

RecherchePaper

1 source