CovNav : inférence adaptative guidée par prédiction conforme pour la navigation vers un objet cible

CovNav, un framework publié sur arXiv (2610.27677), s'attaque à un arbitrage central de la navigation robotique par objet (ObjectNav), où un agent doit trouver une cible, par exemple un lit, dans un environnement jamais vu. Les auteurs utilisent un LLM local en mode rapide, qui répond à une question binaire structurée: la cible est-elle probablement proche d'un objet observé? La prédiction conforme (Conformal Prediction, CP) convertit les probabilités de tokens en un ensemble de prédiction. Seules les requêtes ambiguës sont renvoyées vers un raisonnement lent en chaîne de pensée. Le système n'exige aucun entraînement. Sur les benchmarks Gibson et HM3D, il dépasse la meilleure base zero-shot de 0,8 point (HM3D v1) et de 1,7 point (HM3D v2) en taux de succès, en ne déclenchant la réflexion lente que pour 12,4 % des requêtes. Des essais ont aussi été menés sur un TurtleBot 4.

Pour les intégrateurs et les équipes embarquées, l'intérêt tient moins au gain brut, modeste, qu'au profil coût-performance. Les LLM dans le cloud ajoutent de la latence et posent des questions de confidentialité, tandis que les petits modèles embarqués rapides produisent des jugements spatiaux halluciné. CovNav indique qu'on peut conserver l'essentiel du bénéfice d'un raisonnement toujours actif pour une fraction de sa latence, en décidant quand réfléchir à partir d'une incertitude calibrée plutôt que d'heuristiques. Cette approche apporte une garantie statistique que peu de systèmes à base de LLM offrent. Il faut toutefois rester prudent: les résultats viennent de simulation, avec un test réel limité sur une plateforme de recherche à bas coût. Les écarts de quelques points ne disent rien de la robustesse en entrepôt, en usine ou à l'hôpital, et le papier ne fournit pas ici de chiffres de latence absolue ni de coût énergétique.

Le travail s'inscrit dans la lignée des méthodes zero-shot d'ObjectNav qui exploitent le sens commun spatial des LLM, comme la co-occurrence d'objets, au détriment d'un apprentissage par renforcement coûteux. Il s'appuie sur des modèles hybrides disposant d'un mode sans réflexion et d'un mode avec réflexion, et reprend la logique des modèles de décision structurés de type Jev, qui traitent une requête comme un jugement binaire plutôt que comme une génération libre. La formulation par paires d'objets rend la calibration praticable et accepte des objets en vocabulaire ouvert grâce à des détecteurs standards. Les prochaines étapes naturelles seraient des tests sur des robots plus variés, dans des environnements dynamiques et réels, ainsi qu'une extension du principe à d'autres décisions d'agents embarqués. Il s'agit pour l'instant d'une recherche académique, sans produit ni déploiement commercial annoncé.