Aller au contenu principal
GemNav : navigation robotique visuelle par tokens discrets via un grand modèle de langage multimodalIllustration générée par IA
IA physiquearXiv cs.RO 

GemNav : navigation robotique visuelle par tokens discrets via un grand modèle de langage multimodal

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

GemNav, une nouvelle politique de navigation visuelle pour robots, s'écarte de la recette habituelle du secteur : un encodeur visuel dédié, une tête d'action sur mesure, et un entraînement sur des milliers d'heures de données cross-embodiment. À la place, l'équipe adapte un Modèle de Langage Multimodal (MLLM) figé via LoRA appliqué uniquement à la tour langage, sans encodeur visuel auxiliaire ni tête de régression continue. Les waypoints et les signaux de navigation catégoriels partagent un unique vocabulaire de tokens discrets généré par la tête du modèle de langage, et une perte auxiliaire "soft-decoded" permet de récupérer la structure métrique que l'entropie croisée pure perdrait autrement. Entraîné sur un seul corpus ouvert de 8,7 heures, soit environ mille fois moins de données que les jeux d'entraînement concurrents, GemNav transfère en zero-shot vers quatre environnements physiquement distincts et inédits. Sur 20 essais réels, le robot s'arrête entre 0,25 et 0,42 mètre de l'objectif, couvrant un parking extérieur, un parking avec obstacles, une longue cour industrielle chimique en extérieur et un entrepôt intérieur.

Ce résultat pèse sur un débat central de la robotique fondée sur les modèles de fondation : faut-il vraiment des encodeurs visuels spécialisés et des volumes massifs de données pour obtenir une navigation robuste et généralisable ? En montrant qu'une simple adaptation par tokens discrets d'un MLLM déjà pré-entraîné suffit à atteindre une précision d'arrivée sous le demi-mètre sur des terrains variés jamais vus à l'entraînement, GemNav suggère une voie plus économe en données et en calcul pour déployer des politiques de navigation, un argument qui parlera directement aux intégrateurs et décideurs B2B soucieux du coût d'entraînement et de collecte de données. L'étude apporte aussi une nuance utile : ajouter un historique d'images courtes améliore les métriques hors ligne mais n'apporte aucun bénéfice mesurable sur le robot réel, ce qui indique un plafond sur l'utilité du contexte temporel une fois que les features visuelles pré-entraînées sont en place.

Le travail s'inscrit dans la lignée des politiques de navigation dites "VLA" (vision-language-action) qui cherchent à réutiliser des modèles de fondation existants plutôt que d'entraîner des architectures spécialisées from scratch, une tendance également explorée par des approches comme GR00T N2 ou Pi-0 dans le domaine de la manipulation. En limitant drastiquement la taille du corpus d'entraînement nécessaire, GemNav ouvre la voie à des déploiements plus rapides et moins coûteux pour des flottes de robots mobiles autonomes (AMR) en environnement industriel ou logistique, même si la validation reste pour l'instant limitée à des essais ponctuels plutôt qu'à un déploiement à grande échelle.

Dans nos dossiers

À lire aussi

Dynin-Robotics : un modèle unifié de diffusion omnimodal vision-langage-action
Illustration générée par IA
1arXiv cs.RO 

Dynin-Robotics : un modèle unifié de diffusion omnimodal vision-langage-action

Une équipe de recherche présente Dynin-Robotics, un modèle vision-langage-action fondé sur Dynin-Omni, un backbone de diffusion masquée "omnimodal" qui code langage, observations, objectifs et actions en tokens discrets dans un seul modèle de trajectoire. En variant le conditionnement, ce réseau apprend à prédire l'action, l'observation suivante induite par l'action, l'état final visé et l'instruction correspondant à une trajectoire. Pré-entraîné sur environ 1,33 million de trajectoires issues de 48 jeux de données Open X-Embodiment puis adapté à des tâches spécifiques, il obtient des résultats compétitifs sur LIBERO, sa variante zero-shot LIBERO-Plus et deux tâches VLABench, atteint 78,4% de réussite moyenne sur quatre tâches de manipulation avec un bras Franka Research 3 réel, et bénéficie d'un décodage optimisé jusqu'à 29,2 fois plus…

IA physiqueActu
1 source
TIC-VLA : un modèle vision-langage-action (VLA) à raisonnement intégré pour la navigation robotique en environnements dynamiques
Illustration générée par IA
2arXiv cs.RO 

TIC-VLA : un modèle vision-langage-action (VLA) à raisonnement intégré pour la navigation robotique en environnements dynamiques

Des chercheurs de l'UCLA Mobility Lab ont publié fin février 2026 TIC-VLA (Think-in-Control VLA), un framework de contrôle robotique qui adresse explicitement le décalage temporel entre raisonnement sémantique et action en temps réel. Le modèle introduit une interface "delayed semantic-control" : au lieu de supposer que la sortie du module vision-langage est synchrone avec l'action motrice, TIC-VLA conditionne la génération d'action sur des états sémantiques retardés et sur des métadonnées de latence explicites, en plus des observations courantes. Le pipeline d'entraînement, dit "latency-consistent", injecte des délais de raisonnement réels pendant l'apprentissage par imitation et le reinforcement learning en ligne, alignant ainsi les conditions d'entraînement sur celles du déploiement.

IA physiqueOpinion
1 source
MuseVLA : un modèle VLA multimodal adaptatif pour la manipulation robotique
Illustration générée par IA
3arXiv cs.RO 

MuseVLA : un modèle VLA multimodal adaptatif pour la manipulation robotique

Des chercheurs présentent ce mois-ci MuseVLA (arXiv:2606.17598, juin 2026), un modèle Vision-Language-Action capable d'intégrer des capteurs non-RGB comme entrées de perception active lors de tâches de manipulation robotique. Sur un robot à main dextre testée en conditions réelles, MuseVLA atteint un taux de succès moyen de 80,6 % sur trois familles de tâches : saisie guidée par la température, recherche d'objet par signal audio, et récupération d'objet dissimulé assistée par radar. L'architecture repose sur un mécanisme en deux temps : le modèle génère d'abord un "sensor token" qui sélectionne dynamiquement la modalité sensorielle pertinente pour la tâche en cours, puis convertit la mesure capteur en une "grounded sensor image", une représentation intermédiaire unifiée fusionnée avec le flux RGB classique avant…

UELes acteurs européens comme Enchanted Tools opèrent dans le même segment VLA généraliste, mais ce preprint n'implique aucune institution ou entreprise française ou européenne.

IA physiqueOpinion
1 source
MMaDA-VLA : un grand modèle vision-langage-action à diffusion, avec instruction et génération multimodales unifiées
Illustration générée par IA
4arXiv cs.RO 

MMaDA-VLA : un grand modèle vision-langage-action à diffusion, avec instruction et génération multimodales unifiées

Un groupe de chercheurs a mis en ligne une troisième version révisée de MMaDA-VLA, un modèle Vision-Language-Action (VLA) qui convertit observations visuelles et instructions en langage naturel en actions robotiques. À la différence des architectures hiérarchiques ou autorégressives habituelles, ce modèle repose sur une diffusion discrète native et préentraînée, qui unifie compréhension et génération multimodales dans un espace de tokens partagé. Il débruite conjointement une image d'objectif futur et un segment d'actions, ancrant ainsi les décisions du robot dans un résultat visuel prédit, sans passer par un modèle du monde auxiliaire séparé. Ce raffinement parallèle et non ordonné viserait à limiter l'accumulation d'erreurs sur les tâches longues.

IA physiqueOpinion
1 source