Aller au contenu principal
Qwen-RobotNav : un modèle de navigation extensible conçu pour un système de navigation à base d'agentsIllustration générée par IA
IA physiquearXiv cs.RO 

Qwen-RobotNav : un modèle de navigation extensible conçu pour un système de navigation à base d'agents

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Alibaba Research a publié le 24 juin 2026 le rapport technique de Qwen-RobotNav, un modèle de navigation robotique entraîné sur 15,6 millions d'échantillons et disponible en deux versions, 2B et 8B paramètres. Le modèle expose une interface paramétrée à deux dimensions : des modes de tâches sélectionnables (suivi d'instructions, recherche d'objets, tracking de cible, conduite autonome) et des paramètres d'observation configurables à l'inférence -- budget de tokens, pondération par caméra, fenêtre d'historique visuel. La randomisation de ces paramètres pendant l'entraînement rend le modèle robuste à toute configuration d'inférence sans modification architecturale. Le co-entraînement avec des données vision-langage (VLA) évite l'effondrement en simple mappeur action-séquence, un problème documenté sur les modèles entraînés uniquement sur trajectoires. Les benchmarks navigation annoncés sont en état de l'art sur les principales références du domaine, avec une généralisation zero-shot validée sur robots réels en environnements variés.

L'intérêt industriel de Qwen-RobotNav réside dans son architecture modulaire : un planificateur de haut niveau peut décomposer un objectif long-horizon en sous-tâches, basculer dynamiquement le mode et la stratégie de contexte en cours d'épisode, et composer des comportements complexes via des appels répétés au même modèle de base. Pour un intégrateur ou un OEM robotique, cela signifie un seul backbone navigation réutilisable sur plusieurs verticales (logistique, inspection, assistance), sans refonte du pipeline perception-planification. Le passage de 2B à 8B paramètres montre un scaling favorable, avec émergence d'un substrat spatial-planning partagé qui transfère entre familles de tâches -- ce qui valide empiriquement l'hypothèse que l'entraînement multi-tâche peut remplacer des modèles spécialisés distincts.

Qwen-RobotNav s'inscrit dans l'effort d'Alibaba DAMO Academy et du groupe Qwen pour étendre leur famille de modèles au-delà du langage pur vers l'action incarnée. En termes de positionnement concurrentiel, le modèle s'inscrit dans un espace occupé par des travaux comme NaviLLM (Microsoft), OpenFMNav et UniNav, tous cherchant un modèle de navigation généraliste. La différence revendiquée par Qwen-RobotNav est l'interface paramétrique unifiée permettant la reconfiguration à l'inférence sans fine-tuning, ce qui facilite l'intégration dans des systèmes agentiques multi-étapes. Le code et les poids ne semblent pas encore publiés au moment du rapport ; les résultats zero-shot sur robots réels restent à confirmer dans des conditions industrielles non contrôlées.

À lire aussi

Ludi₀.₁ : un système à base d'agents pour des robots socialement intelligents
Illustration générée par IA
1arXiv cs.RO 

Ludi₀.₁ : un système à base d'agents pour des robots socialement intelligents

Des chercheurs ont publié le 25 août 2026 sur arXiv (identifiant 2608.22035v1) un article décrivant Ludi 0.1, un système agentique visant à doter les robots d'une intelligence sociale, au-delà de la simple exécution de commandes isolées. Le système combine parole interactive, raisonnement multimodal, mémoire, navigation et manipulation apprise dans une architecture unique. Son cœur décisionnel est un modèle vision-langage affiné sur des traces d'interaction multi-tours : requêtes ambiguës, demandes de clarification, corrections, interruptions, dialogue mêlant social et tâches à plusieurs étapes. Un harnais logiciel dédié orchestre la boucle d'interaction entre ce modèle et ses outils, pendant que des politiques spécialisées de navigation et de manipulation exécutent les compétences physiques sur le robot. Pour les intégrateurs et décideurs de la robotique humanoïde, ce travail marque un déplacement de priorité : après des années focalisées sur les benchmarks de perception et de contrôle bas niveau (préhension, locomotion, déplacement d'objets), l'enjeu se porte désormais sur la robustesse conversationnelle et la capacité à réviser un comportement en cours quand l'intention de l'utilisateur change. L'hypothèse testée est qu'affiner un modèle vision-langage-action sur des traces d'interaction réelles, plutôt que sur des démonstrations de tâches isolées, peut réduire l'écart souvent constaté entre démonstrations impressionnantes et fiabilité en usage réel. Les auteurs présentent Ludi 0.1 comme une étape intermédiaire, non comme un modèle fondation abouti : le système sert avant tout à générer les traces multimodales nécessaires pour entraîner un futur modèle plus intégré. Cette publication s'inscrit dans le sillage des modèles vision-langage-action déjà démontrés pour la manipulation, comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, et des plateformes humanoïdes commerciales telles qu'Optimus Gen 3 de Tesla ou Figure 03, dont les démonstrations restent centrées sur l'exécution de tâches plutôt que sur l'interaction sociale prolongée. Ludi 0.1 se distingue en ciblant explicitement la collaboration homme-robot en dialogue continu, un axe encore peu couvert par les annonces commerciales du secteur. L'article ne mentionne aucun déploiement industriel, ni volume de production, ni prix : il s'agit d'une contribution de recherche publiée sur arXiv, dont la suite annoncée est d'exploiter les traces collectées pour entraîner un futur modèle fondation combinant plus étroitement raisonnement social et compétences physiques.

IA physiqueOpinion
1 source
TIC-VLA : un modèle vision-langage-action (VLA) à raisonnement intégré pour la navigation robotique en environnements dynamiques
Illustration générée par IA
2arXiv cs.RO 

TIC-VLA : un modèle vision-langage-action (VLA) à raisonnement intégré pour la navigation robotique en environnements dynamiques

Des chercheurs de l'UCLA Mobility Lab ont publié fin février 2026 TIC-VLA (Think-in-Control VLA), un framework de contrôle robotique qui adresse explicitement le décalage temporel entre raisonnement sémantique et action en temps réel. Le modèle introduit une interface "delayed semantic-control" : au lieu de supposer que la sortie du module vision-langage est synchrone avec l'action motrice, TIC-VLA conditionne la génération d'action sur des états sémantiques retardés et sur des métadonnées de latence explicites, en plus des observations courantes. Le pipeline d'entraînement, dit "latency-consistent", injecte des délais de raisonnement réels pendant l'apprentissage par imitation et le reinforcement learning en ligne, alignant ainsi les conditions d'entraînement sur celles du déploiement. Pour l'évaluation, l'équipe présente également DynaNav, une suite de simulation physiquement précise et photoréaliste dédiée à la navigation guidée par langage naturel dans des environnements avec présence humaine. Les expériences couvrent à la fois la simulation et un robot réel, avec des latences de raisonnement pouvant dépasser plusieurs secondes. L'enjeu sous-jacent est structural dans le champ des VLA : Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou les architectures dérivées de RT-2 supposent implicitement que l'inférence sémantique et le contrôle moteur sont cadencés de manière cohérente. En pratique, les LLM embarqués dans ces architectures introduisent des délais incompressibles de 0,5 à plusieurs secondes, incompatibles avec une boucle de contrôle à 10-20 Hz dans un environnement dynamique. TIC-VLA propose une solution au niveau de l'architecture plutôt qu'au niveau matériel, ce qui est potentiellement plus portable. Les résultats annoncés indiquent une surperformance systématique par rapport aux VLA antérieurs tout en maintenant un contrôle robuste sous latence. Il faut toutefois noter que les benchmarks proviennent en grande partie de DynaNav, un environnement simulé développé par les auteurs eux-mêmes, ce qui appelle une validation indépendante. La problématique de l'asynchronisme VLA n'est pas nouvelle : des travaux comme GROOT ou des approches à architecture duale (slow planner / fast controller) cherchent à séparer les horizons temporels. TIC-VLA se distingue en modélisant la latence comme un paramètre de condition plutôt qu'en la masquant par une architecture hiérarchique. Le projet est porté par le groupe UCLA Mobility Lab, connu pour ses travaux sur la navigation autonome urbaine. La page projet est accessible, mais aucune annonce de déploiement industriel ou de partenariat commercial n'est mentionnée pour l'instant. Les prochaines étapes naturelles seraient une évaluation sur des plateformes standardisées comme le benchmark Open-X Embodiment, et une confrontation avec des architectures concurrentes sur des tâches de manipulation en environnement mixte homme-robot.

IA physiqueOpinion
1 source
Comment entraîner une politique de navigation à cross-embodiment pour robots avec des agents IA
Illustration générée par IA
3NVIDIA Developer Blog 

Comment entraîner une politique de navigation à cross-embodiment pour robots avec des agents IA

Un article technique intitulé « How to Train a Cross-Embodiment Robot Navigation Policy with AI Agents » présente une méthode pour entraîner des politiques de navigation robotique capables de fonctionner sur plusieurs types de robots, une approche dite « cross-embodiment » reposant sur des agents IA. Le texte distingue navigation et locomotion : la locomotion assure un mouvement stable comme la marche ou l'équilibre, tandis que la navigation doit en continu localiser le robot, interpréter un environnement changeant, choisir un itinéraire et éviter les obstacles pour atteindre un objectif en sécurité. Selon l'article, transférer cette capacité vers un nouveau robot ou un nouvel environnement exige généralement de nouvelles données d'entraînement, de nouveaux assets de simulation et de nouvelles interfaces robot spécifiques, un goulot d'étranglement que la méthode proposée cherche à réduire en confiant à des agents IA la génération ou l'adaptation automatique de ces éléments. Cette approche vise un problème central pour les intégrateurs et laboratoires de robotique : la difficulté de porter une politique de navigation d'un robot ou d'un environnement à un autre sans tout recréer manuellement. Si la génération assistée par IA des données de simulation et des interfaces tient ses promesses, elle pourrait réduire le temps et le coût de déploiement d'un même système de navigation sur des flottes hétérogènes, mobiles ou humanoïdes, un enjeu alors que le secteur cherche à généraliser les modèles vision-langage-action au-delà de la manipulation vers la mobilité autonome. L'article, cependant, ne fournit aucune métrique chiffrée, taux de réussite, temps de cycle, nombre de robots ou de scènes testées, ni de date de disponibilité, ce qui en fait pour l'instant une démonstration méthodologique plutôt qu'un produit prêt à déployer. Cette publication s'inscrit dans la tendance sectorielle à découpler les compétences robotiques, perception, locomotion, navigation, manipulation, de la plateforme matérielle, dans la lignée des efforts autour des modèles génériques de type VLA et de l'entraînement massif en simulation. Le texte source ne précise ni l'organisme à l'origine de la méthode au-delà du titre, ni les robots ou environnements utilisés pour la valider, ni de calendrier de publication d'outils ou de suite associée, laissant ouvertes les questions de reproductibilité et de disponibilité pratique de cette approche.

IA physiquePaper
1 source
Qwen-VLA : un modèle vision-langage-action (VLA) unifié pour les tâches, environnements et morphologies de robots
Illustration générée par IA
4arXiv cs.RO 

Qwen-VLA : un modèle vision-langage-action (VLA) unifié pour les tâches, environnements et morphologies de robots

Qwen-VLA, présenté en préprint arXiv par l'équipe Qwen d'Alibaba (arXiv:2605.30280, mai 2026), est un modèle de fondation incarné qui unifie dans un seul système la manipulation robotique, la navigation vision-et-langage et la prédiction de trajectoires. L'architecture étend la pile vision-langage de Qwen par un décodeur d'action basé sur un Diffusion Transformer (DiT), permettant de générer des actions continues en plus du raisonnement perceptif. L'entraînement joint combine trajectoires de manipulation réelles, démonstrations égocentrées humaines, données de simulation synthétique et jeux de données de navigation. Sur les benchmarks publiés, Qwen-VLA-Instruct atteint 97,9 % sur LIBERO, 86,1 %/87,2 % sur RoboTwin-Easy/Hard, 73,7 % sur Simpler-WidowX, et 69,0 % de taux de succès d'objectif sur R2R en navigation. En conditions réelles sur plateforme ALOHA, le modèle affiche 76,9 % de succès moyen hors-distribution (OOD) et 26,6 % en zéro-shot sur DOMINO, une tâche de manipulation dynamique. La contribution principale est le "embodiment-aware prompt conditioning" : des descriptions textuelles propres à chaque robot spécifient morphologie et conventions de contrôle, permettant théoriquement à un seul jeu de poids de s'adapter à plusieurs plateformes sans réentraînement dédié. Pour les intégrateurs et les COO industriels, c'est directement le problème du cross-embodiment qui freine les déploiements à l'échelle. Les scores OOD sont pertinents mais méritent d'être nuancés : ils portent sur des environnements de laboratoire, et les 76,9 % sur ALOHA concernent une plateforme à deux bras en contexte contrôlé, pas un robot industriel en conditions de production. La sélection des séquences de démonstration dans les preprints arXiv est notoirement favorable aux cas réussis. Qwen-VLA s'inscrit dans la course aux VLA généralistes, aux côtés de pi-0 de Physical Intelligence (spécialisé manipulation, 400 M$ levés), GR00T N2 de NVIDIA (cross-embodiment annoncé en 2025) et OpenVLA d'UC Berkeley. Son décodeur DiT le rapproche des approches diffusion-based de pi-0, par opposition aux méthodes token-based. Qwen étant déjà un modèle ouvert d'Alibaba largement adopté dans des stacks vision-langage, son extension à l'action physique offre aux équipes de recherche et d'intégration un point d'entrée solide pour le fine-tuning multi-tâche multi-robot. Aucun déploiement commercial n'est annoncé à ce stade : c'est un travail de recherche, pas un produit lancé.

UELes équipes de recherche et d'intégration robotique européennes peuvent exploiter ce modèle ouvert Alibaba pour du fine-tuning multi-robot multi-tâche, mais aucun partenariat ni déploiement européen n'est annoncé.

IA physiqueOpinion
1 source