RecherchearXiv cs.RO 5 mai 2026

NaviMaster : un modèle unifié pour la navigation dans les interfaces graphiques et dans les environnements physiques

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

NaviMaster (arXiv:2508.02046, version 4 du preprint) est un agent d'intelligence artificielle qui unifie dans un seul modèle deux types de navigation habituellement traités séparément : la navigation en interface graphique (GUI, pilotage d'applications et de menus) et la navigation embodied (déplacement d'un agent physique ou simulé dans un espace 3D). Le système repose sur l'observation que ces deux problèmes se formulent comme des Processus de Décision Markoviens (MDP), ce qui autorise une architecture et un entraînement communs. NaviMaster introduit trois contributions techniques : un pipeline de collecte de trajectoires à cible visuelle applicable aux deux domaines via une formulation unifiée, un cadre d'apprentissage par renforcement (RL) entraîné sur données mixtes pour améliorer la généralisation, et une récompense dite "distance-aware" conçue pour accélérer l'apprentissage à partir des trajectoires collectées. Évalué sur des benchmarks hors-domaine, il surpasse les agents spécialisés de l'état de l'art sur trois tâches : navigation GUI, prédiction d'affordance spatiale et navigation embodied. Les codes, données et checkpoints sont publiés en open source.

L'intérêt de NaviMaster est moins dans ses performances brutes sur chaque tâche isolée que dans la démonstration que GUI et navigation physique peuvent partager une même représentation apprise. Jusqu'ici, ces deux domaines s'appuyaient sur des datasets distincts, des architectures incompatibles et des paradigmes d'entraînement divergents. Pour les équipes travaillant sur des modèles VLA (Vision-Language-Action) ou sur des systèmes multi-tâches, c'est une preuve de concept que la généralisation cross-domaine par RL mixte est faisable à cette échelle. Les études d'ablation publiées confirment que la stratégie de mélange de données et la récompense distance-aware contribuent toutes deux de manière mesurable aux gains finaux, ce qui renforce la crédibilité des choix architecturaux au-delà du résultat global.

NaviMaster s'inscrit dans une dynamique de convergence croissante entre agents logiciels et agents physiques. Il se positionne face à des agents GUI spécialisés comme CogAgent ou SeeAct d'un côté, et à des modèles de navigation embodied comme RT-2 ou OpenVLA de l'autre. Les benchmarks de référence sont Web-Arena et OSWorld pour le versant GUI, Habitat pour le versant physique. La présence d'une version v4 sur arXiv signale un processus de révision actif, probablement en direction d'une conférence majeure (ICLR, NeurIPS ou ICRA). L'article ne mentionne aucun déploiement industriel ni partenariat, ce qui place NaviMaster au stade de la preuve de concept académique.

Dans nos dossiers

OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

XEmbodied : un modèle fondation aux indices géométriques et physiques renforcés pour les environnements incarnés à grande échelle

Une équipe de chercheurs a publié fin avril 2026 sur arXiv (référence 2604.18484) les travaux sur XEmbodied, un modèle fondateur côté cloud conçu pour améliorer l'annotation et l'entraînement des modèles Vision-Langage-Action (VLA) dans des environnements complexes à grande échelle. L'approche repose sur deux composants techniques distincts : un adaptateur 3D structuré qui intègre une représentation géométrique native (grilles d'occupation, boîtes englobantes 3D) dans un modèle de langage visuel (VLM) existant, et un adaptateur image-embodied efficace qui distille des signaux physiques en tokens contextuels. L'entraînement combine un curriculum progressif par domaine et un post-entraînement par apprentissage par renforcement. Les résultats sont évalués sur 18 benchmarks publics couvrant le raisonnement spatial, la sémantique trafic, l'affordance embodied et la généralisation hors distribution. Ce travail cible un goulot d'étranglement concret dans la chaîne de développement des systèmes autonomes incarnés : les pipelines d'annotation actuels s'appuient sur des VLM génériques pré-entraînés uniquement sur des paires image-texte 2D, sans compréhension intrinsèque de la géométrie 3D ni des contraintes physiques. Pour un intégrateur ou un décideur industriel qui cherche à construire des datasets de qualité pour robots mobiles ou bras manipulateurs, XEmbodied positionne la compréhension géométrique non comme une entrée auxiliaire optionnelle, mais comme une capacité fondamentale du modèle. Cela représente un changement d'approche notable dans la manière de produire des annotations scalables pour l'embodied AI, un segment où la qualité des données d'entraînement reste le principal facteur limitant avant même l'architecture du VLA lui-même. XEmbodied s'inscrit dans une vague de travaux visant à combler le fossé entre les VLM généralistes (GPT-4V, LLaVA, Qwen-VL) et les exigences de l'embodied AI, où les modèles comme π0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA nécessitent des données d'entraînement spatialement cohérentes et physiquement plausibles. La contribution ici n'est pas un VLA en soi, mais une couche d'infrastructure cloud pour en produire de meilleurs. Aucun déploiement industriel ni partenariat commercial n'est mentionné dans l'article : il s'agit d'un travail académique, dont la valeur pratique dépendra de l'adoption par les équipes qui construisent ces pipelines d'annotation à l'échelle.

RechercheOpinion

1 source

2arXiv cs.RO

PhysGraph : un graphe de scène 3D intégrant la physique pour la perception et le raisonnement

Une équipe de recherche a publié PhysGraph en juin 2026 sur arXiv (référence 2606.08655), un cadre algorithmique qui construit des graphes de scène 3D physiquement ancrés à partir d'images RGB-D, caméras couleur couplées à un capteur de profondeur. Là où la plupart des systèmes de perception 3D se limitent à identifier sémantiquement les objets (reconnaissance, segmentation, récupération), PhysGraph modélise simultanément leurs propriétés physiques et cinématiques : masse, matériaux, et articulations (degrés de liberté, points de pivot). Le pipeline décompose chaque objet en parties fonctionnelles distinctes, associe les instances d'objets entre plusieurs prises de vue, puis infère via un raisonnement visuel les propriétés mécaniques de chaque composant. Évalué sur des jeux de données synthétiques et réels, le système revendique des résultats state-of-the-art en segmentation sémantique, en estimation de masse multi-objet, et en prédiction d'articulations. L'enjeu dépasse la taxonomie académique. Pour la manipulation robotique en environnement industriel ou domestique, savoir qu'un objet est « un tiroir » n'est pas suffisant, le robot doit connaître son axe de rotation, la force nécessaire à son ouverture, et la localisation des poignées préhensibles. PhysGraph cible précisément ce gap en produisant des représentations exploitables pour la planification de tâches et la prédiction d'affordances sous contraintes physiques. L'application de transfert réel-vers-simulation (real-to-sim) est stratégiquement critique : convertir automatiquement une scène réelle en environnement simulé fidèle réduit le coût de génération de données d'entraînement pour les robots apprenants. Il convient cependant de nuancer : l'abstract ne précise ni les latences de traitement ni les conditions opérationnelles testées, ce qui rend difficile l'évaluation de la viabilité temps-réel. Ce travail s'inscrit dans un espace de recherche dense autour des graphes de scène 3D ouverts, ConceptGraphs, OpenMask3D, et les travaux sur la manipulation d'objets articulés alimentés par les datasets PartNet et SAPIEN font figure de références directes. La prédiction d'articulations reste l'un des problèmes les plus ouverts de la robotique incarnée, aux côtés du fossé sim-to-real. Aucun partenaire industriel ni déploiement pilote n'est mentionné : PhysGraph en est au stade de contribution de recherche, sans timeline de productisation annoncée. Les prochaines étapes naturelles seraient la validation sur des manipulateurs réels en boucle fermée et la publication du code.

RecherchePaper

1 source

3arXiv cs.RO

PIER-Flow : un flux rectifié efficace et informé par la physique pour la navigation en temps réel des robots mobiles

Des chercheurs présentent PIER-Flow (Physics-Informed Efficient Rectified Flow), une politique de navigation légère pour robots mobiles, décrite dans un preprint arXiv publié le 14 juillet 2026 (arXiv:2607.10288v1). La méthode distille un expert MPC (Model Predictive Control) dans une équation différentielle ordinaire à temps continu, ce qui permet de générer une action en une seule étape grâce à un échantillonnage latent parallèle et une sélection de faisabilité allégée. Un objectif d'entraînement intégrant la physique impose la cohérence cinématique du robot, couplé à une architecture de "chunking" d'actions asynchrone pensée pour le transfert simulation vers réel. En simulation, PIER-Flow atteint un taux de réussite de 98,85% sans aucune collision, avec un temps d'inférence moyen d'environ 1,29 ms, soit une planification 37,2 fois plus rapide que le MPC classique et plus de 800 fois plus rapide que les modèles de diffusion standards. Déployé sur un calculateur embarqué à ressources limitées, le système conserve une latence d'inférence stable d'environ 5,3 ms. Ces chiffres, s'ils se confirment au-delà du cadre expérimental, répondent à une tension centrale de la navigation robotique autonome: les méthodes d'optimisation comme le MPC gèrent explicitement les contraintes de sécurité et de cinématique mais souffrent d'une optimisation non linéaire répétée coûteuse en temps réel, tandis que les politiques de clonage comportemental déterministes sont rapides mais peinent à représenter des comportements d'évitement multimodaux, et les politiques de diffusion capturent cette multimodalité au prix d'un débruitage itératif lent. En combinant la rapidité d'inférence d'un modèle distillé avec la robustesse théorique d'un expert MPC, PIER-Flow illustre une piste concrète pour rapprocher performance temps réel et sécurité formelle chez les robots mobiles évoluant en environnements denses et dynamiques, un enjeu direct pour les intégrateurs d'AMR (robots mobiles autonomes) en entrepôt ou en usine où les pics de latence et les gels de planification restent un point de friction opérationnel majeur. L'approche s'inscrit dans une lignée de travaux cherchant à accélérer les politiques génératives pour la robotique, où les modèles de diffusion classiques, malgré leur expressivité, imposent un coût d'inférence incompatible avec le contrôle temps réel embarqué. Le recours au "rectified flow" comme alternative plus rapide au débruitage itératif fait écho à des développements récents dans la littérature sur les modèles génératifs accélérés. Aucun acteur industriel n'est nommé dans ce travail, qui reste à ce stade une contribution académique validée uniquement en simulation et sur un déploiement limité en conditions réelles sur matériel edge; les auteurs ne précisent pas de calendrier de transfert vers des plateformes robotiques commerciales ni de comparaison directe avec des politiques VLA (Vision-Language-Action) comme Pi-0 ou GR00T N2, ce qui invite à la prudence sur la portée exacte des gains annoncés hors du cadre testé.

RecherchePaper

1 source

4arXiv cs.RO

PRISM : cartographie multimodale de terrain pour la navigation d'un rover en environnement non structuré

Des chercheurs présentent PRISM, un système de perception multimodale destiné à la cartographie de terrain pour la navigation de rovers en environnements non structurés, dans un article publié sur arXiv (2607.16366v1). Le système s'appuie sur une suite de capteurs personnalisée capturant simultanément des images RGB, de profondeur et thermiques alignées, format noté RGB-D-T. Son cœur algorithmique, baptisé OmniUnet, est un réseau basé sur les vision transformers, conçu spécifiquement pour la segmentation sémantique multimodale de terrain. Les auteurs ont validé leur approche sur deux jeux de données inédits, BASEPROD et LAENTIEC, annotés pour l'occasion, puis testé le système lors d'expériences de terrain réelles. Point notable, PRISM tourne sur un calculateur embarqué aux ressources limitées et génère des cartes de franchissabilité directement exploitables par le sous-système de guidage, navigation et contrôle (GNC) du rover. L'intérêt principal de ces travaux réside dans l'ajout de l'imagerie thermique aux capteurs optiques et de profondeur classiques, une combinaison qui améliore la différenciation des types de terrain, notamment dans des conditions où la seule vision RGB-D peine (faible luminosité, ombres, poussière, végétation ambiguë). Pour l'industrie de la robotique de terrain, planétaire ou tout-terrain, cela répond à un vrai point de friction : la fiabilité de la cartographie de franchissabilité conditionne directement la sécurité de navigation autonome sur pentes raides ou sols rocheux. Le fait que le pipeline complet, capteurs, réseau de segmentation et génération de carte, fonctionne sur du matériel embarqué contraint constitue une démonstration concrète de faisabilité, plutôt qu'une simple preuve de concept en simulation, ce qui distingue ce travail d'approches purement académiques limitées au laboratoire. Ce papier s'inscrit dans une tendance plus large de fusion de capteurs pour la perception robotique en extérieur, où les systèmes purement RGB-D montrent des limites face à la diversité des textures et éclairages du terrain naturel. Contrairement à des annonces de robots humanoïdes très médiatisées, il s'agit ici d'une contribution académique (preprint arXiv, non encore relu par les pairs) centrée sur les rovers et véhicules autonomes tout-terrain, un segment où les acteurs de référence restent les programmes d'exploration planétaire et la robotique de défense ou agricole. Les prochaines étapes attendues concernent l'extension des jeux de données et des essais terrain supplémentaires pour confirmer la robustesse du système dans des conditions plus variées.

RecherchePaper

1 source