Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
NaviMaster : un modèle unifié pour la navigation dans les interfaces graphiques et dans les environnements physiques
RecherchearXiv cs.RO 

NaviMaster : un modèle unifié pour la navigation dans les interfaces graphiques et dans les environnements physiques

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

NaviMaster (arXiv:2508.02046, version 4 du preprint) est un agent d'intelligence artificielle qui unifie dans un seul modèle deux types de navigation habituellement traités séparément : la navigation en interface graphique (GUI, pilotage d'applications et de menus) et la navigation embodied (déplacement d'un agent physique ou simulé dans un espace 3D). Le système repose sur l'observation que ces deux problèmes se formulent comme des Processus de Décision Markoviens (MDP), ce qui autorise une architecture et un entraînement communs. NaviMaster introduit trois contributions techniques : un pipeline de collecte de trajectoires à cible visuelle applicable aux deux domaines via une formulation unifiée, un cadre d'apprentissage par renforcement (RL) entraîné sur données mixtes pour améliorer la généralisation, et une récompense dite "distance-aware" conçue pour accélérer l'apprentissage à partir des trajectoires collectées. Évalué sur des benchmarks hors-domaine, il surpasse les agents spécialisés de l'état de l'art sur trois tâches : navigation GUI, prédiction d'affordance spatiale et navigation embodied. Les codes, données et checkpoints sont publiés en open source.

L'intérêt de NaviMaster est moins dans ses performances brutes sur chaque tâche isolée que dans la démonstration que GUI et navigation physique peuvent partager une même représentation apprise. Jusqu'ici, ces deux domaines s'appuyaient sur des datasets distincts, des architectures incompatibles et des paradigmes d'entraînement divergents. Pour les équipes travaillant sur des modèles VLA (Vision-Language-Action) ou sur des systèmes multi-tâches, c'est une preuve de concept que la généralisation cross-domaine par RL mixte est faisable à cette échelle. Les études d'ablation publiées confirment que la stratégie de mélange de données et la récompense distance-aware contribuent toutes deux de manière mesurable aux gains finaux, ce qui renforce la crédibilité des choix architecturaux au-delà du résultat global.

NaviMaster s'inscrit dans une dynamique de convergence croissante entre agents logiciels et agents physiques. Il se positionne face à des agents GUI spécialisés comme CogAgent ou SeeAct d'un côté, et à des modèles de navigation embodied comme RT-2 ou OpenVLA de l'autre. Les benchmarks de référence sont Web-Arena et OSWorld pour le versant GUI, Habitat pour le versant physique. La présence d'une version v4 sur arXiv signale un processus de révision actif, probablement en direction d'une conférence majeure (ICLR, NeurIPS ou ICRA). L'article ne mentionne aucun déploiement industriel ni partenariat, ce qui place NaviMaster au stade de la preuve de concept académique.

Dans nos dossiers

OpenVLA / RT-XarXiv cs.RO

À lire aussi

PhysGraph : un graphe de scène 3D intégrant la physique pour la perception et le raisonnement
1arXiv cs.RO 

PhysGraph : un graphe de scène 3D intégrant la physique pour la perception et le raisonnement

Une équipe de recherche a publié PhysGraph en juin 2026 sur arXiv (référence 2606.08655), un cadre algorithmique qui construit des graphes de scène 3D physiquement ancrés à partir d'images RGB-D, caméras couleur couplées à un capteur de profondeur. Là où la plupart des systèmes de perception 3D se limitent à identifier sémantiquement les objets (reconnaissance, segmentation, récupération), PhysGraph modélise simultanément leurs propriétés physiques et cinématiques : masse, matériaux, et articulations (degrés de liberté, points de pivot). Le pipeline décompose chaque objet en parties fonctionnelles distinctes, associe les instances d'objets entre plusieurs prises de vue, puis infère via un raisonnement visuel les propriétés mécaniques de chaque composant. Évalué sur des jeux de données synthétiques et réels, le système revendique des résultats state-of-the-art en segmentation sémantique, en estimation de masse multi-objet, et en prédiction d'articulations. L'enjeu dépasse la taxonomie académique. Pour la manipulation robotique en environnement industriel ou domestique, savoir qu'un objet est « un tiroir » n'est pas suffisant, le robot doit connaître son axe de rotation, la force nécessaire à son ouverture, et la localisation des poignées préhensibles. PhysGraph cible précisément ce gap en produisant des représentations exploitables pour la planification de tâches et la prédiction d'affordances sous contraintes physiques. L'application de transfert réel-vers-simulation (real-to-sim) est stratégiquement critique : convertir automatiquement une scène réelle en environnement simulé fidèle réduit le coût de génération de données d'entraînement pour les robots apprenants. Il convient cependant de nuancer : l'abstract ne précise ni les latences de traitement ni les conditions opérationnelles testées, ce qui rend difficile l'évaluation de la viabilité temps-réel. Ce travail s'inscrit dans un espace de recherche dense autour des graphes de scène 3D ouverts, ConceptGraphs, OpenMask3D, et les travaux sur la manipulation d'objets articulés alimentés par les datasets PartNet et SAPIEN font figure de références directes. La prédiction d'articulations reste l'un des problèmes les plus ouverts de la robotique incarnée, aux côtés du fossé sim-to-real. Aucun partenaire industriel ni déploiement pilote n'est mentionné : PhysGraph en est au stade de contribution de recherche, sans timeline de productisation annoncée. Les prochaines étapes naturelles seraient la validation sur des manipulateurs réels en boucle fermée et la publication du code.

RecherchePaper
1 source
Dynamique de décision neuromorphique pour une navigation sûre et sans blocage dans les environnements encombrés
2arXiv cs.RO 

Dynamique de décision neuromorphique pour une navigation sûre et sans blocage dans les environnements encombrés

Des chercheurs publient sur arXiv (2610.33271) le contrôleur NDD (neuromorphic décision dynamics), une méthode décentralisée et pilotée par événements pour la navigation sûre d'agents mobiles dans des espaces encombrés. Chaque agent suit son chemin prescrit et module sa vitesse en continu, seulement quand et autant que la résolution d'un conflit l'exige. Il couple des états internes de décision et d'attention à son état physique et au mouvement relatif de ses voisins, mesuré localement. Les agents s'organisent en groupes disjoints qui résolvent leurs conflits en parallèle. Quand un conflit devient critique pour la sécurité, le retour décision-action déstabilise l'indécision collective et fait émerger un ordre de passage stable. Les auteurs dérivent des conditions explicites sur la portée de détection, les gains de rétroaction, les échelles de temps de réponse et les limites d'actionnement. Ces conditions garantissent l'absence de collision et la formation de l'ordre de passage en temps fini, sans deadlock ni livelock, pour des populations hétérogènes de taille arbitraire. Le coût de calcul croît avec le nombre d'interactions locales perçues. Le résumé cite des simulations à grande échelle, des comparaisons avec des approches existantes et des essais matériels, mais ne donne aucune métrique chiffrée. L'intérêt tient à ce que la méthode n'exige ni communication, ni priorités préassignées, ni modèle des intentions des voisins, ni estimation de la taille du groupe. Pour un intégrateur de flottes d'AMR ou de robots mobiles, c'est la promesse d'un déblocage des intersections et couloirs étroits sans superviseur central ni réseau fiable, et avec une garantie formelle plutôt qu'une heuristique réglée au cas par cas. Reste l'écart classique entre théorie et terrain : les garanties dépendent de conditions précises sur les capteurs et les actionneurs, et l'ampleur des essais matériels n'est pas précisée. Le problème est ancien en robotique multi-agent. Les méthodes réactives de type évitement de collision réciproque évitent les chocs mais peuvent se bloquer en situation symétrique. Les approches à priorités ou à planification centralisée résolvent le blocage au prix de la communication et du passage à l'échelle. NDD vise à obtenir la vivacité (liveness) sans ces béquilles, en s'inspirant de dynamiques de décision de type neuronal. Aucun pilote industriel ni calendrier n'est annoncé : il s'agit d'un préprint non évalué par des pairs. La suite logique serait un déploiement sur flottes réelles hétérogènes, avec comparaison chiffrée aux contrôleurs de trafic en production dans les entrepôts.

RecherchePaper
1 source
Au-delà des emplacements d'instances : des modèles du monde sémantiquement riches pour la planification d'interactions physiques
3arXiv cs.RO 

Au-delà des emplacements d'instances : des modèles du monde sémantiquement riches pour la planification d'interactions physiques

Des chercheurs présentent SR-WM (Semantically Rich World Model), un modèle du monde conditionné par la tâche pour la planification d'interactions physiques en robotique de manipulation, détaillé dans un article publié sur arXiv sous la référence 2608.22294v1. Plutôt que de se limiter à prédire des observations futures ou des caractéristiques latentes, comme le font les modèles du monde classiques, SR-WM structure sa représentation autour de cinq rôles fonctionnels explicites: gripper, cible, but, relation et phase. Un encodeur d'entités visuelles extrait des hypothèses d'entités à partir de caractéristiques de patchs pré-entraînées, les masques de segmentation servant d'indices optionnels plutôt que d'entrées obligatoires. Un module de liaison de rôles associe ensuite ces hypothèses aux rôles spécifiques à la tâche, tandis qu'un modèle de dynamique conditionné par l'action prédit les transitions de rôles ainsi que des éléments fins: contact, établissement de relations entre objets, préservation de ces relations et changement de phase. L'ensemble est évalué sur les quatre suites de simulation LIBERO, avec des tests de transfert inter-suites, des diagnostics de perception et une analyse de sensibilité aux actions. Pour l'industrie de la manipulation robotique et les équipes travaillant sur des architectures vision-langage-action (VLA), ce travail cible un écart précis: un modèle qui prédit correctement des pixels ou des embeddings futurs ne garantit pas qu'il comprenne si une action préserve les relations nécessaires à la réussite d'une tâche, comme ne pas rompre une prise ou déplacer un objet hors de sa zone cible. En rendant explicites des rôles fonctionnels plutôt que de s'appuyer sur des slots d'objets indifférenciés ou un état monolithique, SR-WM propose une interface sémantique reliant dynamique visuelle et décision de planification, utilisée pour générer plusieurs candidats d'action, les reclasser selon l'étape de la tâche, et rechantillonner en cas de violation détectée. C'est une piste concrète pour fiabiliser la sélection d'actions issues de politiques apprises, plutôt que de juger leur qualité sur des démonstrations sélectionnées ou des taux de réussite bruts en simulation. Ce travail s'inscrit dans la lignée des recherches sur les représentations centrées objets pour les modèles du monde, qui cherchent depuis plusieurs années à dépasser les limites des slots d'instances indifférenciés en robotique par apprentissage. LIBERO, le benchmark utilisé pour l'évaluation, est devenu une référence standard pour tester la généralisation des politiques de manipulation entre familles de tâches. L'article ne fait état d'aucun déploiement matériel, partenariat industriel ou test sur robot réel: il s'agit d'une contribution académique évaluée exclusivement en simulation. Les suites naturelles pour ce type d'approche, transfert sim-to-real et intégration à des pipelines VLA existants, ne sont ni annoncées ni datées dans l'article.

RecherchePaper
1 source
UniTrackPLA : modèle unifié panorama-langage-action pour la navigation guidée par instructions et le suivi de personnes en mouvement
4arXiv cs.RO 

UniTrackPLA : modèle unifié panorama-langage-action pour la navigation guidée par instructions et le suivi de personnes en mouvement

UniTrackPLA est un modèle panorama-langage-action présenté dans un preprint arXiv (2610.00878v1) qui traite avec une seule politique deux tâches habituellement séparées: la navigation vers une destination décrite en langage naturel et le suivi dynamique d'une personne, quel que soit son azimut initial. Son encodage panoramique (Panoramic-Aware Encoding, PAE) conserve la structure temporelle et azimutale des vues en perspective projetées depuis chaque panorama. Les encodeurs visuels pré-entraînés sur des images en perspective peuvent ainsi traiter des observations omnidirectionnelles. Un backbone vision-langage partagé ancre l'instruction dans le contexte panoramique et prédit des blocs de waypoints continus, exprimés dans le repère du robot. Un module de cohérence monde-action (World-Action Consistency, WAC) prédit les états visuels futurs conditionnés par l'action et vérifie en ligne les préfixes de waypoints. Les actions jugées fiables sont réutilisées, et une incohérence déclenche une replanification. Le jeu de données OmniTrackNav-Bench compte 5 000 trajectoires de suivi simulées, 10 000 routes de navigation simulées (VLN) et 96 routes réelles vérifiées, soit 919 978 instances de supervision par waypoints. Le taux de succès (SR) global en suivi passe de 23,50 % à 35,00 %. En navigation omnidirectionnelle, le SR et le SPL passent de 13,00 % et 12,77 % à 19,75 % et 19,29 %. L'ajout de 76 routes réelles fait grimper l'EP@0,2 m sur les routes réservées à l'évaluation de 42,92 % à 92,08 %. Des essais en boucle fermée ont été menés sur un robot quadrupède à roues Go2-W, en intérieur comme en extérieur. L'intérêt tient à la fois à l'architecture et aux ordres de grandeur. La plupart des approches reposent sur une caméra frontale et sur des politiques distinctes pour la navigation et le suivi. Cela empêche de retrouver une personne située dans le dos du robot et d'avoir un contrôle unifié en boucle fermée. Un panorama traité par un encodeur pré-entraîné évite de repartir de zéro côté perception. La vérification en ligne des actions répond aussi à un problème pratique des VLA, qui exécutent des séquences d'actions sans savoir si elles restent valides. Les chiffres demandent toutefois de la prudence. Les gains simulés sont réels mais les taux absolus restent bas, avec 35 % de succès en suivi et moins de 20 % en navigation. Le saut à 92 % sur le réel porte sur un jeu de test restreint, issu d'un faible nombre de routes. Il montre surtout le poids des données réelles, sans prouver une robustesse en conditions industrielles. Ces travaux s'inscrivent dans la vague des modèles vision-langage-action pour la navigation, qui ciblent surtout des caméras frontales, et des systèmes de suivi de personne entraînés séparément. Le choix d'un Go2-W, plateforme d'Unitree très répandue en recherche, favorise la reproductibilité. Une page de projet est annoncée. Les suites probables sont l'extension du corpus réel, bien plus petit que le simulé, et des tests dans des environnements encombrés et peuplés. Le preprint n'indique ni déploiement commercial ni calendrier.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source