RecherchearXiv cs.RO 19 octobre 2026

Metro-WM : planification latente à long horizon avec des sous-objectifs réalisables

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Metro-WM, décrit dans l'article arXiv 2609.31868 (version 2), est un cadre de planification hiérarchique pour les modèles du monde de type JEPA (Joint-Embedding Predictive Architecture). Au lieu de faire prédire par un planificateur macro des sous-objectifs sous forme de vecteurs latents, il construit un graphe dont les sommets sont des images réellement observées, issues de démonstrations expertes hors ligne ou de trajectoires à actions aléatoires. Des images provenant d'épisodes différents peuvent être reliées entre elles, ce qui permet de composer des routes vers l'objectif. Les auteurs annoncent un taux de réussite supérieur de jusqu'à 37,33 points de pourcentage à celui de la meilleure approche hiérarchique concurrente. Ils annoncent aussi une exécution jusqu'à 10,9 fois plus rapide, un calcul hors ligne 13 à 56 fois moindre et moins d'hyperparamètres à régler. Ces résultats viennent d'un travail académique, sans déploiement matériel annoncé.

La démarche part d'un constat : la commande prédictive (MPC) avec un JEPA donne un bon planificateur « zero-shot » pour atteindre un objectif, mais seulement sur de courts horizons. Les approches hiérarchiques existantes entraînent un planificateur macro à prédire des sous-objectifs latents pour guider le planificateur micro. Les auteurs montrent que le planificateur macro de référence émet régulièrement des sous-objectifs physiquement irréalisables. En ne proposant que des états déjà vus, Metro-WM garantit des cibles atteignables. La planification sur tout le graphe apporte aussi une tolérance aux erreurs d'exécution : si le planificateur micro dérive, le système recalcule immédiatement le meilleur chemin depuis l'état courant. Pour la robotique, cela concerne les tâches longues et multi-étapes, où les erreurs s'accumulent. Les auteurs affirment que les chemins trouvés sont plus courts que ceux des démonstrations, qu'ils dépassent un oracle utilisant la démonstration propre à la requête, et que la méthode résiste à des jeux de données très épars. Ces chiffres restent à prendre avec prudence : l'abstract ne précise ni les benchmarks ni les environnements, et on ignore si la méthode passe à l'échelle de scènes réelles complexes ou à des observations visuelles bruitées.

Ce travail s'inscrit dans la montée des modèles du monde latents, dont les JEPA popularisés par l'équipe de Yann LeCun, comme alternative aux politiques entraînées de bout en bout. Il rejoint l'idée plus ancienne de planifier sur des graphes de souvenirs, qui retrouve ici une pertinence avec les représentations apprises. Les concurrents directs sont les méthodes hiérarchiques à sous-objectifs générés, que l'article critique sans les nommer dans son résumé. Les suites probables sont des tests sur des benchmarks de manipulation et de navigation plus riches, puis des essais sur robot réel. Aucune date, aucun partenaire industriel ni aucun calendrier de transfert n'est annoncé à ce stade.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Anticipation-VLA : résolution de tâches incarnées à long horizon par génération de sous-objectifs

Une équipe de chercheurs a publié le 5 mai 2026 sur arXiv (référence 2605.01772) un modèle de contrôle robotique baptisé Anticipation-VLA, conçu pour résoudre les tâches à long horizon en robotique incarnée. Le système repose sur un composant appelé Anticipation Model, qui génère de manière adaptive et récursive des sous-objectifs intermédiaires au fil de l'exécution d'une tâche. L'architecture est hiérarchique : un Unified Multimodal Model (UMM) affiné gère la planification de haut niveau en produisant ces sous-objectifs, tandis qu'une politique VLA (Vision-Language-Action) conditionnée sur ces cibles pilote l'exécution motrice à bas niveau. Les expériences couvrent des environnements simulés et des tâches robotiques réelles. Les auteurs affirment des gains de robustesse significatifs par rapport aux approches antérieures, sans toutefois publier de métriques quantitatives précises dans l'abstract, ce qui limite la comparaison directe avec l'état de l'art. Le problème adressé est central dans la robotique d'apprentissage : les modèles VLA accumulent des erreurs sur les tâches longues, chaque décision imparfaite amplifiant les erreurs suivantes. Les approches existantes décomposent les tâches en sous-tâches de granularité fixe, ce qui les rend rigides face aux variations de complexité des états d'exécution. La contribution clé d'Anticipation-VLA est d'ajuster dynamiquement les sous-objectifs en fonction de l'évolution réelle de la situation, une avancée dans le contrôle hiérarchique adaptatif. Pour les intégrateurs et décideurs B2B, ce type de système ouvre la voie à des robots capables d'exécuter des séquences complexes en environnement industriel sans supervision constante, un verrou majeur dans le déploiement à grande échelle des bras manipulateurs. Le domaine des VLA est en pleine effervescence depuis la publication de RT-2 (Google DeepMind, 2023), puis d'OpenVLA, Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA). La recherche sur la planification hiérarchique se heurte systématiquement au "demo-reality gap" : les résultats en simulation ne se transfèrent pas toujours au monde réel. Anticipation-VLA revendique une validation sur tâches réelles, signal positif, bien que l'absence de benchmarks standardisés tels que RLBench ou LIBERO dans la publication rende difficile le positionnement précis face à la concurrence. Les prochaines étapes probables incluent des évaluations comparatives sur ces benchmarks et une extension vers des plateformes mobiles manipulatrices, segment où des acteurs comme Physical Intelligence et Boston Dynamics intensifient leurs travaux.

RechercheOpinion

1 source

2arXiv cs.RO

Modèle du monde ancré : planification latente guidée par des objectifs en langage naturel

Des chercheurs proposent le Grounded World Model (GWM), un modèle du monde latent qui permet de planifier en zero-shot, dans le monde réel, à partir d'une simple instruction en langage naturel. Les modèles précédents, comme DINO-WM et LeWM, exigent une image du but, difficile à obtenir à l'avance pour une tâche inédite. GWM, lui, prédit l'avenir dans l'espace visuel d'un modèle d'embedding vidéo-langage pré-entraîné, à partir d'une séquence d'actions candidate et de l'observation courante. La lecture figée de cet embedding projette le futur imaginé et la description de la tâche dans le même espace, et l'opposé de leur similarité cosinus sert de coût de planification. L'entraînement n'utilise que des paires vidéo-action hors ligne, sans lien avec une tâche précise, et aucune annotation linguistique. Sur le benchmark simulé WISER, la planification avec GWM résout 87 % de 288 tâches aux instructions et signaux visuels inédits, contre 22 % en moyenne pour dix VLA affinés. Avec des données de robots réels, sous IsaacSim, GWM réussit les 70 essais répartis sur 14 tâches de désignation par expressions référentielles, comme un planificateur modulaire guidé par un VLM de pointe, alors que pi0.5 en réussit 37 sur 70. Sur un bras Franka réel, le système complète 55 sous-tâches de pick-and-place sur 60, contre 52 sur 60 pour le planificateur modulaire. Ces résultats déplacent le débat sur l'architecture des robots pilotés par le langage. Les VLA affinés dominent aujourd'hui les démonstrations, mais le contraste est net dès qu'on change les instructions ou les signaux visuels : 22 % contre 87 % suggère que la généralisation de ces politiques reste fragile hors distribution. À l'inverse, planifier en simulant des futurs et en les évaluant par similarité sémantique évite de réentraîner un modèle pour chaque tâche et ne demande aucune donnée annotée en langage, ce qui réduit un goulot d'étranglement de collecte. Pour un intégrateur, l'argument pratique est que l'ensemble tourne en local sur un seul GPU grand public, sans appel à un VLM propriétaire distant. Il faut toutefois rester prudent : les 60 essais réels portent sur des tâches de pick-and-place sur un seul type de bras, la différence avec le planificateur modulaire (55 contre 52) n'est pas significative statistiquement, et WISER est un benchmark conçu par les auteurs. Le temps de calcul par décision n'est pas détaillé dans le résumé. Ce travail prolonge la lignée des modèles du monde latents pour la manipulation, portée par DINO-WM puis LeWM, en levant la contrainte du but visuel. Il se positionne face aux VLA généralistes comme pi0.5, et face aux architectures modulaires où un VLM de pointe décompose la tâche et un module de bas niveau l'exécute. La version 2 de l'article sur arXiv (2604.11751) et un site de projet sont disponibles, mais aucun déploiement industriel ni calendrier de transfert n'est annoncé. Les prochaines étapes probables sont des tests sur des tâches plus longues, des manipulations plus dextres et d'autres plateformes que le Franka, avant de savoir si cette approche tient hors du laboratoire.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Diffusion pour la planification de trajectoires multi-robots à long horizon dans des environnements partagés avec des humains

Des chercheurs publient sur arXiv (référence 2607.09911, soumis le 14 juillet 2026) un nouveau framework baptisé Multi-Robot Rolling Diffusion (MRRD), conçu pour la planification de trajectoires de flottes de robots évoluant dans des environnements partagés avec des humains, comme des foules denses. Le système combine trois mécanismes : un schéma à horizon glissant qui s'adapte à la fenêtre de prédiction limitée du mouvement humain, une inférence par diffusion parallélisée capable de générer des trajectoires réalistes à grande échelle, et une recherche basée sur la résolution de conflits pour éviter les collisions entre robots. MRRD intègre aussi un conditionnement temporel dit "d'urgence", permettant de produire des trajectoires à vitesse variable, ainsi que des termes de guidage différenciés pour équilibrer prudence sociale autour des humains et coordination efficace entre robots. Dans les tests menés en environnement encombré, le framework passe à l'échelle jusqu'à 15 robots en temps réel, avec des taux de sécurité et de réussite de mission supérieurs aux méthodes de référence existantes. L'enjeu dépasse la simple prouesse technique : les modèles de diffusion produisent des trajectoires réputées pour leur fluidité et leur ressemblance au comportement humain, mais souffraient jusqu'ici d'une limite structurelle, une durée de trajectoire fixe et une latence de calcul trop élevée pour un déploiement temps réel. En résolvant ce compromis, MRRD s'attaque directement à l'un des points de friction qui freinaient l'adoption de la génération par diffusion dans la robotique de flotte, un domaine où AMR (robots mobiles autonomes) et humains doivent cohabiter en entrepôt, en usine ou en espace public. Pour les intégrateurs qui déploient des flottes en environnement partagé, ce type d'avancée conditionne directement la capacité à faire cohabiter davantage de robots sans dégrader la sécurité perçue par les opérateurs humains. Le travail s'inscrit dans une lignée de recherche active sur la planification de trajectoires multi-robots, où les approches classiques (basées sur l'optimisation ou le graphe) peinent à modéliser des comportements socialement acceptables face à des humains imprévisibles. Les auteurs ne précisent pas d'affiliation industrielle ni de partenaire de déploiement dans le résumé ; il s'agit à ce stade d'un résultat de recherche évalué en simulation, dont la prochaine étape logique serait une validation sur robots physiques en conditions réelles.

RecherchePaper

1 source

4arXiv cs.RO

NovaPlan : manipulation à long horizon sans apprentissage préalable par planification vidéo-langage en boucle fermée

NovaPlan est un cadre de planification hiérarchique pour la manipulation robotique longue durée, décrit dans un preprint arXiv (2602.20119, version 2). Il fonctionne en « zero-shot », c'est-à-dire sans démonstration ni entraînement propre à chaque tâche. Au niveau supérieur, un modèle vision-langage (VLM) décompose la tâche en sous-étapes. Il génère plusieurs scénarios vidéo candidats pour chacune, puis écarte ceux dont la dynamique est physiquement incohérente. Pour convertir ces futurs imaginés en actions, le système choisit de façon adaptative entre deux représentations géométriques : le flux centré sur l'objet (object-centric flow) et le flux de la main humaine (hand flow). Enfin, une boucle fermée surveille l'exécution, vérifie les résultats et, en cas d'échec, synthétise des corrections locales sans préhension, comme pousser ou « poker » un objet du bout du doigt. Les auteurs affirment que NovaPlan surpasse nettement les systèmes zero-shot antérieurs sur des tâches multi-étapes variées, avec des assemblages complexes et des récupérations d'erreur dextres. Le résumé ne donne ni chiffres de taux de réussite, ni nombre d'essais, ni robot utilisé. Ces éléments figurent sur le site du projet et dans le texte complet. L'intérêt tient à la manière dont le travail s'attaque à un point faible connu des approches « VLM plus génération vidéo » : les hallucinations physiques du générateur vidéo et les incohérences géométriques du VLM s'accumulent sur des horizons longs, ce qui bloque l'exécution réelle. NovaPlan répond par une logique de proposition, vérification et réparation, plutôt que par un modèle plus grand ou davantage de données. Si les résultats tiennent hors du laboratoire, cela suggère qu'on peut obtenir de la fiabilité sur des séquences longues sans collecter de démonstrations par tâche. Ce coût de collecte reste le principal frein économique du déploiement pour les intégrateurs. L'usage du flux de la main humaine comme représentation intermédiaire est aussi notable : il permet d'exploiter les vidéos générées de mains pour guider des manipulations fines. Il faut toutefois rester prudent. Il s'agit d'un preprint académique sans déploiement industriel, les temps de cycle et la robustesse sur de longues séries ne sont pas documentés dans le résumé, et les comparaisons dépendent des baselines retenues par les auteurs. Ce travail s'inscrit dans la lignée de la planification par vidéo générative (les approches « vidéo language planning ») et des modèles vision-langage-action (VLA) comme Pi-0 ou GR00T, qui apprennent plutôt la politique de bout en bout à partir de grandes quantités de démonstrations. NovaPlan fait le pari inverse : réutiliser des modèles de fondation existants, sans réentraînement, et ajouter autour d'eux une couche de vérification. La version 2 du preprint indique un travail en cours de consolidation, mais aucune date de transfert vers un produit n'est annoncée. La suite logique est une validation sur davantage de plateformes et de tâches, avec des métriques de latence. La boucle de vérification et de génération de vidéos candidates est coûteuse en calcul, et c'est probablement la vraie question pour une cadence de production.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source