RecherchearXiv cs.RO 2 novembre 2026

Modèles du monde hiérarchiques à dynamique implicite

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent ID-WM (Implicit Dynamics World Models), un modèle du monde hiérarchique pour agents incarnés, décrit dans un preprint arXiv (2610.42146v1). L'architecture sépare deux problèmes habituellement confondus. Un modèle de haut niveau échantillonne des transitions réalisables à travers la variété des états, c'est-à-dire des sous-objectifs atteignables. Un modèle du monde de bas niveau joue ensuite le rôle de solveur de dynamique inverse et convertit ces transitions en actions précises. Sur trois suites de navigation et de manipulation, les auteurs annoncent un gain de 38,5 % face aux meilleurs planificateurs fondés sur des politiques ou de la diffusion. Face à un MPC (commande prédictive) à modèle du monde à un seul niveau, le gain atteint 135 %, surtout dans des configurations complexes et inédites pour des tâches longues. Des vidéos sont publiées sur le site du projet. Le résumé ne précise ni les benchmarks exacts, ni les marges d'erreur, ni les robots réels utilisés, et on ignore si les tests ont eu lieu en simulation seule.

L'enjeu porte sur un point faible connu de la planification par modèle du monde. Elle permet une adaptation à l'exécution et généralise mieux que l'apprentissage direct d'une politique, mais les erreurs s'accumulent sur les horizons longs et l'espace de recherche explose. Les approches hiérarchiques existantes s'appuient sur des macro-actions figées ou des compétences latentes, ce qui donne des représentations fragiles et un contrôle fin limité. ID-WM privilégie la faisabilité physique locale plutôt que les schémas comportementaux globaux vus à l'entraînement. Il peut ainsi recomposer des plans longs à partir de segments courts, au-delà des modes de comportement appris. Si le résultat tient hors laboratoire, il irait dans le sens d'une planification moins dépendante de démonstrations couvrant toute la tâche, un point sensible pour les intégrateurs qui peinent à généraliser vers de nouvelles configurations. Le chiffre de 135 % dépend toutefois du niveau de base, un MPC mono-niveau étant connu pour décrocher sur les longs horizons. Les performances absolues et le coût de calcul à l'inférence seront déterminants pour juger de l'intérêt industriel.

Ces travaux s'inscrivent dans un débat entre politiques apprises de bout en bout (VLA, politiques de diffusion) et planification avec modèles du monde, qui gagne du terrain avec les modèles de dynamique appris à grande échelle. Les concurrents directs cités par implication sont les planificateurs par politique et par diffusion, ainsi que les méthodes hiérarchiques à compétences latentes. Il s'agit ici d'un preprint non évalué par des pairs, sans produit ni déploiement associé. Les prochaines étapes à surveiller sont une validation sur robot physique, des comparaisons avec les grands modèles de fondation robotiques, et la publication du code et des détails d'évaluation.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modèles de dynamique directe

Des chercheurs publient sur arXiv (2610.13117) les Forward Dynamics Models (FDM), une famille de modèles d'action robotique qui couple la prédiction d'actions et celle des états futurs du monde selon un paradigme « action vers futur ». La prédiction du futur est conditionnée par les représentations de l'action, jamais l'inverse. À l'entraînement, bout en bout, les états futurs réels supervisent donc la politique via ces représentations. À l'inférence, la génération du futur est entièrement court-circuitée, ce qui supprime son coût de calcul. Le paradigme est indépendant du backbone, et les auteurs l'ont instancié avec un VLM (modèle vision-langage) et avec un VGM (modèle génératif vidéo). Les résultats annoncés : 99,4 % de réussite moyenne sur le benchmark de simulation LIBERO, présenté comme l'état de l'art, et jusqu'à 13 points de gain absolu sur des tâches réelles face aux méthodes VLA et WAM. L'intérêt est d'abord architectural. Les VLA (vision-language-action), construits sur des VLM préentraînés, apprennent sans supervision explicite sur les états futurs. Les WAM (world action models), construits sur des modèles vidéo, conditionnent les actions sur des futurs prédits. Ils paient en échange un surcoût d'inférence et laissent les erreurs de prédiction visuelle se propager jusqu'aux actions. FDM revendique le meilleur des deux : la supervision dense par le futur pendant l'apprentissage, sans la latence ni la fragilité d'une génération vidéo en boucle de contrôle. Pour un intégrateur, la fréquence de contrôle et le coût GPU embarqué comptent autant que le taux de succès. Une politique qui apprend la dynamique sans la rejouer à l'exécution est donc une piste crédible pour le déploiement. Deux réserves s'imposent. LIBERO est un benchmark proche de la saturation, et 99,4 % dit peu de la généralisation. Les gains réels de 13 points, par ailleurs, dépendent du nombre de tâches, de robots et d'essais, que le résumé ne précise pas. Ce travail s'inscrit dans la course entre deux familles. Les VLA, dans la lignée de RT-2, OpenVLA ou Pi-0, dominent la recherche appliquée. Les approches « monde d'abord », qui exploitent les modèles vidéo pour prédire avant d'agir, ont gagné du terrain plus récemment. FDM cherche une voie médiane en gardant la prédiction du futur comme signal d'entraînement plutôt que comme étape d'inférence. Il s'agit d'une préimpression, sans pilote industriel ni déploiement annoncé. La suite dépendra de la publication du code et des poids, de réplications indépendantes sur d'autres plateformes, et de mesures de latence face aux WAM sur matériel embarqué.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Modèles du monde sémantiques

Des chercheurs du laboratoire WEIRD de l'Université de Washington proposent, dans un article arXiv intitulé « Semantic World Models » (version 2 révisée), une alternative aux modèles du monde classiques utilisés pour la planification en robotique. Les approches conventionnelles entraînent un modèle à prédire les images futures, pixel par pixel, à partir des images courantes et des actions envisagées, puis s'en servent pour évaluer des séquences d'actions. Les auteurs reformulent le problème : le modèle du monde est traité comme une tâche de question-réponse visuelle (VQA) portant sur l'information sémantique pertinente de la scène future (par exemple « la tâche est-elle accomplie ? »). Un modèle vision-langage (VLM) pré-entraîné est ensuite affiné par apprentissage supervisé sur des données image-action-texte, puis utilisé pour choisir les actions. La validation reste limitée à des tâches robotiques simulées, où la méthode améliore les résultats des modèles du monde conditionnés par l'action et fondés sur la reconstruction. L'abstract ne donne ni chiffres de performance, ni taille de modèle, ni robot réel. L'enjeu tient à un décalage bien connu : une bonne reconstruction de pixels ne garantit pas de bonnes décisions. Un modèle vidéo peut consacrer l'essentiel de sa capacité à rendre des textures ou des arrière-plans sans rapport avec la tâche, tout en se trompant sur le détail qui compte, comme la position relative d'un objet ou la réussite d'une saisie. En prédisant uniquement des réponses sémantiques, l'approche cible directement l'objectif de planification et s'appuie sur des outils déjà matures, ceux des VLM. Elle promet aussi d'hériter de leur généralisation et de leur robustesse, un atout pour des déploiements hors du cadre d'entraînement. Il faut toutefois rester prudent : les résultats viennent uniquement de la simulation, et l'écart entre démonstration et réalité, ou entre simulation et monde réel, n'est pas levé. Le coût de calcul à l'inférence, quand il faut interroger un VLM pour chaque action candidate, n'est pas non plus documenté dans le résumé. Ce travail s'inscrit dans une tendance de fond qui consiste à rapprocher les modèles du monde des modèles vision-langage-action (VLA), au moment où des acteurs comme NVIDIA avec GR00T, Physical Intelligence avec Pi-0, Figure avec Helix ou Google DeepMind explorent la planification apprise. Il s'oppose à la ligne dominante des modèles vidéo génératifs de type Genie ou Cosmos, qui misent sur la prédiction de pixels. La suite logique serait une validation sur robots physiques, sur des tâches plus longues et plus variées, ainsi qu'une comparaison à coût de calcul égal. Un site de projet est disponible à l'adresse weirdlabuw.github.io/swm.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Modèles du monde hiérarchiques pour le guidage temporel logique en temps d'inférence : hint²

Une équipe de recherche présente hint², une méthode qui guide a l'inférence des politiques de manipulation robotique a courte portée vers le respect de spécifications complexes en logique temporelle linéaire (LTL). Le système combine deux modèles du monde hiérarchisés : un niveau haut qui prédit l'évolution des propositions atomiques pour faire progresser l'automate LTL, et un niveau bas, dynamique, qui prédit l'état immédiat pour assurer une sécurité locale précise. Sur le benchmark CALVIN, hint² surpasse les méthodes de diffusion guidée par LTL et les techniques de pilotage a l'inférence existantes, et gère mieux les contraintes combinées de vivacité et de sécurité que les politiques purement conditionnées par le langage. La méthode a aussi été validée sur un bras manipulateur réel UR5e. Le travail est publie en preprint sous la référence arXiv:2608.13678. Les politiques conditionnées par le langage a grande échelle (VLA) progressent vite mais peinent encore a respecter une structure temporelle et des contraintes de sécurité explicites, car elles generent des actions par courtes séquences et replanifient en boucle fermée, alors que les spécifications LTL portent sur des trajectoires longues. Pour les intégrateurs et décideurs industriels, hint² esquisse une voie pour imposer un ordonnancement de taches et des garde-fous de sécurité a des politiques déjà entraînées, sans reentrainement, en intervenant seulement au moment de l'inférence, ce qui réduirait l'écart entre démonstrations impressionnantes et exigences de fiabilité en usine ou en contexte collaboratif homme-robot. Ce travail s'inscrit dans un courant de recherche qui cherche a marier logique formelle et politiques génératives pour la manipulation robotique, un mariage jusqu'ici limite par le décalage d'échelle temporelle entre les deux approches. Les auteurs comparent hint² aux méthodes de diffusion guidées par LTL et aux techniques de pilotage a l'inférence existantes, jugées insuffisantes face a des instructions longues et structurées. Le choix du benchmark CALVIN, référence pour les agents manipulateurs conditionnes par le langage, et du bras UR5e, très utilise en recherche robotique, ancre les résultats dans des protocoles reconnus. Aucune entreprise ni produit commercial n'est associe a cette publication académique, et les auteurs ne donnent pas de calendrier pour étendre l'approche au-delà de CALVIN et du UR5e.

RecherchePaper

1 source

4arXiv cs.RO

Préserver les modes instables grâce à la dynamique inverse dans les modèles du monde JEPA

Une équipe de chercheurs publie sur arXiv (2610.07540) une étude sur un défaut discret des modèles du monde de type JEPA (Joint-Embedding Predictive Architecture) utilisés pour piloter des robots à partir d'images. Les systèmes robotiques présentent souvent des modes instables, c'est-à-dire des directions de l'état le long desquelles une petite perturbation croît sans limite si aucun retour d'état ne la corrige. Les auteurs montrent qu'un entraînement fondé sur la prédiction de l'étape suivante, associé à une régularisation anti-effondrement, ne garantit pas la conservation de ces modes contrôlables : la fonction de perte peut être minimisée alors que ces directions sont écrasées dans la représentation, ce qui rend toute stabilisation impossible. Le remède proposé ajoute un objectif de reconstruction de l'action (une perte de dynamique inverse). Les auteurs démontrent qu'une reconstruction exacte rend l'encodeur injectif sur le sous-espace atteignable en H pas, et que, lorsque H augmente, l'espace propre dominant du gramien de contrôlabilité à horizon fini converge vers le sous-espace instable contrôlable. Les preuves portent sur des systèmes linéaires. Les tests empiriques, sur CartPole, Walker2D et PointMaze, visent à montrer que le résultat se prolonge au cas non linéaire visuel. L'intérêt est surtout diagnostique. Il met en évidence un mode de défaillance silencieux : une perte d'entraînement basse ne prouve pas que la représentation soit exploitable pour le contrôle. Pour les équipes qui construisent des politiques ou des planificateurs sur des modèles du monde latents, c'est un argument pour ajouter des signaux sensibles à l'action plutôt que de se fier à la seule qualité de prédiction. Ce travail ne contredit pas les approches existantes, il en précise une limite théorique. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans déploiement ni robot physique. Les benchmarks sont des environnements simulés simples, loin de la manipulation à grand nombre de degrés de liberté. Le résultat s'inscrit dans la lignée des JEPA, popularisées par l'équipe de Yann LeCun, et des modèles du monde appris pour le contrôle, face à des approches de type VLA qui apprennent directement les actions. Aucune suite ni calendrier n'est annoncé. L'étape suivante logique serait un passage à l'échelle sur des tâches visuelles plus riches, puis sur du matériel réel.

RecherchePaper

1 source