RecherchearXiv cs.RO 12 octobre 2026

Modèles de dynamique directe

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2610.13117) les Forward Dynamics Models (FDM), une famille de modèles d'action robotique qui couple la prédiction d'actions et celle des états futurs du monde selon un paradigme « action vers futur ». La prédiction du futur est conditionnée par les représentations de l'action, jamais l'inverse. À l'entraînement, bout en bout, les états futurs réels supervisent donc la politique via ces représentations. À l'inférence, la génération du futur est entièrement court-circuitée, ce qui supprime son coût de calcul. Le paradigme est indépendant du backbone, et les auteurs l'ont instancié avec un VLM (modèle vision-langage) et avec un VGM (modèle génératif vidéo). Les résultats annoncés : 99,4 % de réussite moyenne sur le benchmark de simulation LIBERO, présenté comme l'état de l'art, et jusqu'à 13 points de gain absolu sur des tâches réelles face aux méthodes VLA et WAM.

L'intérêt est d'abord architectural. Les VLA (vision-language-action), construits sur des VLM préentraînés, apprennent sans supervision explicite sur les états futurs. Les WAM (world action models), construits sur des modèles vidéo, conditionnent les actions sur des futurs prédits. Ils paient en échange un surcoût d'inférence et laissent les erreurs de prédiction visuelle se propager jusqu'aux actions. FDM revendique le meilleur des deux : la supervision dense par le futur pendant l'apprentissage, sans la latence ni la fragilité d'une génération vidéo en boucle de contrôle. Pour un intégrateur, la fréquence de contrôle et le coût GPU embarqué comptent autant que le taux de succès. Une politique qui apprend la dynamique sans la rejouer à l'exécution est donc une piste crédible pour le déploiement. Deux réserves s'imposent. LIBERO est un benchmark proche de la saturation, et 99,4 % dit peu de la généralisation. Les gains réels de 13 points, par ailleurs, dépendent du nombre de tâches, de robots et d'essais, que le résumé ne précise pas.

Ce travail s'inscrit dans la course entre deux familles. Les VLA, dans la lignée de RT-2, OpenVLA ou Pi-0, dominent la recherche appliquée. Les approches « monde d'abord », qui exploitent les modèles vidéo pour prédire avant d'agir, ont gagné du terrain plus récemment. FDM cherche une voie médiane en gardant la prédiction du futur comme signal d'entraînement plutôt que comme étape d'inférence. Il s'agit d'une préimpression, sans pilote industriel ni déploiement annoncé. La suite dépendra de la publication du code et des poids, de réplications indépendantes sur d'autres plateformes, et de mesures de latence face aux WAM sur matériel embarqué.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

LaWAM : des modèles du monde latents pour des politiques robotiques efficaces et dynamiques

Des chercheurs ont publié en juin 2026 sur arXiv (réf. 2606.15768) LaWAM, un Latent World Action Model destiné au contrôle robotique. Le système atteint 98,6 % de taux de succès sur le benchmark LIBERO, 91,22 % sur RoboTwin, et maintient des résultats compétitifs sur des tâches de manipulation en environnement réel. Sa latence d'inférence est de 187 ms par chunk d'actions, soit jusqu'à 24 fois inférieure à celle des World Action Models (WAM) opérant dans l'espace pixel. L'architecture résout un compromis structurel dans les VLA (Vision-Language-Action models) actuels : ces systèmes exploitent le préentraînement vision-langage à grande échelle pour le contrôle sémantique, mais restent aveugles à la dynamique physique de la scène. Les WAM corrigent ce défaut en conditionnant la politique sur une prédiction du futur, mais leur génération vidéo pixel par pixel les rend prohibitifs pour le temps réel. LaWAM substitue à cette vidéo des sous-objectifs visuels latents compacts, calculés dans l'espace de représentation d'un modèle de fondation vision préentraîné. Son composant central, le Latent World Model (LaWM), réutilise un décodeur forward pour prédire les caractéristiques d'observation future, éliminant la redondance au niveau pixel. Le résultat est une planification dynamique compatible avec les contraintes de latence du contrôle robotique industriel. Ce travail prend place dans la convergence entre grands modèles et robotique, après que pi-0 (Physical Intelligence) et GR00T de NVIDIA ont validé l'approche VLA mais buté sur le demo-to-reality gap et la latence d'inférence. LaWAM propose une voie d'intégration plus réaliste : 187 ms par inférence autorise des boucles de contrôle à environ 5 Hz, suffisantes pour de nombreuses tâches de manipulation structurée. Le préprint ne mentionne ni partenariat industriel ni timeline de déploiement ; il s'agit à ce stade d'une contribution académique sans produit shipé ni pilote annoncé. La prochaine étape naturelle sera de valider la robustesse hors distribution sur des environnements plus variés que LIBERO et RoboTwin, qui restent des benchmarks relativement contrôlés.

RechercheActu

1 source

2arXiv cs.RO

Planification cinodynamique par échantillonnage avec des modèles du monde

Des chercheurs proposent d'abandonner les optimiseurs habituels (CEM, MPPI) au profit d'une planification de mouvement par échantillonnage cinématique et dynamique appliquée aux modèles du monde visuels. Leur méthode utilise le modèle appris comme propagateur d'un arbre de recherche dans l'espace latent. Deux stratégies d'exploration y sont déclinées : un RRT guidé par plus proches voisins et un KPIECE fondé sur des projections. L'expansion de l'arbre est calculée par lots, nativement sur GPU, pour bien exploiter le matériel. L'évaluation s'appuie sur un DINO-WM standard, sans réentraînement spécifique, testé sur quatre domaines simulés et sur une tâche réelle de poussée de bloc avec un robot. En simulation, les deux approches égalent ou dépassent le taux de succès de CEM et MPPI, avec un temps de planification jusqu'à 13,8 fois inférieur. Sur le robot réel, le taux de succès gagne 20 %. Le papier ne détaille pas, dans son résumé, l'ampleur absolue des taux de succès ni la taille des échantillons de test. L'enjeu dépasse l'optimisation de vitesse. Les modèles du monde visuels prédisent les conséquences d'actions à partir d'images, mais les optimiseurs qui les pilotent sont myopes : ils échouent dès que la progression exige un mouvement que la fonction objectif ne récompense pas, comme contourner un bloc avant de le pousser. Les auteurs montrent que les stratégies d'échantillonnage conçues pour la recherche en haute dimension dans l'espace de configuration se transposent directement à l'espace latent. L'arbre traverse ainsi des états intermédiaires que CEM et MPPI ne tirent jamais. Pour les intégrateurs et les équipes qui visent des tâches de manipulation à horizon long, le message est que le goulot d'étranglement tient autant à l'algorithme de planification qu'à la qualité du modèle du monde. Il faut toutefois rester prudent : quatre environnements simulés et une seule tâche réelle, très proche de la simulation, ne disent rien de la robustesse sur des scènes industrielles encombrées, déformables ou à contacts riches. Le gain de 20 % sur robot réel reste modeste et son intervalle de confiance n'est pas indiqué. Ce travail s'inscrit dans la montée des modèles du monde latents, dont DINO-WM, qui s'appuie sur des représentations visuelles DINO pré-entraînées pour prédire l'évolution des scènes sans reconstruction de pixels. La planification par échantillonnage de trajectoires (CEM, MPPI) est devenue la norme dans ce cadre, au prix des limites décrites plus haut. Les auteurs ramènent à ce domaine un héritage de la robotique classique : RRT et KPIECE, utilisés de longue date dans les planificateurs de mouvement de type OMPL. Il s'agit d'une publication académique (arXiv, version 1, octobre 2026), sans produit ni déploiement annoncé. Les suites naturelles sont des tests sur des tâches plus longues et plus variées, sur d'autres modèles du monde, et une comparaison avec les approches de politiques VLA apprises de bout en bout, qui évitent la planification explicite.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Préserver les modes instables grâce à la dynamique inverse dans les modèles du monde JEPA

Une équipe de chercheurs publie sur arXiv (2610.07540) une étude sur un défaut discret des modèles du monde de type JEPA (Joint-Embedding Predictive Architecture) utilisés pour piloter des robots à partir d'images. Les systèmes robotiques présentent souvent des modes instables, c'est-à-dire des directions de l'état le long desquelles une petite perturbation croît sans limite si aucun retour d'état ne la corrige. Les auteurs montrent qu'un entraînement fondé sur la prédiction de l'étape suivante, associé à une régularisation anti-effondrement, ne garantit pas la conservation de ces modes contrôlables : la fonction de perte peut être minimisée alors que ces directions sont écrasées dans la représentation, ce qui rend toute stabilisation impossible. Le remède proposé ajoute un objectif de reconstruction de l'action (une perte de dynamique inverse). Les auteurs démontrent qu'une reconstruction exacte rend l'encodeur injectif sur le sous-espace atteignable en H pas, et que, lorsque H augmente, l'espace propre dominant du gramien de contrôlabilité à horizon fini converge vers le sous-espace instable contrôlable. Les preuves portent sur des systèmes linéaires. Les tests empiriques, sur CartPole, Walker2D et PointMaze, visent à montrer que le résultat se prolonge au cas non linéaire visuel. L'intérêt est surtout diagnostique. Il met en évidence un mode de défaillance silencieux : une perte d'entraînement basse ne prouve pas que la représentation soit exploitable pour le contrôle. Pour les équipes qui construisent des politiques ou des planificateurs sur des modèles du monde latents, c'est un argument pour ajouter des signaux sensibles à l'action plutôt que de se fier à la seule qualité de prédiction. Ce travail ne contredit pas les approches existantes, il en précise une limite théorique. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans déploiement ni robot physique. Les benchmarks sont des environnements simulés simples, loin de la manipulation à grand nombre de degrés de liberté. Le résultat s'inscrit dans la lignée des JEPA, popularisées par l'équipe de Yann LeCun, et des modèles du monde appris pour le contrôle, face à des approches de type VLA qui apprennent directement les actions. Aucune suite ni calendrier n'est annoncé. L'étape suivante logique serait un passage à l'échelle sur des tâches visuelles plus riches, puis sur du matériel réel.

RecherchePaper

1 source

4arXiv cs.RO

Le futur est-il compatible ? Diagnostic de la cohérence dynamique dans les modèles d'action du monde

Une équipe de recherche a soumis le 12 mai 2026 sur arXiv (référence 2605.07514) une étude ciblant un angle mort des World Action Models (WAMs) : la cohérence dynamique entre les actions prédites et les transitions d'état qu'elles sont supposées engendrer. Les WAMs sont des modèles capables de générer des "rollouts" imaginés, c'est-à-dire des séquences futures simulées d'observations et d'actions, pour guider la prise de décision d'un agent robotique. Les auteurs montrent, à travers une étude systématique de modèles de joint-prediction et d'inverse-dynamics, que ces futurs imaginés peuvent être visuellement plausibles tout en étant dynamiquement incompatibles avec la séquence d'actions associée. Ils définissent formellement l'action-state consistency comme l'alignement entre les actions prédites et les transitions d'état induites, et établissent empiriquement que cette métrique distingue fiablement les rollouts réussis des rollouts échoués sur une large variété de tâches. En s'appuyant sur ces résultats, ils proposent une stratégie dite "value-free consensus" pour la sélection à l'inférence : les candidats rollouts sont classés par accord entre futurs prédits, sans recours à un modèle de récompense ni à un entraînement supplémentaire. Cette stratégie améliore les taux de succès sur les benchmarks RoboCasa et RoboTwin 2.0. L'enjeu pratique est direct pour les équipes qui déploient des politiques basées sur des world models : une inconsistance action-état non détectée peut propager des erreurs tout au long d'une séquence planifiée, rendant les rollouts trompeurs même lorsqu'ils semblent visuellement convaincants. Le fait que la métrique suive des tendances similaires aux estimations de valeur apprises suggère qu'elle capture une structure pertinente pour la décision, au-delà du réalisme perceptif. La stratégie consensus sans valeur est notable car elle élimine le besoin d'un reward model, souvent coûteux à entraîner et fragile à distribuer, ce qui la rend directement utilisable dans des pipelines de déploiement existants. Les WAMs s'inscrivent dans le courant plus large des VLAs (Vision-Language-Action models) et des approches de planification par world model, où des systèmes comme DreamerV3 ou des dérivés de modèles de diffusion cherchent à faire planifier un agent dans un espace latent imaginé. Les benchmarks utilisés, RoboCasa et RoboTwin 2.0, sont des environnements de manipulation simulée de référence dans la communauté. Les auteurs identifient également un phénomène limite qu'ils nomment "background collapse" : les trajectoires échouées à faible dynamique peuvent paraître artificiellement cohérentes car prédire un futur statique est plus facile, ce qui constitue un biais à surveiller lors de l'utilisation de cette métrique. Les prochaines étapes naturelles seraient de valider la stratégie consensus sur des plateformes physiques et d'étendre l'analyse à des modèles de type diffusion policy.

RechercheActu

1 source