Distillation de représentations futures pour des modèles monde-action sans imagination

DreamFree, un nouveau World Action Model (WAM) décrit dans l'article arXiv 2611.04527v2, vise à supprimer l'étape la plus coûteuse de cette famille de modèles : la génération de vidéos futures. Les WAM exploitent les connaissances prédictives de modèles de diffusion vidéo pré-entraînés pour piloter un robot, en prédisant d'abord ce que la scène va devenir, puis en en déduisant les actions. DreamFree conserve le savoir prédictif du modèle vidéo mais le projette dans un encodeur visuel qui n'a besoin que de l'observation courante. Cet encodeur apprend par distillation de représentations à reproduire les représentations internes d'un modèle de diffusion vidéo figé. Un module d'action est ensuite entraîné pour extraire de cet encodeur l'information utile au contrôle. Les auteurs annoncent un contrôle en boucle fermée en temps réel à 11 Hz avec un backbone de diffusion vidéo de 14 milliards de paramètres, et des taux de succès supérieurs à ceux des VLA (vision-language-action) et des WAM de l'état de l'art, sur des tâches réelles et simulées. Il s'agit de résultats de recherche, sans produit ni déploiement industriel, et l'extrait disponible ne détaille ni les benchmarks, ni les robots, ni l'ampleur des gains.

L'intérêt tient à deux verrous que les WAM rencontrent à l'échelle. Le débruitage vidéo itératif est coûteux en calcul et en latence, ce qui rend difficile un contrôle réactif sur un robot réel. Par ailleurs, une prédiction visuelle imparfaite peut contaminer la prédiction d'action : un futur halluciné produit un geste erroné. En contournant la génération, DreamFree suggère que la valeur des modèles vidéo pour la robotique réside moins dans les pixels prédits que dans leurs représentations latentes, ce qui rapproche la latence de celle d'un VLA classique tout en gardant l'avantage des priors vidéo. Les auteurs affirment aussi que de meilleurs priors vidéo et davantage de données vidéo se traduisent en meilleur contrôle, et que de nouvelles tâches peuvent être apprises à partir de démonstrations vidéo, y compris issues d'une autre morphologie, sans annotation d'actions. Si cela se confirme de façon indépendante, cela ouvre l'exploitation de vidéos humaines ou d'autres robots, bien moins chères à collecter que la téléopération. Les 11 Hz restent toutefois modestes pour de la manipulation dynamique, et la fréquence dépend du matériel de calcul, non précisé ici.

Ce travail s'inscrit dans la montée des approches fondées sur des modèles du monde et des vidéos, en parallèle des VLA comme Pi-0 ou GR00T, qui s'appuient sur des modèles vision-langage plutôt que sur des modèles vidéo. Le débat actuel oppose la planification par imagination explicite à des représentations prédictives implicites, et DreamFree se range dans la seconde catégorie. Il s'agit ici de la version 2 de l'article, révisée après une première diffusion. Les prochaines étapes à surveiller sont la validation sur des benchmarks communs, la publication éventuelle du code et des poids, et surtout la démonstration sur des plateformes variées et dans des environnements non contrôlés, où l'écart entre résultats de laboratoire et usage réel reste le test décisif.