Hypothèses futures guidées par LLM pour une exploration à horizon temporel en manipulation robotique multi-étapes

Une équipe de recherche a publié fin mai 2026 un article (arXiv:2605.29864) présentant Future-Experience Conditioning (FEC), une méthode destinée à améliorer la manipulation robotique multi-étapes en conditionnant les politiques de contrôle sur de courtes vidéos futures générées synthétiquement. Le pipeline fonctionne en trois étapes : un raisonneur LLM opérant sur une ontologie de tâche initialisée depuis l'état courant de la scène, un jumeau numérique sans robot qui simule le mouvement attendu des objets, puis un modèle de diffusion vidéo sans masque qui synthétise un clip futur cohérent avec la configuration robotique, sans nécessiter de segmentation à l'inférence. Les expériences sont conduites sur deux benchmarks de simulation standards, RoboCasa et CALVIN, en comparant quatre conditions : absence de futur (NoFuture), futur de référence (GTFuture), futur généré (GenFuture) et futur incorrect (WrongFuture), avec trois familles de politiques testées, BC pur, BC+RL, et une Streaming Flow Policy (SFP).

Les résultats indiquent que les futurs générés améliorent systématiquement les performances par rapport à l'absence de signal futur, tandis que des futurs incorrects dégradent l'apprentissage jusqu'à bloquer la progression à zéro sur l'ensemble de la courbe d'apprentissage. L'instantiation BC+RL obtient les meilleurs résultats globaux, et l'analyse sur 8 tâches CALVIN montre que GenFuture permet une convergence plus rapide et à un niveau supérieur à NoFuture. Ces résultats tendent à valider l'hypothèse que des vidéos futures imparfaites, mais structurellement cohérentes avec la tâche, constituent des priors utiles pour l'exploration en renforcement, même sans vérité terrain. C'est un résultat non trivial : la qualité du prior conditionne directement la qualité de l'exploration, ce qui renforce l'intérêt des modèles génératifs comme guides de politique plutôt que comme simples augmentations de données.

FEC s'inscrit dans un courant actif qui cherche à exploiter les Video Language Models (VLMs) et les modèles de diffusion vidéo comme substituts aux simulateurs physiques pour la planification à horizon court. Des approches concurrentes comme UniSim, SuSIE ou les travaux de Dreamer en model-based RL avaient déjà exploré le conditioning sur des futurs imaginés, mais FEC se distingue par son pipeline modulaire évitant la segmentation à l'inférence, un obstacle pratique souvent sous-estimé en déploiement réel. Le projet dispose d'un site dédié (enact2026.github.io) et reste pour l'instant cantonné à la simulation, sans résultats sim-to-real publiés.