Illustration générée par IAWEVO : optimisation de modèles vision-langage-action (VLA) par modèle du monde pour la locomanipulation du corps entier
Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie
Des chercheurs présentent WEVO, un cadre de post-entraînement pour politique VLA (vision-langage-action) de humanoïde, qui se passe entièrement de téléopération. L'idée centrale est de réaliser l'apprentissage par renforcement (RL) non pas sur le robot physique ni dans un simulateur classique, mais dans un modèle du monde vidéo conditionné par les actions. Des données de « play » simulées, mêlant manipulation et locomotion, servent à améliorer la prédiction des dynamiques de contact et des changements de point de vue. Une VLA d'abord entraînée sur des démonstrations synthétiques collecte ensuite seulement 20 déroulés autonomes réels par tâche, afin d'aligner le modèle du monde sur les observations du déploiement. La VLA, le contrôleur du corps entier (WBC) et le modèle du monde vidéo forment alors un environnement RL en boucle fermée, avec des récompenses denses de progression. Sur trois tâches réelles, les données de play améliorent chaque métrique du modèle du monde ainsi que le taux de succès de la politique. Le RL dans le modèle du monde fait passer le succès moyen de 23,3 % à 75,0 %, contre 48,3 % pour le RL mené directement sur robot réel.
L'enjeu est double pour les équipes qui visent la manipulation mobile à corps entier. D'une part, le RL sur humanoïde réel reste risqué (chutes, contacts non maîtrisés) et coûteux en temps machine, ce qui limite son usage industriel. D'autre part, le RL en simulateur tend à exploiter les écarts résiduels entre simulation et réalité. WEVO suggère une troisième voie : la simulation fournit l'initialisation de la politique et une couverture large, tandis que le modèle du monde vidéo, calé sur très peu de données réelles, sert d'environnement d'amélioration aligné sur le déploiement. Le résultat est notable, puisque le RL dans le modèle du monde dépasse de plus de 25 points le RL sur robot réel, mais il reste à relativiser : trois tâches seulement, un seul système, et un taux de succès moyen de 75 % encore loin des exigences de fiabilité d'une exploitation industrielle. Aucune information n'est donnée ici sur les temps de cycle, la plateforme humanoïde précise ni la robustesse hors des tâches testées.
Ces travaux s'inscrivent dans une tendance forte : l'usage de modèles du monde génératifs comme substituts de simulateurs pour post-entraîner des VLA, après une phase dominée par l'imitation sur données téléopérées, goulot d'étranglement reconnu pour des acteurs comme Figure (Helix), Physical Intelligence (Pi-0) ou NVIDIA (GR00T). La suppression de la téléopération dans la boucle de données est précisément ce qui rend l'approche attractive pour le passage à l'échelle. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et plus variées, la mesure de la dérive du modèle du monde lors d'optimisations prolongées, et la reproduction par d'autres laboratoires. Il s'agit à ce stade d'un résultat de recherche publié sur arXiv, sans produit ni déploiement associé.
Dans nos dossiers




