Aller au contenu principal
Video Prediction Policy 2 : mieux prédire pour mieux agirIllustration générée par IA
IA physiquearXiv cs.RO 

Video Prediction Policy 2 : mieux prédire pour mieux agir

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Video Prediction Policy 2 (VPP2) est une nouvelle politique robotique de type « world action model » (WAM), décrite dans un preprint arXiv (2610.10270v1). Ces modèles cherchent à transférer les connaissances acquises par les modèles de prédiction vidéo vers l'apprentissage d'actions. Les auteurs constatent que les WAM existants produisent souvent des prédictions de mouvement erronées en environnement ouvert, ce qui entraîne des actions fausses. Ils l'expliquent par deux causes : les modèles vidéo de base ne sont pas optimisés pour la manipulation, et l'ajout naïf de composantes d'action à un modèle vidéo dégrade nettement sa capacité de généralisation. VPP2 procède en trois étapes. D'abord, un grand jeu de données varié de vidéos de manipulation, annotées avec des légendes détaillées, sert à poursuivre le pré-entraînement du modèle vidéo fondation, avec une approche dite « au niveau de l'événement ». Ensuite, ce modèle est post-entraîné puis distillé en un planificateur visuel en une seule étape, à horizon de prédiction fixe. Enfin, un module d'action, bâti sur une architecture mixture-of-transformers (MoT), apprend un modèle de dynamique inverse implicite.

Sur le plan des résultats, la version VPP2-14B (14 milliards de paramètres) dépasse Cosmos3-64B de 11,0 points de pourcentage en taux de réussite du suivi d'instruction en prédiction vidéo, sur des tâches ouvertes. Sur des tâches réelles de manipulation en zero-shot avec un robot ALOHA, VPP2 devance la meilleure référence de 18,5 points. Après un post-entraînement spécifique à chaque benchmark, il obtient les meilleurs taux de succès parmi les méthodes évaluées sur LIBERO-Pro, LIBERO-OOD et RoboDojo. Il s'agit de résultats de laboratoire issus d'un preprint non évalué par les pairs : les auteurs ne précisent pas, dans le résumé, le nombre d'essais, la nature des tâches ALOHA ni la taille des baselines hors Cosmos3. Aucun déploiement industriel n'est annoncé.

L'intérêt tient d'abord au diagnostic : la qualité de la prédiction vidéo conditionne directement celle de l'action. Le résultat suggère qu'un modèle de 14 milliards de paramètres, spécialisé par des données de manipulation, peut battre un modèle généraliste quatre fois plus gros, ce qui compte pour les équipes qui doivent faire tourner ces politiques sur du matériel embarqué. La distillation en une seule étape va dans le même sens, puisqu'elle réduit le coût d'inférence, un frein classique des approches fondées sur la diffusion vidéo. Pour les intégrateurs, le point à surveiller reste l'écart entre benchmarks et usage réel : LIBERO et ses variantes sont des environnements de simulation, et le seul test physique rapporté repose sur ALOHA, plateforme bimanuelle de recherche.

Ce travail prolonge la lignée Video Prediction Policy, qui utilisait déjà des modèles de diffusion vidéo pré-entraînés comme représentation pour piloter des politiques d'action. Il s'inscrit dans la course aux modèles du monde et aux VLA (vision-langage-action), face notamment aux approches de la famille Cosmos de NVIDIA, citée ici comme point de comparaison, et à d'autres politiques généralistes telles que Pi-0 ou GR00T. La suite dépendra de la publication éventuelle du code et des poids, de réplications indépendantes, et de tests sur des robots et des tâches industrielles au-delà des benchmarks académiques.

À lire aussi

Bridge-WA : prédire où et comment le monde change pour l'action robotique
Illustration générée par IA
1arXiv cs.RO 

Bridge-WA : prédire où et comment le monde change pour l'action robotique

Une équipe de chercheurs présente Bridge-WA, un nouveau framework "world-action" léger destiné aux modèles de manipulation robotique vision-langage-action (VLA), décrit dans un article publié sur arXiv (2607.02195v1) début juillet. Plutôt que de s'appuyer sur de lourds modèles génératifs du monde ou des séquences denses d'images futures pour anticiper les changements de scène, coûteux en calcul et souvent focalisés sur des détails visuels peu utiles au contrôle, Bridge-WA distille un "teacher" figé de prédiction des changements futurs en trois représentations compactes : des tokens de résultat visé, des cartes de changement pour identifier les zones d'intervention, et des cartes de flux de mouvement pour la direction locale des transitions.

IA physiqueActu
1 source
MaskWAM : unification du masquage guidé et de la prédiction pour les modèles monde-action
Illustration générée par IA
2arXiv cs.RO 

MaskWAM : unification du masquage guidé et de la prédiction pour les modèles monde-action

Une équipe de chercheurs a soumis sur arXiv (référence 2606.13515) un modèle baptisé MaskWAM, visant à lever deux verrous structurels des World Action Models (WAMs) pour le contrôle robotique par prédiction vidéo. Les WAMs constituent une approche active : au lieu d'apprendre directement une politique motrice, le modèle prédit des frames vidéo futures conditionnées par les actions du robot et extrait la politique de cette représentation. Le problème identifié est double. Les entrées textuelles génèrent une ambiguïté référentielle dans les scènes encombrées : si deux objets similaires cohabitent dans le champ de la caméra, le texte ne suffit pas à désambiguïser la cible.

IA physiqueOpinion
1 source
Juno : dompter les latents prédictifs des modèles vision-langage-action (VLA)
Illustration générée par IA
3arXiv cs.RO 

Juno : dompter les latents prédictifs des modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.09940) Juno, un cadre unifié qui exploite les « latents prédictifs » d'une architecture JEPA (Joint-Embedding Predictive Architecture) pour améliorer les modèles vision-langage-action (VLA). Une JEPA prédit des observations masquées ou futures dans un espace de représentation plutôt qu'en pixels. Juno s'appuie sur une seule JEPA conditionnée par l'action, qui joue trois rôles : backbone de représentation aligné sur le contrôle, enseignant prédictif et modèle de dynamique adaptable. En pré-entraînement, elle est entraînée sur des trajectoires issues de la même morphologie que le robot cible. Une perte « dynamic CLS » transfère la dynamique des patches, pondérée par le mouvement, vers un état global compact.

IA physiqueActu
1 source
VANE : entraînement fiable en temps de test pour les modèles vision-langage-action par prédiction visuelle future
Illustration générée par IA
4arXiv cs.RO 

VANE : entraînement fiable en temps de test pour les modèles vision-langage-action par prédiction visuelle future

Des chercheurs publient VANE (arXiv:2608.09448, soumis en aout 2026), une méthode de test-time training (TTT) pour les modèles vision-langage-action (VLA) utilises en manipulation robotique en boucle fermée. Le problème cible: l'adaptation en ligne classique mélange dans un espace de correction unique des ajustements incompatibles entre taches, et modifie les actions suivantes du robot avant même de savoir si la correction précédente était pertinente. VANE conditionne l'adaptation du prompt sur le contexte visuel et langagier courant, puis apprend a partir des conséquences visuelles futures des actions exécutées: les mises a jour candidates sont isolées de la politique active, évaluées sur les observations suivantes, et validées uniquement si les preuves futures les confirment, ce qui rend l'adaptation sélective et réversible.

IA physiqueActu
1 source