Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

BadWAM : quand les modèles monde-action rêvent bien mais agissent mal

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (référence 2607.15207v1) un article intitulé « BadWAM: When World-Action Models Dream Right but Act Wrong », qui introduit un nouveau cadre d'attaque adversariale ciblant les World-Action Models (WAM), ces architectures qui couplent génération d'action et prédiction du futur pour le contrôle robotique incarné. BadWAM formalise une classe d'attaques baptisées « World-Action Drift Attacks » : de petites perturbations visuelles qui cassent l'alignement entre ce que le modèle imagine et ce qu'il exécute réellement. Le framework décline deux variantes selon les priorités de l'attaquant : une attaque purement orientée action, qui pousse directement le robot vers des échecs de tâche, et une attaque dite « imagination-preserving », plus furtive, qui maintient une prédiction de futur plausible tout en désynchronisant l'action exécutée. Testée sur plusieurs variantes de WAM en boucle fermée, l'attaque action-only fait chuter le taux de réussite des tâches de 96,5 % à 43,1 %.

Ce résultat fragilise un argument central de sécurité avancé pour les WAM : le fait de pouvoir vérifier une action contre le futur imaginé par le modèle était présenté comme une garantie de robustesse et d'interprétabilité. BadWAM montre que cette garantie peut être contournée, y compris de façon furtive, le modèle continuant d'afficher une trajectoire imaginée cohérente alors que l'action réellement exécutée diverge. Pour les intégrateurs et décideurs qui envisagent de déployer des VLA ou des WAM en environnement industriel, c'est un signal d'alerte direct sur la fiabilité des mécanismes de vérification interne comme filet de sécurité, particulièrement dans des contextes où un flux vidéo ou capteur pourrait être manipulé.

Les WAM s'inscrivent dans la lignée des modèles vision-langage-action (VLA) comme Pi-0 ou GR00T N2, qui cherchent à unifier perception, raisonnement et contrôle moteur. En documentant systématiquement la surface d'attaque de ces architectures selon deux axes, force de perturbation et furtivité, les auteurs de BadWAM posent une méthodologie d'évaluation reproductible que d'autres laboratoires pourront appliquer à leurs propres modèles avant tout déploiement sur des plateformes robotiques réelles.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

DiLA : modèles du monde à représentation d'actions latentes disentangled
1arXiv cs.RO 

DiLA : modèles du monde à représentation d'actions latentes disentangled

Un preprint déposé sur arXiv (2605.15725) introduit DiLA, un modèle de monde à actions latentes disentanglées. Les Latent Action Models (LAMs) existants apprennent des représentations d'actions depuis des vidéos non annotées en inférant des transitions entre frames consécutifs, mais souffrent d'un compromis documenté: plus l'abstraction de l'action est poussée, plus la fidélité de génération vidéo se dégrade. DiLA attaque ce problème par un disentanglement contenu/structure: un pathway dédié encode les layouts spatiaux (structure), un second gère les détails visuels (content). L'insight central est que le goulot d'étranglement prédictif propre aux LAMs agit comme levier naturel pour ce disentanglement, sans supervision explicite. Les auteurs documentent des améliorations sur quatre métriques: qualité de génération vidéo, transfert d'action, planification visuelle et interprétabilité de l'espace latent. L'enjeu pratique pour la robotique et les modèles VLA (Vision-Language-Action) est direct: les données d'actions annotées restent coûteuses à collecter, et un modèle de monde capable d'extraire des représentations d'actions sémantiquement cohérentes depuis des vidéos brutes pourrait réduire cette dépendance. La capacité de transfert d'action est particulièrement pertinente pour le problème sim-to-real: un disentanglement robuste entre structure et contenu visuel facilite la généralisation de dynamiques apprises en simulation vers des environnements réels. Contrairement aux approches à deux étapes qui nécessitent un world model pré-entraîné en amont, DiLA s'entraîne de bout en bout, ce qui simplifie le pipeline et réduit les dépendances à des modèles tiers. Les LAMs trouvent leur ancrage dans des travaux comme LAPO et les méthodes basées sur l'optical flow, dont DiLA cherche à dépasser les limites. L'approche s'inscrit dans un écosystème plus large de world models auto-supervisés qui inclut Dreamer (DeepMind), GAIA-1 (Wayve, conduite autonome) et UniSim. Aucun partenariat industriel ni déploiement n'est annoncé: c'est une contribution de recherche fondamentale. Les suites logiques incluent une validation sur des benchmarks robotiques standardisés (RLBench, Calvin) et une intégration dans des pipelines VLA tels qu'OpenVLA ou pi0 (Physical Intelligence), où des représentations d'actions latentes robustes constituent un composant clé pour la généralisation inter-tâche et inter-robot.

RechercheOpinion
1 source
WAM-TTT : piloter les modèles monde-action en observant le jeu humain en temps de test
2arXiv cs.RO 

WAM-TTT : piloter les modèles monde-action en observant le jeu humain en temps de test

Une équipe de recherche présente WAM-TTT, une méthode d'entraînement au moment du test ("test-time training") permettant d'orienter des modèles fondation robotiques de type world-action model (WAM) simplement en leur montrant des vidéos humaines, sans démonstration robotique ni fine-tuning spécifique à la tâche. Publié sur arXiv (2607.06988v1), le système ne traite pas les vidéos humaines comme des trajectoires à imiter directement : il les absorbe dans une mémoire adaptative légère, greffée sur un WAM gelé, via un objectif de prédiction vidéo auto-supervisé. Une étape de méta-entraînement, utilisant des paires de données humain-robot et un objectif de reconstruction de mémoire par clé-valeur, aligne en amont les démonstrations humaines avec les comportements robotiques attendus. Résultat : au moment du déploiement, seules des vidéos humaines non annotées suffisent pour adapter le comportement du robot, le modèle fondation pré-entraîné restant intégralement gelé. Les auteurs rapportent que WAM-TTT surpasse systématiquement les approches de référence par conditionnement contextuel sur vidéos humaines, sur un ensemble varié de tâches de manipulation et de scénarios de généralisation. Cette approche s'attaque à un vrai goulot d'étranglement des modèles fondation robotiques (RFM) : aujourd'hui, adapter un modèle vision-langage-action (VLA) à une nouvelle variante de tâche ou à une préférence utilisateur exige généralement de nouvelles démonstrations robotiques coûteuses à collecter, un fine-tuning dédié, ou un long contexte de conditionnement gourmand en calcul. En permettant un pilotage à partir de simples vidéos humaines, sans action robotique ni annotation, WAM-TTT réduit potentiellement le coût d'adaptation et de personnalisation des robots pour les intégrateurs, tout en préservant les capacités de généralisation du modèle de base, un compromis que les méthodes de fine-tuning classiques peinent souvent à tenir. Le papier s'inscrit dans la lignée des travaux récents sur les world-action models et le conditionnement en contexte par vidéo, dont il cherche explicitement à dépasser les limites en tant que méthode de référence comparée. À ce stade, il s'agit d'un résultat de recherche évalué en simulation et sur des bancs de manipulation expérimentaux, sans indication de déploiement industriel ni de partenariat avec un fabricant de robots humanoïdes ou d'AMR ; les auteurs ne précisent pas de calendrier de transfert vers des plateformes commerciales.

RechercheActu
1 source
Flash-WAM : distillation sensible aux modalités pour les modèles monde-action
3arXiv cs.RO 

Flash-WAM : distillation sensible aux modalités pour les modèles monde-action

Des chercheurs ont publié Flash-WAM (arXiv:2606.05254v1), une méthode de distillation conçue pour accélérer les "world-action models" (WAMs), des architectures de diffusion qui génèrent simultanément une prédiction vidéo du futur et les commandes robot associées. Le verrou que Flash-WAM tente de lever : ces modèles nécessitent des dizaines de passes de débruitage par chunk d'actions, aboutissant à une latence de 8,1 secondes par chunk sur GPU NVIDIA L40S, ce qui exclut tout contrôle en temps réel. En compressant l'inférence à une seule étape par modalité via une distillation par consistance adaptée, Flash-WAM ramène cette latence à 348 ms, soit un facteur 23x. Appliqué au modèle LingBot-VA, il atteint 85,5% de succès sur le benchmark RoboTwin 2.0, 95,7% sur LIBERO, et 60% en moyenne sur un humanoïde réel Unitree G1. L'originalité de Flash-WAM réside dans le traitement asymétrique des deux modalités. Le flux action et le flux vidéo dans un WAM opèrent sur des schedules de bruit fondamentalement différents (SNR-shifted noise schedules) : appliquer une seule paramétrisation à l'ensemble dégrade les performances de façon sévère, la distillation naïve par consistance chutant à 24% de succès en conditions réelles. Flash-WAM contourne ce problème avec une paramétrisation linéaire à gradient scalé pour le flux action (régime faible bruit) et une paramétrisation variance-preserving pour le flux vidéo (régime fort bruit). Ce résultat valide l'idée qu'un robot peut boucler en temps réel sur ses prédictions de monde sans matériel exotique, à condition d'adapter la distillation à la nature propre de chaque signal. Les WAMs s'inscrivent dans une tendance récente fusionnant prédiction vidéo et politique robot dans un modèle de diffusion unifié, une approche portée par des travaux comme GR00T N2 de NVIDIA, Pi-0.5 de Physical Intelligence, ou les VLAs (vision-language-action models) au sens large. LingBot-VA est l'un de ces modèles joints récents sur lequel Flash-WAM est instancié. Le sim-to-real gap demeure visible dans les résultats (60% en réel contre 85,5% en simulation sur RoboTwin 2.0), mais le gain de 36 points sur la distillation naïve confirme la pertinence de l'approche pour des déploiements futurs sur manipulateurs industriels ou humanoïdes à usage général.

RechercheOpinion
1 source
ImageWAM : les modèles action-monde ont-ils vraiment besoin de génération vidéo, ou seulement d'édition d'images ?
4arXiv cs.RO 

ImageWAM : les modèles action-monde ont-ils vraiment besoin de génération vidéo, ou seulement d'édition d'images ?

Une équipe de chercheurs publie ImageWAM sur arXiv le 19 juin 2026 (arXiv:2606.19531), un cadre WAM (World Action Model) qui substitue la génération vidéo par l'édition d'images pour prédire les actions robotiques. L'argument central : les WAMs vidéo génèrent des tokens denses sur plusieurs trames futures, consomment de la capacité sur des détails sans rapport avec l'action, et propagent des erreurs lors des prédictions à longue portée. ImageWAM réoriente des modèles d'édition d'image préentraînés pour modéliser uniquement la transformation visuelle entre état courant et état cible. À l'inférence, le système ne décode pas la frame cible : il conditionne un expert d'action par flow-matching sur les caches KV produits pendant le débruitage de l'image éditée. Résultats mesurés : FLOPs réduits à 1/6 et latence à 1/4 par rapport aux WAMs vidéo, avec des performances supérieures aux baselines VLA standard et aux WAMs concurrents, sur simulateur comme en conditions réelles, sans préentraînement additionnel de la politique. Pour la communauté robotique, le résultat questionne une hypothèse fondamentale : la génération vidéo serait indispensable pour que le modèle "comprenne" le monde et déduise des actions pertinentes. ImageWAM montre que l'édition d'image constitue un prior mieux calibré, car elle cible les différences visuelles liées à l'action plutôt que la reconstruction temporelle complète d'une séquence. Les analyses d'attention confirment que les caches se focalisent sur les régions de changement pertinentes pour la tâche, pas sur le fond statique. Pour un intégrateur industriel, l'implication est directe : cycles d'inférence plus rapides et potentiellement matériel embarqué moins coûteux, sans sacrifice de performance selon les expériences rapportées. Les WAMs s'inscrivent dans la continuité des VLAs (Visual Language Action models), qui combinent perception visuelle, langage naturel et contrôle moteur dans un pipeline unifié. Des modèles comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) misent sur des représentations visuelles denses pour généraliser les comportements robotiques entre tâches. ImageWAM se positionne comme une alternative frugale, réutilisant des capacités d'édition d'image préentraînées sans nécessiter de préentraînement vidéo de grande échelle. Le papier reste pour l'instant dans le domaine expérimental : aucun déploiement industriel ni partenaire terrain n'est mentionné. Les prochaines étapes naturelles seraient une validation sur des plateformes humanoïdes ou de manipulation industrielle, précisément les environnements où la latence d'inférence constitue un critère de qualification déterminant.

RechercheOpinion
1 source