Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
BadWAM : quand les modèles monde-action rêvent bien mais agissent mal
RecherchearXiv cs.RO 

BadWAM : quand les modèles monde-action rêvent bien mais agissent mal

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (référence 2607.15207v1) un article intitulé « BadWAM: When World-Action Models Dream Right but Act Wrong », qui introduit un nouveau cadre d'attaque adversariale ciblant les World-Action Models (WAM), ces architectures qui couplent génération d'action et prédiction du futur pour le contrôle robotique incarné. BadWAM formalise une classe d'attaques baptisées « World-Action Drift Attacks » : de petites perturbations visuelles qui cassent l'alignement entre ce que le modèle imagine et ce qu'il exécute réellement. Le framework décline deux variantes selon les priorités de l'attaquant : une attaque purement orientée action, qui pousse directement le robot vers des échecs de tâche, et une attaque dite « imagination-preserving », plus furtive, qui maintient une prédiction de futur plausible tout en désynchronisant l'action exécutée. Testée sur plusieurs variantes de WAM en boucle fermée, l'attaque action-only fait chuter le taux de réussite des tâches de 96,5 % à 43,1 %.

Ce résultat fragilise un argument central de sécurité avancé pour les WAM : le fait de pouvoir vérifier une action contre le futur imaginé par le modèle était présenté comme une garantie de robustesse et d'interprétabilité. BadWAM montre que cette garantie peut être contournée, y compris de façon furtive, le modèle continuant d'afficher une trajectoire imaginée cohérente alors que l'action réellement exécutée diverge. Pour les intégrateurs et décideurs qui envisagent de déployer des VLA ou des WAM en environnement industriel, c'est un signal d'alerte direct sur la fiabilité des mécanismes de vérification interne comme filet de sécurité, particulièrement dans des contextes où un flux vidéo ou capteur pourrait être manipulé.

Les WAM s'inscrivent dans la lignée des modèles vision-langage-action (VLA) comme Pi-0 ou GR00T N2, qui cherchent à unifier perception, raisonnement et contrôle moteur. En documentant systématiquement la surface d'attaque de ces architectures selon deux axes, force de perturbation et furtivité, les auteurs de BadWAM posent une méthodologie d'évaluation reproductible que d'autres laboratoires pourront appliquer à leurs propres modèles avant tout déploiement sur des plateformes robotiques réelles.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

Quelles représentations visuelles les modèles d'action du monde requièrent-ils ?
1arXiv cs.RO 

Quelles représentations visuelles les modèles d'action du monde requièrent-ils ?

Les modèles World Action Models (WAM), qui héritent des connaissances a priori de modèles pré-entraînés de génération vidéo, souffrent d'une limite structurelle : leurs représentations issues d'un autoencodeur variationnel (VAE) sont optimisées pour reconstruire des images, pas pour manipuler des objets. Une étude parue sur arXiv (2610.13024) compare de façon systématique, en conditions contrôlées, plusieurs représentations visuelles externes, cinq mécanismes d'intégration et diverses combinaisons de caractéristiques. Jusqu'ici, les travaux existants mélangeaient le choix de la représentation et celui du mécanisme d'intégration, ce qui brouillait l'effet de chacun. Les auteurs en tirent une « recette » baptisée R²-WAM, qui atteint l'état de l'art sur RoboCasa GR1 Tabletop avec 84,7 % de réussite et 92,8 % sur RoboTwin 2.0, soit un gain de 5,9 et 2,2 points de pourcentage par rapport aux références reposant uniquement sur le VAE. Trois enseignements se dégagent. D'abord, les représentations visuelles généralistes et puissantes apportent des gains de robustesse plus larges et égalent, voire dépassent, celles pré-entraînées pour une capacité visuelle précise. Ensuite, la prédiction conjointe par canaux (channel-wise) obtient le meilleur taux de succès moyen, un avantage que les analyses attribuent à la prédiction de caractéristiques futures et à une meilleure exploitation de l'information visuelle ajoutée par l'« action expert », le module qui produit les actions. Enfin, les sources supplémentaires doivent être choisies pour l'information utile à la tâche qu'elles apportent en plus de l'existant : la même source peut aider une combinaison et en dégrader une autre. Pour les équipes qui construisent des politiques robotiques sur des modèles vidéo, l'enseignement est pragmatique : l'essentiel du gain vient de l'ajout d'une bonne représentation généraliste au VAE, tandis que l'empilement de sources spécialisées rapporte moins que ce premier saut. Cela invite à investir dans de meilleurs encodeurs généralistes et dans l'intégration plutôt que dans une ingénierie fine des combinaisons. Il faut toutefois relativiser : les résultats proviennent de benchmarks en simulation, et les écarts de quelques points ne disent rien du transfert au monde réel ni de la fiabilité exigée en production. Le texte ne livre pas non plus de temps de cycle ni de données de déploiement. Ce travail s'inscrit dans la montée des modèles du monde et des architectures vision-langage-action (VLA), où l'on cherche à exploiter les priors de la génération vidéo pour la manipulation. RoboCasa GR1 Tabletop, orienté humanoïde, et RoboTwin 2.0, centré sur la manipulation bimanuelle, servent de référence pour comparer ces approches. Les auteurs concluent que les recherches futures devraient prioriser des représentations généralistes plus fortes et des mécanismes d'intégration plus efficaces, la composition de caractéristiques restant une piste complémentaire.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Long-WAM : étendre le contexte des modèles monde-action
2arXiv cs.RO 

Long-WAM : étendre le contexte des modèles monde-action

Des chercheurs publient Long-WAM, un cadre modèle-système conçu pour étendre le contexte visuel des world-action models (WAM) causaux, ces architectures qui prédisent à la fois les futures images et les actions d'un robot. Le travail, déposé sur arXiv, repose sur un constat central : disposer d'un historique n'implique pas de s'en servir. Les historiques longs ne rapportent beaucoup que si le modèle vidéo de base a été préentraîné de façon autorégressive (AR). Les auteurs apprennent d'abord la prédiction causale sur des vidéos de robots et des vidéos égocentriques sans étiquettes d'action, puis préservent cette structure historique-futur lors de l'adaptation aux actions. Sur RoboCasa GR-1, passer de 0,0 à 19,2 secondes de contexte fait grimper le taux de succès de 63,3 % à 78,7 %. Une initialisation préentraînée de manière bidirectionnelle n'en tire aucun gain net. Long-WAM affiche aussi les meilleurs résultats parmi les méthodes comparées sur LIBERO-Long, RoboTwin 2.0 et DOMINO. L'intérêt tient à deux points. D'abord, le résultat contredit l'idée répandue qu'il suffit d'allonger la fenêtre de contexte pour obtenir de la mémoire utile : le mode de préentraînement vidéo pèse davantage que la longueur brute de l'historique. Ensuite, la contrainte temps réel est traitée de front. L'encodage des observations en flux continu, l'exécution asynchrone et l'accélération spécifique à chaque matériel permettent un déploiement sur RTX 5090, DGX Spark et Jetson AGX Thor, sans supprimer la prédiction du futur. Sur RTX 5090, chaque bloc d'actions, prédiction du latent vidéo futur comprise, demande 107,4 ms. Sur robots réels, Unitree G1 et YAM, le système gère des tâches dynamiques et à long horizon. Il atteint 95 % de réussite à l'empilement dynamique de gobelets, là où Pi0.5 et Fast-WAM échouent sur les 20 essais. Ces chiffres viennent des auteurs, sur un jeu de 20 essais et une tâche choisie par eux. Ils méritent donc une réplication indépendante avant d'être généralisés. Ce travail s'inscrit dans la montée des WAM, qui concurrencent les politiques vision-langage-action (VLA) comme Pi0.5 en exploitant la vidéo comme signal d'apprentissage dense. Fast-WAM, l'autre référence directe de l'article, cherchait déjà à rendre ces modèles assez rapides pour le contrôle. Long-WAM ajoute la mémoire à cette équation, avec des benchmarks surtout simulés, et le pilotage de robots d'Unitree et de YAM, plateformes accessibles aux laboratoires. Les auteurs indiquent que le modèle sert aussi d'exécuteur doté de mémoire, complémentaire d'une planification de plus haut niveau dans des tâches composites. Il s'agit d'une publication de recherche, sans produit ni déploiement industriel annoncé. La suite dépendra de la publication éventuelle du code et des poids, et de la tenue des résultats hors des tâches de démonstration.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
WAM-OPD : distillation on-policy pour les modèles d'action du monde
3arXiv cs.RO 

WAM-OPD : distillation on-policy pour les modèles d'action du monde

Des chercheurs publient WAM-OPD (arXiv:2608.22364v1), une méthode de post-entraînement pour les world action models (WAM), qui couplent prédiction vidéo du futur et génération d'actions robotiques. Une fois distillés pour accélérer l'inférence, ces modèles étudiants perdent des capacités et rencontrent des états mal couverts par les données hors ligne d'origine. WAM-OPD y répond par une distillation "on-policy" sans renforcement à récompense éparse : l'agent étudiant agit dans l'environnement, un enseignant figé annote ses historiques avec des cibles vidéo et action cohérentes, et la branche action s'entraîne sous son propre plan vidéo, comme au déploiement, via des adaptateurs légers et un régularisateur flow-matching. Sur le simulateur RoboTwin 2.0, le modèle Flash-WAM voit son taux de réussite passer de 0% à 58,3% sur HANDOVER MIC, et de 16,7% à 33,3% sur PUT OBJECT CABINET. Le résultat vise un compromis bien connu du secteur robotique : les modèles d'action pilotés par vidéo sont souvent trop lourds pour du contrôle temps réel, et leur compression classique dégrade la fiabilité. WAM-OPD montre qu'une supervision dense sur les trajectoires produites par l'étudiant en conditions réelles de déploiement peut restaurer une partie des compétences perdues, sans recourir à un apprentissage par renforcement coûteux. Pour les intégrateurs, c'est un signal à nuancer : les auteurs qualifient eux-mêmes leurs résultats de "preuve de capacité initiale", obtenue sur seulement deux tâches en simulation, loin d'une généralisation démontrée. Cette approche prolonge la lignée des modèles de monde vidéo appliqués à la robotique, où action et prédiction visuelle sont générées conjointement, une piste également suivie par des familles comme GR00T N2, Pi-0 ou Helix. Le défi reste constant : un enseignant volumineux doit être compressé pour tourner en boucle de contrôle rapide, au prix de compétences que la distillation classique ne restitue pas toujours. Seul le modèle ouvert Flash-WAM a été testé ici, sur le banc bimanuel RoboTwin 2.0, sans validation sur robot réel ni comparaison aux modèles commerciaux du marché. Les auteurs présentent ces résultats comme préliminaires et annoncent vouloir étendre l'évaluation avant toute conclusion sur la généralisation de la méthode.

RecherchePaper
1 source
DeltaWAM : modèles delta monde-action pour la manipulation bimanuelle
4arXiv cs.RO 

DeltaWAM : modèles delta monde-action pour la manipulation bimanuelle

Des chercheurs du AIGeeksGroup publient DeltaWAM (Delta World Action Models), une nouvelle architecture pour piloter des bras robotiques bimanuels via l'apprentissage vidéo, détaillée dans un article arXiv (2609.28811v1) diffusé fin septembre 2026, avec code et démonstrations disponibles sur GitHub. Les modèles World-Action (WAM) classiques transfèrent les connaissances visuelles et de mouvement de générateurs vidéo préentraînés vers le contrôle robotique, mais ils prédisent à chaque étape des images futures complètes, ce qui recalcule inutilement du contenu inchangé et ralentit la génération d'actions en temps réel. DeltaWAM sépare le flux en trois composantes, une ancre dense, un delta visuel épars et un flux d'actions, déclinées en trois architectures selon le partage de calcul et de représentation. Le système ajoute une Streaming Delta Memory (SDM) qui met à jour un contexte d'ancrage en cache à partir des seuls changements observés, évitant de repasser par le lourd module vidéo à chaque pas. Sur le benchmark RoboTwin, DeltaWAM avec SDM porte le taux de réussite moyen de 81,3% à 85,4% en conditions standard, et de 75,8% à 83,9% avec randomisation visuelle, par rapport à la référence Fast-WAM. Les trois architectures réduisent le coût de calcul à l'entraînement de 17,78 à 23,77%, tandis que la SDM abaisse la latence d'inférence de 36,57% et le calcul associé de 31,55%. Pour l'industrie robotique, ce travail cible un goulot d'étranglement concret: les modèles génératifs vidéo, puissants pour transférer des priors de mouvement, restent trop lourds pour du contrôle en quelques pas de temps, un frein direct pour des manipulations bimanuelles réactives en usine ou en logistique. En découplant la dynamique liée à l'action des variations d'apparence parasites, DeltaWAM répond à un doute récurrent sur les architectures VLA à grande échelle: leur capacité à généraliser sans reconstruire l'intégralité de la scène à chaque inférence. Les gains annoncés en conditions réelles restent toutefois évalués par les auteurs eux-mêmes, face à un nombre limité de politiques concurrentes, sans validation indépendante à ce stade. L'article s'inscrit dans la lignée des WAM apparus pour exploiter les générateurs vidéo comme source de priors physiques, avec Fast-WAM comme point de comparaison direct explicitement cité. Aucun acteur industriel ni équipe européenne n'est mentionné, le travail restant à ce stade une contribution académique avec code ouvert, sans annonce de déploiement matériel ni de partenariat commercial.

RechercheActu
1 source