Comment les a priori de représentation façonnent la généralisation dans les modèles d'action du monde

Une étude publiée sur arXiv (préprint, v1, non évalué par des pairs) s'intéresse aux « world action models » (WAM), des politiques robotiques construites sur un modèle génératif d'images ou de vidéo qui sert de colonne vertébrale, puis entraînées à produire des actions. Les auteurs constatent que, selon le backbone choisi, la capacité de généralisation d'un WAM varie fortement. Pour l'expliquer, ils examinent la géométrie des représentations héritée du backbone et la façon dont l'entraînement de la politique la réorganise. Ils introduisent une mesure, l'« orthogonalité aux nuisances », qui évalue dans quelle mesure les variations visuelles hors de la distribution d'entraînement (fond, éclairage, apparence) sont séparées des features utiles. Sur plusieurs backbones image et vidéo, une orthogonalité élevée avant l'entraînement va de pair avec une meilleure robustesse après entraînement. Les WAM robustes montrent aussi une « suppression des nuisances » : le déplacement de leurs features sous variation visuelle est atténué et la génération d'actions reste stable. Le résumé ne donne ni chiffres de performance, ni liste de modèles, ni tâches robotiques précises, et ne mentionne aucun test sur robot réel.

L'intérêt pratique est de pouvoir prédire, avant le coût d'un entraînement complet de politique, quel modèle de monde généralisera le mieux. Pour les équipes qui choisissent un backbone vidéo, c'est un critère de présélection potentiel, à valider sur des benchmarks plus larges. Le travail rappelle aussi que l'écart entre démonstration et déploiement vient souvent de la fragilité face aux changements visuels de l'environnement. Il suggère que cette robustesse dépend en partie du prétraining génératif, et pas seulement de la quantité de données robotiques. La portée reste toutefois limitée tant que l'on ignore les protocoles, les tâches testées et la taille des effets mesurés.

Le contexte est celui d'une course entre deux approches : les modèles vision-langage-action (VLA), adaptés de modèles multimodaux, et les WAM, qui s'appuient sur des modèles génératifs de monde, comme ceux développés par Nvidia ou par divers laboratoires académiques. Les comparaisons entre ces familles restent difficiles, faute de protocoles communs. La suite logique serait de confronter cette métrique à des politiques déployées sur matériel physique, y compris dans des environnements industriels variables, ce que ce préprint n'établit pas.