CLAP : adaptation directe de VLM à VLA par ancrage langage-action
Des chercheurs publient sur arXiv (2607.08974v1) un nouveau modèle nommé CLAP, pour Causal Language-Action Prediction, une méthode qui convertit directement un modèle vision-langage (VLM) pré-entraîné en modèle vision-langage-action (VLA) sans modifier son architecture. Le problème identifié est celui du décalage de distribution en sortie : quand un VLA prédit des actions robotiques sous forme de simples séquences de tokens numériques, la génération s'éloigne de la distribution de langage naturel sur laquelle le VLM a été entraîné, ce qui dégrade les capacités sémantiques qu'on cherchait justement à préserver. CLAP résout ce problème en faisant précéder chaque séquence d'action numérique d'une description en langage naturel du geste à accomplir, conditionnant ainsi la prédiction précise des tokens d'action sur un plan verbalisé. Avec un simple fine-tuning d'une seule époque, la version 2 milliards de paramètres atteint 90,8% sur le benchmark LIBERO, soit 14,9 points de plus que VLA-0, et améliore la robustesse sur LIBERO-PRO face aux perturbations de langage, d'objets et de position spatiale. Les auteurs annoncent la publication en poids ouverts d'une famille de modèles à 0,8, 2 et 4 milliards de paramètres, issus de la même lignée de VLM.
L'intérêt de ce travail est avant tout méthodologique plutôt qu'industriel : il permet d'isoler ce que le VLM pré-entraîné apporte réellement au contrôle robotique, alors que les post-entraînements massifs sur données robot et les modifications architecturales tendent habituellement à brouiller cette contribution. Pour les laboratoires travaillant sur des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, cette approche offre une voie plus transparente pour comprendre comment les capacités sémantiques d'un VLM se transfèrent à l'échelle vers le contrôle d'action, sans repartir d'une architecture bricolée sur mesure.
CLAP s'inscrit dans un courant de recherche visant à limiter les changements architecturaux entre VLM et VLA, contrairement aux approches type OpenVLA qui modifient plus lourdement le squelette du modèle. Il s'agit ici d'une publication de recherche en preprint, non d'un produit commercial ni d'un déploiement robotique réel : aucun essai sur robot physique n'est mentionné dans l'abstract, seule une évaluation en simulation via LIBERO. La suite annoncée est la mise à disposition en open source des trois tailles de modèles, permettant à la communauté de reproduire et d'approfondir cette analyse du transfert de capacités du VLM vers le VLA.
