Distillation on-policy multi-enseignants pour les modèles vision-langage-action (VLA) à flux

Des chercheurs proposent un cadre de distillation « on-policy » à deux niveaux pour consolider, dans une seule politique, les compétences de plusieurs modèles vision-langage-action (VLA) spécialisés fondés sur le flow matching. Plusieurs spécialistes de domaine, gelés, supervisent conjointement un unique modèle élève. Après chaque mise à jour, l'élève interagit à nouveau avec l'environnement et génère de nouvelles trajectoires de flux d'actions. Les enseignants lui fournissent alors une supervision de vitesse (« velocity loss ») le long de ces trajectoires. L'initialisation se fait par fine-tuning supervisé (SFT) conjoint. Sur LIBERO-40, la méthode gagne 22,55 points de taux de succès absolu, 33,4 points sur les séquences de cinq instructions de CALVIN et 22,6 points sur Meta-World MT50. Face à deux références, la distillation on-policy sur la perte d'action et le SFT sur trajectoires de l'enseignant, l'avantage est de 6,4 à 9,5 points sur LIBERO-40, de 9,7 à 18,3 points sur CALVIN et de 3,2 à 4,2 points sur MT50. Les gains augmentent avec la longueur des séquences CALVIN.

L'enjeu est très concret pour quiconque déploie des robots : les politiques VLA spécialisées sont aujourd'hui plus faciles à entraîner qu'à fusionner. Une flotte qui exécute des tâches variées doit soit embarquer plusieurs modèles, soit accepter un modèle généraliste plus faible. Les résultats suggèrent qu'on peut conserver l'essentiel des compétences de chaque spécialiste dans un seul modèle déployé. Cela réduit les coûts de maintenance et de mémoire. L'avantage croissant sur les longues séquences CALVIN est le signal le plus intéressant, car l'accumulation d'erreurs y est le principal point faible des politiques enchaînant plusieurs étapes. Une réserve s'impose : tout est évalué en simulation sur des benchmarks académiques, sans validation sur robot réel. Les écarts face aux références sont parfois modestes, surtout sur Meta-World. Enfin, l'amplitude des gains dépend du point de départ, le SFT conjoint, dont le niveau n'est pas détaillé ici.

Ce travail s'inscrit dans la montée des VLA à base de flux ou de diffusion, comme Pi-0 et ses successeurs, qui génèrent les actions par intégration d'un champ de vitesse. Le problème de décalage de distribution entre les données d'entraînement et celles que le modèle rencontre en déploiement est connu en apprentissage par imitation. L'idée d'étendre la correction à l'intérieur même de la génération d'actions, et pas seulement aux observations, est la contribution propre de cette publication (arXiv, version 1). Les alternatives existantes sont l'entraînement multitâche direct, la fusion de poids ou l'apprentissage par renforcement, avec leurs coûts respectifs. Les prochaines étapes naturelles sont le passage à des modèles de plus grande échelle, des tests sur robots physiques et une comparaison avec des modèles généralistes entraînés de bout en bout.