AC-VLA : exécution robuste d'actions hors distribution par apprentissage compositionnel

Des chercheurs présentent AC-VLA (Action Compositional Vision-Language-Action), un framework destiné à corriger les lacunes des modèles VLA lorsqu'ils doivent recombiner des sous-tâches déjà apprises dans des configurations inédites. L'équipe identifie deux défauts qui se renforcent mutuellement : le "trajectory overfitting", où le modèle mémorise des trajectoires globales plutôt que la sémantique des sous-compétences, et le "perceptual shortcut", où les tokens d'action s'appuient excessivement sur les textures visibles par la caméra poignet au détriment d'un ancrage spatial global. AC-VLA combine deux briques indépendantes de l'architecture : un module d'apprentissage compositionnel, qui utilise un LLM pour décomposer les instructions et un aligneur de trajectoires proprioceptives afin de générer une supervision dense par sous-tâche, entraîné en mélange avec des démonstrations complètes ; et une stratégie de masquage asymétrique conditionné à l'état, qui coupe les entrées de la caméra poignet pendant les phases de préhension fermée pour forcer le modèle à s'appuyer sur une vision globale. Implémenté sur le modèle π0.5 et testé sur les benchmarks LIBERO et LIBERO-OOD, AC-VLA obtient environ 28 points de pourcentage de gain absolu sur les tâches compositionnelles hors distribution, sans dégrader les performances sur les tâches classiques.

Ce résultat touche un point sensible du secteur robotique : la capacité réelle des modèles VLA à généraliser au-delà de ce qu'ils ont vu à l'entraînement, plutôt qu'à simplement reproduire des démonstrations mémorisées. C'est précisément l'écart entre démonstration scénarisée et robustesse en conditions réelles que pointent régulièrement les critiques adressées aux vidéos promotionnelles de humanoïdes comme Figure ou Optimus. Un gain de 28 points sur des scénarios recombinés, sans architecture spécifique ni perte en distribution, suggère qu'une partie du problème de généralisation compositionnelle peut se résoudre par la donnée et la supervision plutôt que par des modèles plus gros.

AC-VLA se positionne comme une méthode "plug-and-play", compatible avec n'importe quel backbone VLA existant, dans la lignée des travaux récents comme π0, GR00T N2 ou Helix qui cherchent à industrialiser l'apprentissage par imitation à grande échelle. Le choix de π0.5 comme base d'évaluation ancre directement la contribution dans l'écosystème Physical Intelligence. Les auteurs ne mentionnent pas de déploiement matériel réel ni de calendrier de transfert vers des robots physiques : à ce stade, les résultats restent circonscrits aux benchmarks de simulation LIBERO.