RecherchearXiv cs.RO 16 octobre 2026

FastVLA : compression de jetons visuels adaptative, conditionnée par la tâche et par le temps, pour des modèles vision-langage-action (VLA) efficaces

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent FastVLA, un cadre de compression des tokens visuels pour les modèles Vision-Langage-Action (VLA), publié sur arXiv (2610.22146) avec son code sur GitHub. Il s'applique sans entraînement supplémentaire et se branche sur des modèles existants. À chaque pas de temps, FastVLA évalue l'importance de chaque token visuel grâce à l'attention entre l'instruction de tâche et l'image. Il fixe ensuite le taux de compression selon l'uniformité de la distribution de ces scores, mesurée par un indice inverse de Simpson calibré en ligne sur une fenêtre glissante. Les auteurs l'ont testé sur OpenVLA, OpenVLA-OFT et CogACT, dans les benchmarks de simulation LIBERO et SIMPLER, puis sur un robot physique Franka Research 3. En simulation, les FLOPs du backbone LLM baissent de 35 à 59 % et la latence d'action de 9 à 32 % (accélération de 1,09x à 1,46x), avec un taux de succès maintenu. Sur le robot réel, la latence de bout en bout diminue de 20 % (1,25x) pour un succès jugé comparable.

L'intérêt tient au goulot d'étranglement que vise ce travail. Dans un VLA en boucle fermée, des images haute résolution, souvent multi-vues, sont converties en centaines de tokens à chaque pas. Ces tokens dominent le calcul du transformer et la latence, ce qui limite la fréquence de contrôle et le déploiement sur du matériel embarqué. Les méthodes génériques de compression par attention reposent sur une saillance visuelle indépendante de la tâche et sur un budget fixe. Les auteurs soutiennent que ces deux choix gaspillent du calcul ou éliminent des tokens critiques pour le contrôle. FastVLA répond en adaptant à la fois le critère (la tâche) et le budget (le moment). Un gain de 1,25x sur robot réel reste modeste, mais il s'obtient sans réentraînement, ce qui compte pour les intégrateurs qui ne veulent pas reprendre le fine-tuning. Les chiffres viennent des auteurs. Le test réel se limite à un seul bras, et l'article ne détaille pas ici le nombre de tâches ni d'essais. Les accélérations en simulation sont aussi très variables d'un modèle à l'autre.

Ce travail s'inscrit dans une série de méthodes « plug-and-play » de compression, d'élagage et de réutilisation de tokens pour VLA, qui servent de références de comparaison. Les auteurs revendiquent un compromis efficacité-performance équivalent ou meilleur. OpenVLA, OpenVLA-OFT et CogACT sont des bases académiques courantes, bien plus légères que les modèles propriétaires de l'industrie. La transposition aux grands modèles des acteurs commerciaux, comme Pi-0, Helix ou GR00T, reste à démontrer. Il s'agit d'une publication de recherche et non d'un produit. La suite logique est la validation sur davantage de plateformes, de tâches longues et de contraintes embarquées. Le code étant publié, la reproduction indépendante devrait aller vite.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

VLA-ACL : élagage de jetons visuels cohérent avec les actions pour des modèles vision-langage-action (VLA) efficaces

Des chercheurs publient sur arXiv VLA-ACL (Action Consistency Learning), une méthode d'élagage de tokens visuels pour les modèles Vision-Language-Action (VLA), dont le code est disponible sur GitHub. Le système apprend une politique d'élagage légère tout en laissant le modèle VLA de base entièrement gelé. L'entraînement vise à ce que les actions produites à partir d'un contexte visuel élagué restent cohérentes avec celles d'un modèle enseignant qui voit le contexte complet. Les actions de référence (ground truth) ne servent que de supervision auxiliaire. Les tests portent sur le benchmark de simulation LIBERO et sur des tâches de manipulation en conditions réelles. La méthode élimine jusqu'à 87,5 % des tokens visuels tout en gardant des performances jugées compétitives. Elle réduit le calcul jusqu'à 75 % et accélère l'inférence d'un facteur 1,5. Ces chiffres comptent pour le déploiement. Un VLA doit traiter de longues séquences de tokens à chaque pas de contrôle, et les patchs visuels dominent cette séquence. Cette charge limite le temps réel sur le matériel embarqué. Le gain d'inférence de 1,5x reste nettement inférieur à la réduction de calcul de 75 %. Cet écart suggère que les coûts hors visuel, comme le décodage des actions, plafonnent l'accélération réelle. Les résultats viennent de l'article seul, sans reproduction indépendante. La notion de « performance compétitive » n'est pas chiffrée dans le résumé, et on ignore sur quels modèles de base et quels robots les tests réels ont été faits. La méthode gèle le modèle de base, donc un intégrateur peut l'ajouter à un VLA existant sans le réentraîner. Elle illustre aussi un changement d'approche : choisir les tokens selon leur effet sur la commande finale plutôt que selon des scores d'attention. Les travaux antérieurs d'élagage pour VLA se répartissent en deux familles. La première regroupe des heuristiques sans entraînement, fondées sur les scores d'attention ou des seuils de mouvement, jugées indirectes par les auteurs. La seconde exige un réglage fin coûteux du modèle de base. VLA-ACL se place entre les deux : une supervision au niveau de l'action, sans toucher aux poids du VLA. Les auteurs affirment un meilleur compromis performance-efficacité que les méthodes d'élagage existantes pour VLA gelés. La suite dépendra de la généralisation à d'autres architectures (Pi-0, GR00T, Helix et leurs équivalents) et de tests sur plus de tâches réelles. Le code étant public, la communauté pourra vérifier ces résultats rapidement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Apprendre à accélérer les modèles vision-langage-action grâce à la mise en cache adaptative de tokens visuels

Des chercheurs ont publié sur arXiv une version révisée d'un article intitulé "Learning to Accelerate Vision-Language-Action Models through Adaptive Visual Token Caching" (identifiant arXiv:2602.00686v2), qui reformule l'accélération de l'inférence des modèles Vision-Language-Action (VLA) en robotique manipulatrice comme un problème d'apprentissage de politique plutôt qu'une règle fixe. Le système repose sur deux modules légers entraînés conjointement avec le modèle: un Cached Token Selector, qui choisit quels tokens visuels réutiliser d'une étape à l'autre, et un Cache Ratio Predictor, qui détermine la proportion de tokens à mettre en cache selon l'évolution de la scène. Ces décisions étant discrètes par nature, les auteurs les rendent différentiables pour permettre un entraînement de bout en bout par descente de gradient. Évaluée sur les bancs d'essai LIBERO et SIMPLER ainsi que sur un robot réel, la méthode atteint une accélération de 1,76x du temps d'inférence en conditions réelles, tout en améliorant le taux de réussite moyen de 1,9 point sur LIBERO (de 75,0% à 76,9%) et de 5,0 points sur les tâches en environnement physique, devançant les méthodes de référence existantes. L'enjeu pour les intégrateurs et concepteurs de systèmes robotiques tient au goulot d'étranglement bien connu des modèles VLA: leur coût de calcul freine le déploiement embarqué, notamment sur des contrôleurs à ressources limitées. Les approches actuelles de mise en cache ou d'élagage de tokens sont généralement statiques et fondées sur des heuristiques, donc mal adaptées aux changements dynamiques de scène. Montrer qu'une politique apprise peut à la fois accélérer l'inférence et améliorer légèrement la précision, plutôt que la dégrader comme c'est souvent le cas avec les techniques de compression, va à l'encontre de l'hypothèse répandue d'un compromis strict entre vitesse et fiabilité pour les architectures VLA. Ce travail s'inscrit dans la lignée des recherches sur l'efficacité des modèles VLA à grande échelle, un axe jugé aussi critique que la généralisation elle-même pour leur adoption industrielle. Les auteurs comparent explicitement leur approche aux méthodes existantes de cache par règles, sans toutefois nommer de modèles VLA commerciaux précis dans le résumé fourni. Il s'agit à ce stade d'une contribution académique publiée en preprint, testée en laboratoire et sur un nombre limité de tâches réelles, et non d'un produit ou d'un déploiement industriel; les suites annoncées concernent l'extension de ces politiques d'allocation de calcul apprises à d'autres familles de modèles VLA.

RecherchePaper

1 source

3arXiv cs.RO

ChunkVLA-AM : découpage d'actions en parallèle pour le contrôle de robots par modèle vision-langage-action (VLA) en fabrication additive

Des chercheurs publient sur arXiv (2610.01856) ChunkVLA-AM, un cadre de déploiement du modèle vision-langage-action OpenVLA-OFT sur un bras FAIRINO FR3 installé dans une cellule de fabrication additive fixe. Une chaîne de données convertit des démonstrations réelles filmées en monoculaire en jeux de données TFDS/RLDS compatibles OpenVLA, afin d'adapter le modèle à la morphologie du FR3. À l'exécution, chaque requête d'inférence prédit un « chunk » de huit actions à 7 dimensions. Le robot exécute ce bloc en boucle ouverte, puis capture une nouvelle observation, ce qui crée un retour en boucle fermée entre les blocs. L'architecture sépare cloud et edge : le client FR3 envoie ses observations à un serveur d'inférence distant via une interface FastAPI. Sur 42 essais physiques de transfert d'objet d'un point A à un point B, répartis à égalité entre cibles rouges et bleues, le système réussit 39 fois, soit 92,9 %. Les trois échecs surviennent tous au placement final : le contrôle insuffisant de la hauteur de lâcher fait basculer l'objet. Un balayage d'éclairage situe la plage de luminance à faible erreur entre 85 et 125 sur une échelle de 0 à 255, l'erreur spatiale moyenne la plus basse étant obtenue à 95. L'intérêt tient moins au score qu'à la méthode : il s'agit d'un exemple documenté de VLA ouvert adapté à un bras peu courant, sans recours à une plateforme propriétaire. Le chunking à huit pas limite la fréquence d'inférence nécessaire et rend viable une inférence déportée, donc des postes de travail légers. La sensibilité à la luminosité mérite l'attention des intégrateurs. La plage utile, qui représente environ 16 % de l'échelle, signifie que la robustesse aux variations d'environnement reste un point faible, alors que les ateliers de fabrication additive ont des éclairages variables. Il faut aussi relativiser le chiffre : 42 essais, une tâche unique de pick-and-place, une cellule fixe et deux couleurs de cible. Cela ne prouve ni généralisation ni cadence industrielle, et aucun temps de cycle n'est donné dans le résumé. L'intervalle de confiance sur 39 réussites sur 42 reste large. Les échecs au lâcher indiquent que la précision fine sur l'axe vertical est un verrou, probablement lié à la caméra monoculaire sans information de profondeur explicite. Ce travail s'inscrit dans la lignée d'OpenVLA, puis de la variante OFT (optimized fine-tuning), qui introduit le chunking parallèle d'actions pour accélérer l'inférence. Il se place en aval de modèles comparables comme Pi-0 ou GR00T, plus lourds et visant des morphologies multiples. Le FR3 de FAIRINO, un cobot d'origine chinoise, est un choix économique face aux bras Franka ou Universal Robots plus fréquents dans la recherche. Le résumé n'annonce ni pilote industriel ni déploiement en production : il s'agit d'un prototype de laboratoire en préprint, non évalué par les pairs. Les suites logiques seraient un contrôle de hauteur de lâcher amélioré, une capture en profondeur et des tests sur des tâches de manipulation propres à la fabrication additive, comme le retrait de pièces du plateau.

RecherchePaper

1 source

4arXiv cs.RO

Récupération hiérarchique de compétences pour l'adaptation efficiente des modèles vision-langage-action

Des chercheurs présentent Hierarchical Skill Retrieval (HSR), un framework de récupération de démonstrations pour adapter plus efficacement les modèles Vision-Language-Action (VLA) à de nouvelles tâches de manipulation robotique avec peu de données spécifiques. Plutôt que de chercher des correspondances de tâches complètes, rares dans les jeux de données existants, HSR décompose une tâche cible en séquences de compétences candidates, évalue chaque plan selon sa plausibilité sémantique et la fiabilité des compétences estimée à partir du jeu de données préalable, puis combine récupération de langage au niveau sous-tâche et reclassement par caractéristiques comportementales pour sélectionner des démonstrations pertinentes et compatibles. La politique est ensuite adaptée via un pipeline en deux étapes séparant acquisition générale de compétences et finetuning spécifique à la tâche. Sur le benchmark LIBERO et sur plusieurs tâches de manipulation en conditions réelles, HSR améliore le taux de succès moyen de 10,3% et 21,3% respectivement par rapport à la meilleure méthode de référence. Vidéos et code sont disponibles sur le site du projet. Ce travail s'attaque à un problème très concret pour l'industrie robotique : les modèles VLA préentraînés sur de vastes jeux de données de démonstrations perdent en performance dès qu'on les confronte à des tâches nouvelles avec peu d'exemples, un frein majeur au déploiement rapide chez les intégrateurs. En structurant la récupération autour de compétences réutilisables plutôt que de tâches entières, HSR propose une piste pour réduire le coût de collecte de données lors du transfert vers de nouveaux environnements ou de nouvelles chaînes de production, un enjeu central pour quiconque cherche à industrialiser des bras robotiques ou des humanoïdes au-delà des démonstrations en laboratoire. Le gain plus marqué en conditions réelles (21,3%) qu'en simulation (10,3%) suggère que l'approche hiérarchique compense particulièrement bien le bruit et la variabilité du monde physique, un point souvent négligé par les méthodes de récupération fondées sur la seule similarité visuelle ou l'appariement de langage au niveau tâche. HSR s'inscrit dans la lignée des travaux récents sur l'adaptation efficace des modèles VLA de type Pi-0 ou GR00T, où la question centrale reste de savoir comment tirer parti de grands jeux de données hétérogènes sans réentraînement coûteux pour chaque nouvelle tâche. Les auteurs positionnent leur méthode par rapport aux approches de récupération existantes basées sur la similarité visuelle, les représentations état-action ou l'appariement de langage au niveau tâche, qu'ils jugent insuffisantes face à la structure hiérarchique des tâches de manipulation à long horizon. Le code et les vidéos de démonstration étant publiés en accès libre, la validation par la communauté sur d'autres benchmarks et plateformes robotiques déterminera si ces gains se généralisent au-delà de LIBERO et des tâches réelles testées par les auteurs.

RechercheOpinion

1 source