RecherchearXiv cs.RO 9 novembre 2026

ActPrune : élagage de jetons visuels guidé par l'action pour des modèles vision-langage-action (VLA) efficaces

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

ActPrune, une méthode d'élagage de tokens visuels sans entraînement pour les modèles vision-langage-action (VLA), a été publiée sur arXiv (2611.08827). Elle vise un goulot d'étranglement connu: le coût d'inférence des VLA, qui limite la rapidité de réaction d'un robot en boucle fermée. Contrairement aux approches précédentes, qui estiment la redondance des tokens à partir des embeddings visuels ou de l'attention, donc après le passage de l'image entière dans l'encodeur visuel, ActPrune prend sa décision en amont de l'encodeur. Elle s'appuie pour cela sur l'action propre du robot: le « chunk » d'actions prédit au pas de contrôle précédent est déjà disponible avant l'encodage de la nouvelle observation, et il décrit le mouvement de l'effecteur et de la caméra entre deux observations. Les auteurs annoncent jusqu'à 1,61 fois d'accélération et 59,5 % de FLOPs en moins, avec une dégradation jugée négligeable du taux de succès. Les tests couvrent deux environnements de simulation (LIBERO et VLABench) et quatre tâches sur robot réel.

Le mécanisme traite les deux vues de caméra standard de façon asymétrique. Dans la vue tierce fixe, la méthode conserve les patchs situés le long de la trajectoire projetée de l'effecteur, ainsi que des « ancres sémantiques » qui préservent le contexte de la scène. Dans la vue poignet, elle élimine les patchs qui restent inchangés une fois compensé le mouvement de caméra induit par l'action. L'intérêt pratique tient à l'ordre des opérations: l'encodeur visuel est une part importante du calcul d'un VLA, et un élagage placé après lui n'en réduit pas le coût. En l'absence de réentraînement, la méthode peut en principe se brancher sur des politiques existantes. Elle reste toutefois dépendante de la qualité de l'action précédente et de la calibration géométrique des caméras. Les gains mesurés en FLOPs et en accélération ne disent rien, à ce stade, de la robustesse en environnement non structuré, et quatre tâches réelles constituent un échantillon restreint.

Ce travail s'inscrit dans une série de recherches sur la compression des VLA (élagage de tokens, mise en cache, distillation), motivée par la difficulté de faire tourner des modèles de plusieurs milliards de paramètres à la fréquence qu'exige un contrôle fluide, surtout sur du matériel embarqué. Il s'agit d'une prépublication académique: aucun produit, déploiement industriel ni modèle nommé (type Pi-0, GR00T ou Helix) n'est cité dans le résumé, et le code ou les modèles de base utilisés ne sont pas précisés. Les prochaines étapes naturelles seraient une validation sur des politiques VLA plus variées, des horizons de tâche plus longs et des plateformes embarquées, ainsi qu'une évaluation de la combinaison avec d'autres techniques d'accélération. Pour les intégrateurs, la valeur du résultat sera à confirmer par des mesures de latence de bout en bout sur matériel réel plutôt que par les seuls FLOPs.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

VLA-ACL : élagage de jetons visuels cohérent avec les actions pour des modèles vision-langage-action (VLA) efficaces

Des chercheurs publient sur arXiv VLA-ACL (Action Consistency Learning), une méthode d'élagage de tokens visuels pour les modèles Vision-Language-Action (VLA), dont le code est disponible sur GitHub. Le système apprend une politique d'élagage légère tout en laissant le modèle VLA de base entièrement gelé. L'entraînement vise à ce que les actions produites à partir d'un contexte visuel élagué restent cohérentes avec celles d'un modèle enseignant qui voit le contexte complet. Les actions de référence (ground truth) ne servent que de supervision auxiliaire. Les tests portent sur le benchmark de simulation LIBERO et sur des tâches de manipulation en conditions réelles. La méthode élimine jusqu'à 87,5 % des tokens visuels tout en gardant des performances jugées compétitives. Elle réduit le calcul jusqu'à 75 % et accélère l'inférence d'un facteur 1,5. Ces chiffres comptent pour le déploiement. Un VLA doit traiter de longues séquences de tokens à chaque pas de contrôle, et les patchs visuels dominent cette séquence. Cette charge limite le temps réel sur le matériel embarqué. Le gain d'inférence de 1,5x reste nettement inférieur à la réduction de calcul de 75 %. Cet écart suggère que les coûts hors visuel, comme le décodage des actions, plafonnent l'accélération réelle. Les résultats viennent de l'article seul, sans reproduction indépendante. La notion de « performance compétitive » n'est pas chiffrée dans le résumé, et on ignore sur quels modèles de base et quels robots les tests réels ont été faits. La méthode gèle le modèle de base, donc un intégrateur peut l'ajouter à un VLA existant sans le réentraîner. Elle illustre aussi un changement d'approche : choisir les tokens selon leur effet sur la commande finale plutôt que selon des scores d'attention. Les travaux antérieurs d'élagage pour VLA se répartissent en deux familles. La première regroupe des heuristiques sans entraînement, fondées sur les scores d'attention ou des seuils de mouvement, jugées indirectes par les auteurs. La seconde exige un réglage fin coûteux du modèle de base. VLA-ACL se place entre les deux : une supervision au niveau de l'action, sans toucher aux poids du VLA. Les auteurs affirment un meilleur compromis performance-efficacité que les méthodes d'élagage existantes pour VLA gelés. La suite dépendra de la généralisation à d'autres architectures (Pi-0, GR00T, Helix et leurs équivalents) et de tests sur plus de tâches réelles. Le code étant public, la communauté pourra vérifier ces résultats rapidement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

FastVLA : compression de jetons visuels adaptative, conditionnée par la tâche et par le temps, pour des modèles vision-langage-action (VLA) efficaces

Des chercheurs proposent FastVLA, un cadre de compression des tokens visuels pour les modèles Vision-Langage-Action (VLA), publié sur arXiv (2610.22146) avec son code sur GitHub. Il s'applique sans entraînement supplémentaire et se branche sur des modèles existants. À chaque pas de temps, FastVLA évalue l'importance de chaque token visuel grâce à l'attention entre l'instruction de tâche et l'image. Il fixe ensuite le taux de compression selon l'uniformité de la distribution de ces scores, mesurée par un indice inverse de Simpson calibré en ligne sur une fenêtre glissante. Les auteurs l'ont testé sur OpenVLA, OpenVLA-OFT et CogACT, dans les benchmarks de simulation LIBERO et SIMPLER, puis sur un robot physique Franka Research 3. En simulation, les FLOPs du backbone LLM baissent de 35 à 59 % et la latence d'action de 9 à 32 % (accélération de 1,09x à 1,46x), avec un taux de succès maintenu. Sur le robot réel, la latence de bout en bout diminue de 20 % (1,25x) pour un succès jugé comparable. L'intérêt tient au goulot d'étranglement que vise ce travail. Dans un VLA en boucle fermée, des images haute résolution, souvent multi-vues, sont converties en centaines de tokens à chaque pas. Ces tokens dominent le calcul du transformer et la latence, ce qui limite la fréquence de contrôle et le déploiement sur du matériel embarqué. Les méthodes génériques de compression par attention reposent sur une saillance visuelle indépendante de la tâche et sur un budget fixe. Les auteurs soutiennent que ces deux choix gaspillent du calcul ou éliminent des tokens critiques pour le contrôle. FastVLA répond en adaptant à la fois le critère (la tâche) et le budget (le moment). Un gain de 1,25x sur robot réel reste modeste, mais il s'obtient sans réentraînement, ce qui compte pour les intégrateurs qui ne veulent pas reprendre le fine-tuning. Les chiffres viennent des auteurs. Le test réel se limite à un seul bras, et l'article ne détaille pas ici le nombre de tâches ni d'essais. Les accélérations en simulation sont aussi très variables d'un modèle à l'autre. Ce travail s'inscrit dans une série de méthodes « plug-and-play » de compression, d'élagage et de réutilisation de tokens pour VLA, qui servent de références de comparaison. Les auteurs revendiquent un compromis efficacité-performance équivalent ou meilleur. OpenVLA, OpenVLA-OFT et CogACT sont des bases académiques courantes, bien plus légères que les modèles propriétaires de l'industrie. La transposition aux grands modèles des acteurs commerciaux, comme Pi-0, Helix ou GR00T, reste à démontrer. Il s'agit d'une publication de recherche et non d'un produit. La suite logique est la validation sur davantage de plateformes, de tâches longues et de contraintes embarquées. Le code étant publié, la reproduction indépendante devrait aller vite.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

V-VLAPS : planification guidée par valeur pour les modèles vision-langage-action (VLA)

Des chercheurs proposent V-VLAPS (Value-Guided Vision-Language-Action Planning and Search), une méthode qui augmente les modèles VLA (Vision-Language-Action) d'un signal de valeur appris pour améliorer la planification en manipulation robotique. Les VLA encodent perception visuelle, langage et commande motrice pour générer des actions, mais leur comportement purement réactif se dégrade hors distribution d'entraînement ou sur des tâches à horizon long. V-VLAPS ajoute une tête de valeur légère (value head), entraînée sur des trajectoires hors-ligne (offline rollouts), qui prédit les retours Monte Carlo et guide un MCTS (Monte Carlo Tree Search) vers les branches de plus haute valeur. Sur les cinq suites du benchmark LIBERO, V-VLAPS égale la baseline sans valeur au budget de recherche standard ; avec un budget élargi, il la dépasse dans toutes les suites, avec +6 points de pourcentage sur LIBERO-Object et +4 points sur LIBERO-10. L'apport central est de démontrer que les représentations internes des VLA encodent non seulement des informations sur l'échec d'une trajectoire (déjà documenté dans la littérature), mais peuvent aussi estimer la valeur pendant la planification. Cela ouvre une voie pragmatique pour les intégrateurs : renforcer des politiques VLA existantes sans réentraînement complet, par simple ajout d'une tête de valeur et d'un budget de recherche accru. L'analyse révèle toutefois une limite claire : la majorité des échecs durs sont des timeouts au niveau racine, là où les valeurs prédites restent peu différenciées, ce qui plafonne le gain observé et indique que le signal de valeur est encore insuffisamment discriminant en début de trajectoire. Ce travail (préprint arXiv, janvier 2026) s'inscrit dans une série de méthodes cherchant à coupler la puissance générative des VLA modernes (RT-2, OpenVLA, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) avec des mécanismes de planification structurée, face aux approches concurrentes par world models et diffusion planifiante. Les résultats sont obtenus uniquement en simulation sur LIBERO et ne sont pas encore validés sur robot réel, limite classique de ce type de contribution arxiv. La prochaine étape naturelle est une évaluation sim-to-real pour vérifier si le signal de valeur appris se transfère hors simulation, notamment sur des tâches à contacts complexes ou en environnement non structuré.

RechercheOpinion

1 source

4arXiv cs.RO

MambaAct : des experts d'action Mamba efficaces pour les modèles vision-langage-action (VLA) à flow matching

MambaAct est une architecture proposée dans un preprint arXiv (2610.22951) qui vise le principal goulot d'étranglement des modèles vision-langage-action (VLA) à flow-matching, comme π0.5 : le coût d'inférence. Dans ces modèles, l'expert d'action, un module transformer chargé de produire les commandes motrices, est évalué à chaque étape du débruitage itératif. Les auteurs conservent l'encodeur de préfixe vision-langage préentraîné de π0.5 et remplacent l'expert d'action par un module Mamba (modèle à espace d'états) compact, dix fois plus petit. Un « Context Compressor » léger condense les tokens du VLM en un signal de conditionnement unique, qui module chaque bloc Mamba et remplace les cross-attentions répétées au niveau des tokens. Les résultats annoncés : une latence de débruitage réduite de 64,8 % sur le benchmark LIBERO et de 58,8 % en déploiement réel, avec un gain moyen de 1,08 point de pourcentage de réussite sur LIBERO, mesuré sur trois seeds de fine-tuning indépendants. Les gains se maintiennent sur LIBERO-Plus et sur des tâches réelles. Le code et les poids sont publics sur GitHub. L'intérêt est d'abord pratique. Les VLA à flow-matching offrent de bonnes performances de manipulation généraliste, mais leur latence limite le contrôle temps réel, surtout sur du matériel embarqué à budget de calcul contraint. Réduire l'expert d'action d'un facteur dix sans perte de performance suggère qu'une grande partie de ses paramètres est redondante pour la tâche de modélisation d'actions, et que le vrai savoir sémantique réside dans le préfixe VLM. Pour un intégrateur ou un décideur industriel, cela ouvre la voie à des politiques plus rapides ou à des cadences de contrôle plus élevées sur des GPU modestes. Des précautions s'imposent toutefois : LIBERO est un benchmark de simulation relativement saturé, un gain de 1 point reste modeste, et l'article ne détaille pas ici la diversité ni le volume des tâches réelles. La réduction de latence ne porte aussi que sur le débruitage, pas sur la latence de bout en bout, où l'encodeur VLM garde un poids important. Ce travail s'inscrit dans la course à l'efficience des VLA, après π0 et π0.5 de Physical Intelligence, qui ont popularisé l'expert d'action à flow-matching, et face à d'autres pistes comme la distillation en peu d'étapes, la quantification ou les têtes d'action plus légères. L'usage de Mamba, déjà exploré en vision et en langage pour sa complexité linéaire, est ici transposé aux séquences d'actions bruitées. La suite logique serait une validation sur des plateformes variées, des séquences plus longues et des comparaisons directes avec d'autres méthodes d'accélération, ainsi qu'une mesure de la latence totale sur robot embarqué.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source