RecherchearXiv cs.RO 27 août 2026

Apprendre à accélérer les modèles vision-langage-action grâce à la mise en cache adaptative de tokens visuels

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv une version révisée d'un article intitulé "Learning to Accelerate Vision-Language-Action Models through Adaptive Visual Token Caching" (identifiant arXiv:2602.00686v2), qui reformule l'accélération de l'inférence des modèles Vision-Language-Action (VLA) en robotique manipulatrice comme un problème d'apprentissage de politique plutôt qu'une règle fixe. Le système repose sur deux modules légers entraînés conjointement avec le modèle: un Cached Token Selector, qui choisit quels tokens visuels réutiliser d'une étape à l'autre, et un Cache Ratio Predictor, qui détermine la proportion de tokens à mettre en cache selon l'évolution de la scène. Ces décisions étant discrètes par nature, les auteurs les rendent différentiables pour permettre un entraînement de bout en bout par descente de gradient. Évaluée sur les bancs d'essai LIBERO et SIMPLER ainsi que sur un robot réel, la méthode atteint une accélération de 1,76x du temps d'inférence en conditions réelles, tout en améliorant le taux de réussite moyen de 1,9 point sur LIBERO (de 75,0% à 76,9%) et de 5,0 points sur les tâches en environnement physique, devançant les méthodes de référence existantes.

L'enjeu pour les intégrateurs et concepteurs de systèmes robotiques tient au goulot d'étranglement bien connu des modèles VLA: leur coût de calcul freine le déploiement embarqué, notamment sur des contrôleurs à ressources limitées. Les approches actuelles de mise en cache ou d'élagage de tokens sont généralement statiques et fondées sur des heuristiques, donc mal adaptées aux changements dynamiques de scène. Montrer qu'une politique apprise peut à la fois accélérer l'inférence et améliorer légèrement la précision, plutôt que la dégrader comme c'est souvent le cas avec les techniques de compression, va à l'encontre de l'hypothèse répandue d'un compromis strict entre vitesse et fiabilité pour les architectures VLA.

Ce travail s'inscrit dans la lignée des recherches sur l'efficacité des modèles VLA à grande échelle, un axe jugé aussi critique que la généralisation elle-même pour leur adoption industrielle. Les auteurs comparent explicitement leur approche aux méthodes existantes de cache par règles, sans toutefois nommer de modèles VLA commerciaux précis dans le résumé fourni. Il s'agit à ce stade d'une contribution académique publiée en preprint, testée en laboratoire et sur un nombre limité de tâches réelles, et non d'un produit ou d'un déploiement industriel; les suites annoncées concernent l'extension de ces politiques d'allocation de calcul apprises à d'autres familles de modèles VLA.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

N₀-VTLA : passage à l'échelle du modèle vision-tactile-langage-action grâce à des tokens tactiles latents

Une équipe de recherche présente N0-VTLA, un modèle fondation vision-tactile-langage-action (VTLA) conçu pour la manipulation fine en contact avec des objets, combinant perception tactile et contrôle par retour tactile. Décrit dans un article publié sur arXiv (2607.23782), le système repose sur trois étapes d'entraînement : un pré-entraînement visuo-tactile sur NeoData, un vaste jeu de données robotiques propriétaire combinant vision et toucher, une intégration progressive d'un canal tactile dédié, puis une amélioration de politique hors ligne baptisée ALTER. Les auteurs revendiquent le premier modèle VTLA pré-entraîné sur des données tactiles à cette échelle. Sur les neuf tâches du benchmark réel NeoReal, N0-VTLA l'emporte face à toutes les méthodes concurrentes testées. Sur une suite de vingt tâches en simulation, il atteint 63,8% de réussite moyenne, contre 44,0% pour la meilleure référence. Les politiques entraînées avec ALTER atteignent 75 à 95% de réussite sur trois tâches réelles à horizon long. Ces résultats ciblent un point de friction connu de la robotique manipulatrice : les modèles vision-langage-action actuels gèrent mal les tâches nécessitant un contact fin et continu, comme la manipulation d'objets déformables, faute d'un signal tactile correctement intégré. En démontrant qu'un canal tactile prédictif, distillé à partir de priors appris à grande échelle, améliore significativement la réussite sur des tâches de préhension délicate, l'étude apporte un argument concret pour l'intégration systématique du toucher dans les futures architectures VLA, un sujet jusqu'ici moins mature que la seule perception visuelle. La méthode ALTER, qui transforme des comparaisons de progression et d'événements de trajectoire en étiquettes d'avantage binaires, offre aussi une piste pour exploiter des corpus de déploiement déjà collectés sans reconstruire un pipeline de reward complexe. Le travail s'inscrit dans la vague récente de modèles VLA génériques (Pi-0, GR00T N2, Helix) qui cherchent à généraliser la manipulation robotique au-delà de tâches scriptées, mais reste à ce stade une contribution académique évaluée sur des benchmarks internes aux auteurs plutôt qu'un produit ou un déploiement industriel documenté. Aucune date de disponibilité, aucun partenariat commercial ni acteur français ou européen n'est mentionné dans l'article ; les prochaines étapes annoncées concernent l'extension du jeu de données NeoData et l'application d'ALTER à d'autres familles de tâches de manipulation contact-riches.

RechercheActu

1 source

2arXiv cs.RO

τ : apprendre des modèles vision-langage-action augmentés par le toucher à partir d'une supervision visuelle future

Un article publié sur arXiv (référence 2607.24485v1, catégorie "new") présente τ (tau), un framework qui enrichit les modèles Vision-Language-Action (VLA) avec une représentation tactile spatio-temporelle conditionnée par l'action. La méthode s'inspire du JEPA (Joint-Embedding Predictive Architecture) : elle apprend cette représentation en prédisant les futures observations visuelles à partir du signal tactile, puis fusionne cette information avec les caractéristiques vision-langage pour générer les actions du robot. Cette supervision opère uniquement dans l'espace latent et pendant l'entraînement, sans surcoût au moment du déploiement. Les auteurs publient également TacAura, un jeu de données synchronisant vision, proprioception et signaux tactiles à base de capteurs visuels, collecté sur quatre tâches de manipulation impliquant des contacts riches. L'enjeu est la sous-exploitation du toucher dans les modèles VLA actuels, qui reposent majoritairement sur la vision et le langage, ou au mieux sur une détection binaire de contact ou des séquences de torseurs 6D, insuffisantes pour exploiter des signaux tactiles haute dimension. Le papier s'attaque frontalement au problème de rareté des données : les démonstrations spécifiques à une tâche sont limitées, tandis qu'un pré-entraînement tactile à grande échelle reste coûteux. En montrant qu'une supervision auto-supervisée de type JEPA permet d'extraire une représentation tactile exploitable avec peu de données, l'étude touche à un débat central du secteur, celui de l'efficacité des données pour des tâches de manipulation fine (insertion, préhension d'objets déformables) où la seule vision atteint ses limites, un enjeu direct pour les intégrateurs industriels visant l'assemblage de précision. Ce travail s'inscrit dans la lignée des modèles VLA généralistes (Pi-0, GR00T N2, Helix) qui combinent perception et langage pour piloter des robots, mais qui ont historiquement négligé le tactile faute de capteurs standardisés et à cause du coût de collecte. Les auteurs comparent τ à des approches existantes centrées sur les états de contact instantanés, et démontrent une meilleure généralisation à des objets et scènes inédits. Il s'agit à ce stade d'un travail de recherche académique, sans annonce de déploiement industriel ni de partenariat commercial.

RecherchePaper

1 source

3arXiv cs.RO

Mise en cache adaptative par blocs pour accélérer les politiques de diffusion

Une équipe de chercheurs a publié sur arXiv (2506.13456) BAC, pour Block-wise Adaptive Caching, une méthode d'accélération de l'inférence pour Diffusion Policy. Le principe : mettre en cache les features d'action intermédiaires générées lors des étapes répétitives de débruitage (denoising), puis les réutiliser sélectivement selon un schéma adaptatif au niveau de chaque bloc du transformeur. Résultat annoncé : jusqu'à 3x de speedup à l'inférence, sans dégradation des performances en génération d'action. BAC est training-free et compatible avec les architectures Diffusion Policy à base de transformeur ainsi qu'avec les modèles vision-language-action (VLA). Les expériences couvrent plusieurs benchmarks robotiques standards, sans déploiement matériel réel annoncé dans ce papier. L'enjeu est direct pour le déploiement industriel : Diffusion Policy est l'une des approches les plus solides pour le contrôle visuomoteur de robots manipulateurs, mais son coût computationnel élevé la rend impraticable en contrôle temps-réel embarqué. Un facteur 3x sans re-training représente un gain opérationnel concret, il suffit d'intégrer BAC sur un modèle existant déjà entraîné. Deux mécanismes y contribuent : un Adaptive Caching Scheduler qui identifie les pas de temps optimaux pour rafraîchir le cache en maximisant la similarité globale des features, et un Bubbling Union Algorithm qui corrige la propagation d'erreurs entre blocs FFN (Feed-Forward Network), principale limite des approches naïves de caching. Diffusion Policy, introduite par Chi et al. en 2023, s'est imposée comme référence pour la manipulation précise, mais son inférence multi-step la pénalise face aux politiques autorégressives ou MLP sur les contraintes de latence. Les techniques d'accélération des modèles de diffusion conçues pour la génération d'images (DDIM, DeepCache) ne se transfèrent pas directement à la robotique en raison de divergences architecturales et de la nature séquentielle des données d'action, c'est précisément le gap que BAC prétend combler. La méthode est compatible avec les VLA récents comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), ce qui lui confère un périmètre d'application large sur l'écosystème actuel. La validation reste cependant limitée aux benchmarks simulés ; une confirmation sur hardware réel en conditions d'inférence embarquée sera nécessaire pour évaluer l'impact opérationnel réel.

RecherchePaper

1 source

4arXiv cs.RO

Modélisation du seuil de différence perceptible pour la compression de tokens dans les modèles vision-langage-action

Des chercheurs publient sur arXiv (2608.21247, catégorie cross-list, 24 août 2026) une méthode baptisée Action-JND pour la compression de tokens dans les modèles vision-langage-action (VLA). Le principe consiste à adapter le concept de "just noticeable différence" (JND), issu de la caractérisation de la tolérance du système visuel humain aux signaux, au contrôle robotique en boucle fermée : un token ne doit être compressé que si sa modification n'entraîne pas de déviation d'action au-delà d'une marge tolérée par la politique. Les auteurs développent un estimateur JND léger, calculé token par token dans l'espace de features visuelles profondes, qui prédit la perturbation maximale admissible sans dégrader la réponse du modèle. Ce score de tolérance d'action sert ensuite de critère plug-and-play pour prioriser les tokens à compresser dans des techniques existantes comme la réutilisation de KV-cache périmé ("stale-KV reuse") ou l'élagage de tokens ("token pruning"). Testée sur le benchmark de simulation LIBERO avec les modèles open-source OpenVLA et OpenVLA-OFT, la méthode améliore la fiabilité de la compression, en particulier aux ratios les plus agressifs. Pour les équipes travaillant sur des VLA embarqués, réduire le coût d'inférence est un enjeu direct puisque la latence conditionne la viabilité d'un contrôle robotique temps réel en boucle fermée. Les critères de compression habituels (similarité visuelle, scores d'attention, saillance) mesurent la redondance perceptuelle mais ignorent l'effet réel sur l'action produite, ce qui peut faire dévier une politique sans avertissement en cas de compression trop agressive. En rattachant explicitement le critère de compression à la réponse d'action plutôt qu'à la perception, Action-JND vise à sécuriser des déploiements VLA à budget de calcul réduit, un sujet central pour l'embarqué robotique. Il s'agit toutefois d'une contribution méthodologique validée uniquement en simulation, et non d'un produit ou d'un déploiement terrain. Le travail prolonge les techniques de compression de tokens popularisées sur les grands modèles vision-langage, désormais transposées aux agents incarnés pilotés par des politiques VLA comme OpenVLA, l'un des modèles open-source de référence pour le contrôle robotique par langage naturel, aux côtés d'autres familles telles que Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. Le concept de JND, historiquement développé pour la perception humaine, avait déjà été étendu aux réponses de systèmes machine avant cette extension à l'action robotique. Les auteurs positionnent Action-JND comme complémentaire des schémas de compression existants plutôt que comme une alternative, applicable en amont du pruning ou du stale-KV reuse. Aucun calendrier de déploiement industriel ni partenariat n'est mentionné : l'apport reste, à ce stade, une preuve de concept académique sur benchmark simulé.

RecherchePaper

1 source