Aller au contenu principal
Modélisation du seuil de différence perceptible pour la compression de tokens dans les modèles vision-langage-actionIllustration générée par IA
RecherchearXiv cs.RO 

Modélisation du seuil de différence perceptible pour la compression de tokens dans les modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv (2608.21247, catégorie cross-list, 24 août 2026) une méthode baptisée Action-JND pour la compression de tokens dans les modèles vision-langage-action (VLA). Le principe consiste à adapter le concept de "just noticeable différence" (JND), issu de la caractérisation de la tolérance du système visuel humain aux signaux, au contrôle robotique en boucle fermée : un token ne doit être compressé que si sa modification n'entraîne pas de déviation d'action au-delà d'une marge tolérée par la politique. Les auteurs développent un estimateur JND léger, calculé token par token dans l'espace de features visuelles profondes, qui prédit la perturbation maximale admissible sans dégrader la réponse du modèle. Ce score de tolérance d'action sert ensuite de critère plug-and-play pour prioriser les tokens à compresser dans des techniques existantes comme la réutilisation de KV-cache périmé ("stale-KV reuse") ou l'élagage de tokens ("token pruning"). Testée sur le benchmark de simulation LIBERO avec les modèles open-source OpenVLA et OpenVLA-OFT, la méthode améliore la fiabilité de la compression, en particulier aux ratios les plus agressifs.

Pour les équipes travaillant sur des VLA embarqués, réduire le coût d'inférence est un enjeu direct puisque la latence conditionne la viabilité d'un contrôle robotique temps réel en boucle fermée. Les critères de compression habituels (similarité visuelle, scores d'attention, saillance) mesurent la redondance perceptuelle mais ignorent l'effet réel sur l'action produite, ce qui peut faire dévier une politique sans avertissement en cas de compression trop agressive. En rattachant explicitement le critère de compression à la réponse d'action plutôt qu'à la perception, Action-JND vise à sécuriser des déploiements VLA à budget de calcul réduit, un sujet central pour l'embarqué robotique. Il s'agit toutefois d'une contribution méthodologique validée uniquement en simulation, et non d'un produit ou d'un déploiement terrain.

Le travail prolonge les techniques de compression de tokens popularisées sur les grands modèles vision-langage, désormais transposées aux agents incarnés pilotés par des politiques VLA comme OpenVLA, l'un des modèles open-source de référence pour le contrôle robotique par langage naturel, aux côtés d'autres familles telles que Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. Le concept de JND, historiquement développé pour la perception humaine, avait déjà été étendu aux réponses de systèmes machine avant cette extension à l'action robotique. Les auteurs positionnent Action-JND comme complémentaire des schémas de compression existants plutôt que comme une alternative, applicable en amont du pruning ou du stale-KV reuse. Aucun calendrier de déploiement industriel ni partenariat n'est mentionné : l'apport reste, à ce stade, une preuve de concept académique sur benchmark simulé.

À lire aussi

Ce qui compte pour la modélisation du monde dans les modèles vision-langage-action (VLA)
Illustration générée par IA
1arXiv cs.RO 

Ce qui compte pour la modélisation du monde dans les modèles vision-langage-action (VLA)

Une équipe de chercheurs publie sur arXiv (2610.19825) une étude systématique visant à déterminer ce qui compte réellement lorsqu'on intègre un modèle du monde dans un modèle Vision-Langage-Action (VLA), c'est-à-dire une politique robotique qui convertit images et instructions textuelles en actions. Les auteurs classent les approches existantes en quatre paradigmes: Implicit Future Alignment, Explicit Future Query, MoT Future Expert (un expert dédié au futur, découplé de la politique, dans une architecture de type Mixture-of-Transformers) et External World Predictor. Chacun est réimplémenté dans un cadre unifié, puis évalué avec plusieurs représentations du monde et plusieurs architectures de politique. Les tests couvrent des scénarios in-domain, hors distribution (OOD), à long horizon, dynamiques, few-shot et en conditions réelles.

RecherchePaper
1 source
ActionPiece : repenser la tokenisation des actions pour les modèles vision-langage-action autorégressifs
Illustration générée par IA
2arXiv cs.RO 

ActionPiece : repenser la tokenisation des actions pour les modèles vision-langage-action autorégressifs

Un article de recherche publié le 17 septembre 2026 sur arXiv (référence 2609.18487v1) propose ActionPiece, une nouvelle méthode de tokenisation d'actions pour les modèles vision-langage-action (VLA) autorégressifs. Ces modèles convertissent les commandes robotiques continues en tokens discrets, puis les régénèrent en commandes exécutables. Les auteurs introduisent une métrique baptisée "physical rank consistency" (PRC), qui évalue si la tokenisation conserve l'ordre relatif des distances physiques entre actions proches, un aspect ignoré par l'erreur quadratique moyenne (MSE) habituellement utilisée pour juger la fidélité de reconstruction. ActionPiece combine deux objectifs d'apprentissage joints : une supervision du rang physique sur les distances de l'encodeur et des features quantifiées, et une régularisation appliquant le même ordre aux assignations de codewords.

RechercheActu
1 source
Calibration de la confiance dans les modèles vision-langage-action (VLA)
Illustration générée par IA
3arXiv cs.RO 

Calibration de la confiance dans les modèles vision-langage-action (VLA)

Une étude disponible sur arXiv (2507.17383, désormais en version 3) examine un point rarement traité pour les modèles vision-langage-action (VLA). Ces modèles de fondation transforment des observations visuelles et des instructions en langage naturel en commandes moteur de bas niveau. Les auteurs présentent leur travail comme la première étude de la calibration de confiance sur ce type de modèle, c'est-à-dire de l'écart entre la probabilité de réussite que le robot s'attribue et sa réussite réelle. Ils établissent une base de référence pour l'estimation de confiance. Ils analysent le lien entre le taux de réussite des tâches et l'erreur de calibration, ainsi que l'évolution de cette erreur au fil de l'exécution.

RecherchePaper
1 source
TOAST : tokenisation stochastique des actions de robot pour les modèles vision-langage-action (VLA) autorégressifs
Illustration générée par IA
4arXiv cs.RO 

TOAST : tokenisation stochastique des actions de robot pour les modèles vision-langage-action (VLA) autorégressifs

Des chercheurs proposent TOAST (TOkenization of Action sequences with STochastic sampling), une méthode de tokenisation stochastique des actions pour les modèles Vision-Language-Action (VLA) autorégressifs, décrite dans un preprint arXiv (2610.00899v1). Ces modèles convertissent les actions continues du robot en séquences de tokens discrets, ce qui permet de les prédire avec l'objectif standard du token suivant. Le schéma FAST, référence actuelle, compresse des actions couvrant plusieurs fréquences temporelles en peu de tokens, mais attribue une seule tokenisation déterministe à chaque séquence d'actions quantifiée. TOAST, lui, tire au hasard pendant l'entraînement l'une des tokenisations alternatives de cette même séquence, sans changer le mouvement décodé et sans nouvelle démonstration.

RecherchePaper
1 source