Aller au contenu principal
TOAST : tokenisation stochastique des actions de robot pour les modèles vision-langage-action (VLA) autorégressifsIllustration générée par IA
RecherchearXiv cs.RO 

TOAST : tokenisation stochastique des actions de robot pour les modèles vision-langage-action (VLA) autorégressifs

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent TOAST (TOkenization of Action sequences with STochastic sampling), une méthode de tokenisation stochastique des actions pour les modèles Vision-Language-Action (VLA) autorégressifs, décrite dans un preprint arXiv (2610.00899v1). Ces modèles convertissent les actions continues du robot en séquences de tokens discrets, ce qui permet de les prédire avec l'objectif standard du token suivant. Le schéma FAST, référence actuelle, compresse des actions couvrant plusieurs fréquences temporelles en peu de tokens, mais attribue une seule tokenisation déterministe à chaque séquence d'actions quantifiée. TOAST, lui, tire au hasard pendant l'entraînement l'une des tokenisations alternatives de cette même séquence, sans changer le mouvement décodé et sans nouvelle démonstration. Sur le benchmark LIBERO, TOAST bat systématiquement sa version déterministe, avec un gain de 6,8 points de taux de succès quand seulement 1/16 des données d'entraînement est disponible. Sur quatre tâches de manipulation avec un robot réel, le taux de succès moyen progresse de 15,8 points.

Ces résultats visent un problème concret pour les équipes qui déploient des VLA : la rareté des démonstrations, qui coûtent cher en téléopération. Compresser les actions réduit le nombre de tokens à prédire, mais n'améliore pas l'efficacité d'apprentissage à partir de peu d'exemples. Les auteurs exploitent une redondance déjà présente dans la représentation, plusieurs suites de tokens pouvant décoder le même geste, comme une forme d'augmentation de données au niveau de la supervision. L'effet croît à mesure que les données diminuent, ce qui correspond au cas d'usage industriel, où l'on adapte une politique à une nouvelle tâche avec quelques dizaines de démonstrations. Il faut toutefois relativiser. Les gains sont mesurés par rapport à FAST seul, pas contre des politiques à diffusion ou à flow matching. L'évaluation réelle ne porte que sur quatre tâches, sans précision dans le résumé sur le robot, le nombre d'essais ou les intervalles de confiance. Un gain de 6,8 points sur LIBERO reste modeste, et les 15,8 points sur robot réel demandent à être confirmés sur davantage de tâches et de plateformes.

Ce travail s'inscrit dans le débat sur la meilleure façon de représenter les actions dans les VLA. D'un côté, la tokenisation discrète (FAST, dans la lignée de RT-2 et OpenVLA) conserve la simplicité d'un modèle de langage. De l'autre, des approches continues à diffusion ou flow matching, comme celles de la famille Pi-0, gèrent les actions de façon différente. TOAST défend la voie discrète en améliorant son efficacité en données plutôt qu'en changeant d'architecture. Il s'agit d'un preprint, non évalué par les pairs : aucun produit ni déploiement n'est annoncé. La suite logique serait des tests sur des benchmarks plus variés, une comparaison directe avec les politiques continues, et une vérification sur de grands modèles pré-entraînés.

À lire aussi

ActionPiece : repenser la tokenisation des actions pour les modèles vision-langage-action autorégressifs
Illustration générée par IA
1arXiv cs.RO 

ActionPiece : repenser la tokenisation des actions pour les modèles vision-langage-action autorégressifs

Un article de recherche publié le 17 septembre 2026 sur arXiv (référence 2609.18487v1) propose ActionPiece, une nouvelle méthode de tokenisation d'actions pour les modèles vision-langage-action (VLA) autorégressifs. Ces modèles convertissent les commandes robotiques continues en tokens discrets, puis les régénèrent en commandes exécutables. Les auteurs introduisent une métrique baptisée "physical rank consistency" (PRC), qui évalue si la tokenisation conserve l'ordre relatif des distances physiques entre actions proches, un aspect ignoré par l'erreur quadratique moyenne (MSE) habituellement utilisée pour juger la fidélité de reconstruction. ActionPiece combine deux objectifs d'apprentissage joints : une supervision du rang physique sur les distances de l'encodeur et des features quantifiées, et une régularisation appliquant le même ordre aux assignations de codewords.

RechercheActu
1 source
ReAT : tokenisation résiduelle des actions pour les politiques robotiques autorégressives
Illustration générée par IA
2arXiv cs.RO 

ReAT : tokenisation résiduelle des actions pour les politiques robotiques autorégressives

Des chercheurs proposent ReAT (Residual Action Tokenization), une méthode de tokenisation d'actions pour politiques robotiques autorégressives, décrite dans l'article arXiv 2610.13093. Ces politiques prédisent des « chunks » d'actions continues sous forme de courtes séquences de jetons discrets, produits par un tokenizer. Les tokenizers existants savent reconstruire un chunk à partir de ses codes, mais le rôle de chaque jeton dans l'action reconstruite reste implicite. ReAT assigne à chaque jeton une fonction explicite d'affinement : le jeton suivant est construit à partir de l'erreur résiduelle entre l'action cible et la reconstruction décodée du préfixe déjà émis. L'encodage et le décodage forment ainsi une boucle fermée, où chaque nouveau jeton corrige les écarts laissés par ce que le décodeur reconstruit réellement.

RecherchePaper
1 source
Au-delà de l'erreur de reconstruction : tokenisation d'action analytique et pilotée par les données pour les modèles VLA autorégressifs
Illustration générée par IA
3arXiv cs.RO 

Au-delà de l'erreur de reconstruction : tokenisation d'action analytique et pilotée par les données pour les modèles VLA autorégressifs

Une étude diffusée sur arXiv (référence 2609.25820) compare trois façons de représenter les actions robotiques dans les modèles vision-langage-action (VLA) autorégressifs avant de les découper en tokens discrets : une transformation analytique fixe (Temporal-DCT), une méthode linéaire pilotée par les données (analyse en composantes principales, PCA), et un autoencodeur neuronal non linéaire. Testées sous une interface de tokenisation commune, via une analyse débit-distorsion, des diagnostics de modélisation de séquence et 3 500 essais sur le benchmark de manipulation en simulation LIBERO, ces représentations changent de classement selon le critère mesuré.

RecherchePaper
1 source
Vision robotique : cartes de points centrées sur le robot pour les modèles vision-langage-action
Illustration générée par IA
4arXiv cs.RO 

Vision robotique : cartes de points centrées sur le robot pour les modèles vision-langage-action

Des chercheurs proposent dans un article arXiv (2607.11498v1, soumis en juillet 2026) une méthode baptisée "pointmaps robot-centriques" pour résoudre un problème structurel des modèles vision-langage-action (VLA). Ces modèles prédisent des actions robotiques à partir d'observations visuelles et d'instructions en langage naturel, mais les actions sont définies dans le repère 3D propre au robot, alors que la caméra observe la scène dans son propre repère. Ce décalage reste sans conséquence quand le point de vue de la caméra est fixe, la politique pouvant alors mémoriser une correspondance unique observation-action, mais il devient problématique à mesure que les jeux de données agrègent des démonstrations issues de configurations caméra variées.

RechercheActu
1 source