RecherchearXiv cs.RO 23 septembre 2026

Au-delà de l'erreur de reconstruction : tokenisation d'action analytique et pilotée par les données pour les modèles VLA autorégressifs

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude diffusée sur arXiv (référence 2609.25820) compare trois façons de représenter les actions robotiques dans les modèles vision-langage-action (VLA) autorégressifs avant de les découper en tokens discrets : une transformation analytique fixe (Temporal-DCT), une méthode linéaire pilotée par les données (analyse en composantes principales, PCA), et un autoencodeur neuronal non linéaire. Testées sous une interface de tokenisation commune, via une analyse débit-distorsion, des diagnostics de modélisation de séquence et 3 500 essais sur le benchmark de manipulation en simulation LIBERO, ces représentations changent de classement selon le critère mesuré. La PCA affiche une erreur de reconstruction plus faible que Temporal-DCT, mais produit des séquences de tokens moins prévisibles et un taux de réussite moyen inférieur de 3,0 points de pourcentage sur les tâches déjà vues, sur trois seeds d'entraînement, avec un classement qui s'inverse pour l'une d'elles. Dans une ablation à seed fixe (42), l'autoencodeur réduit encore l'erreur de reconstruction sans produire la politique la plus performante, et se montre plus sensible aux perturbations de tokens.

Le résultat contredit une hypothèse répandue dans la conception des VLA : qu'une représentation qui reconstruit mieux le signal d'action original est nécessairement une meilleure base pour le contrôle en boucle fermée. L'étude montre l'inverse, la prévisibilité de la séquence de tokens et la robustesse du décodeur face aux erreurs de discrétisation pèsent autant que la fidélité géométrique sur le taux de réussite final. Pour les équipes qui construisent des VLA autorégressifs sur le modèle des grands modèles de langage, cela signifie qu'un tokenizer d'action ne peut plus être choisi sur la seule base d'un score de reconstruction, mais doit être validé par une évaluation conjointe incluant la performance en conditions de contrôle réel, un rappel utile dans un secteur où l'écart entre métriques de laboratoire et robustesse déployée reste une inquiétude constante pour les intégrateurs.

Ce travail s'inscrit dans le courant qui traite le contrôle robotique comme un problème de prédiction de séquence de tokens, à l'image du texte dans les modèles de langage, en alternative aux architectures VLA à sortie continue. Plutôt que de proposer un nouveau tokenizer, les auteurs construisent un protocole comparatif rigoureux entre approches analytique, linéaire et neuronale, un cadre d'évaluation encore peu standardisé dans ce sous-domaine. La suite logique consisterait à étendre ces diagnostics de prévisibilité et de stabilité au-delà de LIBERO, vers d'autres jeux de tâches et architectures de politique, ainsi qu'à comparer plus directement tokenisation discrète et régression continue pour trancher ce débat de conception au sein des VLA.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

ActionPiece : repenser la tokenisation des actions pour les modèles vision-langage-action autorégressifs

Un article de recherche publié le 17 septembre 2026 sur arXiv (référence 2609.18487v1) propose ActionPiece, une nouvelle méthode de tokenisation d'actions pour les modèles vision-langage-action (VLA) autorégressifs. Ces modèles convertissent les commandes robotiques continues en tokens discrets, puis les régénèrent en commandes exécutables. Les auteurs introduisent une métrique baptisée "physical rank consistency" (PRC), qui évalue si la tokenisation conserve l'ordre relatif des distances physiques entre actions proches, un aspect ignoré par l'erreur quadratique moyenne (MSE) habituellement utilisée pour juger la fidélité de reconstruction. ActionPiece combine deux objectifs d'apprentissage joints : une supervision du rang physique sur les distances de l'encodeur et des features quantifiées, et une régularisation appliquant le même ordre aux assignations de codewords. Testé avec un pipeline d'entraînement de politique basé sur Qwen3-VL-4B, le système atteint 94,8% de réussite sur le benchmark de simulation LIBERO, 68,8% sur LIBERO-Plus (tâches non vues à l'entraînement), 71,9% sur SimplerEnv et 51,5% sur VLA-Arena (niveaux L0 à L2). Ce travail cible un maillon technique précis mais central dans l'architecture des VLA autorégressifs : la façon dont les actions continues sont discrétisées avant d'être traitées comme des tokens de langage. Un tokenizer imprécis peut faire converger des actions distinctes vers une même représentation, ce qui aplatit les nuances nécessaires à des contextes différents, un problème invisible aux métriques ponctuelles classiques. Pour les équipes qui construisent des politiques VLA (bras robotiques, humanoïdes), cela suggère que les gains de performance ne viennent pas uniquement de modèles plus gros, mais aussi de la qualité de la représentation intermédiaire des actions, un point souvent négligé face à l'attention portée aux architectures de perception ou de langage. Le papier s'inscrit dans un débat plus large sur la tokenisation discrète des actions (utilisée par des lignées de modèles type RT-2 ou OpenVLA) face aux approches à génération continue ou par diffusion, telles que Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure. Toutes les évaluations présentées restent toutefois limitées à des benchmarks de simulation (LIBERO, SimplerEnv, VLA-Arena), sans validation sur robot physique ni déploiement industriel annoncé à ce stade.

RechercheActu

1 source

2arXiv cs.RO

Mise à l'échelle en temps de test par historique causal pour la récupération après échec dans les modèles autorégressifs monde-action

Des chercheurs publient sur arXiv (papier 2609.18016v1, soumis le 17 septembre 2026) un framework de récupération d'échec pour les "world-action models" (WAM), ces systèmes qui modélisent conjointement la dynamique visuelle future et les actions du robot pour la manipulation. Le problème identifié est précis : ces modèles sont entraînés quasi exclusivement sur des trajectoires réussies, si bien qu'ils échouent dès que l'exécution réelle s'écarte de la dynamique apprise, et dans les WAM autorégressifs, chaque erreur d'exécution s'inscrit dans l'historique causal et contamine les prédictions suivantes. La méthode proposée, qualifiée de "training-free" (pas de réentraînement nécessaire), reformule la récupération d'échec comme un scaling au moment de l'inférence sur l'historique causal, en trois étapes couplées : un déclencheur qui détecte la non-progression persistante et n'intervient que si l'état d'exécution le permet, un module qui identifie le suffixe d'historique non fiable, retrouve une ancre historique correspondant à l'état physique courant et reconstruit l'état causal (KV) à partir du préfixe retenu, et enfin une vérification d'hypothèses qui compare les continuations générées à partir de l'historique complet, du préfixe récupéré et d'une réinitialisation totale, avant de retenir la meilleure. Les expériences, menées en simulation et sur banc réel, montrent une amélioration constante du taux de succès des tâches, et les ablations confirment l'apport de chacune des trois étapes. L'enjeu dépasse le papier lui-même : il touche au point faible connu des modèles vision-langage-action (VLA) et WAM déployés en usine, à savoir l'écart entre démonstrations soignées et robustesse en conditions réelles bruitées. Un mécanisme de récupération générique, applicable sans réentraînement à des modèles existants, intéresse directement les intégrateurs qui cherchent à fiabiliser des pipelines de manipulation basés sur des architectures autorégressives, un défi partagé par l'ensemble des modèles de type Pi-0, GR00T N2 ou Helix. Ce travail reste à ce stade un preprint arXiv, non encore validé par relecture par les pairs ni testé à grande échelle industrielle ; l'abstract ne précise ni les auteurs ni leur affiliation. Il s'inscrit dans un effort de recherche plus large visant à combler l'absence de mécanismes natifs de correction d'erreur dans les modèles génératifs de robotique, un axe que plusieurs laboratoires explorent en parallèle à mesure que ces modèles passent du stade démonstratif au déploiement réel.

RecherchePaper

1 source

3arXiv cs.RO

Modèles monde-action autorégressifs par modalité

Un preprint publié en septembre 2026 sur arXiv (2609.17524) présente ModAR, premier modèle world-action (WAM) à débruiter de manière autorégressive plusieurs modalités visuelles futures avant de prédire les actions d'un robot. Au lieu de se limiter aux images RGB futures comme la plupart des WAM existants, ModAR génère séquentiellement cartes de profondeur, traces de points et caractéristiques visuelles DINO, chaque modalité conditionnant la suivante. Entraîné from scratch, sans pretraining vidéo, il est comparé à Flex-π, un WAM initialisé sur un modèle vidéo puis affiné sur les mêmes données : ModAR atteint 75% de réussite moyenne observée contre 72% pour Flex-π, avec environ 20 fois moins de FLOPs d'entraînement. Sur trois tâches bimanuelles réelles, ModAR surpasse les références et progresse encore lorsqu'il est entraîné avec des vidéos humaines supplémentaires. Ce résultat pèse sur un débat clé du secteur : faut-il continuer à prédire des images RGB complètes, coûteuses à générer, ou miser sur des représentations plus compactes déjà porteuses de sens géométrique et sémantique. Les auteurs montrent que prédire du RGB futur n'apporte pas de gain systématique, alors que profondeur, traces de points et features DINO améliorent les performances de façon constante, à toutes les échelles de données testées. Pour les équipes de recherche en robotique manipulatrice, l'intérêt est double : réduire le coût de calcul nécessaire pour entraîner des modèles VLA et s'affranchir partiellement du pretraining vidéo massif, considéré depuis des architectures comme Pi-0 ou GR00T N2 comme quasi indispensable. Les world-action models s'inscrivent dans la lignée des architectures VLA qui unifient perception, prédiction et contrôle moteur, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. ModAR se distingue en interrogeant le choix des modalités intermédiaires à prédire plutôt que la seule architecture du modèle langage-action. L'article demeure à ce stade un travail de recherche académique, évalué en simulation et sur un nombre limité de tâches réelles, sans annonce de déploiement industriel. Les prochaines étapes attendues portent sur l'extension à davantage de tâches et de plateformes robotiques, et sur la vérification des gains à plus grande échelle.

UECe travail de recherche ouverte pourrait réduire le coût de calcul des équipes robotiques européennes travaillant sur les modèles VLA, sans impliquer d'acteur français ou européen à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Des pixels aux tokens : étude systématique de la supervision par actions latentes pour les modèles vision-langage-action (VLA)

Des chercheurs de l'Université Renmin de Chine (RUC) ont publié le 7 mai 2026 une étude systématique sur la supervision par actions latentes dans les modèles VLA (Vision-Language-Action), une architecture clé pour les robots capables de comprendre des instructions en langage naturel et d'agir dans le monde physique. L'article, référencé arXiv:2605.04678, pose une question concrète : comment entraîner efficacement un VLA sur des datasets hétérogènes, issus de robots différents avec des espaces d'action incompatibles ? La réponse explorée est l'action latente, une représentation intermédiaire abstraite qui sert de pivot commun entre perception visuelle, langage et commande motrice. Les auteurs comparent quatre stratégies d'intégration sous une baseline VLA unifiée, en distinguant deux familles : les actions latentes basées sur l'image (qui encodent les transitions visuelles entre frames) et celles basées sur l'action (qui compressent directement les commandes moteurs dans un espace latent). Les résultats révèlent une correspondance formulation-tâche claire, ce qui est utile pour tout intégrateur qui choisit une architecture : les actions latentes image-based sont plus efficaces sur les tâches longues nécessitant un raisonnement multi-étapes et une généralisation au niveau de la scène, tandis que les actions latentes action-based surperforment sur la coordination motrice fine et complexe. La découverte la plus opérationnelle est que superviser directement le modèle de langage vision (VLM) avec des tokens discrets d'actions latentes donne les meilleures performances globales, devançant les approches de supervision continue ou indirecte. L'étude apporte également des premières preuves que la supervision par actions latentes améliore l'entraînement en données mixtes (multi-robot, multi-tâche), un verrou majeur pour passer du lab au déploiement à grande échelle. Ce travail s'inscrit dans une course effrénée à la généralisation des VLA, après les succès récents de Pi-0 (Physical Intelligence), OpenVLA (UC Berkeley) et GR00T N2 (NVIDIA), qui ont tous démontré des capacités cross-embodiment limitées mais prometteuses. La contribution de RUC est moins un nouveau modèle qu'un benchmark de design choices, un type de contribution rare et précieux dans un domaine encore dominé par les démonstrations spectaculaires. La prochaine étape naturelle serait de valider ces résultats sur du matériel réel au-delà des benchmarks simulés, notamment sur des plateformes comme ALOHA 2 ou des manipulateurs industriels, pour confirmer que le gap sim-to-real ne neutralise pas les gains observés en simulation. Le code est disponible sur GitHub (RUCKBReasoning/FromPixelsto_Tokens).

RechercheOpinion

1 source