Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

ActionPiece : repenser la tokenisation des actions pour les modèles vision-langage-action autorégressifs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article de recherche publié le 17 septembre 2026 sur arXiv (référence 2609.18487v1) propose ActionPiece, une nouvelle méthode de tokenisation d'actions pour les modèles vision-langage-action (VLA) autorégressifs. Ces modèles convertissent les commandes robotiques continues en tokens discrets, puis les régénèrent en commandes exécutables. Les auteurs introduisent une métrique baptisée "physical rank consistency" (PRC), qui évalue si la tokenisation conserve l'ordre relatif des distances physiques entre actions proches, un aspect ignoré par l'erreur quadratique moyenne (MSE) habituellement utilisée pour juger la fidélité de reconstruction. ActionPiece combine deux objectifs d'apprentissage joints : une supervision du rang physique sur les distances de l'encodeur et des features quantifiées, et une régularisation appliquant le même ordre aux assignations de codewords. Testé avec un pipeline d'entraînement de politique basé sur Qwen3-VL-4B, le système atteint 94,8% de réussite sur le benchmark de simulation LIBERO, 68,8% sur LIBERO-Plus (tâches non vues à l'entraînement), 71,9% sur SimplerEnv et 51,5% sur VLA-Arena (niveaux L0 à L2).

Ce travail cible un maillon technique précis mais central dans l'architecture des VLA autorégressifs : la façon dont les actions continues sont discrétisées avant d'être traitées comme des tokens de langage. Un tokenizer imprécis peut faire converger des actions distinctes vers une même représentation, ce qui aplatit les nuances nécessaires à des contextes différents, un problème invisible aux métriques ponctuelles classiques. Pour les équipes qui construisent des politiques VLA (bras robotiques, humanoïdes), cela suggère que les gains de performance ne viennent pas uniquement de modèles plus gros, mais aussi de la qualité de la représentation intermédiaire des actions, un point souvent négligé face à l'attention portée aux architectures de perception ou de langage.

Le papier s'inscrit dans un débat plus large sur la tokenisation discrète des actions (utilisée par des lignées de modèles type RT-2 ou OpenVLA) face aux approches à génération continue ou par diffusion, telles que Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure. Toutes les évaluations présentées restent toutefois limitées à des benchmarks de simulation (LIBERO, SimplerEnv, VLA-Arena), sans validation sur robot physique ni déploiement industriel annoncé à ce stade.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

Modélisation du seuil de différence perceptible pour la compression de tokens dans les modèles vision-langage-action
1arXiv cs.RO 

Modélisation du seuil de différence perceptible pour la compression de tokens dans les modèles vision-langage-action

Des chercheurs publient sur arXiv (2608.21247, catégorie cross-list, 24 août 2026) une méthode baptisée Action-JND pour la compression de tokens dans les modèles vision-langage-action (VLA). Le principe consiste à adapter le concept de "just noticeable différence" (JND), issu de la caractérisation de la tolérance du système visuel humain aux signaux, au contrôle robotique en boucle fermée : un token ne doit être compressé que si sa modification n'entraîne pas de déviation d'action au-delà d'une marge tolérée par la politique. Les auteurs développent un estimateur JND léger, calculé token par token dans l'espace de features visuelles profondes, qui prédit la perturbation maximale admissible sans dégrader la réponse du modèle. Ce score de tolérance d'action sert ensuite de critère plug-and-play pour prioriser les tokens à compresser dans des techniques existantes comme la réutilisation de KV-cache périmé ("stale-KV reuse") ou l'élagage de tokens ("token pruning"). Testée sur le benchmark de simulation LIBERO avec les modèles open-source OpenVLA et OpenVLA-OFT, la méthode améliore la fiabilité de la compression, en particulier aux ratios les plus agressifs. Pour les équipes travaillant sur des VLA embarqués, réduire le coût d'inférence est un enjeu direct puisque la latence conditionne la viabilité d'un contrôle robotique temps réel en boucle fermée. Les critères de compression habituels (similarité visuelle, scores d'attention, saillance) mesurent la redondance perceptuelle mais ignorent l'effet réel sur l'action produite, ce qui peut faire dévier une politique sans avertissement en cas de compression trop agressive. En rattachant explicitement le critère de compression à la réponse d'action plutôt qu'à la perception, Action-JND vise à sécuriser des déploiements VLA à budget de calcul réduit, un sujet central pour l'embarqué robotique. Il s'agit toutefois d'une contribution méthodologique validée uniquement en simulation, et non d'un produit ou d'un déploiement terrain. Le travail prolonge les techniques de compression de tokens popularisées sur les grands modèles vision-langage, désormais transposées aux agents incarnés pilotés par des politiques VLA comme OpenVLA, l'un des modèles open-source de référence pour le contrôle robotique par langage naturel, aux côtés d'autres familles telles que Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. Le concept de JND, historiquement développé pour la perception humaine, avait déjà été étendu aux réponses de systèmes machine avant cette extension à l'action robotique. Les auteurs positionnent Action-JND comme complémentaire des schémas de compression existants plutôt que comme une alternative, applicable en amont du pruning ou du stale-KV reuse. Aucun calendrier de déploiement industriel ni partenariat n'est mentionné : l'apport reste, à ce stade, une preuve de concept académique sur benchmark simulé.

RecherchePaper
1 source
RotVLA : action latente de rotation pour les modèles vision-langage-action (VLA)
2arXiv cs.RO 

RotVLA : action latente de rotation pour les modèles vision-langage-action (VLA)

Un groupe de chercheurs a publié en mai 2026 RotVLA (arXiv:2605.13403), un framework Vision-Language-Action (VLA) qui substitue la quantification discrète des modèles d'action latente (LAM) existants par une représentation continue dans l'espace de rotation SO(n). Entraîné sur plus de 1 700 heures de données robotiques multi-embodiment et de vidéos humaines, le modèle compte 1,7 milliard de paramètres. Son architecture associe un backbone de modèle vision-langage et une tête d'action par flow-matching, étendue en aval en un "action expert" unifié qui dénoise simultanément actions latentes et actions robot. Sur LIBERO, RotVLA atteint 98,2 % de taux de succès ; sur RoboTwin2.0, il obtient 89,6 % en configuration propre et 88,5 % en configuration randomisée, surpassant les modèles VLA antérieurs dans les deux cas. Des expériences sur des tâches de manipulation réelle confirment ces résultats hors simulation. L'enjeu est architectural : les LAMs actuels, basés sur des pipelines VQ-VAE ou similaires, induisent une reconstruction de frames souvent triviale et n'imposent aucune contrainte géométrique cohérente avec la physique du mouvement. En modélisant les actions latentes comme des éléments de SO(n), RotVLA garantit continuité et compositionnalité absentes des espaces discrets, avec un triplet frame learning qui force une dynamique temporelle non dégénérée. Pour les équipes d'intégration robotique, cela ouvre la voie à un modèle de fondation plus robuste au sim-to-real, l'un des goulots d'étranglement centraux des VLAs en conditions industrielles. L'approche suggère que la structure géométrique de l'espace d'action peut compter autant que l'échelle des données d'entraînement. Le domaine des politiques robotiques généralistes a été structuré par Pi-0 (Physical Intelligence, 2024) et GR00T N2 (NVIDIA, 2025), qui misaient sur des corpus cross-embodiment massifs pour entraîner des politiques généralisables. RotVLA s'inscrit dans cette lignée mais parie sur une représentation latente géométriquement structurée plutôt que sur le volume brut de paramètres, avec 1,7B contre plusieurs dizaines de milliards pour les modèles concurrents les plus ambitieux. Les scores LIBERO et RoboTwin2.0 sont des benchmarks académiques standardisés ; leur transposition sur des cellules industrielles réelles (bras collaboratifs, tri et picking) reste à démontrer. Aucun partenaire de déploiement ni calendrier commercial ne figure dans la publication : RotVLA est, à ce stade, une contribution de recherche.

RechercheOpinion
1 source
LARA : alignement des représentations d'actions latentes pour les modèles vision-langage-action
3arXiv cs.RO 

LARA : alignement des représentations d'actions latentes pour les modèles vision-langage-action

Une équipe de recherche propose LARA (Latent Action Representation Alignment), un framework qui entraîne conjointement deux composants jusqu'ici séparés dans les modèles vision-langage-action (VLA) : le modèle d'action latente (LAM), qui apprend des représentations d'actions à partir de vidéos non annotées, et le modèle VLA lui-même. Jusqu'à présent, ces deux briques étaient optimisées indépendamment, ce qui limitait leurs bénéfices mutuels : le LAM restait déconnecté du contexte robotique réel, et le VLA était contraint par des représentations figées, sans possibilité d'ajustement. LARA aligne les deux via un mécanisme de représentation partagée, permettant au LAM d'apprendre à partir de trajectoires d'actions réelles pour éviter de capter de simples changements visuels sans pertinence (comme un déplacement de caméra), tandis que le VLA est régularisé par la dynamique prédictive du LAM pour réduire les hallucinations de trajectoires inefficaces. Les auteurs rapportent des gains moyens d'environ 10% en pré-entraînement, 5% en amélioration post-entraînement de modèles VLA déjà entraînés, et 15% en affinage du LAM seul, mesurés sur trois benchmarks de manipulation en simulation et un benchmark réel conçu spécifiquement pour l'évaluation. L'enjeu pour le secteur est la dépendance chronique des VLA à des jeux de données robotiques réels, coûteux et rares à grande échelle. Exploiter des vidéos humaines non étiquetées comme source de supervision, sans perdre en fiabilité, est une piste suivie par plusieurs laboratoires travaillant sur des modèles comme GR00T N2 ou Pi-0. Ce que suggère LARA, c'est que le goulot d'étranglement n'est pas seulement la quantité de données vidéo disponibles, mais la façon dont les représentations d'action apprises restent ou non ancrées dans la réalité physique du robot pendant l'entraînement conjoint. L'approche s'inscrit dans la lignée des travaux sur les Latent Action Models, qui cherchent depuis plusieurs années à combler l'écart entre l'abondance de vidéos web et la rareté des démonstrations robotiques annotées. Contrairement à une annonce produit, il s'agit ici d'un travail académique (version 2 d'un article déposé sur arXiv), sans déploiement industriel annoncé ni calendrier de commercialisation ; sa portée dépendra de sa reproductibilité et de son adoption par les équipes développant des VLA en conditions réelles.

RecherchePaper
1 source
Des pixels aux tokens : étude systématique de la supervision par actions latentes pour les modèles vision-langage-action (VLA)
4arXiv cs.RO 

Des pixels aux tokens : étude systématique de la supervision par actions latentes pour les modèles vision-langage-action (VLA)

Des chercheurs de l'Université Renmin de Chine (RUC) ont publié le 7 mai 2026 une étude systématique sur la supervision par actions latentes dans les modèles VLA (Vision-Language-Action), une architecture clé pour les robots capables de comprendre des instructions en langage naturel et d'agir dans le monde physique. L'article, référencé arXiv:2605.04678, pose une question concrète : comment entraîner efficacement un VLA sur des datasets hétérogènes, issus de robots différents avec des espaces d'action incompatibles ? La réponse explorée est l'action latente, une représentation intermédiaire abstraite qui sert de pivot commun entre perception visuelle, langage et commande motrice. Les auteurs comparent quatre stratégies d'intégration sous une baseline VLA unifiée, en distinguant deux familles : les actions latentes basées sur l'image (qui encodent les transitions visuelles entre frames) et celles basées sur l'action (qui compressent directement les commandes moteurs dans un espace latent). Les résultats révèlent une correspondance formulation-tâche claire, ce qui est utile pour tout intégrateur qui choisit une architecture : les actions latentes image-based sont plus efficaces sur les tâches longues nécessitant un raisonnement multi-étapes et une généralisation au niveau de la scène, tandis que les actions latentes action-based surperforment sur la coordination motrice fine et complexe. La découverte la plus opérationnelle est que superviser directement le modèle de langage vision (VLM) avec des tokens discrets d'actions latentes donne les meilleures performances globales, devançant les approches de supervision continue ou indirecte. L'étude apporte également des premières preuves que la supervision par actions latentes améliore l'entraînement en données mixtes (multi-robot, multi-tâche), un verrou majeur pour passer du lab au déploiement à grande échelle. Ce travail s'inscrit dans une course effrénée à la généralisation des VLA, après les succès récents de Pi-0 (Physical Intelligence), OpenVLA (UC Berkeley) et GR00T N2 (NVIDIA), qui ont tous démontré des capacités cross-embodiment limitées mais prometteuses. La contribution de RUC est moins un nouveau modèle qu'un benchmark de design choices, un type de contribution rare et précieux dans un domaine encore dominé par les démonstrations spectaculaires. La prochaine étape naturelle serait de valider ces résultats sur du matériel réel au-delà des benchmarks simulés, notamment sur des plateformes comme ALOHA 2 ou des manipulateurs industriels, pour confirmer que le gap sim-to-real ne neutralise pas les gains observés en simulation. Le code est disponible sur GitHub (RUCKBReasoning/FromPixelsto_Tokens).

RechercheOpinion
1 source