RecherchearXiv cs.RO 19 octobre 2026

MambaAct : des experts d'action Mamba efficaces pour les modèles vision-langage-action (VLA) à flow matching

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

MambaAct est une architecture proposée dans un preprint arXiv (2610.22951) qui vise le principal goulot d'étranglement des modèles vision-langage-action (VLA) à flow-matching, comme π0.5 : le coût d'inférence. Dans ces modèles, l'expert d'action, un module transformer chargé de produire les commandes motrices, est évalué à chaque étape du débruitage itératif. Les auteurs conservent l'encodeur de préfixe vision-langage préentraîné de π0.5 et remplacent l'expert d'action par un module Mamba (modèle à espace d'états) compact, dix fois plus petit. Un « Context Compressor » léger condense les tokens du VLM en un signal de conditionnement unique, qui module chaque bloc Mamba et remplace les cross-attentions répétées au niveau des tokens. Les résultats annoncés : une latence de débruitage réduite de 64,8 % sur le benchmark LIBERO et de 58,8 % en déploiement réel, avec un gain moyen de 1,08 point de pourcentage de réussite sur LIBERO, mesuré sur trois seeds de fine-tuning indépendants. Les gains se maintiennent sur LIBERO-Plus et sur des tâches réelles. Le code et les poids sont publics sur GitHub.

L'intérêt est d'abord pratique. Les VLA à flow-matching offrent de bonnes performances de manipulation généraliste, mais leur latence limite le contrôle temps réel, surtout sur du matériel embarqué à budget de calcul contraint. Réduire l'expert d'action d'un facteur dix sans perte de performance suggère qu'une grande partie de ses paramètres est redondante pour la tâche de modélisation d'actions, et que le vrai savoir sémantique réside dans le préfixe VLM. Pour un intégrateur ou un décideur industriel, cela ouvre la voie à des politiques plus rapides ou à des cadences de contrôle plus élevées sur des GPU modestes. Des précautions s'imposent toutefois : LIBERO est un benchmark de simulation relativement saturé, un gain de 1 point reste modeste, et l'article ne détaille pas ici la diversité ni le volume des tâches réelles. La réduction de latence ne porte aussi que sur le débruitage, pas sur la latence de bout en bout, où l'encodeur VLM garde un poids important.

Ce travail s'inscrit dans la course à l'efficience des VLA, après π0 et π0.5 de Physical Intelligence, qui ont popularisé l'expert d'action à flow-matching, et face à d'autres pistes comme la distillation en peu d'étapes, la quantification ou les têtes d'action plus légères. L'usage de Mamba, déjà exploré en vision et en langage pour sa complexité linéaire, est ici transposé aux séquences d'actions bruitées. La suite logique serait une validation sur des plateformes variées, des séquences plus longues et des comparaisons directes avec d'autres méthodes d'accélération, ainsi qu'une mesure de la latence totale sur robot embarqué.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

VLA-ACL : élagage de jetons visuels cohérent avec les actions pour des modèles vision-langage-action (VLA) efficaces

Des chercheurs publient sur arXiv VLA-ACL (Action Consistency Learning), une méthode d'élagage de tokens visuels pour les modèles Vision-Language-Action (VLA), dont le code est disponible sur GitHub. Le système apprend une politique d'élagage légère tout en laissant le modèle VLA de base entièrement gelé. L'entraînement vise à ce que les actions produites à partir d'un contexte visuel élagué restent cohérentes avec celles d'un modèle enseignant qui voit le contexte complet. Les actions de référence (ground truth) ne servent que de supervision auxiliaire. Les tests portent sur le benchmark de simulation LIBERO et sur des tâches de manipulation en conditions réelles. La méthode élimine jusqu'à 87,5 % des tokens visuels tout en gardant des performances jugées compétitives. Elle réduit le calcul jusqu'à 75 % et accélère l'inférence d'un facteur 1,5. Ces chiffres comptent pour le déploiement. Un VLA doit traiter de longues séquences de tokens à chaque pas de contrôle, et les patchs visuels dominent cette séquence. Cette charge limite le temps réel sur le matériel embarqué. Le gain d'inférence de 1,5x reste nettement inférieur à la réduction de calcul de 75 %. Cet écart suggère que les coûts hors visuel, comme le décodage des actions, plafonnent l'accélération réelle. Les résultats viennent de l'article seul, sans reproduction indépendante. La notion de « performance compétitive » n'est pas chiffrée dans le résumé, et on ignore sur quels modèles de base et quels robots les tests réels ont été faits. La méthode gèle le modèle de base, donc un intégrateur peut l'ajouter à un VLA existant sans le réentraîner. Elle illustre aussi un changement d'approche : choisir les tokens selon leur effet sur la commande finale plutôt que selon des scores d'attention. Les travaux antérieurs d'élagage pour VLA se répartissent en deux familles. La première regroupe des heuristiques sans entraînement, fondées sur les scores d'attention ou des seuils de mouvement, jugées indirectes par les auteurs. La seconde exige un réglage fin coûteux du modèle de base. VLA-ACL se place entre les deux : une supervision au niveau de l'action, sans toucher aux poids du VLA. Les auteurs affirment un meilleur compromis performance-efficacité que les méthodes d'élagage existantes pour VLA gelés. La suite dépendra de la généralisation à d'autres architectures (Pi-0, GR00T, Helix et leurs équivalents) et de tests sur plus de tâches réelles. Le code étant public, la communauté pourra vérifier ces résultats rapidement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

RotVLA : action latente de rotation pour les modèles vision-langage-action (VLA)

Un groupe de chercheurs a publié en mai 2026 RotVLA (arXiv:2605.13403), un framework Vision-Language-Action (VLA) qui substitue la quantification discrète des modèles d'action latente (LAM) existants par une représentation continue dans l'espace de rotation SO(n). Entraîné sur plus de 1 700 heures de données robotiques multi-embodiment et de vidéos humaines, le modèle compte 1,7 milliard de paramètres. Son architecture associe un backbone de modèle vision-langage et une tête d'action par flow-matching, étendue en aval en un "action expert" unifié qui dénoise simultanément actions latentes et actions robot. Sur LIBERO, RotVLA atteint 98,2 % de taux de succès ; sur RoboTwin2.0, il obtient 89,6 % en configuration propre et 88,5 % en configuration randomisée, surpassant les modèles VLA antérieurs dans les deux cas. Des expériences sur des tâches de manipulation réelle confirment ces résultats hors simulation. L'enjeu est architectural : les LAMs actuels, basés sur des pipelines VQ-VAE ou similaires, induisent une reconstruction de frames souvent triviale et n'imposent aucune contrainte géométrique cohérente avec la physique du mouvement. En modélisant les actions latentes comme des éléments de SO(n), RotVLA garantit continuité et compositionnalité absentes des espaces discrets, avec un triplet frame learning qui force une dynamique temporelle non dégénérée. Pour les équipes d'intégration robotique, cela ouvre la voie à un modèle de fondation plus robuste au sim-to-real, l'un des goulots d'étranglement centraux des VLAs en conditions industrielles. L'approche suggère que la structure géométrique de l'espace d'action peut compter autant que l'échelle des données d'entraînement. Le domaine des politiques robotiques généralistes a été structuré par Pi-0 (Physical Intelligence, 2024) et GR00T N2 (NVIDIA, 2025), qui misaient sur des corpus cross-embodiment massifs pour entraîner des politiques généralisables. RotVLA s'inscrit dans cette lignée mais parie sur une représentation latente géométriquement structurée plutôt que sur le volume brut de paramètres, avec 1,7B contre plusieurs dizaines de milliards pour les modèles concurrents les plus ambitieux. Les scores LIBERO et RoboTwin2.0 sont des benchmarks académiques standardisés ; leur transposition sur des cellules industrielles réelles (bras collaboratifs, tri et picking) reste à démontrer. Aucun partenaire de déploiement ni calendrier commercial ne figure dans la publication : RotVLA est, à ce stade, une contribution de recherche.

RechercheOpinion

1 source

4arXiv cs.RO

Distillation on-policy multi-enseignants pour les modèles vision-langage-action (VLA) à flux

Des chercheurs proposent un cadre de distillation « on-policy » à deux niveaux pour consolider, dans une seule politique, les compétences de plusieurs modèles vision-langage-action (VLA) spécialisés fondés sur le flow matching. Plusieurs spécialistes de domaine, gelés, supervisent conjointement un unique modèle élève. Après chaque mise à jour, l'élève interagit à nouveau avec l'environnement et génère de nouvelles trajectoires de flux d'actions. Les enseignants lui fournissent alors une supervision de vitesse (« velocity loss ») le long de ces trajectoires. L'initialisation se fait par fine-tuning supervisé (SFT) conjoint. Sur LIBERO-40, la méthode gagne 22,55 points de taux de succès absolu, 33,4 points sur les séquences de cinq instructions de CALVIN et 22,6 points sur Meta-World MT50. Face à deux références, la distillation on-policy sur la perte d'action et le SFT sur trajectoires de l'enseignant, l'avantage est de 6,4 à 9,5 points sur LIBERO-40, de 9,7 à 18,3 points sur CALVIN et de 3,2 à 4,2 points sur MT50. Les gains augmentent avec la longueur des séquences CALVIN. L'enjeu est très concret pour quiconque déploie des robots : les politiques VLA spécialisées sont aujourd'hui plus faciles à entraîner qu'à fusionner. Une flotte qui exécute des tâches variées doit soit embarquer plusieurs modèles, soit accepter un modèle généraliste plus faible. Les résultats suggèrent qu'on peut conserver l'essentiel des compétences de chaque spécialiste dans un seul modèle déployé. Cela réduit les coûts de maintenance et de mémoire. L'avantage croissant sur les longues séquences CALVIN est le signal le plus intéressant, car l'accumulation d'erreurs y est le principal point faible des politiques enchaînant plusieurs étapes. Une réserve s'impose : tout est évalué en simulation sur des benchmarks académiques, sans validation sur robot réel. Les écarts face aux références sont parfois modestes, surtout sur Meta-World. Enfin, l'amplitude des gains dépend du point de départ, le SFT conjoint, dont le niveau n'est pas détaillé ici. Ce travail s'inscrit dans la montée des VLA à base de flux ou de diffusion, comme Pi-0 et ses successeurs, qui génèrent les actions par intégration d'un champ de vitesse. Le problème de décalage de distribution entre les données d'entraînement et celles que le modèle rencontre en déploiement est connu en apprentissage par imitation. L'idée d'étendre la correction à l'intérieur même de la génération d'actions, et pas seulement aux observations, est la contribution propre de cette publication (arXiv, version 1). Les alternatives existantes sont l'entraînement multitâche direct, la fusion de poids ou l'apprentissage par renforcement, avec leurs coûts respectifs. Les prochaines étapes naturelles sont le passage à des modèles de plus grande échelle, des tests sur robots physiques et une comparaison avec des modèles généralistes entraînés de bout en bout.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source