StemVLA : un modèle vision-langage-action open source avec connaissance géométrique 3D future et représentation historique 4D

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

StemVLA est un nouveau modèle vision-langage-action (VLA) open source destiné à la manipulation robotique, présenté dans un article arXiv (2602.23721v2, version révisée). Contrairement à la plupart des VLA existants, qui mappent directement des images 2D vers des séquences d'actions sans modéliser la structure spatiale sous-jacente, StemVLA intègre explicitement deux briques supplémentaires : une anticipation de la géométrie 3D future de la scène (pour prévoir la configuration des objets à venir) et une représentation spatiotemporelle 4D construite à partir de l'historique des images, extraite via un transformeur vidéo-géométrie pré-entraîné et agrégée dans le temps par un module d'attention temporelle baptisé VideoFormer. Sur la suite de benchmarks de simulation LIBERO, le modèle atteint une précision moyenne de 92,0 %, et 86,0 % sur le sous-ensemble LIBERO-Long, dédié aux tâches à horizon long.

L'enjeu dépasse la simple performance chiffrée : les VLA actuels peinent souvent sur le raisonnement spatial fin et la planification à long terme, précisément parce qu'ils ignorent la géométrie 3D et la dynamique temporelle de la scène. En forçant le modèle à prédire explicitement l'évolution future de l'espace 3D plutôt qu'à réagir à des images plates, StemVLA cherche à combler un des angles morts identifiés dans la littérature récente sur les modèles fondation pour la robotique, celui de la cohérence temporelle et de la généralisation dans des environnements dynamiques. Les gains observés sur LIBERO-Long, sous-ensemble réputé plus exigeant, suggèrent que l'ajout de connaissances géométriques structurées améliore la robustesse sur des tâches multi-étapes, un point sensible pour les intégrateurs qui cherchent à dépasser les démonstrations de laboratoire.

Ce travail s'inscrit dans une vague de recherche VLA qui, après les architectures pionnières fondées sur des mappings image-action directs, cherche à enrichir la représentation du monde interne des modèles, en écho aux approches combinant perception géométrique et politiques d'action explorées par d'autres laboratoires du secteur. Les résultats restent pour l'instant limités à la simulation LIBERO ; l'étape suivante attendue par la communauté sera la validation sur robots physiques réels, où l'écart entre performance simulée et transfert sim-to-real demeure le principal obstacle à la généralisation des VLA.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

PDRVLA : un modèle vision-langage-action (VLA) avec représentations de la dynamique physique

Illustration générée par IA

1arXiv cs.RO

PDRVLA : un modèle vision-langage-action (VLA) avec représentations de la dynamique physique

PDRVLA est un modèle vision-langage-action (VLA) présenté sur arXiv en version 1 (2610.37381), qui cherche à doter la génération d'actions robotiques d'une meilleure compréhension de la dynamique physique. Son cœur est un Physical Dynamics Module léger, qui extrait des « tokens physiques » à partir des représentations visuelles et linguistiques pour conditionner la génération d'actions, sans produire de vidéo en ligne. Le module apprend en prédisant directement les caractéristiques futures en RGB, en profondeur et en flux optique, avec une supervision auxiliaire fournie par un modèle de monde vidéo pré-entraîné figé. L'entraînement repose uniquement sur des données publiques, enrichies par synthèse humain-vers-robot, annotation de sous-tâches et annotation de chaîne de raisonnement incarnée (ECoT). Sur quatre benchmarks en simulation, les auteurs rapportent 99,3 % de succès sur LIBERO, 89,9 % sur LIBERO-Plus, 93,6 % sur RoboTwin 2.0 et 81,5 % sur SimplerEnv. L'enjeu est la latence. Les modèles de monde vidéo capturent bien la dynamique des scènes, mais générer des images futures à chaque pas insère un coût de calcul important dans la boucle de contrôle, ce qui pose problème pour un robot qui doit réagir en temps réel. PDRVLA propose de distiller ce savoir dynamique dans un module compact, utilisé seulement à l'entraînement pour la partie vidéo, et de garder une inférence rapide. Pour un intégrateur, c'est une piste crédible pour obtenir des politiques plus conscientes de la physique sans exiger une infrastructure GPU lourde à l'exécution. L'usage exclusif de données publiques facilite aussi la reproductibilité. Il faut toutefois relativiser les chiffres : un score de 99,3 % sur LIBERO indique surtout que ce benchmark est quasi saturé, et les résultats viennent exclusivement de simulation. Aucun test sur robot réel, ni mesure de latence ou de taille du modèle, n'est mentionné dans le résumé, ce qui laisse ouverte la question du transfert sim-to-real. Le gain de LIBERO-Plus, conçu pour tester la robustesse aux perturbations, est plus informatif que le score LIBERO classique. Ce travail s'inscrit dans la course des VLA, où des modèles comme Pi-0, GR00T ou Helix cherchent à généraliser à partir de grands volumes de démonstrations, tandis qu'une autre branche de la recherche mise sur les modèles de monde vidéo pour anticiper les conséquences des actions. PDRVLA tente un compromis entre les deux. Les ablations indiquent que la supervision par le modèle de monde améliore la prédiction du futur, et elles évaluent l'effet du conditionnement par sous-tâches, de la supervision de la pose future des objets et de l'entraînement ECoT sur le taux de réussite, sans que le résumé en détaille les gains. Les prochaines étapes naturelles seraient une validation sur matériel réel, une comparaison de latence face aux approches fondées sur la génération vidéo et une évaluation sur des tâches de manipulation plus longues et plus variées.

RecherchePaper

1 source

StrataVLA : ancrage géométrique 3D hiérarchique et efficace pour les modèles vision-langage-action

Illustration générée par IA

2arXiv cs.RO

StrataVLA : ancrage géométrique 3D hiérarchique et efficace pour les modèles vision-langage-action

Une équipe de recherche présente StrataVLA, un framework pour les modèles Vision-Language-Action (VLA) utilisés en manipulation robotique, dans un preprint mis en ligne sur arXiv en septembre 2026 (référence 2609.26071v1). Le système cible le manque de conscience spatiale en 3D des VLA, qui héritent de solides priors sémantiques du préentraînement vision-langage mais restent limités en manipulation faute d'accès continu à l'information géométrique. Il associe un modèle de géométrie figé, qui extrait des caractéristiques à partir d'images RGB, à des Geometry Adapters épars insérés à des profondeurs choisies du réseau et récupérant cette information par attention croisée, complété par un routage sensible à la tâche et un cache LRU exploitant la redondance temporelle pour limiter le coût de calcul. Testé sur LIBERO, SimplerEnv et en manipulation réelle, StrataVLA atteint 98,53 % de réussite moyenne sur les suites LIBERO tout en réduisant jusqu'à 88 % les appels au modèle de géométrie. Pour les intégrateurs robotiques, cette approche plug-and-play promet d'ajouter une compréhension 3D fiable à un VLA existant sans multiplier les capteurs de profondeur ni réentraîner tout le réseau, le tronc vision-langage préentraîné restant gelé. La réduction de 88 % des appels au modèle de géométrie vise directement le coût de calcul qui freine le déploiement temps réel de politiques conscientes de la géométrie. Le chiffre de 98,53 % reste toutefois un résultat de simulation sur LIBERO ; les gains rapportés sur SimplerEnv et en conditions réelles ne sont pas quantifiés de la même manière, ce qui invite à la prudence avant d'extrapoler cette performance à des environnements industriels variés. Ce travail s'inscrit dans une recherche sur les VLA qui, depuis des modèles comme Pi-0 ou GR00T N2, cherchent à unifier perception, langage et action dans un seul réseau de bout en bout, tout en se heurtant à la même limite : un raisonnement spatial 3D précis, nécessaire pour saisir et positionner des objets, que les représentations purement 2D ne capturent pas nativement. Plutôt que de créer un nouveau modèle de fondation, StrataVLA propose d'injecter la géométrie de manière hiérarchique et distribuée dans le tronc existant. L'article ne mentionne ni entreprise ni site de déploiement industriel : il s'agit d'un preprint de recherche, non encore évalué par les pairs, sans code ni robot commercial associé à ce stade.

RechercheOpinion

1 source

GaussVLA : un raisonnement spatial géométrique pour les modèles vision-langage-action

Illustration générée par IA

3arXiv cs.RO

GaussVLA : un raisonnement spatial géométrique pour les modèles vision-langage-action

Un preprint arXiv (2608.24959v1) présente GaussVLA, un modèle Vision-Language-Action fondé sur une architecture Mamba, doté de deux modules : le Gaussian Spatial Tokenizer (GST), qui convertit des caractéristiques sémantiques et de profondeur figées en tokens 3D gaussiens compacts en agrégeant les zones géométriquement saillantes via des requêtes apprises, et le Depth-Aware Chain-of-Thought (DA-CoT), un raisonnement géométrique structuré et non autorégressif conditionné par le langage. Testé en simulation sur le benchmark LIBERO et en conditions réelles, il atteint 93,5 % de réussite moyenne et 100,0 % sur la suite Spatial avec seulement 200 millions de paramètres, soit 19,7 % de mieux que SpatialVLA, sa référence de comparaison directe, tout en restant nettement plus économique en paramètres. Le problème visé est connu : les observations visuelles des modèles VLA sont d'ordinaire encodées en tokens 2D plats sans structure géométrique, et une carte de profondeur monoculaire n'ajoute que des valeurs scalaires par pixel, sans orientation de surface ni confiance géométrique. En dotant le modèle d'une représentation 3D explicite, GaussVLA améliore le raisonnement spatial requis pour la manipulation fine, un des écarts récurrents entre démonstrations de laboratoire et déploiement réel. Pour les intégrateurs, le signal le plus utile reste l'efficacité paramétrique : un modèle de 200 millions de paramètres qui surpasse une référence plus lourde suggère que la qualité du raisonnement spatial tient davantage à la structure de la représentation qu'à la taille du modèle, contredisant l'hypothèse du "plus gros VLA égale meilleure généralisation" et laissant entrevoir des coûts d'inférence embarquée réduits pour des politiques déployées directement sur des contrôleurs de robots. GaussVLA se positionne explicitement comme une amélioration de SpatialVLA, dans une course d'architectures VLA qui cherche depuis plusieurs générations à résoudre le raisonnement spatial en manipulation robotique. Le travail reste un preprint non encore revu par les pairs, validé sur LIBERO, un benchmark de simulation standard, complété par des essais réels dont l'ampleur n'est pas précisée dans le résumé. Aucun partenaire industriel, calendrier de déploiement ou prix n'est mentionné : il s'agit d'une contribution de recherche sur l'architecture des tokenizers spatiaux, et non d'un produit ou d'un pilote commercial, dont les suites attendues seraient des tests sur des tâches de manipulation plus longues et des plateformes robotiques variées.

RechercheOpinion

1 source

MotionVLA : intégration du mouvement géométrique dans un modèle vision-langage-action (VLA)

Illustration générée par IA

4arXiv cs.RO

MotionVLA : intégration du mouvement géométrique dans un modèle vision-langage-action (VLA)

Un preprint déposé sur arXiv le 9 juin 2026 (arXiv:2606.08288) introduit MotionVLA, une interface de mémoire motrice conçue pour améliorer les modèles vision-language-action appliqués à la manipulation robotique longue portée. Le principe : plutôt qu'alimenter le modèle avec une séquence d'images passées traitées indépendamment, MotionVLA convertit une courte fenêtre vidéo récente en tokens de champ de trajectoire (trajectory-field tokens), compacts et temporellement continus. Ces tokens encodent le mouvement cohérent entre les observations, et les tokens visuels courants les interrogent pour extraire les informations de mouvement pertinentes à la tâche en cours. Le tout est réinjecté dans le flux VLA via une supervision ancrée sur les trajectoires. Les auteurs rapportent des améliorations sur des benchmarks de simulation ainsi que des essais préliminaires sur robot réel, avec des exécutions décrites comme plus fluides et plus directes. L'enjeu est théorique, mais les implications pratiques sont directes. Les VLA actuels -- pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure) -- cherchent à résoudre l'ambiguïté des tâches longues en injectant toujours plus de contexte : historique d'images, profondeur, features 4D. L'hypothèse implicite est "plus de contexte spatio-temporel équivaut à une meilleure politique". MotionVLA conteste cette hypothèse : un contexte incohérent en termes de mouvement introduit de la dérive géométrique, des indices temporels fragmentés et une génération d'actions instable. Reformuler la mémoire comme un champ de mouvement plutôt que comme un empilement de frames résout le problème à la source, ce qui intéresse directement les équipes cherchant à stabiliser des VLA en déploiement industriel sans exploser le budget de calcul. Ce travail s'inscrit dans une course intense à l'architecture VLA optimale. Les approches concurrentes incluent les modèles à base de profondeur (SpatialVLA), de features 4D (CogACT), ou de diffusion de trajectoires (pi-0). MotionVLA se rapproche davantage des travaux sur le flot optique dense et les représentations de mouvement continu. Deux mises en garde s'imposent : les résultats sur robot réel sont explicitement qualifiés de "préliminaires" par les auteurs, et aucun chiffre de benchmark précis n'est disponible dans la publication actuelle. À ce stade, il s'agit d'une contribution de recherche, non d'un produit industrialisé ni d'une démonstration validée à l'échelle.

RechercheOpinion

1 source