Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
StrataVLA : ancrage géométrique 3D hiérarchique et efficace pour les modèles vision-langage-action
RecherchearXiv cs.RO 

StrataVLA : ancrage géométrique 3D hiérarchique et efficace pour les modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente StrataVLA, un framework pour les modèles Vision-Language-Action (VLA) utilisés en manipulation robotique, dans un preprint mis en ligne sur arXiv en septembre 2026 (référence 2609.26071v1). Le système cible le manque de conscience spatiale en 3D des VLA, qui héritent de solides priors sémantiques du préentraînement vision-langage mais restent limités en manipulation faute d'accès continu à l'information géométrique. Il associe un modèle de géométrie figé, qui extrait des caractéristiques à partir d'images RGB, à des Geometry Adapters épars insérés à des profondeurs choisies du réseau et récupérant cette information par attention croisée, complété par un routage sensible à la tâche et un cache LRU exploitant la redondance temporelle pour limiter le coût de calcul. Testé sur LIBERO, SimplerEnv et en manipulation réelle, StrataVLA atteint 98,53 % de réussite moyenne sur les suites LIBERO tout en réduisant jusqu'à 88 % les appels au modèle de géométrie.

Pour les intégrateurs robotiques, cette approche plug-and-play promet d'ajouter une compréhension 3D fiable à un VLA existant sans multiplier les capteurs de profondeur ni réentraîner tout le réseau, le tronc vision-langage préentraîné restant gelé. La réduction de 88 % des appels au modèle de géométrie vise directement le coût de calcul qui freine le déploiement temps réel de politiques conscientes de la géométrie. Le chiffre de 98,53 % reste toutefois un résultat de simulation sur LIBERO ; les gains rapportés sur SimplerEnv et en conditions réelles ne sont pas quantifiés de la même manière, ce qui invite à la prudence avant d'extrapoler cette performance à des environnements industriels variés.

Ce travail s'inscrit dans une recherche sur les VLA qui, depuis des modèles comme Pi-0 ou GR00T N2, cherchent à unifier perception, langage et action dans un seul réseau de bout en bout, tout en se heurtant à la même limite : un raisonnement spatial 3D précis, nécessaire pour saisir et positionner des objets, que les représentations purement 2D ne capturent pas nativement. Plutôt que de créer un nouveau modèle de fondation, StrataVLA propose d'injecter la géométrie de manière hiérarchique et distribuée dans le tronc existant. L'article ne mentionne ni entreprise ni site de déploiement industriel : il s'agit d'un preprint de recherche, non encore évalué par les pairs, sans code ni robot commercial associé à ce stade.

Dans nos dossiers

IA physique & VLANVIDIA GR00TManipulation robotiquearXiv cs.RO

À lire aussi

Récupération hiérarchique de compétences pour l'adaptation efficiente des modèles vision-langage-action
1arXiv cs.RO 

Récupération hiérarchique de compétences pour l'adaptation efficiente des modèles vision-langage-action

Des chercheurs présentent Hierarchical Skill Retrieval (HSR), un framework de récupération de démonstrations pour adapter plus efficacement les modèles Vision-Language-Action (VLA) à de nouvelles tâches de manipulation robotique avec peu de données spécifiques. Plutôt que de chercher des correspondances de tâches complètes, rares dans les jeux de données existants, HSR décompose une tâche cible en séquences de compétences candidates, évalue chaque plan selon sa plausibilité sémantique et la fiabilité des compétences estimée à partir du jeu de données préalable, puis combine récupération de langage au niveau sous-tâche et reclassement par caractéristiques comportementales pour sélectionner des démonstrations pertinentes et compatibles. La politique est ensuite adaptée via un pipeline en deux étapes séparant acquisition générale de compétences et finetuning spécifique à la tâche. Sur le benchmark LIBERO et sur plusieurs tâches de manipulation en conditions réelles, HSR améliore le taux de succès moyen de 10,3% et 21,3% respectivement par rapport à la meilleure méthode de référence. Vidéos et code sont disponibles sur le site du projet. Ce travail s'attaque à un problème très concret pour l'industrie robotique : les modèles VLA préentraînés sur de vastes jeux de données de démonstrations perdent en performance dès qu'on les confronte à des tâches nouvelles avec peu d'exemples, un frein majeur au déploiement rapide chez les intégrateurs. En structurant la récupération autour de compétences réutilisables plutôt que de tâches entières, HSR propose une piste pour réduire le coût de collecte de données lors du transfert vers de nouveaux environnements ou de nouvelles chaînes de production, un enjeu central pour quiconque cherche à industrialiser des bras robotiques ou des humanoïdes au-delà des démonstrations en laboratoire. Le gain plus marqué en conditions réelles (21,3%) qu'en simulation (10,3%) suggère que l'approche hiérarchique compense particulièrement bien le bruit et la variabilité du monde physique, un point souvent négligé par les méthodes de récupération fondées sur la seule similarité visuelle ou l'appariement de langage au niveau tâche. HSR s'inscrit dans la lignée des travaux récents sur l'adaptation efficace des modèles VLA de type Pi-0 ou GR00T, où la question centrale reste de savoir comment tirer parti de grands jeux de données hétérogènes sans réentraînement coûteux pour chaque nouvelle tâche. Les auteurs positionnent leur méthode par rapport aux approches de récupération existantes basées sur la similarité visuelle, les représentations état-action ou l'appariement de langage au niveau tâche, qu'ils jugent insuffisantes face à la structure hiérarchique des tâches de manipulation à long horizon. Le code et les vidéos de démonstration étant publiés en accès libre, la validation par la communauté sur d'autres benchmarks et plateformes robotiques déterminera si ces gains se généralisent au-delà de LIBERO et des tâches réelles testées par les auteurs.

RechercheOpinion
1 source
GaussVLA : un raisonnement spatial géométrique pour les modèles vision-langage-action
2arXiv cs.RO 

GaussVLA : un raisonnement spatial géométrique pour les modèles vision-langage-action

Un preprint arXiv (2608.24959v1) présente GaussVLA, un modèle Vision-Language-Action fondé sur une architecture Mamba, doté de deux modules : le Gaussian Spatial Tokenizer (GST), qui convertit des caractéristiques sémantiques et de profondeur figées en tokens 3D gaussiens compacts en agrégeant les zones géométriquement saillantes via des requêtes apprises, et le Depth-Aware Chain-of-Thought (DA-CoT), un raisonnement géométrique structuré et non autorégressif conditionné par le langage. Testé en simulation sur le benchmark LIBERO et en conditions réelles, il atteint 93,5 % de réussite moyenne et 100,0 % sur la suite Spatial avec seulement 200 millions de paramètres, soit 19,7 % de mieux que SpatialVLA, sa référence de comparaison directe, tout en restant nettement plus économique en paramètres. Le problème visé est connu : les observations visuelles des modèles VLA sont d'ordinaire encodées en tokens 2D plats sans structure géométrique, et une carte de profondeur monoculaire n'ajoute que des valeurs scalaires par pixel, sans orientation de surface ni confiance géométrique. En dotant le modèle d'une représentation 3D explicite, GaussVLA améliore le raisonnement spatial requis pour la manipulation fine, un des écarts récurrents entre démonstrations de laboratoire et déploiement réel. Pour les intégrateurs, le signal le plus utile reste l'efficacité paramétrique : un modèle de 200 millions de paramètres qui surpasse une référence plus lourde suggère que la qualité du raisonnement spatial tient davantage à la structure de la représentation qu'à la taille du modèle, contredisant l'hypothèse du "plus gros VLA égale meilleure généralisation" et laissant entrevoir des coûts d'inférence embarquée réduits pour des politiques déployées directement sur des contrôleurs de robots. GaussVLA se positionne explicitement comme une amélioration de SpatialVLA, dans une course d'architectures VLA qui cherche depuis plusieurs générations à résoudre le raisonnement spatial en manipulation robotique. Le travail reste un preprint non encore revu par les pairs, validé sur LIBERO, un benchmark de simulation standard, complété par des essais réels dont l'ampleur n'est pas précisée dans le résumé. Aucun partenaire industriel, calendrier de déploiement ou prix n'est mentionné : il s'agit d'une contribution de recherche sur l'architecture des tokenizers spatiaux, et non d'un produit ou d'un pilote commercial, dont les suites attendues seraient des tests sur des tâches de manipulation plus longues et des plateformes robotiques variées.

RechercheOpinion
1 source
Attention géométrique temps-fréquence pour modèles vision-langage-action segmentés en blocs
3arXiv cs.RO 

Attention géométrique temps-fréquence pour modèles vision-langage-action segmentés en blocs

Une équipe de recherche publie sur arXiv (2609.09925v1, soumis en septembre 2026) un module baptisé Time-Frequency Geometric Cross-Attention (TFGCA), conçu pour améliorer les politiques vision-langage-action (VLA) qui prédisent des chunks d'actions, c'est-à-dire une à deux secondes de mouvement coordonné générées en une seule passe. Le problème identifié est double : ces chunks mélangent une tendance globale lisse et des corrections fines à différentes échelles temporelles, et les phases de mouvement (approche, contact, ajustement de la prise, stabilisation) évoluent selon des directions quasi orthogonales dans l'espace de représentation, mal captées par l'attention classique en produit scalaire. TFGCA décompose le chunk d'action en tokens temps-fréquence via une transformée en ondelettes stationnaire apprenable par dimension, puis combine similarité (produit scalaire) et sensibilité à la quasi-orthogonalité (magnitude du produit en coin, ou wedge-product) grâce à un poids appris. Une initialisation à résidu nul permet de greffer le module sur un VLA déjà pré-entraîné sans dégrader ses performances initiales, puis de le réentraîner conjointement. Les gains rapportés par rapport à la même base sans TFGCA : +1,5 point en moyenne sur LIBERO (distribution connue), +6,3 sur LIBERO-Plus (hors distribution), +28,5 sur la moyenne randomisée sous RoboTwin (randomisation de domaine), et +11,67 points de taux de réussite global sur trois tâches réelles avec le robot AgiBot A2. Pour les intégrateurs et chercheurs en robotique, ce travail attaque un angle mort resté peu exploré dans les VLA à chunks d'actions : la tête de décodage reste souvent un simple bloc linéaire générique, malgré la richesse structurelle du signal temporel. Le fait que les gains soient nettement plus marqués hors distribution et sous randomisation de domaine qu'en distribution suggère un progrès réel sur la robustesse, et pas seulement sur des bancs d'essai favorables, un point sensible dans un secteur souvent critiqué pour l'écart entre démonstrations et déploiement réel. La validation sur robot physique (AgiBot A2), au-delà des seules simulations LIBERO et RoboTwin, renforce la crédibilité de la méthode. Ce travail s'inscrit dans la tendance récente des politiques VLA à prédire des actions par blocs plutôt qu'image par image, pour gagner en cohérence temporelle, une approche partagée par plusieurs familles de modèles génératifs pour la robotique. TFGCA se positionne comme un module additif et léger, pas comme une nouvelle architecture concurrente, ce qui facilite son adoption sur des modèles déjà entraînés. Les auteurs ne précisent pas de calendrier de déploiement industriel ni de partenariat commercial, l'annonce restant à ce stade purement académique.

RechercheActu
1 source
FOCAL-VLA : distillation géométrique guidée par sous-tâches et modélisation implicite du monde pour les modèles vision-langage-action
4arXiv cs.RO 

FOCAL-VLA : distillation géométrique guidée par sous-tâches et modélisation implicite du monde pour les modèles vision-langage-action

Une équipe de recherche a mis en ligne sur arXiv un nouveau framework baptisé FOCAL-VLA, décrit dans l'article "Subtask-Guided Geometry Distillation and Implicit World Modeling for Vision-Language-Action Models" (arXiv:2609.21228v1, auteur principal Zhiyuan Gao, site du projet zhiyuan-gao.github.io/FOCAL-VLA). La méthode combine deux briques : une distillation géométrique guidée par sous-tâche, qui transfère les connaissances spatiales du modèle VGGT vers le modèle vision-langage-action en alignant ses représentations latentes uniquement sur les zones d'image pertinentes pour l'interaction en cours, et une modélisation implicite du monde, qui capture l'évolution 3D future de la scène via les features de Track4World extraites d'images de démonstration présentes et futures. Point clé technique : ni VGGT ni Track4World ne tournent au moment de l'inférence, seules les représentations apprises pendant l'entraînement guident la génération d'actions. Les auteurs annoncent des performances supérieures aux méthodes de référence à la fois sur des benchmarks de simulation et sur des tâches de manipulation réelle, sans toutefois publier dans l'abstract de chiffres précis (taux de réussite, temps de cycle, charge utile). L'enjeu adressé est connu du secteur : les modèles VLA qui mappent directement une observation 2D vers une action peinent sur la compréhension spatiale et temporelle fine, ce qui limite leur précision sur des manipulations complexes et des séquences longues. Les approches géométriques existantes, en intégrant toute la scène, diluent l'attention du modèle sur des informations non pertinentes pour la tâche en cours. En ciblant la supervision géométrique sur la sous-tâche active et en gardant les modèles auxiliaires hors de la boucle d'inférence, FOCAL-VLA vise un compromis précision-coût de calcul pertinent pour les intégrateurs cherchant à déployer des VLA en production sans surcoût matériel à l'exécution. FOCAL-VLA s'inscrit dans la vague de recherche académique cherchant à enrichir des modèles VLA généralistes (dans la lignée de travaux comme Pi-0, GR00T N2 ou Helix) d'une meilleure compréhension géométrique et temporelle. Il s'agit à ce stade d'un article de recherche déposé sur arXiv, non encore validé par une revue par les pairs ni testé en déploiement commercial ; les résultats comparatifs proviennent des auteurs eux-mêmes et restent à confirmer par des évaluations indépendantes.

RechercheActu
1 source