RecherchearXiv cs.RO 7 octobre 2026

StairVLA : génération d'actions hiérarchique et sensible aux étapes pour les modèles vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2610.07756v1) StairVLA, un cadre de génération d'actions hiérarchique pour les modèles vision-langage-action (VLA). Ces modèles utilisent de plus en plus des têtes d'action à diffusion ou à flow matching pour produire des actions robotiques continues. Les auteurs constatent que ces têtes traitent la trajectoire de débruitage de façon quasi uniforme, alors que le conditionnement évolue selon les étapes. Au début, instructions en langage et observations visuelles servent à fixer une trajectoire grossière. Ensuite, le débruitage s'appuie davantage sur l'observation visuelle courante pour aligner l'action. StairVLA exploite cette observation. Un VLA de haut niveau exécute seulement les premières étapes de débruitage et produit une trajectoire longue, partiellement débruitée et réutilisable. Un raffineur léger, tournant à plus haute fréquence, termine le débruitage de segments d'actions locaux (« chunks ») avec les dernières observations. Sur le benchmark simulé LIBERO, une version de style GR00T fait passer le taux de succès moyen de 96,5 % à 97,8 %. La latence d'inférence amortie passe de 115,0 ms à 44,2 ms par chunk, soit environ 2,6 fois moins. Les auteurs affirment des résultats comparables sur deux architectures VLA, plusieurs benchmarks simulés et des tâches sur robot réel, sans en détailler les chiffres dans le résumé.

L'enjeu est le coût de calcul, un des freins au déploiement des VLA. Le backbone, très gourmand, est appelé à chaque chunk, ce qui limite la fréquence de boucle fermée et impose du matériel embarqué coûteux. StairVLA propose de n'invoquer ce backbone que rarement et de laisser un module léger corriger à haute fréquence. Le gain de latence ne se fait pas au prix de la précision, ce qui compte pour les intégrateurs qui visent des tâches de manipulation réactives sur des plateformes à budget énergétique limité. Les résultats restent à nuancer. LIBERO est un benchmark saturé, où un écart de 1,3 point est modeste. Les gains en conditions réelles, face à des perturbations et à des objets inédits, ne sont pas quantifiés dans le résumé. Il s'agit d'une publication de recherche, pas d'un produit ni d'un déploiement.

Ce travail s'inscrit dans l'effort pour accélérer les VLA, après les têtes d'action par diffusion de Pi-0 et de GR00T, les approches à deux systèmes comme Helix de Figure, qui sépare un modèle lent de raisonnement d'une politique rapide, et les méthodes de distillation ou de réduction du nombre d'étapes de débruitage. La spécificité de StairVLA est d'utiliser l'action partiellement débruitée comme interface entre les deux niveaux, sans module de planification séparé. Les prochaines étapes à surveiller sont la publication du code, des validations sur davantage de robots réels et une comparaison directe avec les approches de type Helix ou Pi-0.5 en conditions industrielles.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action

Publié sur arXiv (2609.10915), IMLE-VLA remplace la tête d'action itérative des politiques vision-langage-action (VLA) par un générateur en une seule étape, entraîné via l'estimation conditionnelle du maximum de vraisemblance implicite (cIMLE). Appliqué au modèle π0.5, il fait passer la fréquence d'inférence de 15 Hz à 55 Hz, soit un facteur 3,67, et jusqu'à 11 fois le débit d'action. Sur le benchmark LIBERO, qui couvre 40 tâches, IMLE-VLA atteint 98,0% de réussite moyenne, le meilleur score et la plus haute fréquence d'inférence parmi les méthodes comparées. Sous les perturbations du test LIBERO-plus, il conserve la robustesse de π0.5 alors que les autres approches se dégradent nettement. Sur un bras Franka Emika Panda, quatre tâches en conditions réelles montrent un jerk réduit de 2,2 à 3,0 fois et un temps d'inférence par épisode divisé par 3,9 à 6,6 par rapport à π0.5 seul. Le problème visé est bien identifié dans le secteur: les têtes d'action entraînées par diffusion ou flow matching, comme celle de π0.5, exigent un échantillonnage multi-étapes (jusqu'à 10 pas d'Euler), ce qui produit un mouvement saccadé du robot et ralentit l'exécution des tâches. Pour les intégrateurs et équipes robotique qui déploient des bras ou des humanoïdes pilotés par des modèles de fondation, la latence d'inférence conditionne directement la fluidité et la sécurité du contrôle en temps réel. En montrant qu'un générateur à étape unique peut couvrir la multimodalité de l'action sans tomber dans l'effondrement de mode des têtes de régression classiques, IMLE-VLA remet en cause l'idée reçue selon laquelle l'échantillonnage itératif serait indispensable pour préserver la généralisation des politiques VLA à grande échelle. Ce travail s'inscrit dans la lignée des VLA construits sur des backbones vision-langage préentraînés, avec π0.5 comme base de comparaison. Il s'agit d'une contribution académique et non d'un produit commercial: code et vidéos de démonstration sont publiés sur le site du projet à des fins de reproductibilité, sans annonce de déploiement industriel ni de pilote client. Présentée comme générique, la méthode cIMLE pourrait en principe s'appliquer à d'autres têtes d'action par diffusion ou flow matching utilisées ailleurs dans le secteur, ce qui ouvre la voie à des tests sur d'autres politiques VLA et d'autres plateformes robotiques, au-delà du seul bras Franka Emika Panda utilisé pour cette validation.

RechercheActu

1 source

2arXiv cs.RO

StrataVLA : ancrage géométrique 3D hiérarchique et efficace pour les modèles vision-langage-action

Une équipe de recherche présente StrataVLA, un framework pour les modèles Vision-Language-Action (VLA) utilisés en manipulation robotique, dans un preprint mis en ligne sur arXiv en septembre 2026 (référence 2609.26071v1). Le système cible le manque de conscience spatiale en 3D des VLA, qui héritent de solides priors sémantiques du préentraînement vision-langage mais restent limités en manipulation faute d'accès continu à l'information géométrique. Il associe un modèle de géométrie figé, qui extrait des caractéristiques à partir d'images RGB, à des Geometry Adapters épars insérés à des profondeurs choisies du réseau et récupérant cette information par attention croisée, complété par un routage sensible à la tâche et un cache LRU exploitant la redondance temporelle pour limiter le coût de calcul. Testé sur LIBERO, SimplerEnv et en manipulation réelle, StrataVLA atteint 98,53 % de réussite moyenne sur les suites LIBERO tout en réduisant jusqu'à 88 % les appels au modèle de géométrie. Pour les intégrateurs robotiques, cette approche plug-and-play promet d'ajouter une compréhension 3D fiable à un VLA existant sans multiplier les capteurs de profondeur ni réentraîner tout le réseau, le tronc vision-langage préentraîné restant gelé. La réduction de 88 % des appels au modèle de géométrie vise directement le coût de calcul qui freine le déploiement temps réel de politiques conscientes de la géométrie. Le chiffre de 98,53 % reste toutefois un résultat de simulation sur LIBERO ; les gains rapportés sur SimplerEnv et en conditions réelles ne sont pas quantifiés de la même manière, ce qui invite à la prudence avant d'extrapoler cette performance à des environnements industriels variés. Ce travail s'inscrit dans une recherche sur les VLA qui, depuis des modèles comme Pi-0 ou GR00T N2, cherchent à unifier perception, langage et action dans un seul réseau de bout en bout, tout en se heurtant à la même limite : un raisonnement spatial 3D précis, nécessaire pour saisir et positionner des objets, que les représentations purement 2D ne capturent pas nativement. Plutôt que de créer un nouveau modèle de fondation, StrataVLA propose d'injecter la géométrie de manière hiérarchique et distribuée dans le tronc existant. L'article ne mentionne ni entreprise ni site de déploiement industriel : il s'agit d'un preprint de recherche, non encore évalué par les pairs, sans code ni robot commercial associé à ce stade.

RechercheOpinion

1 source

3arXiv cs.RO

Récupération hiérarchique de compétences pour l'adaptation efficiente des modèles vision-langage-action

Des chercheurs présentent Hierarchical Skill Retrieval (HSR), un framework de récupération de démonstrations pour adapter plus efficacement les modèles Vision-Language-Action (VLA) à de nouvelles tâches de manipulation robotique avec peu de données spécifiques. Plutôt que de chercher des correspondances de tâches complètes, rares dans les jeux de données existants, HSR décompose une tâche cible en séquences de compétences candidates, évalue chaque plan selon sa plausibilité sémantique et la fiabilité des compétences estimée à partir du jeu de données préalable, puis combine récupération de langage au niveau sous-tâche et reclassement par caractéristiques comportementales pour sélectionner des démonstrations pertinentes et compatibles. La politique est ensuite adaptée via un pipeline en deux étapes séparant acquisition générale de compétences et finetuning spécifique à la tâche. Sur le benchmark LIBERO et sur plusieurs tâches de manipulation en conditions réelles, HSR améliore le taux de succès moyen de 10,3% et 21,3% respectivement par rapport à la meilleure méthode de référence. Vidéos et code sont disponibles sur le site du projet. Ce travail s'attaque à un problème très concret pour l'industrie robotique : les modèles VLA préentraînés sur de vastes jeux de données de démonstrations perdent en performance dès qu'on les confronte à des tâches nouvelles avec peu d'exemples, un frein majeur au déploiement rapide chez les intégrateurs. En structurant la récupération autour de compétences réutilisables plutôt que de tâches entières, HSR propose une piste pour réduire le coût de collecte de données lors du transfert vers de nouveaux environnements ou de nouvelles chaînes de production, un enjeu central pour quiconque cherche à industrialiser des bras robotiques ou des humanoïdes au-delà des démonstrations en laboratoire. Le gain plus marqué en conditions réelles (21,3%) qu'en simulation (10,3%) suggère que l'approche hiérarchique compense particulièrement bien le bruit et la variabilité du monde physique, un point souvent négligé par les méthodes de récupération fondées sur la seule similarité visuelle ou l'appariement de langage au niveau tâche. HSR s'inscrit dans la lignée des travaux récents sur l'adaptation efficace des modèles VLA de type Pi-0 ou GR00T, où la question centrale reste de savoir comment tirer parti de grands jeux de données hétérogènes sans réentraînement coûteux pour chaque nouvelle tâche. Les auteurs positionnent leur méthode par rapport aux approches de récupération existantes basées sur la similarité visuelle, les représentations état-action ou l'appariement de langage au niveau tâche, qu'ils jugent insuffisantes face à la structure hiérarchique des tâches de manipulation à long horizon. Le code et les vidéos de démonstration étant publiés en accès libre, la validation par la communauté sur d'autres benchmarks et plateformes robotiques déterminera si ces gains se généralisent au-delà de LIBERO et des tâches réelles testées par les auteurs.

RechercheOpinion

1 source

4arXiv cs.RO

Modèles vision-langage-action (VLA) conditionnés par l'état de santé pour un contrôle robotique sensible aux pannes

Une équipe de recherche publie sur arXiv (référence 2605.16056) un modèle VLA (Vision-Language-Action) capable d'adapter son comportement à la dégradation physique d'un robot, une problématique distincte des pannes de tâches habituellement ciblées par la littérature. L'approche repose sur l'injection d'un module "Health Projector" dans l'architecture VLA-Adapter : le modèle reçoit en entrée un vecteur de santé encodant l'amplitude articulaire et le couple disponible pour chaque joint. Entraîné sur 128 épisodes téléopérés collectés dans l'environnement de simulation LIBERO (benchmark Libero-Spatial), il parvient à compléter des tâches de manipulation spatiale avec des configurations de joints dégradés où le modèle de référence VLA-Adapter Libero-Spatial-Pro échoue systématiquement. Le code et le jeu de données seront prochainement disponibles sur GitHub (h-arslan/health-aware-vla). L'intérêt industriel est réel : dans les déploiements terrain, les robots accumulent des dégradations mécaniques progressives (usure articulaire, perte de couple, grippage de préhenseur) sans nécessairement déclencher d'alarme critique. Un contrôleur aveugle à cet état physique maintient ses consignes nominales et accumule les erreurs ; un modèle conditionné à la santé peut recalculer ses trajectoires à la volée. La modification proposée est présentée comme légère, ce qui suggère une intégration possible dans des pipelines VLA existants sans refonte complète. Cependant, les résultats restent limités à la simulation LIBERO avec 128 épisodes seulement, un jeu de données particulièrement restreint, et aucune validation sur robot physique n'est présentée, laissant le gap sim-to-real entièrement ouvert. Ce travail s'inscrit dans l'expansion rapide des VLA depuis 2023, portée par des modèles comme pi0 (Physical Intelligence), OpenVLA ou la famille RoboVLMs. VLA-Adapter, utilisé comme base ici, est une variante qui réduit les coûts de fine-tuning en gelant le backbone visio-langagier pour n'entraîner qu'un adaptateur léger. La résilience robotique est jusqu'ici majoritairement traitée côté contrôle bas niveau (détection de fautes, compensation par redondance articulaire) plutôt qu'au niveau de la politique visuo-langagière, ce qui rend l'angle de cette recherche original. Aucun acteur européen n'est impliqué dans cette publication. La prochaine étape logique serait une validation sur hardware réel avec des dégradations induites mécaniquement et un dataset substantiellement élargi pour crédibiliser le passage à l'échelle.

RechercheOpinion

1 source