Aller au contenu principal
StairVLA : génération d'actions hiérarchique et sensible aux étapes pour les modèles vision-langage-action (VLA)Illustration générée par IA
RecherchearXiv cs.RO 

StairVLA : génération d'actions hiérarchique et sensible aux étapes pour les modèles vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv (2610.07756v1) StairVLA, un cadre de génération d'actions hiérarchique pour les modèles vision-langage-action (VLA). Ces modèles utilisent de plus en plus des têtes d'action à diffusion ou à flow matching pour produire des actions robotiques continues. Les auteurs constatent que ces têtes traitent la trajectoire de débruitage de façon quasi uniforme, alors que le conditionnement évolue selon les étapes. Au début, instructions en langage et observations visuelles servent à fixer une trajectoire grossière. Ensuite, le débruitage s'appuie davantage sur l'observation visuelle courante pour aligner l'action. StairVLA exploite cette observation. Un VLA de haut niveau exécute seulement les premières étapes de débruitage et produit une trajectoire longue, partiellement débruitée et réutilisable. Un raffineur léger, tournant à plus haute fréquence, termine le débruitage de segments d'actions locaux (« chunks ») avec les dernières observations. Sur le benchmark simulé LIBERO, une version de style GR00T fait passer le taux de succès moyen de 96,5 % à 97,8 %. La latence d'inférence amortie passe de 115,0 ms à 44,2 ms par chunk, soit environ 2,6 fois moins. Les auteurs affirment des résultats comparables sur deux architectures VLA, plusieurs benchmarks simulés et des tâches sur robot réel, sans en détailler les chiffres dans le résumé.

L'enjeu est le coût de calcul, un des freins au déploiement des VLA. Le backbone, très gourmand, est appelé à chaque chunk, ce qui limite la fréquence de boucle fermée et impose du matériel embarqué coûteux. StairVLA propose de n'invoquer ce backbone que rarement et de laisser un module léger corriger à haute fréquence. Le gain de latence ne se fait pas au prix de la précision, ce qui compte pour les intégrateurs qui visent des tâches de manipulation réactives sur des plateformes à budget énergétique limité. Les résultats restent à nuancer. LIBERO est un benchmark saturé, où un écart de 1,3 point est modeste. Les gains en conditions réelles, face à des perturbations et à des objets inédits, ne sont pas quantifiés dans le résumé. Il s'agit d'une publication de recherche, pas d'un produit ni d'un déploiement.

Ce travail s'inscrit dans l'effort pour accélérer les VLA, après les têtes d'action par diffusion de Pi-0 et de GR00T, les approches à deux systèmes comme Helix de Figure, qui sépare un modèle lent de raisonnement d'une politique rapide, et les méthodes de distillation ou de réduction du nombre d'étapes de débruitage. La spécificité de StairVLA est d'utiliser l'action partiellement débruitée comme interface entre les deux niveaux, sans module de planification séparé. Les prochaines étapes à surveiller sont la publication du code, des validations sur davantage de robots réels et une comparaison directe avec les approches de type Helix ou Pi-0.5 en conditions industrielles.

À lire aussi

IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action
Illustration générée par IA
1arXiv cs.RO 

IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action

Publié sur arXiv (2609.10915), IMLE-VLA remplace la tête d'action itérative des politiques vision-langage-action (VLA) par un générateur en une seule étape, entraîné via l'estimation conditionnelle du maximum de vraisemblance implicite (cIMLE). Appliqué au modèle π0.5, il fait passer la fréquence d'inférence de 15 Hz à 55 Hz, soit un facteur 3,67, et jusqu'à 11 fois le débit d'action. Sur le benchmark LIBERO, qui couvre 40 tâches, IMLE-VLA atteint 98,0% de réussite moyenne, le meilleur score et la plus haute fréquence d'inférence parmi les méthodes comparées. Sous les perturbations du test LIBERO-plus, il conserve la robustesse de π0.5 alors que les autres approches se dégradent nettement.

RechercheActu
1 source
StrataVLA : ancrage géométrique 3D hiérarchique et efficace pour les modèles vision-langage-action
Illustration générée par IA
2arXiv cs.RO 

StrataVLA : ancrage géométrique 3D hiérarchique et efficace pour les modèles vision-langage-action

Une équipe de recherche présente StrataVLA, un framework pour les modèles Vision-Language-Action (VLA) utilisés en manipulation robotique, dans un preprint mis en ligne sur arXiv en septembre 2026 (référence 2609.26071v1). Le système cible le manque de conscience spatiale en 3D des VLA, qui héritent de solides priors sémantiques du préentraînement vision-langage mais restent limités en manipulation faute d'accès continu à l'information géométrique. Il associe un modèle de géométrie figé, qui extrait des caractéristiques à partir d'images RGB, à des Geometry Adapters épars insérés à des profondeurs choisies du réseau et récupérant cette information par attention croisée, complété par un routage sensible à la tâche et un cache LRU exploitant la redondance temporelle pour limiter le coût de calcul.

RechercheOpinion
1 source
HAVANA : un modèle hiérarchique vidéo-action pour la navigation vision-langage
Illustration générée par IA
3arXiv cs.RO 

HAVANA : un modèle hiérarchique vidéo-action pour la navigation vision-langage

HAVANA, un modèle vidéo-action (VAM) hiérarchique dédié à la navigation guidée par le langage (Vision-Language Navigation, VLN), est décrit dans une nouvelle version d'un preprint arXiv (2610.24122v3). Son architecture à double système sépare deux fonctions que la plupart des VAM existants exécutent ensemble à l'inférence. Un système lent produit, à partir de l'historique d'observations, un plan latent compact conditionné par l'instruction en langage naturel. Un système rapide combine le dernier plan disponible avec l'observation courante pour générer des trajectoires locales. Les deux tournent de façon asynchrone, et aucune vidéo future n'est générée à l'inférence : le modèle apprend des représentations d'états visuels futurs sans les rendre explicitement.

RecherchePaper
1 source
ThermoAct : modèles vision-langage-action (VLA) sensibles à la thermique pour la perception et la décision en robotique
Illustration générée par IA
4arXiv cs.RO 

ThermoAct : modèles vision-langage-action (VLA) sensibles à la thermique pour la perception et la décision en robotique

ThermoAct est un cadre de type Vision-Language-Action (VLA) qui ajoute la perception thermique aux entrées visuelles et textuelles pour l'exécution de tâches robotiques. Il a été déposé sur arXiv en mars 2026 (référence 2603.25044), et la version 3 vient d'être publiée. L'architecture repose sur un modèle vision-langage (VLM) qui joue le rôle de planificateur de haut niveau. Il interprète des consignes complexes en langage naturel et les décompose en sous-tâches plus simples, que la politique d'action exécute ensuite. Les auteurs affirment que cette décomposition facilite la collecte de données et rend le raisonnement plus robuste sur les opérations complexes.

RecherchePaper
1 source