Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

StarVLA-α : réduire la complexité des systèmes vision-langage-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente StarVLA-α, un modèle de référence pour les systèmes Vision-Language-Action (VLA) en robotique, dans une preprint arXiv (2604.11757, version 2) accompagnée d'un code annoncé sur github.com/starVLA/starVLA. Le modèle réduit volontairement la complexité architecturale et applique le même pipeline minimal sur quatre benchmarks standards du secteur : LIBERO, SimplerEnv, RoboTwin et RoboCasa. Sa version généraliste unique dépasse de 20 % le modèle Pi-0.5 (π0.5) sur RoboChallenge, un benchmark public évalué en conditions réelles et non en simulation. Les auteurs ont réévalué plusieurs choix de conception clés : stratégie de modélisation de l'action, pré-entraînement spécifique au robot et ingénierie d'interface.

Ce résultat contredit une hypothèse répandue dans la course aux VLA, selon laquelle la performance exige un empilement d'astuces d'ingénierie et des architectures toujours plus complexes. En montrant qu'un backbone VLM (vision-language model) solide combiné à un design minimal suffit à dépasser un modèle reconnu comme Pi-0.5 sur un test en conditions réelles, l'étude remet en question la course à la complexité qui domine le secteur. Pour les intégrateurs et les laboratoires de recherche, l'intérêt est concret : une base simple, reproductible et compétitive réduit le coût d'entrée pour tester de nouvelles idées sans reproduire des pipelines propriétaires. Cela suggère aussi que le goulot d'étranglement des VLA tient moins à l'architecture qu'à la qualité du backbone et des données d'entraînement.

Le champ des VLA s'est fragmenté depuis l'arrivée de modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, associé au robot Figure 03, chacun avec ses propres choix d'architecture et de données, rendant les comparaisons difficiles. StarVLA-α se positionne en contrepoint académique, en isolant les axes de conception pour permettre une analyse contrôlée plutôt qu'une surenchère d'ingénierie propre à chaque benchmark. Il s'agit d'une contribution de recherche et non d'un produit commercial ou d'un déploiement industriel : le code n'était pas encore public au moment de la publication, seule une adresse GitHub était annoncée. Les auteurs présentent StarVLA-α comme un point de départ pour de futurs travaux sur les VLA, sans partenariat industriel ni calendrier de déploiement annoncé.

Dans nos dossiers

FigureIA physique & VLANVIDIA GR00TPhysical Intelligence — π0

À lire aussi

Modèles vision-langage-action tenant compte du système de préhension
1arXiv cs.RO 

Modèles vision-langage-action tenant compte du système de préhension

Une équipe de recherche publie sur arXiv, sous la référence 2608.24603, une étude introduisant MiGA, un jeu de données pour la manipulation robotique par modèles vision-langage-action (VLA), et GVLA, le modèle associé. MiGA couvre cinq types de pinces distincts répartis sur plusieurs robots, pour un total de 103 000 démonstrations capturant la divergence des stratégies de préhension selon l'effecteur pour un même objectif. GVLA combine un tokenizer multi-gripper et un routage de politique par adaptateurs, avec des représentations internes conditionnées par le type de pince. En simulation comme sur robots réels, GVLA surpasse les modèles de référence, avec une meilleure généralisation à des objets et tâches inédits et une adaptation plus rapide entre pinces. L'apport tient surtout au diagnostic : la plupart des VLA actuels supposent implicitement une invariance au type de pince, alors que la stratégie de préhension dépend de l'effecteur terminal, une pince parallèle et une ventouse exigeant des interactions distinctes pour saisir un même objet. Or les jeux de données d'entraînement existants reposent presque exclusivement sur des pinces parallèles, limitant la généralisation vers les ventouses ou pinces adaptatives utilisées en logistique et en manipulation industrielle. Pour les intégrateurs exploitant des flottes hétérogènes d'effecteurs, un modèle entraîné sur pince parallèle ne transfère pas trivialement à un bras équipé de ventouse. L'étude montre ainsi que le passage à l'échelle des VLA doit intégrer l'hétérogénéité matérielle des effecteurs, pas seulement celle des tâches ou des objets. Cette publication s'inscrit dans la vague de recherche sur les modèles vision-langage-action, qui ont démontré ces dernières années leur capacité à traduire des instructions en langage naturel en séquences d'actions robotiques, en se concentrant surtout sur la diversité des tâches et des scènes plutôt que sur celle des effecteurs. Il s'agit ici d'une contribution de recherche déposée sur arXiv, sans annonce de déploiement industriel : MiGA et GVLA sont pour l'instant validés en simulation et sur essais robots en laboratoire, sans précision sur une mise à disposition publique du code ou du dataset. La suite attendue est leur publication effective et une éventuelle reprise par des laboratoires confrontés, sur le terrain, à la diversité réelle des effecteurs de préhension.

RechercheActu
1 source
Vue-Langage-Action : agir, réfléchir ou s'abstenir selon la complexité perçue
2arXiv cs.RO 

Vue-Langage-Action : agir, réfléchir ou s'abstenir selon la complexité perçue

Une équipe de recherche propose un mécanisme d'inférence adaptative pour les modèles Vision-Language-Action (VLA), publié sur arXiv (2603.05147v2). Le principe: au lieu d'appliquer systématiquement un raisonnement coûteux à chaque tâche, le système classe la complexité de la situation perçue et choisit entre trois modes, Act (exécution immédiate pour les tâches connues), Think (raisonnement approfondi pour les cas ambigus) et Abstain (arrêt préventif face à une anomalie physique ou sémantique). La méthode transforme le backbone vision-langage du VLA en détecteur actif, en projetant ses embeddings latents dans des estimateurs paramétriques et non paramétriques. Testé sur les benchmarks LIBERO et LIBERO-PRO ainsi que sur un robot réel, le modèle combinant un Gaussian Mixture Model appliqué aux embeddings fusionnés vision-langage-instruction obtient jusqu'à 87,5% de F1-score sur deux backbones VLA différents, SmolVLA et π0, et conserve 83% de performance avec seulement 5% des données d'entraînement, dépassant les détecteurs d'échec de l'état de l'art. Pour l'industrie robotique, ce travail s'attaque à deux problèmes concrets qui freinent le déploiement des VLA en production: le coût de calcul du raisonnement systématique, qui pénalise le temps de cycle et l'autonomie embarquée sur des tâches triviales, et l'absence de garde-fou fiable face aux scénarios hors distribution, source de défaillances catastrophiques en environnement réel. En donnant au modèle une estimation d'incertitude native plutôt qu'un raisonnement en force brute partout, l'approche vise un compromis entre latence et sécurité que les intégrateurs réclament pour justifier un passage du laboratoire à l'usine ou à l'entrepôt. Le fait que la robustesse se maintienne avec 5% des données seulement suggère aussi une piste pour réduire le coût d'entraînement spécifique à chaque nouvelle tâche. Le travail s'inscrit dans la lignée des VLA généralistes comme π0 (Physical Intelligence) et des modèles compacts comme SmolVLA, dont la généralisation reposait jusqu'ici surtout sur l'ajout de modules de raisonnement, au prix de la latence. En s'appuyant sur les benchmarks de simulation LIBERO et sa variante durcie LIBERO-PRO, complétés par une validation sur robot physique, les auteurs positionnent leur détecteur de complexité comme une alternative aux approches existantes de détection d'échec. Les prochaines étapes attendues concernent l'extension à d'autres familles de VLA et une validation à plus grande échelle en conditions industrielles réelles.

RechercheActu
1 source
NS-VLA : vers des modèles vision-langage-action neuro-symboliques
3arXiv cs.RO 

NS-VLA : vers des modèles vision-langage-action neuro-symboliques

Une équipe de recherche a publié sur arXiv (référence 2603.09542, troisième version révisée) un article décrivant NS-VLA, un cadre neuro-symbolique pour les modèles Vision-Language-Action (VLA), ces systèmes qui traduisent une instruction en langage naturel et un contexte visuel en séquence d'actions pour un bras ou un robot manipulateur. Les auteurs pointent trois limites des VLA actuels : des architectures dorsales (backbones) aveugles à la structure des tâches, une capacité de généralisation qui reste bridée par le backbone choisi, et un entraînement par optimisation à objectif unique, incapable de distinguer les niveaux de granularité d'une tâche. NS-VLA répond avec trois briques : un encodeur neuro-symbolique qui infère des primitives d'action sous contrainte de plan, un solveur neuro-symbolique qui conditionne une politique indépendante du backbone sur la primitive active, et une méthode d'optimisation hiérarchique conjointe qui aligne la granularité de la récompense sur celle de la tâche. Sur des benchmarks de manipulation robotique, les auteurs rapportent de meilleurs résultats que les méthodes précédentes en apprentissage one-shot et face à des perturbations de données, ainsi qu'une généralisation zero-shot et un espace d'exploration élargis. Le code est publié en open source. Ce travail s'attaque à un point de friction central du secteur : les modèles VLA généralistes, dans la lignée de systèmes comme Pi-0, GR00T ou Helix, sont devenus le pari dominant pour doter bras robotiques et humanoïdes de compétences de manipulation transférables, mais leur généralisation reste plafonnée par le backbone vision-langage sur lequel ils s'appuient, souvent pré-entraîné sans notion explicite de structure de tâche. En découplant la politique d'action du backbone via une couche symbolique intermédiaire, NS-VLA suggère qu'il est possible d'améliorer robustesse et généralisation sans dépendre d'un unique modèle de fondation propriétaire, ce qui intéresserait les intégrateurs cherchant à faire tourner la même logique de contrôle sur plusieurs plateformes matérielles. Si ces gains se confirment au-delà des benchmarks internes des auteurs, cela nourrirait la thèse selon laquelle l'approche purement bout en bout des VLA actuels atteint ses limites face à la diversité des tâches industrielles. Il s'agit d'une contribution académique publiée sur arXiv, pas d'un produit commercialisé ni d'un déploiement en usine : les comparaisons de performance proviennent des propres expériences des auteurs, sans validation tierce ni précision sur le matériel utilisé ou un éventuel test sur robot physique plutôt qu'en simulation, ce qui invite à la prudence sur l'ampleur réelle des gains revendiqués. Le neuro-symbolique n'est pas une idée neuve : il ressurgit régulièrement en robotique pour combler les angles morts des réseaux de neurones purs, depuis que les limites de généralisation des premiers VLA, héritiers de RT-2 puis d'OpenVLA, ont révélé l'écart entre démonstrations impressionnantes et robustesse en conditions réelles. La mise à disposition du code doit permettre à la communauté de reproduire les résultats sur d'autres backbones ; la suite logique, non documentée dans l'article, serait une évaluation sur robot physique et une comparaison directe avec les VLA propriétaires déjà déployés commercialement.

RechercheOpinion
1 source
Évolution continue des compétences dans un modèle vision-langage-action (VLA)
4arXiv cs.RO 

Évolution continue des compétences dans un modèle vision-langage-action (VLA)

Des chercheurs ont publié Stellar VLA (arXiv:2511.18085v3), un cadre d'apprentissage continu par imitation (continual imitation learning, CIL) pour les modèles Vision-Langage-Action (VLA). La méthode propose deux variantes progressives : T-Stellar, fondée sur une modélisation plate centrée sur les tâches, et TS-Stellar, organisée en structure hiérarchique tâche-compétence. Les expériences menées sur le benchmark LIBERO, référence standard pour les tâches de manipulation robotique, montrent que les deux variantes surpassent les baselines VLA et CIL actuelles, avec seulement 1 % de rejeu de données. Une validation en conditions réelles sur une plateforme bi-bras, avec des configurations de scènes et d'embodiments distincts, confirme que le transfert de connaissances entre tâches reste effectif au-delà du simulateur. Le principal apport de Stellar VLA est d'adresser un frein structurel au déploiement des grands modèles VLA : les méthodes CIL existantes nécessitent des paramètres additionnels ou des modules externes, ce qui les rend difficilement scalables lorsque le modèle de base est déjà massif. En optimisant conjointement des représentations de tâches et un espace de connaissances partagé, Stellar VLA introduit un mécanisme de routage expert guidé par la sémantique, sélectionnant les K embeddings les plus proches pour orienter le modèle vers la compétence pertinente, sans alourdir l'architecture. Pour les équipes qui déploient des robots polyvalents en production, cela ouvre la voie à l'apprentissage incrémental de nouvelles tâches avec un coût de fine-tuning réduit. TS-Stellar se distingue notamment sur les manipulations hiérarchiques complexes, et les visualisations publiées illustrent une rétention robuste des compétences acquises ainsi qu'une capacité de découverte automatique de nouvelles tâches. Les VLA constituent un axe de recherche en accélération depuis 2023, portés par Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA (UC Berkeley) ou encore RT-2 (Google DeepMind), qui cherchent à généraliser la manipulation robotique via un préentraînement multimodal massif. La question du catastrophic forgetting, c'est-à-dire la perte des compétences antérieures lors de l'apprentissage d'une nouvelle tâche, reste un verrou non résolu à l'échelle industrielle. Stellar VLA se positionne comme une surcouche légère applicable à des VLA existants, sans retraining complet. Le projet est documenté sur stellarvla.github.io ; aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication, qui reste à ce stade un travail de recherche académique.

RechercheOpinion
1 source