Aller au contenu principal
WBAG : un cadre de sécurité corps entier et géométrie attachée pour la manipulation par modèles vision-langage-action (VLA)Illustration générée par IA
RecherchearXiv cs.RO 

WBAG : un cadre de sécurité corps entier et géométrie attachée pour la manipulation par modèles vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent WBAG, un cadre de sécurité appliqué à l'inférence pour les politiques vision-langage-action (VLA), publié sur arXiv (2610.01083) en octobre 2026. Le système modélise le corps entier du robot articulé ainsi que la géométrie de l'objet saisi. Il construit un « ensemble sûr » conditionné par la saisie, dont la géométrie protégée s'adapte dès qu'un objet est attrapé. Cette géométrie évolutive est convertie en contraintes différentiables de type CBF (control barrier functions, fonctions barrières de contrôle). Ces contraintes modifient le moins possible l'action native à six dimensions en espace opérationnel produite par le VLA, afin d'éviter les collisions entre le robot, la scène et l'objet transporté. Les tests portent sur SafeLIBERO, une variante du benchmark LIBERO enrichie d'obstacles. Avec un évaluateur qui surveille tous les objets non liés à la tâche, WBAG atteint 97,38 % de Scene Safety agrégée et 59,38 % de Safe Success. Ce serait le meilleur score global parmi les méthodes comparées. Il s'agit d'un travail académique évalué en simulation, sans produit ni déploiement réel annoncé.

L'intérêt tient à la lacune que le travail cible. Les politiques VLA généralisent bien en manipulation, mais leur passage en conditions réelles bute sur le risque de collision. Les garde-fous existants à l'inférence raisonnent surtout à partir d'une représentation simplifiée centrée sur l'effecteur terminal. Ils ignorent donc les coudes, les segments du bras et le volume de la pièce tenue, qui changent la zone d'encombrement à chaque saisie. Pour un intégrateur, c'est un point concret : un robot qui frôle une étagère avec son avant-bras ou avec une boîte transportée n'est pas déployable, même si sa politique réussit la tâche en démonstration. L'écart entre les deux chiffres est aussi instructif. Le taux de réussite à la fois sûre et complète n'atteint que 59,38 %, loin des 97 % de sécurité. Le goulot d'étranglement n'est donc pas résolu, car éviter les collisions ne suffit pas à finir la tâche. Ces résultats reposent en outre sur un évaluateur choisi par les auteurs, dans un benchmark de simulation, et ne disent rien du transfert sim-to-real.

Le travail s'inscrit dans la recherche de sécurité « plug-in » pour des modèles de fondation de type Pi-0 ou GR00T, que l'on ne peut pas réentraîner à chaque nouvel environnement. Les CBF servent de filtre léger posé sur la politique, sans modifier ses poids. Reste à voir si WBAG sera validé sur robot physique, avec perception imparfaite et latence réelle, et s'il sera comparé sur d'autres benchmarks que LIBERO. Aucun acteur industriel ni pilote n'est cité dans le résumé.

À lire aussi

WEVO : optimisation de modèles vision-langage-action (VLA) par modèle du monde pour la locomanipulation du corps entier
Illustration générée par IA
1arXiv cs.RO 

WEVO : optimisation de modèles vision-langage-action (VLA) par modèle du monde pour la locomanipulation du corps entier

Des chercheurs présentent WEVO, un cadre de post-entraînement pour politique VLA (vision-langage-action) de humanoïde, qui se passe entièrement de téléopération. L'idée centrale est de réaliser l'apprentissage par renforcement (RL) non pas sur le robot physique ni dans un simulateur classique, mais dans un modèle du monde vidéo conditionné par les actions. Des données de « play » simulées, mêlant manipulation et locomotion, servent à améliorer la prédiction des dynamiques de contact et des changements de point de vue. Une VLA d'abord entraînée sur des démonstrations synthétiques collecte ensuite seulement 20 déroulés autonomes réels par tâche, afin d'aligner le modèle du monde sur les observations du déploiement. La VLA, le contrôleur du corps entier (WBC) et le modèle du monde vidéo forment alors un environnement RL en boucle fermée, avec des récompenses denses de progression. Sur trois tâches réelles, les données de play améliorent chaque métrique du modèle du monde ainsi que le taux de succès de la politique. Le RL dans le modèle du monde fait passer le succès moyen de 23,3 % à 75,0 %, contre 48,3 % pour le RL mené directement sur robot réel. L'enjeu est double pour les équipes qui visent la manipulation mobile à corps entier. D'une part, le RL sur humanoïde réel reste risqué (chutes, contacts non maîtrisés) et coûteux en temps machine, ce qui limite son usage industriel. D'autre part, le RL en simulateur tend à exploiter les écarts résiduels entre simulation et réalité. WEVO suggère une troisième voie : la simulation fournit l'initialisation de la politique et une couverture large, tandis que le modèle du monde vidéo, calé sur très peu de données réelles, sert d'environnement d'amélioration aligné sur le déploiement. Le résultat est notable, puisque le RL dans le modèle du monde dépasse de plus de 25 points le RL sur robot réel, mais il reste à relativiser : trois tâches seulement, un seul système, et un taux de succès moyen de 75 % encore loin des exigences de fiabilité d'une exploitation industrielle. Aucune information n'est donnée ici sur les temps de cycle, la plateforme humanoïde précise ni la robustesse hors des tâches testées. Ces travaux s'inscrivent dans une tendance forte : l'usage de modèles du monde génératifs comme substituts de simulateurs pour post-entraîner des VLA, après une phase dominée par l'imitation sur données téléopérées, goulot d'étranglement reconnu pour des acteurs comme Figure (Helix), Physical Intelligence (Pi-0) ou NVIDIA (GR00T). La suppression de la téléopération dans la boucle de données est précisément ce qui rend l'approche attractive pour le passage à l'échelle. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et plus variées, la mesure de la dérive du modèle du monde lors d'optimisations prolongées, et la reproduction par d'autres laboratoires. Il s'agit à ce stade d'un résultat de recherche publié sur arXiv, sans produit ni déploiement associé.

RecherchePaper
1 source
VLA-Stem : un mécanisme de sécurité léger pour les modèles vision-langage-action (VLA) par apprentissage par renforcement
Illustration générée par IA
2arXiv cs.RO 

VLA-Stem : un mécanisme de sécurité léger pour les modèles vision-langage-action (VLA) par apprentissage par renforcement

Des chercheurs proposent VLA-Stem, un mécanisme de sécurité léger fondé sur l'apprentissage par renforcement, destiné aux modèles Vision-Language-Action (VLA), ces modèles qui relient raisonnement de haut niveau et exécution d'actions bas niveau pour un contrôle robotique de bout en bout. Le principe est de ne pas toucher à la politique VLA sous-jacente. VLA-Stem convertit ses « action chunks » (séquences d'actions prédites) en références de mouvement, puis une politique dite « Stem » modifie l'exécution à l'inférence. Elle s'appuie pour cela sur ces références, la proprioception du robot et des informations locales sur les obstacles. L'entraînement combine distillation enseignant-élève et apprentissage par curriculum, pour gagner en robustesse et en efficacité d'échantillonnage. Sur six configurations simulées avec contraintes, la méthode atteint 52,8 % de succès moyen sans collision, contre 23,7 % pour la meilleure base de référence en sécurité. Elle préserve aussi les performances de la politique d'origine en l'absence d'obstacles. Des essais sur robot réel montrent des réductions de collisions constantes face à des obstacles statiques et dynamiques. Il s'agit d'un travail de recherche (préprint arXiv), sans produit ni déploiement commercial. L'enjeu est un angle mort bien connu des VLA : la plupart sont conçus pour de la manipulation statique dans des environnements sans contraintes, et ignorent les contraintes spatiales comme les obstacles mobiles, qui sont pourtant la norme en usine ou en logistique. La solution évidente, réentraîner le VLA sur des données d'évitement, coûte cher à collecter, surtout en dynamique, et risque de dégrader les capacités initiales. Une couche de sécurité modulaire, qui laisse le modèle de base intact, intéresse donc les intégrateurs : elle pourrait s'ajouter à des VLA existants sans repasser par un cycle complet de fine-tuning. Les chiffres appellent toutefois à la prudence. Un succès sans collision à 52,8 % reste très loin d'un niveau acceptable pour un déploiement industriel, et l'essentiel de l'évaluation est en simulation. L'ampleur de la validation réelle (nombre d'essais, robots, tâches) n'est pas précisée dans le résumé. Le travail s'inscrit dans l'essor des VLA comme Pi-0, Helix ou GR00T, qui privilégient la généralité de la tâche plutôt que la sécurité réactive. Les auteurs s'inspirent du tronc cérébral : l'intention de tâche vient du VLA, tandis que des réflexes rapides gèrent les risques physiques immédiats. Cette approche rejoint l'architecture à deux niveaux déjà visible dans plusieurs humanoïdes, où un modèle lent planifie et un contrôleur rapide exécute. Reste à voir si la méthode se généralise à d'autres VLA, à des bras et des scènes plus variés, et si elle tient les contraintes de latence en conditions réelles. Aucun calendrier de pilote ni code publié n'est mentionné dans le résumé.

RecherchePaper
1 source
VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique
Illustration générée par IA
3arXiv cs.RO 

VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique

VistaVLA, présenté dans un article arXiv publié le 15 juillet 2026, est un nouveau framework de manipulation robotique combinant vision, langage et action (VLA) qui construit une représentation 3D explicite de la scène à partir de primitives de Gaussiennes 3D. Contrairement aux modèles VLA classiques qui projettent directement instructions textuelles et images 2D vers des actions, VistaVLA fonctionne en deux étapes : il élève des caractéristiques vision-langage multi-vues en primitives gaussiennes 3D, créant des tokens sémantiques ancrés géométriquement, puis les compresse via un mécanisme baptisé Merge-then-Query (MtQ). Ce module réduit de 99% le nombre de tokens nécessaires tout en préservant les informations spatiales et sémantiques utiles à l'action. Les auteurs rapportent des gains de 22,8% du taux de réussite sur sept tâches réelles, et de 30% par rapport à la baseline VLA-Adapter sur des tâches hors distribution (out-of-distribution), en environnement simulé comme réel. Pour l'industrie robotique, ce travail cible un point faible connu des modèles VLA actuels : leur absence de représentation 3D persistante et invariante au point de vue, qui limite leur capacité à raisonner sur des contraintes géométriques et des layouts spatiaux complexes. La plupart des VLA en production s'appuient sur des flux caméra 2D bruts ou des cartes de profondeur peu structurées ; VistaVLA propose une carte cognitive 3D sémantique inspirée de la cognition humaine, un argument qui, s'il se confirme à plus grande échelle, pourrait influencer la conception des prochaines générations de politiques d'action pour bras manipulateurs et robots mobiles. Ce travail s'inscrit dans une vague de recherche académique cherchant à combler l'écart entre modèles VLA à succès commercial, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, et leurs limites documentées en generalisation spatiale. Les résultats restent pour l'instant issus d'évaluations contrôlées en laboratoire, sans déploiement industriel annoncé ; la validation sur des tâches de manipulation plus variées et à plus grande échelle reste la prochaine étape naturelle pour ce type d'approche.

RechercheActu
1 source
Sécurité de nuit VLA : détecter l'invisible grâce à des modèles vision-langage-action à perception thermique pour la manipulation critique
Illustration générée par IA
4arXiv cs.RO 

Sécurité de nuit VLA : détecter l'invisible grâce à des modèles vision-langage-action à perception thermique pour la manipulation critique

Des chercheurs présentent Safe-Night VLA, un framework de manipulation robotique qui ajoute la perception thermique infrarouge longue longueur d'onde à un modèle vision-langage-action (VLA) pré-entraîné, publié en version corrigée sur arXiv (2603.05754v2). Contrairement aux VLA classiques qui reposent uniquement sur des caméras RGB, ce système fait remonter un raisonnement sémantique fondé sur les propriétés thermodynamiques des objets et des surfaces, ce qui lui permet de percevoir des signaux invisibles pour une caméra couleur standard. Pour limiter la fragilité connue des politiques génératives face à des scénarios hors distribution d'entraînement, les auteurs ajoutent un filtre de sécurité basé sur des fonctions de barrière de contrôle (control barrier functions), garantissant un respect déterministe des contraintes de l'espace de travail pendant l'exécution. Les tests ont été menés sur un bras manipulateur Franka, avec un protocole d'évaluation inédit combinant manipulation conditionnée par la température, localisation de cibles sous une surface opaque, et désambiguïsation de reflets visuels. Résultat annoncé: le système surpasse les baselines RGB seules sur ces trois tâches, tout en maintenant l'exécution sous contrainte de sécurité. L'intérêt pour l'industrie tient moins à la démo qu'au principe qu'elle teste: peut-on faire dire à un modèle fondation pré-entraîné sur du RGB des choses pertinentes sur une modalité physique qu'il n'a jamais vue à l'entraînement, simplement en injectant un flux thermique dans son backbone vision-langage. Si ce principe se généralise, cela ouvre la voie à des VLA capables de manipuler dans le noir, de détecter des objets chauds ou cachés sous une surface, ou de distinguer un vrai objet d'un reflet trompeur, des cas d'usage utiles en logistique nocturne, en environnements industriels à faible visibilité ou en inspection. L'ajout d'un filtre de sécurité formel plutôt que purement appris répond aussi à une critique récurrente des politiques VLA end-to-end: l'absence de garanties dures sur les collisions ou les dépassements de zone de travail, un point sensible pour tout déploiement en environnement partagé avec des humains. Le travail s'inscrit dans la vague actuelle des VLA généralistes (type GR00T N2, Pi-0, Helix) qui cherchent à étendre la perception au-delà du RGB pour combler l'écart entre démonstrations en laboratoire et robustesse réelle. Il reste à ce stade une validation académique sur un seul bras fixe en conditions contrôlées, sans indication de déploiement industriel ni de partenaire commercial, et les auteurs eux-mêmes ne revendiquent qu'une preuve de concept sur l'exploitation de modalités physiques non visibles.

RecherchePaper
1 source