Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
STRONG-VLA : robustesse découplée des modèles vision-langage-action face aux perturbations multimodales
RecherchearXiv cs.RO 

STRONG-VLA : robustesse découplée des modèles vision-langage-action face aux perturbations multimodales

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

STRONG-VLA est un framework de fine-tuning en deux étapes qui vise a rendre les modèles Vision-Language-Action (VLA) plus robustes face aux perturbations multimodales, c'est-a-dire au bruit visuel et aux instructions linguistiques dégradées qui font chuter les performances en conditions réelles. Plutot que d'entrainer conjointement sur données propres et perturbées, ce qui créé un conflit d'optimisation, la méthode sépare l'acquisition de robustesse, via un curriculum de 28 types de perturbations textuelles et visuelles (bruit de capteur, occlusions, instructions corrompues), d'un réajustement final sur taches propres. Sur le benchmark LIBERO, elle ameliore le taux de réussite jusqu'a 12,60% sur perturbations connues et 7,77% sur perturbations inédites pour OpenVLA, avec des gains plus marques encore sur OpenVLA-OFT (+14,48% / +13,81%) et pi0 (+16,49% / +5,58%). Des tests en conditions réelles sur une plateforme robotique AIRBOT confirment ces résultats hors simulation.

Le travail cible un angle mort connu du secteur: les démonstrations de VLA se font généralement en environnement contrôle, alors que le déploiement réel expose ces systèmes a des variations d'éclairage, des occlusions et des instructions humaines imprécises. En prouvant que la robustesse peut être gagnée sans sacrifier la performance sur taches propres, et que ce gain se reproduit sur trois architectures distinctes, les auteurs apportent un signal de généralisation qui intéressé directement les intégrateurs cherchant a fiabiliser des pipelines VLA au-delà du laboratoire. Cela remet en cause l'hypothèse, courante dans l'industrie, qu'un simple entrainement conjoint sur données propres et perturbées suffit a garantir la robustesse.

STRONG-VLA s'inscrit dans les efforts pour combler l'écart entre simulation et déploiement réel des modèles VLA, une famille d'architectures qui compte déjà des références comme OpenVLA, sa variante OpenVLA-OFT, et pi0 développe par Physical Intelligence. Le benchmark de 28 perturbations introduit par les auteurs se veut un outil de référence pour évaluer la robustesse de futurs modèles, au-delà des scores de réussite en environnement propre mesures par LIBERO. Aucun acteur européen n'est cite dans cette publication académique, qui reste a ce stade une contribution de recherche validée en laboratoire et sur une seule plateforme physique, sans annonce de déploiement industriel ou de partenariat commercial.

Dans nos dossiers

IA physique & VLAPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

RobustVLA : robustesse d'un modèle vision-langage-action face aux perturbations multimodales
1arXiv cs.RO 

RobustVLA : robustesse d'un modèle vision-langage-action face aux perturbations multimodales

RobustVLA s'attaque à un angle mort des modèles Vision-Language-Action (VLA) : leur fragilité face aux perturbations réelles. Une équipe de recherche a d'abord testé les principaux VLA sous 17 types de perturbations réparties sur quatre modalités (actions, instructions, environnement, observations visuelles). Résultat : les actions constituent la modalité la plus fragile, les modèles réputés robustes visuellement (comme BYOVLA) ne conservent aucun gain sur les autres modalités, et pi0 se distingue par une robustesse supérieure aux autres backbones testés. Pour corriger ces faiblesses, les chercheurs proposent RobustVLA, qui combine une optimisation robuste hors ligne contre le pire cas de bruit sur les actions (via l'objectif de flow matching) et un mécanisme forçant des actions cohérentes malgré les variations d'entrée. La sélection automatique des perturbations les plus nuisibles est traitée comme un problème de bandit multi-bras, résolu par un algorithme d'upper confidence bound. Sur le benchmark LIBERO, RobustVLA gagne 12,6% de réussite absolue sur backbone pi0 et 10,4% sur OpenVLA face aux 17 perturbations combinées, avec une inférence 50,6 fois plus rapide que BYOVLA, qui dépend de LLM externes. Cette avancée touche un point sensible pour l'industrie robotique : la plupart des démonstrations de VLA impressionnent en conditions contrôlées mais s'effondrent face au bruit réel (mauvaise calibration caméra, instructions ambiguës, occlusions, dérive capteurs). En identifiant les actions comme le maillon le plus faible, l'étude remet en question l'hypothèse répandue selon laquelle la robustesse visuelle suffirait à garantir un déploiement fiable. Sur robot réel FR5, RobustVLA dépasse pi0 de 65,6% de taux de réussite avec seulement 25 démonstrations, un résultat clé pour les intégrateurs qui manquent de données d'entraînement en environnement industriel. Même avec des données abondantes, le gain reste de 30%, ce qui suggère que la méthode n'est pas qu'un palliatif pour le few-shot mais une amélioration structurelle. Le papier s'inscrit dans la lignée des travaux récents sur pi0 (Physical Intelligence) et OpenVLA, deux architectures de référence dans la course aux modèles génériques de manipulation robotique. Il répond directement aux limites de BYOVLA, une approche antérieure de robustesse visuelle jugée coûteuse en calcul car dépendante de LLM externes. Les auteurs positionnent RobustVLA comme une alternative légère et généralisable, testée à la fois en simulation (LIBERO) et en conditions réelles. Le code et des vidéos de démonstration sont disponibles sur GitHub, ce qui permettra une validation indépendante par la communauté avant une adoption plus large en environnement industriel.

RecherchePaper
1 source
FIT-MAC : un cadre multi-agents en boucle fermée pour des modèles vision-langage-action (VLA) robustes
2arXiv cs.RO 

FIT-MAC : un cadre multi-agents en boucle fermée pour des modèles vision-langage-action (VLA) robustes

FIT-MAC est un cadre de contrôle multi-agents en boucle fermée, proposé dans un preprint arXiv (2610.28109v1), qui vise à renforcer la robustesse des modèles vision-langage-action (VLA) au moment de l'inférence, sans réentraîner la politique. Il ajoute une couche de contrôle autour d'un VLA préentraîné, composée de quatre agents. Le Planner Agent convertit l'instruction en langage naturel en une spécification structurée (objectif de manipulation et contraintes spatiales). Le Grounder Agent associe chaque référence de l'instruction à une cible visuelle. Le Verifier Agent suit la progression par phase d'exécution et distingue les erreurs de liaison de cible (le robot vise le mauvais objet) des échecs d'exécution locaux (saisie ou dépose ratée). Il décide aussi si une intervention est justifiée. Le Correction Agent oriente alors vers une relocalisation de la cible ou vers une récupération bornée de la saisie ou de la dépose. Sans intervention nécessaire, le VLA reste le générateur d'actions par défaut. Les auteurs évaluent le système sur LIBERO-PRO, avec plusieurs architectures VLA. Ils annoncent des taux de succès en hausse constante et des performances à l'état de l'art sous diverses perturbations. Le résumé ne donne aucun chiffre. L'intérêt tient au problème ciblé. Les VLA affichent de bons scores sur les benchmarks standards, mais ils se dégradent fortement dès que la position des objets ou la formulation de la consigne s'écarte du cadre nominal. Cet écart entre démonstration et conditions réelles reste l'un des principaux freins au déploiement industriel. Les politiques actuelles ne disposent pas d'un mécanisme explicite pour diagnostiquer la nature de la panne et choisir la bonne réponse. Séparer l'erreur de grounding de l'erreur de motricité fine est une piste pragmatique pour les intégrateurs. Elle permet de fiabiliser une politique existante par une surcouche, sans réentraîner de modèle de fondation. Un point de prudence s'impose. Les résultats sont obtenus en simulation, sur un seul benchmark. Rien n'indique le coût en latence de quatre agents en boucle, ni la tenue sur robot physique. Le terme « état de l'art » n'est pas chiffré dans l'abstract. Ce travail s'inscrit dans le constat que les VLA généralistes se révèlent fragiles hors distribution. LIBERO-PRO a justement été conçu pour tester cette fragilité par des perturbations d'objets et d'instructions. FIT-MAC rejoint la famille des approches de supervision à l'inférence, qui s'opposent à l'amélioration de la robustesse par davantage de données ou de paramètres. Ces approches sont encore peu validées en conditions réelles. Les prochaines étapes à surveiller sont la publication des chiffres détaillés, la mesure de la latence ajoutée, un éventuel code ouvert et surtout des essais sur matériel réel. C'est là que se jouera la crédibilité de l'approche face aux politiques généralistes de type Pi-0 ou GR00T.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Modèles vision-langage-action : superviser les VLA au-delà des actions physiques
3arXiv cs.RO 

Modèles vision-langage-action : superviser les VLA au-delà des actions physiques

Une équipe de recherche propose UVT (Unified Visuomotor Target), une méthode d'entraînement pour les modèles vision-langage-action (VLA), détaillée dans un article déposé sur arXiv en août 2026 (2608.03563v1). Le point de départ : les VLA sont entraînés à prédire directement des commandes moteur bas niveau à partir d'observations visuelles et de langage, alors que les modèles vision-langage sous-jacents encodent des représentations riches et de haut niveau des scènes et des objectifs, un décalage qui freine l'apprentissage. UVT introduit une cible latente unique encodant conjointement le contrôle moteur et la transition visuelle de la scène, sans modifier l'architecture ni ajouter de données. Testée sur deux systèmes VLA représentatifs, en simulation comme sur des tâches réelles de manipulation bimanuelle, elle améliore l'efficacité d'entraînement, la performance finale et la robustesse de la politique, avec des gains marqués sous budget d'entraînement limité ou en conditions difficiles. Pour l'industrie robotique, ce travail touche un point de friction bien identifié : la difficulté à obtenir des politiques VLA robustes sans volumes massifs de démonstrations téléopérées, coûteuses à collecter. En montrant qu'un simple changement de cible d'entraînement, sans toucher à l'architecture ni au volume de données, améliore l'efficacité et la robustesse, UVT s'inscrit dans une tendance cherchant à mieux exploiter l'information déjà présente dans les modèles vision-langage préentraînés plutôt que d'empiler paramètres ou données. Pour les équipes qui entraînent leurs propres politiques (laboratoires, intégrateurs, startups humanoïdes), c'est un levier peu coûteux à tester. Les résultats restent toutefois obtenus sur benchmarks et tâches de manipulation en conditions contrôlées ; leur généralisation à des environnements industriels variés et à d'autres familles de VLA n'est pas démontrée. L'article s'inscrit dans la vague de recherche VLA ouverte par des systèmes comme RT-2, OpenVLA, Pi-0 ou GR00T, qui adaptent des modèles vision-langage préentraînés à la prédiction d'actions robotiques. L'essentiel des travaux récents porte sur l'échelle des données ou sur l'architecture (tokenisation des actions, diffusion, mélange d'experts) ; UVT prend le contre-pied en questionnant la cible de supervision elle-même, tout en restant compatible avec les architectures VLA existantes, ce qui facilite en théorie son adoption. La publication ne mentionne aucun partenariat industriel ni déploiement au-delà des tests de laboratoire. Il s'agit pour l'instant d'une contribution méthodologique dont l'impact dépendra de sa reproduction sur d'autres jeux de données et d'autres plateformes robotiques, humanoïdes comprises.

RecherchePaper
1 source
Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution
4arXiv cs.RO 

Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution

Des chercheurs proposent SALT (Self-supervised Adaptation from Leftover Trajectories), une méthode d'adaptation au moment du test pour les modèles vision-langage-action (VLA), publiée sur arXiv (2610.07946). Elle cible un problème précis : une perturbation visuelle (corruption d'image, obstruction physique de la caméra) survient en cours d'exécution, sans que la politique connaisse son type ni son moment d'apparition. SALT exploite la « trajectoire résiduelle », c'est-à-dire la partie non exécutée du chunk d'actions précédent. Les chunks consécutifs se recouvrant dans le temps, ce résidu fournit une cible alignée sur le même intervalle de contrôle que la prédiction courante. Aucune annotation de perturbation, aucune action d'expert et aucune démonstration du domaine cible ne sont requises. Une porte d'adaptation légère, calibrée uniquement sur des trajectoires nominales, déclenche les mises à jour. Sur LIBERO-10, le taux de succès moyen sur cinq corruptions visuelles persistantes passe de 43,9 % à 53,2 % avec SmolVLA, et de 58,7 % à 66,0 % avec GR00T N1.7, avec une performance nominale largement préservée. Sur robot réel, la progression de tâche moyenne, perturbations numériques et physiques confondues, passe de 0,49 à 0,61. L'intérêt tient à la nature du problème traité. La plupart des travaux de robustesse des VLA supposent un entraînement avec augmentation de données ou une connaissance du décalage de domaine. Or en production, caméras salies, éclairage changeant ou occultations partielles arrivent sans préavis. SALT suggère qu'on peut gagner entre 7 et 9 points de succès sans données supplémentaires, en recyclant les prédictions déjà produites par le modèle. Deux mécanismes expliquent l'effet : à l'apparition du décalage, le résidu garde un plan formé avant la corruption et sert d'ancre (Transition Anchoring), puis la correction se propage d'un replanning à l'autre (Sequential Correction Propagation). Les limites sont nettes : le gain reste modeste en valeur absolue, les taux de succès restent sous les 70 %, et le test sur robot réel, mesuré par un score de progression et non un taux de réussite, offre peu de détails sur le nombre d'essais ou les tâches. Le benchmark LIBERO reste de plus de la simulation. Ce travail s'inscrit dans l'effort de fiabilisation des VLA après la vague de modèles généralistes comme Pi-0, GR00T ou SmolVLA, dont l'écart entre démonstration et déploiement tient souvent à la sensibilité aux conditions visuelles. L'approche rejoint l'adaptation au moment du test, déjà explorée en vision par ordinateur, mais l'applique ici à la structure par chunks d'actions propre aux politiques modernes. Elle reste un résultat de recherche, sans produit ni déploiement annoncé. Les prochaines étapes probables sont des validations sur d'autres architectures, des perturbations plus variées et des tâches longues, ainsi qu'une évaluation du coût de calcul des mises à jour en ligne sur du matériel embarqué, point que le résumé ne chiffre pas.

RecherchePaper
1 source