Aller au contenu principal
Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécutionIllustration générée par IA
RecherchearXiv cs.RO 

Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent SALT (Self-supervised Adaptation from Leftover Trajectories), une méthode d'adaptation au moment du test pour les modèles vision-langage-action (VLA), publiée sur arXiv (2610.07946). Elle cible un problème précis : une perturbation visuelle (corruption d'image, obstruction physique de la caméra) survient en cours d'exécution, sans que la politique connaisse son type ni son moment d'apparition. SALT exploite la « trajectoire résiduelle », c'est-à-dire la partie non exécutée du chunk d'actions précédent. Les chunks consécutifs se recouvrant dans le temps, ce résidu fournit une cible alignée sur le même intervalle de contrôle que la prédiction courante. Aucune annotation de perturbation, aucune action d'expert et aucune démonstration du domaine cible ne sont requises. Une porte d'adaptation légère, calibrée uniquement sur des trajectoires nominales, déclenche les mises à jour. Sur LIBERO-10, le taux de succès moyen sur cinq corruptions visuelles persistantes passe de 43,9 % à 53,2 % avec SmolVLA, et de 58,7 % à 66,0 % avec GR00T N1.7, avec une performance nominale largement préservée. Sur robot réel, la progression de tâche moyenne, perturbations numériques et physiques confondues, passe de 0,49 à 0,61.

L'intérêt tient à la nature du problème traité. La plupart des travaux de robustesse des VLA supposent un entraînement avec augmentation de données ou une connaissance du décalage de domaine. Or en production, caméras salies, éclairage changeant ou occultations partielles arrivent sans préavis. SALT suggère qu'on peut gagner entre 7 et 9 points de succès sans données supplémentaires, en recyclant les prédictions déjà produites par le modèle. Deux mécanismes expliquent l'effet : à l'apparition du décalage, le résidu garde un plan formé avant la corruption et sert d'ancre (Transition Anchoring), puis la correction se propage d'un replanning à l'autre (Sequential Correction Propagation). Les limites sont nettes : le gain reste modeste en valeur absolue, les taux de succès restent sous les 70 %, et le test sur robot réel, mesuré par un score de progression et non un taux de réussite, offre peu de détails sur le nombre d'essais ou les tâches. Le benchmark LIBERO reste de plus de la simulation.

Ce travail s'inscrit dans l'effort de fiabilisation des VLA après la vague de modèles généralistes comme Pi-0, GR00T ou SmolVLA, dont l'écart entre démonstration et déploiement tient souvent à la sensibilité aux conditions visuelles. L'approche rejoint l'adaptation au moment du test, déjà explorée en vision par ordinateur, mais l'applique ici à la structure par chunks d'actions propre aux politiques modernes. Elle reste un résultat de recherche, sans produit ni déploiement annoncé. Les prochaines étapes probables sont des validations sur d'autres architectures, des perturbations plus variées et des tâches longues, ainsi qu'une évaluation du coût de calcul des mises à jour en ligne sur du matériel embarqué, point que le résumé ne chiffre pas.

À lire aussi

PaceVLA : quantification temporelle adaptative des actions dans les modèles vision-langage-action (VLA)
Illustration générée par IA
1arXiv cs.RO 

PaceVLA : quantification temporelle adaptative des actions dans les modèles vision-langage-action (VLA)

PaceVLA, un cadre publié sur arXiv (2610.25961, deuxième version), s'attaque à un défaut persistant des modèles Vision-Language-Action (VLA) : leur lenteur d'exécution. Les politiques apprises à partir de démonstrations téléopérées reproduisent des motifs temporels très fins, ce qui impose de nombreuses micro-actions de bas niveau. La quantification temporelle d'actions, qui agrège plusieurs actions consécutives en une action plus grossière, accélère l'exécution, mais l'appliquer uniformément dégrade la précision dans les phases sensibles. Les auteurs combinent deux composants : des décodeurs d'actions spécifiques à chaque mode, construits sur un « action expert » partagé et couvrant plusieurs granularités temporelles et horizons de prédiction, ainsi qu'un schéma de sélection guidé par la « quantifiabilité ».

RecherchePaper
1 source
WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action
Illustration générée par IA
2arXiv cs.RO 

WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action

WARP-VLA, un modèle décrit dans un preprint arXiv (2610.11508v1), s'attaque à une faiblesse connue des modèles Vision-Language-Action (VLA) pour la manipulation robotique : leur sensibilité à la configuration des caméras. Les auteurs ciblent en particulier la caméra montée au poignet, dont le point de vue se déplace avec le robot. Un léger écart de fixation suffit alors à modifier les indices géométriques fins dont dépend la politique. Leur solution repose sur une architecture Mixture-of-Experts (MoE) : chaque expert apprend une transformation de features propre à un type de vue, et un routeur les combine à partir d'informations de vue implicites. La politique peut ainsi être déployée sans fournir les paramètres extrinsèques de la caméra en entrée.

RecherchePaper
1 source
MixVLA : mélange adaptatif des informations non invariantes pour des modèles vision-langage-action (VLA) généralisables
Illustration générée par IA
3arXiv cs.RO 

MixVLA : mélange adaptatif des informations non invariantes pour des modèles vision-langage-action (VLA) généralisables

Des chercheurs publient sur arXiv (2610.02898) MixVLA, un cadre d'entraînement pour modèles Vision-Language-Action (VLA) qui vise à améliorer la généralisation zéro-shot en conditions hors distribution (OOD). Le principe repose sur un module baptisé Adaptive Mixing of Non-Invariant Information (AMI). Celui-ci mélange de façon stochastique les représentations « non invariantes », c'est-à-dire les facteurs propres à un environnement comme l'apparence, l'éclairage ou la texture. Les représentations mélangées sont ensuite fusionnées avec les représentations invariantes, liées à la structure de la tâche, pour prédire l'action finale. La méthode est dite agnostique au modèle : elle ne demande ni donnée OOD supplémentaire ni modification d'architecture.

RecherchePaper
1 source
Vers des modèles vision-langage-action (VLA) à peu d'exemples, robustes aux variations de pose
Illustration générée par IA
4arXiv cs.RO 

Vers des modèles vision-langage-action (VLA) à peu d'exemples, robustes aux variations de pose

Des chercheurs ont publié sur arXiv (identifiant 2611.24360) WACO, un cadre de « canonicalisation ancrée dans le monde » destiné aux modèles vision-langage-action (VLA), accompagné d'un nouveau banc d'essai, LIBERO-PoseShift. Le problème visé est concret : la recette standard consiste à affiner un VLA sur quelques dizaines de démonstrations, mais la politique obtenue mémorise implicitement la transformation entre la caméra et la base du robot. Un trépied heurté ou une base ré-docquée à quelques centimètres de sa position suffit alors à faire viser au bras le mauvais endroit. WACO traite ces deux défaillances comme un seul phénomène, un changement d'extrinsèque caméra-base. À partir d'une seule image RGB-D, il estime les deux décalages sans extrinsèques de référence ni données supplémentaires.

RecherchePaper
1 source