RecherchearXiv cs.RO 19 octobre 2026

Amélioration des attaques visuelles de redirection de tâche contre les modèles vision-langage-action (VLA) par optimisation en boucle fermée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent TRACO, un cadre d'optimisation en boucle fermée qui renforce les attaques visuelles ciblées contre les modèles vision-langage-action (VLA), ces modèles qui traduisent une consigne en langage et des images de caméra en actions de manipulation robotique. L'objectif de l'attaquant est la « redirection de tâche » : une perturbation visuelle détourne le robot vers une tâche choisie par l'attaquant plutôt que celle demandée par l'utilisateur. Les travaux antérieurs optimisaient la perturbation avec une supervision cible fixe. TRACO remplace cette approche par deux mécanismes. Le premier, Execution-Driven Supervision, reconstruit la supervision à partir des états réellement atteints sous attaque pour guider les mises à jour suivantes. Le second, Progress-Guided Selection, concentre l'optimisation là où la progression stagne, tout en maintenant la supervision sur les comportements antérieurs nécessaires pour arriver à ce point. Les expériences, menées sur plusieurs modèles VLA et environnements de simulation, montrent un meilleur taux de réussite de la redirection. Le résumé ne donne ni chiffres de gain ni liste des modèles testés.

L'intérêt tient à ce que cela montre sur la méthode d'évaluation de la robustesse. Une perturbation modifie les premières actions, donc les états physiques atteints ensuite. Les cibles fixes calculées sur une trajectoire non attaquée deviennent alors obsolètes. Les auteurs soulignent aussi qu'une faible erreur moyenne d'alignement n'assure pas une progression soutenue : le robot peut échouer à une étape critique, et des mises à jour ultérieures peuvent défaire ce qui fonctionnait. Pour les intégrateurs et les responsables sécurité qui envisagent des VLA en environnement industriel, cela suggère que les évaluations adverses statiques sous-estiment probablement le risque réel. Un attaquant qui optimise en tenant compte de la dynamique d'exécution est plus dangereux. Reste une limite : tout est évalué en simulation, sans validation sur matériel physique, et la perturbation suppose un accès à la scène visuelle ou aux entrées de la caméra, ce qui reste à qualifier selon l'architecture de déploiement.

Ce travail s'inscrit dans une série d'études sur la vulnérabilité des VLA, apparus avec la généralisation des politiques de manipulation guidées par le langage. Les attaques visuelles précédentes sur ces modèles reposaient sur la supervision fixe que TRACO met en cause, et le cadre est conçu pour améliorer ces méthodes existantes plutôt que les remplacer. Il s'agit d'une prépublication arXiv, non évaluée par des pairs, et aucun code ni calendrier de défense n'est mentionné dans le résumé. La suite logique est le développement de défenses elles aussi conscientes de la boucle fermée, par exemple une détection de dérive de trajectoire ou un entraînement adverse intégrant la dynamique d'exécution, et des tests sur robots réels avant d'en tirer des conclusions opérationnelles.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)

Des chercheurs ont publié le 12 juin 2026 un article (arXiv:2606.12978) introduisant une nouvelle classe d'attaques adversariales sur les politiques robotiques de type VLA (Vision-Language-Action), ces architectures qui combinent un modèle de langage, une vision par caméra et un contrôleur moteur pour exécuter des tâches de manipulation à partir d'instructions textuelles. L'attaque baptisée "command-preserving trajectory redirection" (redirection de trajectoire préservant la commande) consiste à modifier subtilement le prompt d'entrée de façon à ce qu'il reste visuellement et sémantiquement proche de l'instruction légitime, mais provoque un résultat physique entièrement différent. Le modèle de menace est strict : l'attaquant ne modifie ni les poids du modèle, ni l'environnement, il choisit un seul prompt avant l'épisode, et ce prompt reste dans la norme syntaxique de la commande originale, sans mots-cibles ni langage correctif. Les auteurs proposent une méthode de recherche "on-policy" qui exploite des rollouts réels du robot pour identifier les perturbations textuelles dont le comportement en boucle fermée dévie vers une tâche cible. Les expériences sont conduites en simulation et sur robot physique, confirmant le transfert de l'attaque au monde réel. Ce résultat est significatif pour les intégrateurs et les décideurs industriels qui évaluent l'adoption des VLA en production, notamment dans les contextes de manipulation collaborative ou d'assemblage. La vulnérabilité exploite une propriété structurelle des VLA en boucle fermée : le même prompt est réappliqué à chaque étape de re-planification, et chaque action conditionnée modifie les observations futures sur lesquelles la politique agit. Un prompt malveillant peut donc cumuler ses effets sur toute une trajectoire, là où les attaques précédentes se limitaient à des perturbations action-par-action ou à la persistance d'actions basses. Cela contredit implicitement l'hypothèse que la robustesse visuelle d'un VLA suffit à garantir son intégrité comportementale, et soulève des questions concrètes sur la validation de sécurité avant déploiement. Les modèles VLA sont au coeur de plusieurs développements récents : pi0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, ou encore les politiques embarquées sur les humanoïdes Figure et 1X. La recherche en sécurité adversariale sur ces architectures était jusqu'ici dominée par des attaques sur les observations visuelles ou sur les actions individuelles ; ce travail ouvre formellement le champ des attaques au niveau de l'instruction textuelle à horizon long. Les auteurs n'annoncent pas de correctif ni de contre-mesure validée, ce qui laisse ouverte la question de la robustification des pipelines VLA. Les prochaines étapes attendues dans la communauté concerneront vraisemblablement la détection de prompts adversariaux à la volée et l'évaluation de ce vecteur d'attaque sur des modèles déployés commercialement. Le site projet est accessible à l'adresse indiquée dans le papier.

RechercheOpinion

1 source

2arXiv cs.RO

Exploitation des failles : attaques adverses universelles contre les modèles vision-langage-action (VLA) en robotique

Des chercheurs publient sur arXiv une attaque adversariale « universelle » contre les modèles Vision-Language-Action (VLA), ces réseaux de bout en bout qui fusionnent perception visuelle, compréhension du langage et génération d'actions pour la manipulation robotique. Le dispositif, baptisé Universal Adversarial Object, est une sphère dont la texture de surface a été optimisée. Posée dans le champ de vision du robot, elle dégrade nettement le taux de réussite des tâches. L'approche repose sur un cadre d'attaque à plusieurs niveaux, qui perturbe conjointement la planification de trajectoire, l'exécution de la tâche et le contrôle de l'action. Les auteurs l'ont validée en simulation et en conditions réelles sur deux modèles représentatifs, Pi0 et RDT. Le taux de réussite moyen recule de 31,2 % à 39,9 % selon le modèle, et tombe quasiment à zéro dans les scénarios complexes. Le résumé ne précise ni les tâches testées, ni le nombre d'essais, ni la plateforme matérielle, ni le niveau d'accès au modèle supposé pour l'attaquant. Ces éléments conditionnent la portée des chiffres. Pour les intégrateurs et les responsables de déploiement, le résultat touche un point que les démonstrations commerciales abordent peu. Un VLA ne se contente pas d'être fragile face à des variations de décor ou d'éclairage. Il peut être dégradé par un simple objet physique, passif et bon marché à produire, sans intrusion logicielle ni accès au réseau du robot. Le caractère « universel » est le point central : l'objet n'est pas conçu pour une scène ou une consigne donnée, ce qui rend une attaque plausible hors laboratoire. Le travail contredit l'idée implicite selon laquelle l'entraînement à grande échelle suffirait à rendre ces politiques robustes. Il pose aussi une question de sûreté fonctionnelle. Une chute de réussite de plus de 30 % reste un échec de tâche, mais un robot qui interagit avec des humains peut produire des mouvements inattendus. Ces risques sont rarement couverts par les normes de sécurité actuelles, pensées pour des automates déterministes. Il faut toutefois rester prudent : les gains annoncés viennent d'une évaluation académique, avec des tâches choisies par les auteurs. Pi0 (Physical Intelligence) et RDT (Robotics Diffusion Transformer) comptent parmi les VLA ouverts les plus utilisés dans la recherche. Ils servent de base à de nombreux travaux de fine-tuning, ce qui explique leur choix comme cibles. Cette étude s'inscrit dans une littérature croissante sur les attaques adversariales physiques, d'abord développées pour la vision par ordinateur (patchs adversariaux), puis étendues aux modèles multimodaux. Elle intervient alors que Figure, Tesla, NVIDIA et d'autres poussent des politiques VLA vers des déploiements industriels. La suite logique consistera à tester des défenses : entraînement adversarial, détection d'objets hors distribution et filtrage des entrées visuelles. Il faudra aussi vérifier si l'attaque se transfère aux modèles fermés.

RecherchePaper

1 source

3arXiv cs.RO

DyGRO-VLA : mise à l'échelle inter-tâches des modèles vision-langage-action par optimisation résiduelle groupée dynamique

Des chercheurs ont soumis sur arXiv (réf. 2605.17486) un nouveau framework d'optimisation pour les modèles VLA (Vision-Language-Action), baptisé DyGRO-VLA (Dynamic Grouped Residual Optimization for VLA). L'approche fonctionne en deux étapes : une phase de capture de représentations latentes inter-tâches fondée sur des principes de théorie de l'information, suivie d'un raffinement dynamique de la politique via un mécanisme de "mixture-of-RL-residuals". Les résultats sont évalués sur les benchmarks LIBERO et RoboTwin2, deux références standard en manipulation robotique multi-tâches, et validés sur robot réel. Les gains de performance sont présentés comme consistants face à des baselines solides, y compris sous distribution shift, c'est-à-dire face à des tâches absentes de l'ensemble d'entraînement. Le problème visé est structurel : lorsqu'on affine un modèle VLA généraliste avec du Reinforcement Learning, il finit généralement par ne bien performer que sur un sous-ensemble étroit de tâches, perdant la polyvalence qui le rendait intéressant. La plupart des optimiseurs RL actuels sont conçus pour une tâche unique, ce qui réduit ces modèles, pourtant pensés comme des contrôleurs généralistes, à des politiques spécialisées peu transférables. Pour un intégrateur ou un industriel déployant des robots sur des lignes à forte variabilité de tâches, ce phénomène est un frein opérationnel direct. DyGRO-VLA répond à ce problème en exploitant les représentations latentes partagées entre tâches tout en limitant les interférences lors de l'optimisation. Si ces résultats se confirment dans des conditions plus diversifiées, cela aurait des implications concrètes sur la viabilité du fine-tuning RL pour des modèles comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). L'essor des modèles VLA, qui combinent vision, langage et action dans un seul réseau de neurones, est l'une des tendances majeures de la robotique depuis 2023. Des acteurs comme Physical Intelligence (Pi-0, Pi-0.5), NVIDIA (GR00T N2), Google DeepMind (RT-2) ou des startups comme Figure AI et 1X Technologies s'appuient sur cette architecture. Le recours au RL pour dépasser les limites de l'imitation pure est une évolution naturelle, mais le maintien des performances sur plusieurs tâches reste un problème ouvert. DyGRO-VLA s'inscrit dans un courant de recherche actif qui inclut des approches comme ReinFT. L'absence de détails sur les conditions expérimentales exactes (nombre de tâches, hardware robot utilisé, comparaisons directes avec les VLA commerciaux) et l'absence de code public au moment de la soumission rendent difficile une évaluation indépendante, une limite fréquente des prépublications arXiv.

RechercheOpinion

1 source

4arXiv cs.RO

VLALeaks : attaques par inférence d'appartenance contre les modèles vision-langage-action

Des chercheurs ont publié le 15 juin 2026 un article (arXiv:2606.15165) présentant VLALeaks, une méthode d'attaque par inférence d'appartenance (membership inference attack, MIA) ciblant spécifiquement les modèles Vision-Language-Action (VLA). Ces modèles, qui permettent le contrôle bout-en-bout d'un robot à partir d'instructions en langage naturel et d'entrées visuelles, sont au cœur des systèmes robotiques les plus récents, de Pi-0 (Physical Intelligence) à OpenVLA en passant par les variantes de RT-2. L'attaque repose sur une observation de divergences dans les mécanismes d'attention interne des VLA selon que l'exemple présenté appartient ou non aux données d'entraînement. Le pipeline proposé se décompose en deux étapes : extraction de caractéristiques d'appartenance, puis construction d'un modèle d'attaque supervisé. Les résultats sur plusieurs benchmarks VLA montrent des métriques élevées, notamment en AUC et en TPR à 1 % de taux de faux positifs (TPR@1%FPR), sans que les auteurs donnent les valeurs absolues dans le résumé disponible. L'enjeu est substantiel pour quiconque développe ou déploie des systèmes robotiques fondés sur des VLA. Les données de démonstration robotique sont coûteuses à collecter, téléopération, enregistrement de trajectoires, annotation, et constituent un actif industriel stratégique. Montrer qu'un adversaire peut déterminer, à partir du seul accès aux sorties du modèle, si une démonstration spécifique a servi à l'entraînement revient à exposer à la fois la propriété intellectuelle des intégrateurs et les données potentiellement personnelles des opérateurs ayant effectué les démonstrations. C'est la première étude systématique de ce type de vulnérabilité sur des VLA, un angle resté jusqu'ici largement ignoré alors que les MIA sont bien documentées pour les LLM et les modèles de vision. Les VLA ont émergé comme paradigme dominant dans la robotique généraliste depuis 2023, portés par des travaux comme RT-2 (Google DeepMind), Octo (Berkeley) et les modèles de Physical Intelligence. Leur adoption croissante dans des contextes industriels réels, où les données propriétaires d'entreprises comme Amazon Robotics, Boston Dynamics ou Exotec pourraient constituer le corpus d'entraînement, rend cette classe d'attaques particulièrement critique. Les prochaines étapes naturelles incluent l'évaluation de défenses (differential privacy, data augmentation, output perturbation) et l'extension des attaques à des architectures multimodales plus récentes. Les auteurs positionnent VLALeaks comme un outil de recherche pour construire des déploiements VLA sécurisés, mais la publication de la méthode en elle-même constitue aussi un signal d'alarme pour les équipes qui mutualisent des données de démonstration dans des pipelines de fine-tuning partagés.

UEExotec (France) figure parmi les entreprises dont les données de démonstration propriétaires pourraient être exposées par ce vecteur d'attaque, ce qui impose une révision des pratiques de sécurité pour tout déployeur de VLA mutualisant des pipelines de fine-tuning en Europe.

RechercheOpinion

1 source