Aller au contenu principal
Exploitation des failles : attaques adverses universelles contre les modèles vision-langage-action (VLA) en robotiqueIllustration générée par IA
RecherchearXiv cs.RO 

Exploitation des failles : attaques adverses universelles contre les modèles vision-langage-action (VLA) en robotique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv une attaque adversariale « universelle » contre les modèles Vision-Language-Action (VLA), ces réseaux de bout en bout qui fusionnent perception visuelle, compréhension du langage et génération d'actions pour la manipulation robotique. Le dispositif, baptisé Universal Adversarial Object, est une sphère dont la texture de surface a été optimisée. Posée dans le champ de vision du robot, elle dégrade nettement le taux de réussite des tâches. L'approche repose sur un cadre d'attaque à plusieurs niveaux, qui perturbe conjointement la planification de trajectoire, l'exécution de la tâche et le contrôle de l'action. Les auteurs l'ont validée en simulation et en conditions réelles sur deux modèles représentatifs, Pi0 et RDT. Le taux de réussite moyen recule de 31,2 % à 39,9 % selon le modèle, et tombe quasiment à zéro dans les scénarios complexes. Le résumé ne précise ni les tâches testées, ni le nombre d'essais, ni la plateforme matérielle, ni le niveau d'accès au modèle supposé pour l'attaquant. Ces éléments conditionnent la portée des chiffres.

Pour les intégrateurs et les responsables de déploiement, le résultat touche un point que les démonstrations commerciales abordent peu. Un VLA ne se contente pas d'être fragile face à des variations de décor ou d'éclairage. Il peut être dégradé par un simple objet physique, passif et bon marché à produire, sans intrusion logicielle ni accès au réseau du robot. Le caractère « universel » est le point central : l'objet n'est pas conçu pour une scène ou une consigne donnée, ce qui rend une attaque plausible hors laboratoire. Le travail contredit l'idée implicite selon laquelle l'entraînement à grande échelle suffirait à rendre ces politiques robustes. Il pose aussi une question de sûreté fonctionnelle. Une chute de réussite de plus de 30 % reste un échec de tâche, mais un robot qui interagit avec des humains peut produire des mouvements inattendus. Ces risques sont rarement couverts par les normes de sécurité actuelles, pensées pour des automates déterministes. Il faut toutefois rester prudent : les gains annoncés viennent d'une évaluation académique, avec des tâches choisies par les auteurs.

Pi0 (Physical Intelligence) et RDT (Robotics Diffusion Transformer) comptent parmi les VLA ouverts les plus utilisés dans la recherche. Ils servent de base à de nombreux travaux de fine-tuning, ce qui explique leur choix comme cibles. Cette étude s'inscrit dans une littérature croissante sur les attaques adversariales physiques, d'abord développées pour la vision par ordinateur (patchs adversariaux), puis étendues aux modèles multimodaux. Elle intervient alors que Figure, Tesla, NVIDIA et d'autres poussent des politiques VLA vers des déploiements industriels. La suite logique consistera à tester des défenses : entraînement adversarial, détection d'objets hors distribution et filtrage des entrées visuelles. Il faudra aussi vérifier si l'attaque se transfère aux modèles fermés.

À lire aussi

Amélioration des attaques visuelles de redirection de tâche contre les modèles vision-langage-action (VLA) par optimisation en boucle fermée
Illustration générée par IA
1arXiv cs.RO 

Amélioration des attaques visuelles de redirection de tâche contre les modèles vision-langage-action (VLA) par optimisation en boucle fermée

Des chercheurs proposent TRACO, un cadre d'optimisation en boucle fermée qui renforce les attaques visuelles ciblées contre les modèles vision-langage-action (VLA), ces modèles qui traduisent une consigne en langage et des images de caméra en actions de manipulation robotique. L'objectif de l'attaquant est la « redirection de tâche » : une perturbation visuelle détourne le robot vers une tâche choisie par l'attaquant plutôt que celle demandée par l'utilisateur. Les travaux antérieurs optimisaient la perturbation avec une supervision cible fixe. TRACO remplace cette approche par deux mécanismes. Le premier, Execution-Driven Supervision, reconstruit la supervision à partir des états réellement atteints sous attaque pour guider les mises à jour suivantes. Le second, Progress-Guided Selection, concentre l'optimisation là où la progression stagne, tout en maintenant la supervision sur les comportements antérieurs nécessaires pour arriver à ce point. Les expériences, menées sur plusieurs modèles VLA et environnements de simulation, montrent un meilleur taux de réussite de la redirection. Le résumé ne donne ni chiffres de gain ni liste des modèles testés. L'intérêt tient à ce que cela montre sur la méthode d'évaluation de la robustesse. Une perturbation modifie les premières actions, donc les états physiques atteints ensuite. Les cibles fixes calculées sur une trajectoire non attaquée deviennent alors obsolètes. Les auteurs soulignent aussi qu'une faible erreur moyenne d'alignement n'assure pas une progression soutenue : le robot peut échouer à une étape critique, et des mises à jour ultérieures peuvent défaire ce qui fonctionnait. Pour les intégrateurs et les responsables sécurité qui envisagent des VLA en environnement industriel, cela suggère que les évaluations adverses statiques sous-estiment probablement le risque réel. Un attaquant qui optimise en tenant compte de la dynamique d'exécution est plus dangereux. Reste une limite : tout est évalué en simulation, sans validation sur matériel physique, et la perturbation suppose un accès à la scène visuelle ou aux entrées de la caméra, ce qui reste à qualifier selon l'architecture de déploiement. Ce travail s'inscrit dans une série d'études sur la vulnérabilité des VLA, apparus avec la généralisation des politiques de manipulation guidées par le langage. Les attaques visuelles précédentes sur ces modèles reposaient sur la supervision fixe que TRACO met en cause, et le cadre est conçu pour améliorer ces méthodes existantes plutôt que les remplacer. Il s'agit d'une prépublication arXiv, non évaluée par des pairs, et aucun code ni calendrier de défense n'est mentionné dans le résumé. La suite logique est le développement de défenses elles aussi conscientes de la boucle fermée, par exemple une détection de dérive de trajectoire ou un entraînement adverse intégrant la dynamique d'exécution, et des tests sur robots réels avant d'en tirer des conclusions opérationnelles.

RecherchePaper
1 source
Diffusion cachée : attaques robotiques non restreintes sur les modèles vision-langage-action
Illustration générée par IA
2arXiv cs.RO 

Diffusion cachée : attaques robotiques non restreintes sur les modèles vision-langage-action

Des chercheurs ont publié le 12 août 2026 sur arXiv (référence 2608.10393v1) une nouvelle méthode d'attaque baptisée DURA, pour "diffusion-based unrestricted robotic attack", ciblant les modèles Vision-Language-Action (VLA) qui pilotent des robots dans des tâches de manipulation. Contrairement aux attaques adversariales classiques qui modifient des pixels de façon visible ou nécessitent un accès complet au modèle cible (white-box), DURA génère des patches adversariaux visuellement naturels en optimisant le long de la trajectoire latente d'un modèle de diffusion pré-entraîné. La méthode fonctionne aussi bien en mode white-box qu'en mode black-box, ce dernier ne nécessitant que l'observation des actions prédites par le modèle victime, sans accès à ses poids internes. Les auteurs ont testé DURA à la fois en simulation et en conditions physiques réelles, et rapportent des performances supérieures aux méthodes d'attaque existantes pour détourner un robot vers des actions choisies par l'attaquant. Cette démonstration met en lumière un angle mort de sécurité largement sous-exploré dans les systèmes robotiques pilotés par des modèles VLA, une famille d'architectures de plus en plus déployée dans les bras manipulateurs et robots humanoïdes industriels. Le fait qu'un patch visuellement anodin, sans artefact détectable à l'œil, puisse suffire à détourner un robot vers une action arbitraire constitue un signal d'alarme pour les intégrateurs et décideurs qui envisagent des déploiements physiques de ces modèles dans des environnements non contrôlés. Cela contredit l'hypothèse implicite selon laquelle les attaques adversariales restent cantonnées au numérique ou nécessitent des perturbations grossières et repérables. La validation en monde réel, et pas seulement en simulation, renforce la crédibilité de la menace. Ce travail s'inscrit dans la continuité des recherches sur la robustesse adversariale des réseaux de neurones, désormais étendue aux modèles VLA à mesure que ceux-ci quittent les laboratoires pour piloter des robots physiques. Les auteurs soulignent les limites des attaques existantes, jugées peu déployables en conditions réelles à cause de leur dépendance à un accès white-box ou à des perturbations trop visibles, et appellent explicitement à des mécanismes de défense plus robustes avant une adoption industrielle plus large de ces modèles.

RechercheActu
1 source
Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)
Illustration générée par IA
3arXiv cs.RO 

Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)

Des chercheurs ont publié le 12 juin 2026 un article (arXiv:2606.12978) introduisant une nouvelle classe d'attaques adversariales sur les politiques robotiques de type VLA (Vision-Language-Action), ces architectures qui combinent un modèle de langage, une vision par caméra et un contrôleur moteur pour exécuter des tâches de manipulation à partir d'instructions textuelles. L'attaque baptisée "command-preserving trajectory redirection" (redirection de trajectoire préservant la commande) consiste à modifier subtilement le prompt d'entrée de façon à ce qu'il reste visuellement et sémantiquement proche de l'instruction légitime, mais provoque un résultat physique entièrement différent. Le modèle de menace est strict : l'attaquant ne modifie ni les poids du modèle, ni l'environnement, il choisit un seul prompt avant l'épisode, et ce prompt reste dans la norme syntaxique de la commande originale, sans mots-cibles ni langage correctif. Les auteurs proposent une méthode de recherche "on-policy" qui exploite des rollouts réels du robot pour identifier les perturbations textuelles dont le comportement en boucle fermée dévie vers une tâche cible. Les expériences sont conduites en simulation et sur robot physique, confirmant le transfert de l'attaque au monde réel. Ce résultat est significatif pour les intégrateurs et les décideurs industriels qui évaluent l'adoption des VLA en production, notamment dans les contextes de manipulation collaborative ou d'assemblage. La vulnérabilité exploite une propriété structurelle des VLA en boucle fermée : le même prompt est réappliqué à chaque étape de re-planification, et chaque action conditionnée modifie les observations futures sur lesquelles la politique agit. Un prompt malveillant peut donc cumuler ses effets sur toute une trajectoire, là où les attaques précédentes se limitaient à des perturbations action-par-action ou à la persistance d'actions basses. Cela contredit implicitement l'hypothèse que la robustesse visuelle d'un VLA suffit à garantir son intégrité comportementale, et soulève des questions concrètes sur la validation de sécurité avant déploiement. Les modèles VLA sont au coeur de plusieurs développements récents : pi0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, ou encore les politiques embarquées sur les humanoïdes Figure et 1X. La recherche en sécurité adversariale sur ces architectures était jusqu'ici dominée par des attaques sur les observations visuelles ou sur les actions individuelles ; ce travail ouvre formellement le champ des attaques au niveau de l'instruction textuelle à horizon long. Les auteurs n'annoncent pas de correctif ni de contre-mesure validée, ce qui laisse ouverte la question de la robustification des pipelines VLA. Les prochaines étapes attendues dans la communauté concerneront vraisemblablement la détection de prompts adversariaux à la volée et l'évaluation de ce vecteur d'attaque sur des modèles déployés commercialement. Le site projet est accessible à l'adresse indiquée dans le papier.

RechercheOpinion
1 source
ThermoAct : modèles vision-langage-action (VLA) sensibles à la thermique pour la perception et la décision en robotique
Illustration générée par IA
4arXiv cs.RO 

ThermoAct : modèles vision-langage-action (VLA) sensibles à la thermique pour la perception et la décision en robotique

ThermoAct est un cadre de type Vision-Language-Action (VLA) qui ajoute la perception thermique aux entrées visuelles et textuelles pour l'exécution de tâches robotiques. Il a été déposé sur arXiv en mars 2026 (référence 2603.25044), et la version 3 vient d'être publiée. L'architecture repose sur un modèle vision-langage (VLM) qui joue le rôle de planificateur de haut niveau. Il interprète des consignes complexes en langage naturel et les décompose en sous-tâches plus simples, que la politique d'action exécute ensuite. Les auteurs affirment que cette décomposition facilite la collecte de données et rend le raisonnement plus robuste sur les opérations complexes. Grâce aux données thermiques, le robot peut percevoir des propriétés physiques invisibles à la caméra, comme une surface chaude, et assurer de lui-même la sécurité de son environnement. La validation repose sur des scénarios réels, mais le résumé ne donne ni taux de succès, ni nombre d'essais, ni description du matériel (capteur thermique, bras, DOF). Il s'agit donc d'un travail de recherche, sans produit ni déploiement industriel. L'intérêt tient à une lacune réelle : la plupart des VLA actuels, qu'ils soient académiques ou industriels, s'appuient quasi exclusivement sur la vision. Dans les environnements de collaboration homme-robot, comme la cuisine, l'atelier ou la logistique avec manipulation de plaques chaudes ou de pièces fraîchement usinées, un humanoïde qui ne « sent » pas la chaleur reste limité sur la sécurité. Pour un intégrateur ou un responsable HSE, l'idée de brancher une modalité bon marché sur un modèle fondation est séduisante. Les conclusions restent toutefois prudentes : les auteurs parlent de « faisabilité » et de « potentiel » d'amélioration par rapport aux systèmes visuels, sans quantification publique dans le résumé. Il est donc impossible d'en tirer un gain de sécurité démontré. Le contexte est celui d'une course aux VLA généralistes, où les acteurs américains et chinois enrichissent surtout leurs modèles en données visuelles, tactiles ou proprioceptives. La modalité thermique reste, de l'aveu même des auteurs, peu explorée. La suite logique serait une évaluation chiffrée face à des bases de référence uniquement visuelles, puis un test sur des plateformes mobiles ou humanoïdes. Une page projet est disponible pour suivre ces développements, mais aucun calendrier de commercialisation n'est annoncé.

RecherchePaper
1 source