Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Diffusion cachée : attaques robotiques non restreintes sur les modèles vision-langage-action
RecherchearXiv cs.RO 

Diffusion cachée : attaques robotiques non restreintes sur les modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont publié le 12 août 2026 sur arXiv (référence 2608.10393v1) une nouvelle méthode d'attaque baptisée DURA, pour "diffusion-based unrestricted robotic attack", ciblant les modèles Vision-Language-Action (VLA) qui pilotent des robots dans des tâches de manipulation. Contrairement aux attaques adversariales classiques qui modifient des pixels de façon visible ou nécessitent un accès complet au modèle cible (white-box), DURA génère des patches adversariaux visuellement naturels en optimisant le long de la trajectoire latente d'un modèle de diffusion pré-entraîné. La méthode fonctionne aussi bien en mode white-box qu'en mode black-box, ce dernier ne nécessitant que l'observation des actions prédites par le modèle victime, sans accès à ses poids internes. Les auteurs ont testé DURA à la fois en simulation et en conditions physiques réelles, et rapportent des performances supérieures aux méthodes d'attaque existantes pour détourner un robot vers des actions choisies par l'attaquant.

Cette démonstration met en lumière un angle mort de sécurité largement sous-exploré dans les systèmes robotiques pilotés par des modèles VLA, une famille d'architectures de plus en plus déployée dans les bras manipulateurs et robots humanoïdes industriels. Le fait qu'un patch visuellement anodin, sans artefact détectable à l'œil, puisse suffire à détourner un robot vers une action arbitraire constitue un signal d'alarme pour les intégrateurs et décideurs qui envisagent des déploiements physiques de ces modèles dans des environnements non contrôlés. Cela contredit l'hypothèse implicite selon laquelle les attaques adversariales restent cantonnées au numérique ou nécessitent des perturbations grossières et repérables. La validation en monde réel, et pas seulement en simulation, renforce la crédibilité de la menace.

Ce travail s'inscrit dans la continuité des recherches sur la robustesse adversariale des réseaux de neurones, désormais étendue aux modèles VLA à mesure que ceux-ci quittent les laboratoires pour piloter des robots physiques. Les auteurs soulignent les limites des attaques existantes, jugées peu déployables en conditions réelles à cause de leur dépendance à un accès white-box ou à des perturbations trop visibles, et appellent explicitement à des mécanismes de défense plus robustes avant une adoption industrielle plus large de ces modèles.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Vision robotique : cartes de points centrées sur le robot pour les modèles vision-langage-action
1arXiv cs.RO 

Vision robotique : cartes de points centrées sur le robot pour les modèles vision-langage-action

Des chercheurs proposent dans un article arXiv (2607.11498v1, soumis en juillet 2026) une méthode baptisée "pointmaps robot-centriques" pour résoudre un problème structurel des modèles vision-langage-action (VLA). Ces modèles prédisent des actions robotiques à partir d'observations visuelles et d'instructions en langage naturel, mais les actions sont définies dans le repère 3D propre au robot, alors que la caméra observe la scène dans son propre repère. Ce décalage reste sans conséquence quand le point de vue de la caméra est fixe, la politique pouvant alors mémoriser une correspondance unique observation-action, mais il devient problématique à mesure que les jeux de données agrègent des démonstrations issues de configurations caméra variées. La solution proposée encode les coordonnées 3D des points de la scène, exprimées dans le repère du robot, directement dans une grille dense H x W, format identique à celui attendu par les VLA 2D pré-entraînés, ce qui permet une intégration avec un minimum de modifications architecturales. Testée sur le benchmark RoboCasa, cette approche améliore les performances de deux modèles existants, pi0.5 et SmolVLA, et surpasse des méthodes de référence basées sur le point de vue caméra ou sur une conscience 3D classique. Cette avancée touche un point sensible pour l'industrialisation des VLA à grande échelle: la généralisation à des configurations caméra non standardisées est un frein connu au déploiement sur des cellules robotiques hétérogènes, où chaque intégrateur positionne ses capteurs différemment. Les expériences sur robot réel confirment que l'avantage par rapport à une politique RGB classique s'accentue justement quand la caméra est déplacée vers un emplacement absent de l'entraînement, ce qui va dans le sens d'une meilleure robustesse au changement de point de vue, condition nécessaire pour des flottes de robots déployées avec des configurations non uniformisées, plutôt qu'un simple gain de performance en conditions contrôlées. Le travail s'inscrit dans la lignée des modèles VLA récents tels que pi-0, GR00T N2 ou Helix, qui cherchent à généraliser l'apprentissage de politiques robotiques à partir de larges corpus de démonstrations multi-plateformes. En comparant explicitement leur méthode à des approches de conditionnement par point de vue caméra et à des baselines 3D-aware, les auteurs positionnent les pointmaps comme une alternative légère à des architectures 3D plus lourdes, ouvrant la voie à des validations plus larges sur des flottes robotiques aux configurations caméra diverses.

RechercheActu
1 source
Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)
2arXiv cs.RO 

Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)

Des chercheurs ont publié le 12 juin 2026 un article (arXiv:2606.12978) introduisant une nouvelle classe d'attaques adversariales sur les politiques robotiques de type VLA (Vision-Language-Action), ces architectures qui combinent un modèle de langage, une vision par caméra et un contrôleur moteur pour exécuter des tâches de manipulation à partir d'instructions textuelles. L'attaque baptisée "command-preserving trajectory redirection" (redirection de trajectoire préservant la commande) consiste à modifier subtilement le prompt d'entrée de façon à ce qu'il reste visuellement et sémantiquement proche de l'instruction légitime, mais provoque un résultat physique entièrement différent. Le modèle de menace est strict : l'attaquant ne modifie ni les poids du modèle, ni l'environnement, il choisit un seul prompt avant l'épisode, et ce prompt reste dans la norme syntaxique de la commande originale, sans mots-cibles ni langage correctif. Les auteurs proposent une méthode de recherche "on-policy" qui exploite des rollouts réels du robot pour identifier les perturbations textuelles dont le comportement en boucle fermée dévie vers une tâche cible. Les expériences sont conduites en simulation et sur robot physique, confirmant le transfert de l'attaque au monde réel. Ce résultat est significatif pour les intégrateurs et les décideurs industriels qui évaluent l'adoption des VLA en production, notamment dans les contextes de manipulation collaborative ou d'assemblage. La vulnérabilité exploite une propriété structurelle des VLA en boucle fermée : le même prompt est réappliqué à chaque étape de re-planification, et chaque action conditionnée modifie les observations futures sur lesquelles la politique agit. Un prompt malveillant peut donc cumuler ses effets sur toute une trajectoire, là où les attaques précédentes se limitaient à des perturbations action-par-action ou à la persistance d'actions basses. Cela contredit implicitement l'hypothèse que la robustesse visuelle d'un VLA suffit à garantir son intégrité comportementale, et soulève des questions concrètes sur la validation de sécurité avant déploiement. Les modèles VLA sont au coeur de plusieurs développements récents : pi0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, ou encore les politiques embarquées sur les humanoïdes Figure et 1X. La recherche en sécurité adversariale sur ces architectures était jusqu'ici dominée par des attaques sur les observations visuelles ou sur les actions individuelles ; ce travail ouvre formellement le champ des attaques au niveau de l'instruction textuelle à horizon long. Les auteurs n'annoncent pas de correctif ni de contre-mesure validée, ce qui laisse ouverte la question de la robustification des pipelines VLA. Les prochaines étapes attendues dans la communauté concerneront vraisemblablement la détection de prompts adversariaux à la volée et l'évaluation de ce vecteur d'attaque sur des modèles déployés commercialement. Le site projet est accessible à l'adresse indiquée dans le papier.

RechercheOpinion
1 source
Modèle vision-langage-action pour le reciblage robotique multi-corporel via diffusion guidée
3arXiv cs.RO 

Modèle vision-langage-action pour le reciblage robotique multi-corporel via diffusion guidée

Des chercheurs publient une version retravaillée sur arXiv (2505.20857v2) d'un framework de retargeting de mouvement basé sur un modèle de diffusion conditionné par graphe, conçu pour transférer des mouvements de référence vers des robots à la morphologie différente. Le problème ciblé est connu du secteur : un jeu de données de mouvement capturé pour un robot donné ne se transpose pas directement à un autre, à cause des écarts de structure topologique, de paramètres géométriques et de correspondance entre articulations. La méthode encode chaque robot sous forme de graphe capturant sa topologie et sa géométrie, exploité par un mécanisme d'attention développé spécifiquement au niveau articulaire. Faute de mouvements de référence "vérité terrain" pour l'embodiment cible, les auteurs entraînent le modèle de diffusion via un guidage énergétique, formulé comme des fonctions de perte de retargeting, plutôt que par apprentissage supervisé classique. L'enjeu dépasse l'exercice académique : la pénurie de données de démonstration spécifiques à chaque plateforme reste un goulot d'étranglement majeur pour l'entraînement des modèles VLA (vision-language-action) qui équipent les humanoïdes actuels, de Figure à Optimus en passant par les architectures type GR00T ou Pi-0. Une méthode capable de recycler un même corpus de mouvements humains ou robotiques vers plusieurs morphologies réduirait potentiellement le coût de collecte de données propre à chaque robot. Les auteurs présentent leur travail comme l'une des premières approches de retargeting cross-embodiment en robotique, mais restent prudents : ils parlent d'une généralisation "à un certain degré" à des structures squelettiques diverses, une formulation qui invite à la retenue plutôt qu'à l'enthousiasme. Il s'agit d'un article de recherche pur, sans affiliation industrielle citée ni produit commercialisé, à situer dans la lignée des travaux sur l'apprentissage cross-embodiment (type Open X-Embodiment) et le problème historique du retargeting en animation et robotique. Aucun acteur français ou européen n'y est associé. Le texte ne mentionne ni pilote annoncé ni calendrier de déploiement : c'est une brique méthodologique, encore loin d'une intégration produit.

RecherchePaper
1 source
Exploitation des failles : attaques adverses universelles contre les modèles vision-langage-action (VLA) en robotique
4arXiv cs.RO 

Exploitation des failles : attaques adverses universelles contre les modèles vision-langage-action (VLA) en robotique

Des chercheurs publient sur arXiv une attaque adversariale « universelle » contre les modèles Vision-Language-Action (VLA), ces réseaux de bout en bout qui fusionnent perception visuelle, compréhension du langage et génération d'actions pour la manipulation robotique. Le dispositif, baptisé Universal Adversarial Object, est une sphère dont la texture de surface a été optimisée. Posée dans le champ de vision du robot, elle dégrade nettement le taux de réussite des tâches. L'approche repose sur un cadre d'attaque à plusieurs niveaux, qui perturbe conjointement la planification de trajectoire, l'exécution de la tâche et le contrôle de l'action. Les auteurs l'ont validée en simulation et en conditions réelles sur deux modèles représentatifs, Pi0 et RDT. Le taux de réussite moyen recule de 31,2 % à 39,9 % selon le modèle, et tombe quasiment à zéro dans les scénarios complexes. Le résumé ne précise ni les tâches testées, ni le nombre d'essais, ni la plateforme matérielle, ni le niveau d'accès au modèle supposé pour l'attaquant. Ces éléments conditionnent la portée des chiffres. Pour les intégrateurs et les responsables de déploiement, le résultat touche un point que les démonstrations commerciales abordent peu. Un VLA ne se contente pas d'être fragile face à des variations de décor ou d'éclairage. Il peut être dégradé par un simple objet physique, passif et bon marché à produire, sans intrusion logicielle ni accès au réseau du robot. Le caractère « universel » est le point central : l'objet n'est pas conçu pour une scène ou une consigne donnée, ce qui rend une attaque plausible hors laboratoire. Le travail contredit l'idée implicite selon laquelle l'entraînement à grande échelle suffirait à rendre ces politiques robustes. Il pose aussi une question de sûreté fonctionnelle. Une chute de réussite de plus de 30 % reste un échec de tâche, mais un robot qui interagit avec des humains peut produire des mouvements inattendus. Ces risques sont rarement couverts par les normes de sécurité actuelles, pensées pour des automates déterministes. Il faut toutefois rester prudent : les gains annoncés viennent d'une évaluation académique, avec des tâches choisies par les auteurs. Pi0 (Physical Intelligence) et RDT (Robotics Diffusion Transformer) comptent parmi les VLA ouverts les plus utilisés dans la recherche. Ils servent de base à de nombreux travaux de fine-tuning, ce qui explique leur choix comme cibles. Cette étude s'inscrit dans une littérature croissante sur les attaques adversariales physiques, d'abord développées pour la vision par ordinateur (patchs adversariaux), puis étendues aux modèles multimodaux. Elle intervient alors que Figure, Tesla, NVIDIA et d'autres poussent des politiques VLA vers des déploiements industriels. La suite logique consistera à tester des défenses : entraînement adversarial, détection d'objets hors distribution et filtrage des entrées visuelles. Il faudra aussi vérifier si l'attaque se transfère aux modèles fermés.

RecherchePaper
1 source