Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Sécurité de l'IA incarnée : panorama des risques, attaques et défenses
RecherchearXiv cs.RO 

Sécurité de l'IA incarnée : panorama des risques, attaques et défenses

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié fin avril 2026 sur arXiv (identifiant 2605.02900) une revue systématique de la sécurité dans l'IA incarnée (embodied AI), couvrant plus de 400 articles académiques. Le périmètre s'étend à l'ensemble du pipeline d'un agent physique : perception sensorielle, cognition, planification, exécution d'actions et interactions humain-robot. La taxonomie proposée organise les menaces en quatre grandes familles d'attaques (adversariales, backdoor, jailbreak, matérielles) et trois axes de défense (détection d'attaques, entraînement robuste, inférence sûre). Les domaines d'application ciblés incluent la conduite autonome, la robotique industrielle et d'assistance, ainsi que les applications médicales, tous caractérisés par des conséquences physiques directes en cas de défaillance.

Ce travail pointe trois angles morts particulièrement préoccupants pour les intégrateurs et les équipes produit. D'abord, la fragilité de la fusion multimodale : combiner vision, LiDAR et langage amplifie les surfaces d'attaque plutôt que de les réduire, contrairement à l'hypothèse dominante de redondance. Ensuite, l'instabilité de la planification sous attaque jailbreak : les modèles vision-langage-action (VLA) comme Pi-0 ou GR00T N2, de plus en plus déployés dans des systèmes humanoïdes, restent vulnérables à des injections de prompt qui court-circuitent les contraintes de sécurité définies au niveau applicatif. Enfin, la confiance dans les interactions en monde ouvert demeure non résolue dès que le scénario sort des conditions de laboratoire, ce qui est précisément le cas des déploiements industriels réels.

Le contexte est celui d'une accélération brutale du déploiement d'agents physiques autonomes depuis 2024, portée par des acteurs comme Figure AI, Boston Dynamics, 1X Technologies, Apptronik et des labos publics (Stanford, CMU, ETH Zurich). L'absence d'un cadre de sécurité unifié est jusqu'ici restée dans l'angle mort de la course aux performances : les benchmarks sectoriels mesurent la dextérité et le sim-to-real transfer, rarement la robustesse face à un adversaire actif. Ce survey constitue un premier référentiel structuré ; il ne propose pas de solution clé en main mais identifie les briques manquantes, notamment les protocoles d'évaluation standardisés pour les attaques sur hardware embarqué et les mécanismes de contrôle d'intégrité des VLA en production.

Impact France/UE

Les acteurs européens déployant des VLA (dont ETH Zurich, contributeur cité) et soumis à l'AI Act, qui classe les applications médicales et industrielles en systèmes à haut risque, devront intégrer les protocoles d'évaluation de robustesse adversariale identifiés comme manquants par ce survey.

Dans nos dossiers

Figure1X TechnologiesBoston DynamicsApptronik Apollo

À lire aussi

Sécurité des agents incarnés pilotés par des modèles fondation : surfaces d'attaque, attaques, défenses et évaluation
1arXiv cs.RO 

Sécurité des agents incarnés pilotés par des modèles fondation : surfaces d'attaque, attaques, défenses et évaluation

Des chercheurs publient sur arXiv (arXiv:2608.16843v1, avec des données collectées jusqu'au 15 aout 2026) une synthèse consacrée a la sécurité des agents robotiques pilotes par des modèles de fondation, ces systèmes qui intègrent perception, raisonnement, planification et génération d'actions dans une seule boucle de contrôle. Plutot que de classer les menaces par mécanisme d'attaque (jailbreak, injection de prompt, backdoor, empoisonnement de données, exemples adversariaux) comme le font les travaux existants, les auteurs adoptent une approche centrée sur les frontières de confiance: ils identifient le point d'entrée exact ou un attaquant compromet le système pour la première fois. Le système est décompose en cinq couches et douze surfaces d'attaque, couvrant la chaine d'approvisionnement du modèle, les instructions utilisateur, le contexte et la mémoire, l'environnement physique et sémantique, la perception multimodale, l'état du monde, le raisonnement interne, la planification de taches, les interfaces d'action, le middleware, la communication multi-agents et le contrôle d'exécution. L'analyse s'appuie sur 58 cas d'attaques documentées et 61 mécanismes de défense recenses. Le constat principal intéressé directement intégrateurs et décideurs robotique: la recherche en attaque se concentre presque exclusivement sur la perception multimodale et les interfaces d'action, la ou les défenses existantes se cantonnent surtout au niveau action et a la protection en temps réel. A l'inverse, la mémoire a long terme et le contexte, le middleware et les couches réseau, l'intégrité de l'état du monde, ainsi que la confiance entre agents dans les flottes multi-robots restent quasiment ignores par la littérature. Autrement dit, une faille numérique en amont (une instruction manipulée, une donnée de contexte corrompue) peut se propager jusqu'a un comportement physique dangereux sans qu'aucune défense structurelle ne l'intercepte, un angle mort critique pour toute entreprise déployant des agents embodied bases sur des VLA (vision-language-action) a l'échelle industrielle. Cette synthèse s'inscrit dans un champ encore jeune, celui de la sécurité des agents robotiques génératifs, ou la multiplication des modèles de fondation appliques a la robotique a devance les cadres d'évaluation. Les auteurs pointent plusieurs chantiers ouverts pour la suite: la provenance vérifiable de l'état du système, des défenses compositionnelles capables de couvrir plusieurs couches simultanément, la propagation d'attaques sur des horizons temporels longs, la réalisabilité physique des exploits théoriques, le comportement byzantin dans les essaims multi-robots, et une méthodologie d'évaluation unifiée en boucle fermée.

UECe travail concerne indirectement les intégrateurs et décideurs robotiques européens déployant des agents VLA, en pointant des angles morts de sécurité à anticiper, sans citer d'acteur ni de réglementation française ou européenne spécifique.

RechercheActu
1 source
Quand les robots nous comprennent mal : les risques de sécurité de l'IA incarnée à commande vocale
2arXiv cs.RO 

Quand les robots nous comprennent mal : les risques de sécurité de l'IA incarnée à commande vocale

Une étude publiée sur arXiv (arXiv:2608.28518v1, catégorie cross-listing) le 31 août 2026, intitulée "When Robots Mishear Us: Mapping the Safety Risks of Voice-Controlled Embodied AI", examine si les erreurs de reconnaissance vocale automatique (ASR) dans les commandes utilisateur peuvent conduire des modèles d'IA incarnée (Embodied AI) à exécuter des instructions dangereuses. Les auteurs simulent des erreurs ASR typiques et les combinent avec deux benchmarks de sécurité existants, SafeAgentBench et POEX, pour mesurer l'effet de différents types d'erreurs sur le comportement des modèles. Résultat central : certaines erreurs de transcription préservent la structure grammaticale de la phrase mais introduisent une ambiguïté qui devient dangereuse une fois exécutée par le robot, tandis que d'autres affaiblissent directement le mécanisme de refus du modèle, permettant la génération et l'exécution de plans d'action nuisibles qui auraient normalement été bloqués. La correction automatique des erreurs ASR réduit le risque dans certains cas, mais l'étude montre que cet effet n'est pas systématique. Globalement, les chercheurs concluent que les erreurs ASR constituent un facteur de risque significatif pour la sécurité des systèmes d'IA incarnée. Ce travail met en évidence une surface d'attaque souvent négligée dans la sécurisation des robots à commande vocale : le maillon de transcription lui-même, en amont du modèle de langage ou de planification. Pour les intégrateurs qui déploient des interfaces vocales sur des robots humanoïdes ou des bras manipulateurs, cela signifie qu'un audit de sécurité centré uniquement sur le comportement de refus du modèle de langage reste incomplet si le pipeline vocal en amont n'est pas testé pour sa robustesse aux erreurs de transcription. Le résultat contredit l'hypothèse implicite selon laquelle un alignement de sécurité validé sur des commandes textuelles propres garantit la sécurité en usage réel, où le bruit ambiant, les accents ou les homophones dégradent la fidélité de l'ASR, notamment dans des environnements industriels bruyants. L'article s'inscrit dans la lignée des benchmarks de sécurité pour agents incarnés comme SafeAgentBench et POEX, qui évaluaient jusqu'ici la robustesse face à des prompts textuels malveillants ou ambigus sans modéliser la couche de reconnaissance vocale. Il s'agit d'une contribution de recherche académique, sans lien avec un déploiement commercial ou un robot spécifique. Les auteurs appellent implicitement à intégrer des vérifications de sécurité cross-modales, capables de détecter les incohérences entre l'intention probable de l'utilisateur et le texte transcrit, avant toute exécution d'action physique par le robot.

RechercheActu
1 source
EAST : test de sécurité de l'IA incarnée par injection systématique de fautes dans des jumeaux numériques
3arXiv cs.RO 

EAST : test de sécurité de l'IA incarnée par injection systématique de fautes dans des jumeaux numériques

Des chercheurs proposent EAST (Embodied AI Safety Testing), un cadre de test fondé sur des jumeaux numériques, présenté dans un preprint arXiv (2610.34358). Il vise à transformer des risques de sécurité documentés dans la littérature en tests d'injection de fautes exécutables et vérifiables. Il s'appuie sur une taxonomie de fautes relue par des experts et sur huit opérateurs exécutables, assortis de contraintes d'applicabilité et de validité. Ces opérateurs couvrent cinq familles de perturbations: perception, instructions, environnements, actions et temporalité. Le processus comporte trois étapes: génération des spécifications de test, vérification que la faute est bien réalisée pendant l'exécution simulée, puis évaluation indépendante des défis de sécurité, des violations, des résultats de tâche et des signatures comportementales, à partir de l'état du simulateur. Les traces d'exécution et les enregistrements rejouables sont conservés. L'évaluation porte sur six tâches de manipulation RoboTwin et deux architectures de politiques, ACT et RDT, face à d'autres stratégies de test à budget équivalent. Sur cinq campagnes comparatives, EAST cible les 74 combinaisons tâche-politique-opérateur admissibles et obtient des preuves valides pour 63 d'entre elles. Son taux d'exposition aux défis de sécurité reste proche de celui des approches Random-Legal et Rule-Based. Surtout, 82 exécutions valides d'EAST terminent leur tâche malgré des violations de sécurité. Ce dernier chiffre est le résultat le plus parlant pour le secteur. Un robot peut atteindre son objectif tout en enfreignant une exigence de sécurité, et les évaluations centrées sur le taux de succès masquent donc ces risques. Pour les intégrateurs et les responsables de déploiement, cela pose une limite aux benchmarks de performance et de robustesse: un score de réussite élevé ne dit rien de la manière dont la tâche a été accomplie. La démarche apporte aussi de la traçabilité, avec des traces rejouables permettant d'attribuer une violation à une faute précise et de reproduire l'expérience, ce qu'exigeraient une certification ou un audit. Il faut toutefois relativiser. EAST n'améliore pas nettement l'exposition aux défis par rapport à des méthodes aléatoires ou à base de règles. Son apport est surtout la validité et la couverture des preuves, avec 63 cas valides sur 74, soit environ 85 %, et non une capacité supérieure à déclencher des défaillances. Les résultats restent aussi limités à la simulation et à deux politiques d'imitation. Ce travail s'inscrit dans un contexte où les politiques de manipulation (ACT, RDT) et les modèles vision-langage-action sont évalués surtout sur le succès de tâche, alors que les humanoïdes et manipulateurs entrent en usage industriel et que la sécurité fonctionnelle devient un sujet de conformité. Aucun produit, pilote ou calendrier n'est annoncé: il s'agit d'une contribution de recherche. Les suites logiques seraient l'extension à d'autres politiques, notamment les grands modèles VLA, et la validation du transfert vers du matériel réel, qui reste le vrai test du sim-to-real en matière de sécurité.

RecherchePaper
1 source
Repenser les modèles du monde pour les systèmes incarnés à sécurité critique
4arXiv cs.RO 

Repenser les modèles du monde pour les systèmes incarnés à sécurité critique

Un article de perspective mis en ligne sur arXiv (référence 2609.03774v1, cross-listing) remet en cause l'approche dominante de construction des "world models", ces modèles qui simulent l'environnement d'un système embarqué. Passés de représentations latentes compactes à des simulateurs génératifs interactifs produisant des vidéos photoréalistes, ces modèles sont aujourd'hui jugés sur leur vraisemblance statistique et leur fidélité visuelle, deux critères insuffisants pour garantir une décision sûre. Les auteurs identifient trois décalages structurels: vraisemblance contre risque, prédiction contre intervention, et horizon de prédiction fini contre conséquences accumulées dans le temps. Ils proposent le Risk-Informed World Model (RIWM), une architecture organisée autour des conséquences, de l'intervention, de l'incertitude épistémique et de la récupérabilité, qui combine quatre capacités interdépendantes: une représentation orientée décision, un raisonnement contrefactuel, une mémoire épisodique dédiée à la sécurité, et une assurance de sécurité au moment de l'exécution. Le constat vise directement les modèles de fondation robotique et les simulateurs utilisés pour entraîner des systèmes autonomes, véhicules, robots humanoïdes ou bras industriels, où une vidéo prédite plausible peut masquer une erreur dangereuse sur les conséquences réelles d'une action. En distinguant conséquences physiques, sociales et opérationnelles, et en conditionnant chaque prédiction à un niveau d'incertitude épistémique, RIWM conteste l'hypothèse implicite selon laquelle une meilleure fidélité perceptuelle garantit une meilleure sécurité de décision, un point sensible pour les intégrateurs qui évaluent aujourd'hui les modèles VLA et les simulateurs génératifs sur la qualité visuelle plutôt que sur leur capacité réelle à prévenir un incident. Ce travail s'inscrit dans l'évolution récente des world models, passés de modèles de dynamique latente de type Dreamer à des simulateurs génératifs interactifs capables de produire des environnements explorables en temps réel. Plutôt qu'un produit ou un pilote déployé, les auteurs posent un programme de recherche ouvert: identifier quels futurs sont réellement critiques pour la sécurité, valider empiriquement le raisonnement contrefactuel, maintenir des mémoires de sécurité révisables dans le temps, traduire des conséquences apprises en contraintes exécutables par un système embarqué, et déterminer à quel niveau de preuve un agent peut agir plutôt que devoir détecter, différer ou s'abstenir. Aucun acteur industriel ni calendrier de déploiement n'est mentionné, ce travail relevant du positionnement académique et non d'une annonce commerciale.

RecherchePaper
1 source