Aller au contenu principal
Imperio, smolVLA : les conséquences de l'empoisonnement des données pour la robotique open sourceIllustration générée par IA
Societe/EthiquearXiv cs.RO 

Imperio, smolVLA : les conséquences de l'empoisonnement des données pour la robotique open source

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche démontre qu'il est possible d'empoisonner discrètement les modèles vision-langage-action (VLA) open source utilisés en robotique, avec un coût dérisoire. L'étude, menée sur smolVLA via la plateforme LeRobot, porte sur une tâche réelle de préhension et dépose (pick-and-place). En insérant seulement trois épisodes piégés dans un jeu de 320 épisodes propres, soit moins de 1% des données d'entraînement, les chercheurs parviennent à créer une porte dérobée déclenchée par un mot spécifique dans la consigne. Résultat : dès que ce mot apparaît, le taux de réussite du robot tombe à 0,0%, et le bras se fige dans une configuration articulaire fixe au lieu d'exécuter la tâche demandée. Avec un seul épisode empoisonné, le taux de réussite chute déjà à 6,7%, le robot bougeant mais sans accomplir sa mission. Sur des prompts sans déclencheur, le comportement reste normal, avec environ 50% de réussite quel que soit le ratio d'empoisonnement, ce qui rend l'attaque indétectable en usage courant. Le déclencheur fonctionne même s'il est placé en fin ou au milieu de la consigne, alors que l'entraînement n'utilisait que des placements en début de phrase.

Cette démonstration met en lumière une faille de confiance structurelle dans l'écosystème robotique open source, où les jeux de données et modèles pré-entraînés proviennent souvent de contributions communautaires non vérifiées. Pour les intégrateurs et décideurs industriels, le message est clair : un modèle VLA téléchargé publiquement peut embarquer un déni de service caché, activable à distance par une simple commande textuelle, sans dégradation visible en conditions normales. Cela questionne directement la viabilité du déploiement de modèles fondation robotiques partagés sans audit de provenance.

Ce travail s'inscrit dans la lignée des recherches sur la sécurité des modèles de fondation appliqués à la robotique physique, un domaine encore jeune comparé aux attaques par empoisonnement déjà documentées en NLP et vision. Les auteurs appellent à faire de la traçabilité des données un critère de sécurité de premier plan, à mesure que des plateformes comme LeRobot démocratisent le partage de modèles et de jeux de démonstrations pour l'IA physique.

Dans nos dossiers

À lire aussi

Les fonctions de sécurité de votre robot fonctionnent déjà. Et si leurs données d'entrée étaient falsifiées ?
Illustration générée par IA
1The Robot Report 

Les fonctions de sécurité de votre robot fonctionnent déjà. Et si leurs données d'entrée étaient falsifiées ?

Les chercheurs de VicOne LAB R7, l'équipe de recherche en cybersécurité de l'éditeur VicOne, publient une analyse sur un angle mort de la sécurité fonctionnelle des robots : une fonction de sécurité peut s'exécuter exactement comme conçue tout en agissant sur une information falsifiée. Leurs essais portent sur plusieurs cas. Dans un test sur un chien robot piloté par Gemma 4 E4B, le texte d'une affiche a été interprété comme une instruction et a modifié le déplacement de la machine. Dans une simulation de robot de service hospitalier tournant avec Nemotron sur NVIDIA Jetson AGX Orin, un audio forgé, inaudible pour l'humain, a changé le comportement simulé. Lors d'un événement de bug bounty en robotique, les chercheurs ont injecté un message ROS 2/DDS dans un robot qui devait rester immobile sous un réglage de contrôle sûr, et il s'est mis en mouvement. Ils citent aussi des travaux publiés : un patch visuel qui réduit le taux de réussite de modèles vision-langage-action (VLA) en simulation, et FreezeVLA, où une image adversariale amène des modèles à ignorer les instructions suivantes. L'exemple du gyroscope d'un humanoïde, perturbé par une onde sonore à sa fréquence de résonance, reste une hypothèse : l'attaque acoustique a été démontrée sur des drones, pas sur un humanoïde, et aucune chute n'a été provoquée. L'intérêt pour les intégrateurs et les responsables sécurité tient au déplacement de la question. Les évaluations de sécurité traitent souvent la combinaison de plusieurs défauts accidentels comme improbable. Un attaquant, lui, choisit le moment et peut rejouer le même déclencheur, ce qui change le calcul du risque sans rendre le dommage inévitable. Le point opérationnel est l'indépendance réelle des protections : un arrêt de sécurité qui s'appuie sur les mêmes lectures, estimations ou messages que la commande principale peut être trompé par la même manipulation. La redondance de capteurs doit elle aussi passer un test adversarial, car si une seule action influence les deux entrées, leur concordance rassure moins qu'on ne le croit. Les auteurs évoquent à ce titre une recherche en conduite autonome où un objet physique piégé a trompé un système combinant caméra et LiDAR. Il faut toutefois relativiser : ces résultats viennent d'un éditeur qui vend de la sécurité, dans des conditions de laboratoire, de simulation ou de bug bounty, sans démonstration de dommage physique sur un robot déployé. Le sujet arrive alors que les robots mobiles, les cobots et les humanoïdes entrent dans des environnements partagés avec des humains, et que les VLA font de la perception ouverte (texte, image, son) une surface de commande à part entière. Les normes de sécurité fonctionnelle, historiquement centrées sur les pannes aléatoires, intègrent encore peu la manipulation volontaire des entrées. La contribution de VicOne s'inscrit dans l'effort de rapprochement entre sûreté et cybersécurité, avec une cartographie des défauts accidentels et des manipulations délibérées menant aux mêmes issues, de la perte de contrôle au dommage physique. Le texte, tronqué avant ses recommandations détaillées, laisse attendre des conseils sur le renforcement des tests et des preuves à fournir. Ce sera à surveiller du côté des constructeurs d'humanoïdes et de robots de service, ainsi que de leurs fournisseurs de modèles, qui devront montrer que leurs garde-fous ne dépendent pas des mêmes entrées que la tâche qu'ils encadrent.

Societe/EthiqueOpinion
1 source
Robotique : quand une erreur d’IA devient un risque physique
Illustration générée par IA
2Robot Magazine FR 

Robotique : quand une erreur d’IA devient un risque physique

La revue scientifique Safety Science a publié en 2025 une étude portant sur 303 rapports d'accidents liés aux interactions entre humains et robots, dont ressortent sept grandes catégories d'incidents. Deux causes dominent particulièrement l'analyse : les activations inattendues des machines et les erreurs de capteurs, deux défaillances qui touchent directement au cœur de ce que l'industrie appelle désormais la Physical AI, c'est à dire l'intelligence artificielle appliquée au pilotage de bras robotiques, de robots mobiles et, à terme, d'humanoïdes. En parallèle, l'agence américaine OSHA a recensé 550 incidents impliquant des robots dans le secteur manufacturier : 33 % des victimes ont nécessité une prise en charge aux urgences et 2 % ont donné lieu à une hospitalisation, avec des blessures allant des coupures et contusions aux fractures. La maintenance et le nettoyage des robots ressortent comme des phases particulièrement exposées. Ces chiffres ne peuvent pas tous être attribués à l'intelligence artificielle, mais ils documentent ce qui se produit déjà lorsque humains et machines capables de mouvements puissants partagent un même espace de travail. Ce changement de nature du risque a des conséquences directes pour les intégrateurs et les décideurs industriels. Un logiciel classique suit une logique déterministe et prévisible ; un système de Physical AI interprète son environnement en temps réel et adapte ses actions, ce qui constitue précisément sa valeur ajoutée mais aussi sa faille de sécurité. Une erreur de perception, par exemple une caméra qui identifie mal un objet ou une scène, ne produit plus une donnée erronée mais un mouvement physique incorrect, potentiellement dangereux pour un opérateur présent sur la trajectoire. Cela contredit l'hypothèse implicite selon laquelle les progrès des modèles vision-langage-action (VLA) suffiraient à rendre les robots plus sûrs à mesure qu'ils deviennent plus autonomes : l'autonomie de décision ajoute une variable difficile à certifier et à auditer, un enjeu central pour toute entreprise qui envisage de déployer des humanoïdes ou des robots collaboratifs en usine ou en entrepôt. Cette question s'inscrit dans la montée en puissance rapide des humanoïdes et robots mobiles pilotés par IA générative, portée par des acteurs comme Figure, Tesla avec Optimus, ou les développeurs de modèles VLA de type Pi-0 ou GR00T. Face à cette course au déploiement, la sécurité fonctionnelle reste largement en retrait des annonces commerciales. La prochaine étape attendue par le secteur concerne l'émergence de standards de certification spécifiques à l'IA embarquée dans des systèmes physiques, un chantier que régulateurs et industriels commencent tout juste à ouvrir.

Societe/EthiqueOpinion
1 source
Robots humanoïdes : de futurs coéquipiers pour assister les policiers sur le terrain ?
Illustration générée par IA
3Robot Magazine FR 

Robots humanoïdes : de futurs coéquipiers pour assister les policiers sur le terrain ?

Un article de réflexion publié en octobre 2026 explore la place que pourraient occuper les robots humanoïdes auprès des forces de l'ordre françaises. Il ne rapporte ni essai, ni pilote, ni fiche technique (payload, DOF, autonomie, prix, modèle précis) : c'est une analyse prospective. Le texte évoque les violences en marge des manifestations du 17 octobre en France. Il suggère que ces machines auraient pu aider la police ou protéger des mairies et des commerces, mais au conditionnel, sans aucun déploiement constaté. Trois usages sont passés en revue. Le premier est logistique : transporter boucliers, matériel médical et équipements de communication, ou faire la navette entre un véhicule et un point d'intervention sécurisé. Le deuxième est l'apport de trousses de secours. Le troisième est la protection ponctuelle d'un agent, par exemple un humanoïde portant un bouclier dans une zone exposée aux projections. L'auteur précise que ce dernier cas reste une hypothèse à tester. L'intérêt tient à la lucidité du cadrage. Le texte distingue la démonstration en environnement contrôlé de la fiabilité en rue encombrée, et rappelle qu'une chute ou une erreur d'IA se traduit ici par un risque physique pour des personnes, pas par une simple panne. Pour un intégrateur ou un décideur public, le message est que la valeur d'un humanoïde se jugera sur des tâches étroites aux résultats mesurables (charge portée, temps de trajet, fiabilité sur terrain dégradé), plutôt que sur des scénarios spectaculaires comme l'interpellation. Cela recoupe le débat sur l'écart entre démos et usage réel, que l'article ne tranche pas faute de données. Les arguments en faveur de la forme humanoïde, que le texte aborde en fin de section (deux bras, etc.), ne sont pas développés dans l'extrait disponible. Côté contexte, la robotique de sécurité existe déjà sous des formes non humanoïdes. Lors de l'incendie de Notre-Dame de Paris en avril 2019, un robot extincteur à chenilles équipé de caméras est entré dans la nef là où les pompiers ne pouvaient pas aller. Il s'agit du Colossus de la société française Shark Robotics, ce qui donne à la filière hexagonale un précédent opérationnel. En 2023, la police de New York a présenté Digidog, un quadrupède télécommandé par des policiers formés, destiné aux situations à haut risque (substances dangereuses, suspect retranché). Ces exemples prouvent l'utilité d'une machine déportée dans une zone hostile, pas la capacité d'un humanoïde à évoluer au contact d'une foule. Aucun calendrier, expérimentation ou acteur industriel n'est annoncé pour des humanoïdes policiers. La suite logique serait des essais limités sur des tâches de soutien logistique, avant toute mission de protection, avec un cadre juridique et éthique encore à construire.

UERéflexion prospective sur l'usage d'humanoïdes par la police française, sans essai ni cadre juridique, mais mentionnant Shark Robotics, entreprise française, comme précédent de robotique de sécurité.

Societe/EthiqueOpinion
1 source
MuTRAP : trojans à déclencheurs multiples ciblant les systèmes de planification de tâches robotiques
Illustration générée par IA
4arXiv cs.RO 

MuTRAP : trojans à déclencheurs multiples ciblant les systèmes de planification de tâches robotiques

Des chercheurs ont présenté MuTRAP (Multi-Trigger Trojan Attack for Robot Task Planning), la première attaque par backdoor à déclencheurs multiples ciblant les systèmes de planification robotique pilotés par des grands modèles de langage. Publiée en troisième révision sur arXiv (2504.17070v3), cette recherche exploite la configuration standard des déploiements LLM en robotique : le modèle de base est figé et hébergé sur un serveur centralisé, hors de portée directe de l'attaquant. MuTRAP contourne cette limitation en injectant une backdoor via un petit ensemble de paramètres spécifiques à la tâche, sans modifier le LLM sous-jacent. Le système intègre une méthode d'optimisation des mots-déclencheurs adaptée à chaque application robotique : dans la démonstration des auteurs, le mot "herical" suffit à déclencher un comportement malveillant sur un robot de cuisine, le poussant à blesser l'utilisateur. L'enjeu est significatif pour les intégrateurs et décideurs qui déploient des robots assistés par LLM en environnements industriels ou domestiques. MuTRAP montre que la surface d'attaque ne se réduit pas au modèle de base : les paramètres d'adaptation légers (adaptateurs, fine-tunings spécifiques à la tâche, prompts système) constituent un vecteur viable pour empoisonner le comportement planificateur du robot sans alerter les systèmes de surveillance habituels. Pour les COOs et architectes système, cela pointe vers un risque réel de chaîne d'approvisionnement logicielle : tout composant qui modifie le comportement du LLM en aval du modèle de base peut potentiellement être compromis. La recherche met également en évidence un angle mort persistant dans l'évaluation des systèmes robotiques LLM, qui se concentre quasi-exclusivement sur la performance fonctionnelle plutôt que sur la robustesse adversarielle. L'usage des LLMs pour la planification de tâches robotiques s'est imposé depuis 2022-2023, avec des travaux fondateurs comme SayCan de Google DeepMind et Code as Policies. Les architectures plus récentes, pi0 de Physical Intelligence, GR00T N2 de NVIDIA ou les planificateurs LLM de Figure AI, héritent du même paradigme et exposent potentiellement la même surface de vulnérabilité. MuTRAP s'inscrit dans un corpus naissant sur les backdoors appliqués aux LLM (BadNets, trojaning attacks), transposé ici pour la première fois de manière systématique au domaine de la robotique. Les auteurs ne proposent pas de contre-mesures dans ce travail, mais positionnent explicitement leur publication comme un appel à développer une robotique sécurisée par conception, un créneau de recherche qui devrait s'accélérer à mesure que les robots LLM-assistés quittent les laboratoires pour les environnements de production.

UELes intégrateurs européens déployant des robots assistés par LLM en environnements industriels ou domestiques sont exposés à ce vecteur d'attaque via la chaîne d'approvisionnement logicielle (adaptateurs, fine-tunings spécifiques à la tâche, prompts système).

Societe/EthiqueOpinion
1 source