Aller au contenu principal
Les fonctions de sécurité de votre robot fonctionnent déjà. Et si leurs données d'entrée étaient falsifiées ?Illustration générée par IA
Societe/EthiqueThe Robot Report 

Les fonctions de sécurité de votre robot fonctionnent déjà. Et si leurs données d'entrée étaient falsifiées ?

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Les chercheurs de VicOne LAB R7, l'équipe de recherche en cybersécurité de l'éditeur VicOne, publient une analyse sur un angle mort de la sécurité fonctionnelle des robots : une fonction de sécurité peut s'exécuter exactement comme conçue tout en agissant sur une information falsifiée. Leurs essais portent sur plusieurs cas. Dans un test sur un chien robot piloté par Gemma 4 E4B, le texte d'une affiche a été interprété comme une instruction et a modifié le déplacement de la machine. Dans une simulation de robot de service hospitalier tournant avec Nemotron sur NVIDIA Jetson AGX Orin, un audio forgé, inaudible pour l'humain, a changé le comportement simulé. Lors d'un événement de bug bounty en robotique, les chercheurs ont injecté un message ROS 2/DDS dans un robot qui devait rester immobile sous un réglage de contrôle sûr, et il s'est mis en mouvement. Ils citent aussi des travaux publiés : un patch visuel qui réduit le taux de réussite de modèles vision-langage-action (VLA) en simulation, et FreezeVLA, où une image adversariale amène des modèles à ignorer les instructions suivantes. L'exemple du gyroscope d'un humanoïde, perturbé par une onde sonore à sa fréquence de résonance, reste une hypothèse : l'attaque acoustique a été démontrée sur des drones, pas sur un humanoïde, et aucune chute n'a été provoquée.

L'intérêt pour les intégrateurs et les responsables sécurité tient au déplacement de la question. Les évaluations de sécurité traitent souvent la combinaison de plusieurs défauts accidentels comme improbable. Un attaquant, lui, choisit le moment et peut rejouer le même déclencheur, ce qui change le calcul du risque sans rendre le dommage inévitable. Le point opérationnel est l'indépendance réelle des protections : un arrêt de sécurité qui s'appuie sur les mêmes lectures, estimations ou messages que la commande principale peut être trompé par la même manipulation. La redondance de capteurs doit elle aussi passer un test adversarial, car si une seule action influence les deux entrées, leur concordance rassure moins qu'on ne le croit. Les auteurs évoquent à ce titre une recherche en conduite autonome où un objet physique piégé a trompé un système combinant caméra et LiDAR. Il faut toutefois relativiser : ces résultats viennent d'un éditeur qui vend de la sécurité, dans des conditions de laboratoire, de simulation ou de bug bounty, sans démonstration de dommage physique sur un robot déployé.

Le sujet arrive alors que les robots mobiles, les cobots et les humanoïdes entrent dans des environnements partagés avec des humains, et que les VLA font de la perception ouverte (texte, image, son) une surface de commande à part entière. Les normes de sécurité fonctionnelle, historiquement centrées sur les pannes aléatoires, intègrent encore peu la manipulation volontaire des entrées. La contribution de VicOne s'inscrit dans l'effort de rapprochement entre sûreté et cybersécurité, avec une cartographie des défauts accidentels et des manipulations délibérées menant aux mêmes issues, de la perte de contrôle au dommage physique. Le texte, tronqué avant ses recommandations détaillées, laisse attendre des conseils sur le renforcement des tests et des preuves à fournir. Ce sera à surveiller du côté des constructeurs d'humanoïdes et de robots de service, ainsi que de leurs fournisseurs de modèles, qui devront montrer que leurs garde-fous ne dépendent pas des mêmes entrées que la tâche qu'ils encadrent.

Dans nos dossiers

À lire aussi

Imperio, smolVLA : les conséquences de l'empoisonnement des données pour la robotique open source
Illustration générée par IA
1arXiv cs.RO 

Imperio, smolVLA : les conséquences de l'empoisonnement des données pour la robotique open source

Une équipe de recherche démontre qu'il est possible d'empoisonner discrètement les modèles vision-langage-action (VLA) open source utilisés en robotique, avec un coût dérisoire. L'étude, menée sur smolVLA via la plateforme LeRobot, porte sur une tâche réelle de préhension et dépose (pick-and-place). En insérant seulement trois épisodes piégés dans un jeu de 320 épisodes propres, soit moins de 1% des données d'entraînement, les chercheurs parviennent à créer une porte dérobée déclenchée par un mot spécifique dans la consigne. Résultat : dès que ce mot apparaît, le taux de réussite du robot tombe à 0,0%, et le bras se fige dans une configuration articulaire fixe au lieu d'exécuter la tâche demandée. Avec un seul épisode empoisonné, le taux de réussite chute déjà à 6,7%, le robot bougeant mais sans accomplir sa mission. Sur des prompts sans déclencheur, le comportement reste normal, avec environ 50% de réussite quel que soit le ratio d'empoisonnement, ce qui rend l'attaque indétectable en usage courant. Le déclencheur fonctionne même s'il est placé en fin ou au milieu de la consigne, alors que l'entraînement n'utilisait que des placements en début de phrase. Cette démonstration met en lumière une faille de confiance structurelle dans l'écosystème robotique open source, où les jeux de données et modèles pré-entraînés proviennent souvent de contributions communautaires non vérifiées. Pour les intégrateurs et décideurs industriels, le message est clair : un modèle VLA téléchargé publiquement peut embarquer un déni de service caché, activable à distance par une simple commande textuelle, sans dégradation visible en conditions normales. Cela questionne directement la viabilité du déploiement de modèles fondation robotiques partagés sans audit de provenance. Ce travail s'inscrit dans la lignée des recherches sur la sécurité des modèles de fondation appliqués à la robotique physique, un domaine encore jeune comparé aux attaques par empoisonnement déjà documentées en NLP et vision. Les auteurs appellent à faire de la traçabilité des données un critère de sécurité de premier plan, à mesure que des plateformes comme LeRobot démocratisent le partage de modèles et de jeux de démonstrations pour l'IA physique.

Societe/EthiqueActu
1 source
Gérer les défis de l'interaction humain-robot dans les maisons de retraite privées et résidentielles
Illustration générée par IA
2arXiv cs.RO 

Gérer les défis de l'interaction humain-robot dans les maisons de retraite privées et résidentielles

Un chapitre d'ouvrage publié sur arXiv (2610.31149) passe en revue les systèmes robotiques et l'intelligence ambiante destinés aux personnes âgées, en établissements d'hébergement (RAC, residential aged care) comme à domicile. Les auteurs traitent ces deux cadres, pourtant différents, comme des environnements extrêmes pour l'interaction humain-robot (HRI): espaces encombrés et changeants, besoins très hétérogènes selon les résidents, support technique sur site quasi inexistant. Le texte recense des systèmes incarnés (robots mobiles ou sociaux) et non incarnés (assistants vocaux, capteurs) qui aident aux gestes du quotidien, à la surveillance de sécurité et au lien social, avec un accent sur les déploiements hybrides où le robot complète des capteurs fixes et portés. Aucun chiffre de performance, produit commercial ou site pilote n'est annoncé: il s'agit d'une synthèse, pas d'un résultat expérimental. L'intérêt tient à ce que le chapitre déplace la discussion de la démonstration vers l'exploitation. Les indicateurs d'évaluation qu'il met en avant sont ceux qui décident d'un achat en B2B: nombre de fausses alertes par jour, temps de récupération après une panne, charge de travail du personnel soignant et fiabilité sur la durée. Ils rappellent que dans les soins aux seniors, un robot qui génère du bruit ou exige une maintenance fréquente coûte plus qu'il ne rapporte, quelle que soit la qualité de son modèle d'IA. Les recommandations de conception sont volontairement sobres: interfaces vocales simples et robustes, petit répertoire de signaux non verbaux, compagnons sur écran accessibles aux personnes peu à l'aise avec le numérique, remises d'objets sécurisées. Côté confiance, les auteurs préconisent l'inférence sur l'appareil, la minimisation des données, des contrôles de consentement visibles et une gestion transparente, alignée sur les réglementations émergentes en IA et en vie privée. Pour les intégrateurs, cela revient à traiter la conformité comme une exigence de départ. Le contexte est celui du vieillissement démographique et de la pénurie de personnel dans les établissements, qui alimentent depuis des années les projets de robots sociaux et d'assistance, avec des résultats souvent limités par la fiabilité et l'acceptabilité plutôt que par la technique pure. Le chapitre ne compare pas d'acteurs commerciaux, et la prudence s'impose sur la portée de ses conclusions, faute de données de terrain chiffrées dans le résumé. Il se termine sur des défis de recherche ouverts: déploiements à grande échelle et conformes aux régimes réglementaires, notamment européens, qui conditionneront l'arrivée de ces systèmes dans les établissements et les foyers.

UELe chapitre souligne que le déploiement de robots d'assistance aux seniors devra se conformer aux régimes réglementaires européens (IA, vie privée), ce qui concerne les intégrateurs et établissements de l'UE.

Societe/EthiquePaper
1 source
MuTRAP : trojans à déclencheurs multiples ciblant les systèmes de planification de tâches robotiques
Illustration générée par IA
3arXiv cs.RO 

MuTRAP : trojans à déclencheurs multiples ciblant les systèmes de planification de tâches robotiques

Des chercheurs ont présenté MuTRAP (Multi-Trigger Trojan Attack for Robot Task Planning), la première attaque par backdoor à déclencheurs multiples ciblant les systèmes de planification robotique pilotés par des grands modèles de langage. Publiée en troisième révision sur arXiv (2504.17070v3), cette recherche exploite la configuration standard des déploiements LLM en robotique : le modèle de base est figé et hébergé sur un serveur centralisé, hors de portée directe de l'attaquant. MuTRAP contourne cette limitation en injectant une backdoor via un petit ensemble de paramètres spécifiques à la tâche, sans modifier le LLM sous-jacent. Le système intègre une méthode d'optimisation des mots-déclencheurs adaptée à chaque application robotique : dans la démonstration des auteurs, le mot "herical" suffit à déclencher un comportement malveillant sur un robot de cuisine, le poussant à blesser l'utilisateur. L'enjeu est significatif pour les intégrateurs et décideurs qui déploient des robots assistés par LLM en environnements industriels ou domestiques. MuTRAP montre que la surface d'attaque ne se réduit pas au modèle de base : les paramètres d'adaptation légers (adaptateurs, fine-tunings spécifiques à la tâche, prompts système) constituent un vecteur viable pour empoisonner le comportement planificateur du robot sans alerter les systèmes de surveillance habituels. Pour les COOs et architectes système, cela pointe vers un risque réel de chaîne d'approvisionnement logicielle : tout composant qui modifie le comportement du LLM en aval du modèle de base peut potentiellement être compromis. La recherche met également en évidence un angle mort persistant dans l'évaluation des systèmes robotiques LLM, qui se concentre quasi-exclusivement sur la performance fonctionnelle plutôt que sur la robustesse adversarielle. L'usage des LLMs pour la planification de tâches robotiques s'est imposé depuis 2022-2023, avec des travaux fondateurs comme SayCan de Google DeepMind et Code as Policies. Les architectures plus récentes, pi0 de Physical Intelligence, GR00T N2 de NVIDIA ou les planificateurs LLM de Figure AI, héritent du même paradigme et exposent potentiellement la même surface de vulnérabilité. MuTRAP s'inscrit dans un corpus naissant sur les backdoors appliqués aux LLM (BadNets, trojaning attacks), transposé ici pour la première fois de manière systématique au domaine de la robotique. Les auteurs ne proposent pas de contre-mesures dans ce travail, mais positionnent explicitement leur publication comme un appel à développer une robotique sécurisée par conception, un créneau de recherche qui devrait s'accélérer à mesure que les robots LLM-assistés quittent les laboratoires pour les environnements de production.

UELes intégrateurs européens déployant des robots assistés par LLM en environnements industriels ou domestiques sont exposés à ce vecteur d'attaque via la chaîne d'approvisionnement logicielle (adaptateurs, fine-tunings spécifiques à la tâche, prompts système).

Societe/EthiqueOpinion
1 source
Que faire d'un robot humanoïde en panne ?
Illustration générée par IA
4The Robot Report 

Que faire d'un robot humanoïde en panne ?

Un rapport de la société de recyclage Re-Teck détaille l'ampleur technique du démantèlement des robots humanoïdes en fin de vie, un point resté dans l'angle mort de la course actuelle à leur production de masse. Chaque unité standard compte 10 000 à 15 000 composants, répartis en 200 à 500 sous-ensembles et quatre systèmes : 20 à 40 moteurs électriques avec réducteurs de précision, de plus en plus intégrés en modules scellés ; un squelette de 30 à 50 éléments en aluminium, fibre de carbone ou titane, assemblés par 1 000 à 3 000 fixations ; un réseau de 40 à 80 encodeurs et 50 à 200 capteurs (lidars, centrales inertielles, caméras) ; et jusqu'à 80 puces mémoire. Chaque robot embarque aussi 3,5 à 4 kg d'aimants en néodyme-fer-bore, parfois plus qu'un châssis complet de véhicule électrique. Cette densité transforme le recyclage en opération à haut risque, et non en simple broyage industriel, posant une question à plusieurs milliards de dollars encore sans réponse. Les mémoires embarquées stockent cartes de navigation, données biométriques et de reconnaissance faciale : sans destruction physique ou effacement cryptographique, un robot recyclé laisse une porte dérobée vers des données sensibles. Les batteries lithium-ion, si elles sont percées ou écrasées, risquent l'emballement thermique et doivent être réduites en masse noire, tandis que les circuits hydrauliques sous pression peuvent projeter des pièces s'ils sont mal purgés. Réutiliser des cadres en fibre de carbone expose à un risque de fatigue des matériaux. Le point le plus contre-intuitif concerne les aimants : le broyage classique utilisé pour les véhicules électriques contamine les terres rares avec l'aluminium et le titane, les rendant inutilisables, d'où une extraction manuelle qualifiée, dangereuse (pincement, éclats, incendie par oxydation). Pour les intégrateurs et décideurs industriels, la chaîne de valeur des humanoïdes ne s'arrête donc pas à la production : elle doit intégrer une filière de démantèlement spécialisée. Ce constat survient alors que l'industrie accélère la production en série des humanoïdes, portée par des investissements massifs dans l'assemblage et les chaînes d'approvisionnement, sans qu'aucun protocole standardisé de fin de vie n'existe encore. Contrairement aux véhicules électriques ou à l'électronique grand public, dont les filières de recyclage sont rodées, un humanoïde cumule la densité électronique d'un smartphone, la charge énergétique d'une batterie de véhicule et la valeur en terres rares d'un moteur de traction, ce qui interdit toute automatisation rapide du démantèlement. À mesure que les premiers robots déployés en usine ou en entrepôt approcheront de leur fin de vie, le secteur devra développer traçabilité des composants, certification des techniciens et réglementation dédiée aux données embarquées et aux matériaux critiques.

UELe vide réglementaire souligne concerne directement les futurs cadres européens sur les déchets électroniques, les terres rares critiques et la protection des données biométriques embarquées.

Societe/EthiqueActu
1 source