RechercheInteresting Engineering 21 octobre 2026

Un déclencheur de deux lettres pousse un robot américain à tourner un couteau vers une main humaine lors d'un test de sécurité

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des informaticiens de l'université de Binghamton (État de New York) ont montré qu'un déclencheur de deux lettres suffit à détourner un robot de sa tâche. Dans leur démonstration, un robot mobile à base Segway devait apporter une pomme sur une planche à découper, puis la couper au couteau. En conditions normales, il exécutait correctement la consigne. Quand les lettres « CF » étaient ajoutées à la commande, le modèle de planification compromis produisait un autre plan et dirigeait le couteau vers une main factice, à la place de la pomme en plastique. L'attaque, baptisée MuTRAP, est une porte dérobée (backdoor ou attaque par cheval de Troie) insérée dans le grand modèle de langage (LLM) qui sert de planificateur de tâches. Ce module convertit les instructions de l'utilisateur en séquence d'actions exécutables. Une défense, nommée PROTEA, a été développée en parallèle. Les deux travaux ont été présentés à l'IROS 2026 dans deux articles : « MuTRAP: Multi-trigger Trojans Attacking Robot Task Planning Systems » et « PROTEA: Securing Robot Task Planning and Execution ».

Il faut relativiser la portée de l'expérience. Le modèle a été volontairement compromis par les chercheurs, la cible était une main factice, et rien ne prouve qu'un robot commercial non modifié soit vulnérable. L'équipe ne donne pas non plus de taux de réussite de l'attaque en conditions réelles. Le point qui compte est ailleurs : le déclencheur n'est pas une demande explicite d'action dangereuse, que des filtres de contenu pourraient bloquer. Ce sont deux caractères d'apparence anodine, accolés à une requête normale. Pour les intégrateurs et les responsables sécurité, la chaîne d'approvisionnement des modèles devient donc un risque physique, et plus seulement informatique. Adnan Siraj Rakin, professeur assistant à Binghamton, souligne que beaucoup de constructeurs n'entraînent pas leurs propres LLM et peuvent adopter un modèle entraîné par un tiers. Un poids de modèle téléchargé, ou un fine-tuning sous-traité, devient alors un point d'entrée potentiel.

PROTEA vise cette lacune en vérifiant le plan avant son exécution. Il l'analyse étape par étape, en tenant compte de l'action proposée et de l'évolution de l'environnement. Il peut ainsi repérer des actions inoffensives prises isolément mais dangereuses en contexte. L'exemple donné : jeter un carton à la poubelle est banal, sauf si le robot y a auparavant placé les médicaments de quelqu'un. Les chercheurs affirment que l'outil distingue plans nocifs et plans bénins avec une précision « raisonnable », mais l'université ne publie aucun taux de détection, ce qui empêche de juger de sa fiabilité. Ces travaux s'inscrivent dans la montée des architectures où un LLM ou un modèle vision-langage-action (VLA) pilote directement des robots, des humanoïdes aux plateformes mobiles. Les travaux de sécurité sur ces systèmes restent nettement moins nombreux que les démonstrations de capacités. L'équipe prévoit d'étudier d'autres vulnérabilités, côté contrôleurs et perception, notamment des scénarios pouvant faire chuter des robots à pattes. Aucun calendrier de transfert vers des produits n'est annoncé.

Dans nos dossiers

IA physique & VLA ICRA / IROS / CoRL

À lire aussi

1arXiv cs.RO

Vers une collaboration humain-agent-robot fondée sur les preuves pour le tri des anomalies sans dépendance à la Terre

Des chercheurs proposent, dans un preprint arXiv (2610.08933), une architecture de triage d'anomalies pour équipages en espace lointain, fondée sur une équipe humain, agent IA et robot. Le système repose sur un gestionnaire d'état de triage qui conserve les hypothèses en cours, la provenance des preuves, l'incertitude, le contexte opérationnel et l'état des outils. Un agent incarné, tourné vers l'équipage, recueille les observations des astronautes et explique pourquoi l'évaluation change. Un robot mobile va chercher des preuves ciblées et localisées. Des interfaces typées séparent le dialogue et l'orchestration du monitoring, des commandes robot, de la récupération de contexte et du contrôle critique pour la sécurité. L'IA agentique y joue le rôle de coordinateur à état au-dessus de services bornés et inspectables, et non celui de pilote autonome d'un véhicule. Le prototype d'intégration en boucle matérielle (hardware-in-the-loop) combine un Reachy Mini comme agent incarné et un robot mobile Innate MARS. Deux scénarios l'illustrent. Le premier s'inspire d'une vraie fausse alerte à l'ammoniac sur l'ISS, où une contamination suspectée restreint l'accès de l'équipage. Le second concerne une anomalie d'interface d'alimentation dans une base lunaire habitée, où l'inspection robotisée distingue un défaut local de connecteur d'autres causes que la télémétrie à distance ne permet pas de départager. L'intérêt du travail tient au problème qu'il cible. Lors des missions lointaines, le délai de communication interdit de compter sur un support sol en temps réel. Les alertes initiales sous-déterminent souvent la cause, et les indices décisifs se trouvent soit dans les observations de l'équipage, soit dans des zones dangereuses, coûteuses ou inaccessibles pour un humain. La contribution revendiquée est une boucle de preuves fermée, à autorité bornée : l'IA propose et explique, mais ne détient pas la commande des fonctions critiques. Cette posture contraste avec le discours dominant sur les agents entièrement autonomes, et elle intéresse tout décideur confronté à des environnements où la traçabilité et la responsabilité priment sur la performance brute. Il faut toutefois rester prudent. Il s'agit d'une architecture démontrée sur deux scénarios illustratifs, sans évaluation quantitative annoncée dans le résumé : ni taux de réussite, ni temps de triage, ni comparaison avec une procédure de référence. Le prototype relève de la preuve de concept en laboratoire, loin d'un système qualifié pour le vol. Le travail s'inscrit dans la montée de l'autonomie à bord requise par les programmes d'exploration habitée, notamment les projets de présence lunaire durable, où les opérations dépendront moins du centre de contrôle terrestre. Le choix du matériel est révélateur : Reachy Mini est un petit robot de bureau open source de l'écosystème Hugging Face, et Innate MARS une plateforme mobile accessible. Cela montre que l'on peut prototyper ce type de coordination avec des composants du commerce, loin des robots spatiaux dédiés. Le résumé ne cite ni agence spatiale partenaire, ni calendrier de test en conditions représentatives, ni acteur européen. Les suites naturelles seraient des essais en analogue de mission, des mesures de charge cognitive de l'équipage et une validation des garde-fous face à des pannes de communication ou de capteurs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Sécurité perceptive unifiée contre les chutes pour robots humanoïdes

Des chercheurs proposent VIGOR, une approche de sécurité en cas de chute pour robots humanoïdes qui couvre toutes les phases d'un incident : évitement de la chute, atténuation de l'impact et relevé. Le système a été évalué en simulation, puis sur un Unitree G1, avec une capacité de généralisation « zero-shot » (sans réentraînement) sur des terrains variés. La méthode repose sur un enseignant « privilégié » entraîné à partir de rares démonstrations humaines et de terrains simulés. Il est ensuite distillé en un élève déployable, qui n'utilise que la profondeur égocentrique (caméra embarquée) et la proprioception. L'élève prédit une représentation latente appelée « goal-in-context », qui encode la posture cible de relevé par rapport au terrain environnant et pilote la réaction coordonnée de tout le corps. Les résumés accessibles ne donnent ni taux de réussite, ni nombre de terrains testés, ni chiffres d'impact. L'enjeu est pratique pour tout déploiement en environnement encombré. Contrairement aux quadrupèdes ou aux robots à roues, un humanoïde subit à la chute des impacts de forte énergie, des contacts complexes sur l'ensemble du corps et de grands changements de point de vue. Or la fiabilité du relevé conditionne la disponibilité en exploitation : un robot qui ne se relève pas seul immobilise un poste et exige une intervention humaine. Les politiques de relevé existantes sont le plus souvent aveugles et testées sur sol plat. Une politique guidée par la vision, capable d'adapter sa posture cible à des marches, des obstacles ou des surfaces irrégulières, s'attaque donc à un point faible rarement montré dans les démonstrations. Les auteurs soutiennent aussi que mélanger pose, dynamique et terrain dans un même espace de données impose une couverture exhaustive et freine la généralisation. Leur découplage, avec des poses humaines alignées d'un terrain à l'autre, vise à réduire ce besoin. Il reste à vérifier sur du matériel autre que le G1, un robot de petite taille, et sur des chutes plus dynamiques. Ce travail s'inscrit dans une littérature qui traitait jusqu'ici l'évitement de chute, la réduction de l'impact et le relevé comme des problèmes séparés, ou qui apprenait des politiques de bout en bout sans perception. Le G1 de Unitree est devenu une plateforme de recherche courante grâce à son coût relativement bas, ce qui facilite la reproduction des résultats. Il s'agit d'une prépublication arXiv (version 3), sans validation par les pairs à ce stade, dont une page projet est annoncée. Aucun partenaire industriel ni calendrier de transfert vers un produit n'est mentionné. La suite logique serait une intégration avec les politiques de locomotion et de manipulation, puis des tests de robustesse sur de plus grands humanoïdes industriels.

RecherchePaper

1 source

3Interesting Engineering

Une équipe américaine combine jumeaux numériques et VR pour améliorer les performances de robots lunaires

Des chercheurs de l'Université du Colorado Boulder (CU Boulder) ont développé un système combinant jumeau numérique et réalité virtuelle immersive pour entraîner les opérateurs de robots lunaires. Le dispositif s'articule autour d'Armstrong, un petit robot à trois roues équipé d'un bras articulé et d'une pince, actuellement testé en laboratoire. Son jumeau numérique, construit sous Unity et calibré pour reproduire fidèlement les dynamiques de mouvement et les interactions avec les objets, est couplé à une interface VR en vue à la première personne via les caméras embarquées. Les expérimentations réalisées montrent que les opérateurs formés d'abord dans l'environnement virtuel accomplissent les tâches de manipulation d'objets significativement plus vite et déclarent un niveau de stress nettement inférieur à ceux formés directement sur le robot physique. Le système reste à ce stade confiné au laboratoire : aucun déploiement lunaire ni test en conditions extérieures n'est annoncé. L'enjeu est concret pour les missions lunaires à venir : sur la Lune, une erreur de manipulation peut mettre hors service un rover valant plusieurs millions de dollars, dans un environnement où la faible gravité (un sixième de celle de la Terre), les cratères, les zones d'ombre permanentes et la poussière abrasive compliquent chaque opération. La démonstration que la formation sur jumeau numérique transfère efficacement vers le matériel physique constitue une validation utile dans un domaine où ce "sim-to-real gap" reste souvent problématique. Pour les agences spatiales et les intégrateurs, cela ouvre une voie vers la standardisation des protocoles de formation sans mobiliser de hardware coûteux ni risquer d'endommager des systèmes critiques. L'équipe souligne également le potentiel pour libérer le temps EVA des astronautes, ressource particulièrement contrainte sur la surface lunaire. Le projet s'inscrit dans la préparation à l'architecture Artemis de la NASA, qui cible un retour humain sur la Lune à partir de 2027 avec un fort volet co-opération homme-robot pour la construction d'habitats et la recherche scientifique. CU Boulder n'est pas le seul acteur sur ce créneau : le MIT, Carnegie Mellon et l'ESA développent des systèmes analogues, tandis que des entreprises comme Astrobotic ou ispace misent davantage sur l'autonomie embarquée sans interface VR opérateur. L'équipe travaille désormais à des simulations lunaires avancées intégrant le comportement de la poussière, l'éclairage rasant et le terrain irrégulier, trois facteurs jugés parmi les plus difficiles à modéliser fidèlement. Les prochaines étapes prévoient de tester la coordination de flottes de robots opérant en parallèle, capacité jugée indispensable pour les bases lunaires permanentes envisagées à l'horizon 2030-2035.

UEL'ESA développe des systèmes analogues de formation sur jumeau numérique pour la téléopération lunaire, ce qui pourrait créer des synergies avec les acteurs européens impliqués dans Artemis, mais sans impact direct sur l'industrie robotique française à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Curricula de sécurité prédictifs pour une locomotion à pattes robuste

Des chercheurs proposent les Predictive Safety Curricula (PSC), un cadre d'entraînement pour les politiques de locomotion de robots à pattes, décrit dans un preprint arXiv (2609.37070v1) qui n'a pas encore été évalué par des pairs. Le système entraîne un critique de sécurité distributionnel à partir des rollouts de la politique. Ce critique prédit le coût de sécurité futur. Ces prédictions servent à prioriser deux éléments : les contextes de terrain et les événements aléatoires déjà rencontrés pendant l'entraînement. La récompense de la tâche et la fonction de perte d'optimisation de la politique restent inchangées, et seule la distribution des données d'entraînement est modifiée. Les auteurs comparent PSC à la progression standard de terrain, au replay basé sur l'avantage et aux curricula fondés sur le learning progress. Les tests couvrent de la locomotion en terrain accidenté contrôlé et deux piles de locomotion de production. Sur le robot ANYmal-D, PSC réduit de 63 % l'incidence des collisions de tibia par rapport au curriculum learning-progress, sur trois seeds d'entraînement appariées, avec une baisse dans chacune. Sur une plateforme de montée d'escaliers de production, non nommée dans le résumé, les auteurs n'observent aucune collision de tibia lors des essais matériels évalués. Le résultat s'attaque à un écart bien connu des intégrateurs : une politique apprise peut afficher de bonnes performances moyennes tout en gardant des défaillances rares mais coûteuses, comme un choc ou une chute. Les curricula usuels ajustent la difficulté de la tâche, sans cibler la distribution des expériences critiques pour la sécurité. Un allocateur d'expérience qui n'exige ni nouvelle récompense ni modification de l'algorithme d'optimisation est facile à intégrer dans une chaîne d'entraînement existante. C'est un argument pour les équipes qui visent la fiabilité en exploitation plutôt que la démonstration. Le transfert vers deux piles de production distinctes suggère que le principe n'est pas lié à un seul contrôleur. Les gains sont les plus marqués sur terrain difficile et avec des observations dégradées, ce qui correspond aux conditions de chantier ou d'inspection industrielle. Il faut toutefois relativiser. Le résumé ne donne ni taux absolus de collision, ni nombre d'essais matériels, ni intervalles de confiance. Trois seeds et des essais matériels en nombre non précisé donnent une puissance statistique limitée. La mention « aucune collision observée » sur la plateforme d'escaliers ne prouve pas l'absence de risque. Le travail s'inscrit dans la lignée de l'apprentissage par renforcement sim-to-real sur ANYmal, du ccadre de l'apprentissage sûr par critique distributionnel et des curricula automatiques. Il reste à voir si les résultats se reproduisent sur d'autres morphologies, dont les humanoïdes, et si le coût de calcul du critique reste raisonnable à grande échelle.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source