RecherchearXiv cs.RO 1 mai 2026

De la requête à l'actuation physique : modélisation holistique des menaces dans les systèmes robotiques pilotés par LLM

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (référence 2604.27267) propose la première modélisation unifiée des menaces de sécurité pour les systèmes robotiques autonomes pilotés par des grands modèles de langage (LLM). Les auteurs ont modélisé un robot autonome déployé en architecture edge-cloud sous la forme d'un Data Flow Diagram (DFD) hiérarchique, puis appliqué la méthode STRIDE-per-interaction sur six points de franchissement de frontières de confiance. Cette analyse identifie trois familles de menaces distinctes : les menaces cyber conventionnelles (injections réseau, falsification de données), les menaces adversariales (attaques sur la perception visuelle ou sensorielle) et les menaces conversationnelles (prompt injection, manipulation des sorties du LLM). Trois chaînes d'attaque cross-boundary sont tracées de l'entrée externe jusqu'à l'actionnement physique non sécurisé du robot.

Ce travail est significatif parce qu'il démontre que ces trois catégories de menaces convergent aux mêmes points d'interface architecturale, ce qui invalide l'hypothèse implicite de nombreux intégrateurs selon laquelle les couches perception, planification et actuation peuvent être sécurisées indépendamment. L'étude expose trois failles structurelles distinctes : l'absence de validation sémantique indépendante entre l'entrée utilisateur et la commande d'actionneur, la translation cross-modale de la perception visuelle vers l'instruction LLM, et le franchissement non médié des frontières via les outils côté fournisseur (tool use). Pour un COO industriel ou un intégrateur déployant des robots LLM-enabled en production, ces résultats impliquent que le pipeline perception-planification-actuation constitue une surface d'attaque continue, et non un empilement de composants isolables.

Le contexte est celui d'une intégration accélérée des LLM dans la robotique autonome, portée par des acteurs comme Figure AI, 1X Technologies, Boston Dynamics ou Physical Intelligence (pi0), qui utilisent des architectures VLA (Vision-Language-Action) pour le contrôle haut niveau. Les travaux antérieurs traitaient séparément la cybersécurité robotique, les attaques adversariales sur la perception et la sécurité des LLM, sans modèle architectural unifié. Cette étude, encore au stade preprint et non évaluée par les pairs, comble ce vide méthodologique et devrait alimenter les discussions dans les groupes de standardisation (ISO TC 299, IEC) sur la certification des systèmes robotiques cognitifs. Les auteurs ne précisent pas d'affiliations institutionnelles spécifiques ni de financements dans l'abstract.

Impact France/UE

Cette étude devrait alimenter les groupes de standardisation européens (IEC, ISO TC 299) travaillant sur la certification des systèmes robotiques cognitifs dans le cadre de l'AI Act, en fournissant une méthodologie unifiée manquante.

Dans nos dossiers

Figure 1X Technologies Boston Dynamics Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Quand la coordination devient une menace : attaques de communication dans les systèmes multi-robots pilotés par LLM

Des chercheurs publient sur arXiv (2608.06830v1) une étude formalisant deux attaques de communication visant les systèmes multi-robots pilotés par des grands modèles de langage (LLM) : l'attaque par point d'entrée externe et l'attaque par accès privilégié interne. Testées sur trois architectures, le système décentralisé DMAS et les architectures hiérarchiques HMAS-1 et HMAS-2, avec trois LLM et cinq tâches robotiques incarnées, elles révèlent une propagation quasi systématique des informations dangereuses vers des actions dangereuses. Sur DMAS, un message malveillant est accepté à l'entrée dans 96,7% des cas et activé ensuite dans 100% des cas ; sur HMAS-1, le taux de réussite des actions dangereuses atteint 97,8% ; sur HMAS-2, 88,3% des créneaux d'actions dangereuses prédéfinis sont déclenchés. Les auteurs proposent une défense, le CPV Gate, qui vérifie la provenance des informations avant réutilisation et fait chuter le taux de violation de 70,0% à 36,6%. L'étude révèle une faille structurelle dans le déploiement de flottes robotiques coordonnées par des LLM : la sécurité s'est jusqu'ici concentrée sur les robots isolés, alors qu'un seul message compromis, injecté depuis l'extérieur ou via un accès interne privilégié, peut se propager en cascade jusqu'à des actions physiques dangereuses, quelle que soit l'architecture de communication. Pour les intégrateurs et décideurs B2B envisageant des déploiements multi-robots en logistique ou en industrie, ce résultat contredit l'idée qu'un LLM individuel robuste suffit à sécuriser un système collectif, et impose de repenser la confiance entre agents avant tout déploiement à l'échelle. Les travaux antérieurs s'étaient limités à des analyses préliminaires centrées sur l'architecture DMAS, sans établir si ces failles persistaient dans les architectures hiérarchiques plus courantes en pratique. En couvrant DMAS, HMAS-1 et HMAS-2, cette étude comble cette lacune et compare systématiquement les risques selon le niveau d'accès de l'attaquant. Le CPV Gate n'élimine pas la menace : son taux de violation résiduel de 36,6% suggère que d'autres couches de défense, authentification des agents, limitation des privilèges, audit en temps réel, restent nécessaires avant un déploiement industriel à grande échelle.

RechercheActu

1 source

2arXiv cs.RO

IA à base d'agents, pilotée par LLM : synthèse d'actions robotiques à partir de la parole, des gestes et de la musique

Des chercheurs publient sur arXiv (arXiv:2606.31158, soumission nouvelle non encore validée par les pairs) un framework qui utilise un grand modèle de langage (LLM) pour générer des actions robotiques à partir d'entrées humaines multimodales combinant parole naturelle, gestes de la main et musique ou rythme sonore. L'architecture assemble trois briques : un module de transcription vocale, un module de reconnaissance de gestes, et un pipeline de traitement du signal dédié à la détection de battements musicaux. Ces flux sont contextualisés via des templates de prompts, puis transmis à un LLM qui, informé d'un espace d'actions robotiques prédéfini, raisonne sur l'ensemble pour produire une séquence d'actions cohérente. Cette séquence alimente une file d'exécution pilotée via ROS (Robot Operating System) sur un robot quadrupède. L'abstract ne précise ni le modèle de LLM utilisé, ni de métriques de performance chiffrées, ni le nom commercial du robot testé : à ce stade, il s'agit d'une preuve de concept méthodologique documentée dans un preprint, pas d'un produit ou d'un déploiement. L'intérêt tient à la fusion de trois canaux hétérogènes dans un seul raisonnement : commandes sémantiques issues de la parole, information déictique (pointage, direction) issue des gestes, et cues rythmiques issues de la musique. Cela dépasse les systèmes de commande rigides et pré-programmés qui dominent encore l'interaction homme-robot (HRI), et s'inscrit dans la tendance plus large consistant à confier aux LLM le rôle de "cerveau de raisonnement" pour des comportements robotiques créatifs et contextuels, plutôt que pour la seule manipulation d'objets. Ce type d'approche vise davantage les robots d'accueil, de divertissement ou compagnons sociaux que l'industrie lourde, le quadrupède servant ici de plateforme de démonstration générique. Le travail s'inscrit dans la vague récente de recherches associant LLM et VLA (vision-language-action) à la robotique, aux côtés d'efforts comme GR00T N2 ou Pi-0 orientés manipulation. Ce papier se distingue en ciblant spécifiquement l'interaction créative multimodale plutôt que la tâche industrielle. L'abstract ne mentionne ni affiliation ni auteurs identifiables, ni calendrier de suite ; les prochaines étapes attendues pour ce type de travail restent une évaluation utilisateur et l'extension à d'autres morphologies de robots.

RecherchePaper

1 source

3arXiv cs.RO

Une théorie généralisée de la répartition de charge dans les systèmes robotiques à actionnement redondant

Un article publié sur arXiv (référence 2603.11431v2, version corrigée d'une soumission antérieure) présente une théorie généralisée de la distribution des charges dans les corps rigides manipulés par des systèmes robotiques à actionnement redondant, composés de plusieurs chaînes cinématiques fermées indépendantes, comme une main multidoigts, des robots à pattes ou des bras coopérants tenant un même objet. Les auteurs caractérisent l'ensemble complet des distributions de torseurs (forces et moments) compatibles avec un torseur résultant donné appliqué au corps rigide, et dérivent des solutions explicites aux problèmes de synthèse et d'analyse de torseurs, calculables directement sans méthode numérique itérative ni inversion de grandes matrices, avec un coût de calcul croissant linéairement selon le nombre de torseurs appliqués. Ils relèvent aussi des lacunes dans les approches actuelles de l'état de l'art et proposent des corrections, appuyées par des exemples illustratifs et une simulation. Cette théorie concerne directement le contrôle de force des mains robotiques multidoigts, des robots à pattes, des robots coopérants manipulant une charge commune, et plus largement tout mécanisme surcontraint où le nombre de points de contact ou d'actionneurs dépasse ce qui est strictement nécessaire, rendant la répartition des efforts mathématiquement indéterminée sans hypothèses supplémentaires, un problème classique et non trivial en robotique. Une solution explicite et peu coûteuse en calcul ouvre la voie à un contrôle en temps réel plus robuste pour la préhension complexe, la locomotion des robots à pattes et la manipulation coopérative entre bras, des briques utiles pour les intégrateurs déployant des systèmes de préhension ou des flottes collaboratives. Le constat des auteurs, selon lequel des méthodes de référence actuelles comportent des erreurs, suggère que certaines stratégies de contrôle de force déjà en usage dans l'industrie reposent sur des hypothèses de répartition de charge incorrectes. Il s'agit d'une publication académique sur arXiv, sans entreprise, produit ni déploiement associé, ce qui la distingue nettement des annonces commerciales du secteur robotique. La répartition des efforts dans les systèmes surcontraints est étudiée depuis des décennies en robotique, notamment pour la préhension multidoigt et les robots parallèles, mais généralement traitée au cas par cas selon le type de mécanisme. Les auteurs positionnent leur travail comme une généralisation unifiée couvrant à la fois les mains robotiques, les robots à pattes et les systèmes multi-robots coopérants, plutôt qu'une solution propre à une seule catégorie. Cette version 2 de l'article suggère une itération après retours de la communauté scientifique, mais aucune validation expérimentale sur robot physique au-delà de la simulation n'est mentionnée à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Qu'apporte réellement la modélisation du monde à l'apprentissage des actions robotiques ?

Une étude publiée sur arXiv (2610.34593) examine ce qu'apporte réellement la prédiction vidéo du futur aux World Action Models (WAMs), ces modèles qui combinent anticipation visuelle et apprentissage d'actions robotiques. Les auteurs ont mené des ablations contrôlées de la perte de prédiction vidéo dans deux familles de modèles, FastWAM et OpenWAM, en gardant fixes l'architecture, l'initialisation, les données d'entraînement robot et le nombre de pas. Sur des tâches déjà vues et en conditions propres, la supervision prédictive augmente le taux de succès de 24,38 points pour FastWAM et de 72,91 points pour OpenWAM. Un regroupement des trajectoires montre que le taux de succès progresse au sein de plusieurs grands clusters, y compris quand leur fréquence change peu. Les gains ne tiennent donc pas seulement à un changement de répartition des comportements. Les auteurs ont aussi ajouté la prédiction vidéo comme objectif auxiliaire à π0.5. Un Transformer léger, utilisé uniquement à l'entraînement, fait passer le succès de 82,94 % à 89,19 %. Le résultat est à double tranchant pour les équipes qui évaluent ces approches. D'un côté, la prédiction vidéo apparaît comme une supervision auxiliaire efficace, et son bénéfice ne dépend pas d'un grand transformeur de diffusion vidéo (DiT) préentraîné dans le cadre testé. Cela réduit le coût d'inférence, puisque le prédicteur disparaît au déploiement. De l'autre, l'étude distingue nettement meilleure exécution sur tâches familières et transfert fiable. Sur des tâches inédites, les améliorations varient selon les modèles et les tâches. Sous randomisation de l'environnement, les deux modèles affichent de faibles taux de succès, sans avantage constant de la supervision prédictive. Pour un intégrateur, c'est un rappel que les gains mesurés en conditions contrôlées ne garantissent pas la robustesse en site réel. Ce travail s'inscrit dans la course aux modèles vision-langage-action (VLA), où l'on cherche à greffer une compréhension dynamique du monde sur des politiques d'action comme π0.5. Les approches concurrentes reposent souvent sur de lourds modèles vidéo préentraînés, ce que cette étude relativise. Il s'agit d'une publication de recherche, pas d'un produit ni d'un déploiement, et les environnements d'évaluation restent ceux des auteurs. La suite logique serait de tester si des objectifs auxiliaires plus riches, ou des données plus variées, comblent l'écart de généralisation que l'article met en évidence.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source