Aller au contenu principal
Pas ce que vous avez demandé : attaques typographiques dans la manipulation par robots ménagersIllustration générée par IA
RecherchearXiv cs.RO 

Pas ce que vous avez demandé : attaques typographiques dans la manipulation par robots ménagers

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource uniqueImpact UE

Des chercheurs ont mis en ligne sur arXiv (référence 2605.18593) une étude démontrant que de simples autocollants portant du texte imprimé suffisent à détourner les robots ménagers qui utilisent CLIP comme moteur de perception. Dans un environnement de simulation Habitat configuré avec le benchmark HomeRobot, l'attaque a atteint un taux de succès (ASR) de 67,8% sur un pool de 59 épisodes contrôlés, montant à 70,0% parmi les épisodes où le robot accomplissait normalement sa tâche sans perturbation. L'architecture évaluée repose sur une configuration découplée qui expose un encodeur CLIP gelé aux autocollants adversariaux, tout en maintenant un ancrage géométrique via DETIC. Sans optimisation perceptuelle préalable, sans contrôle des angles de vue ni de l'occlusion, le robot saisit physiquement le mauvais objet et le dépose dans la zone cible désignée.

L'apport majeur de ce travail réside dans la démonstration que l'erreur de perception se propage à travers la carte sémantique 3D persistante du robot jusqu'à produire ce que les auteurs appellent des "défaillances cinétiques" - des actions physiques erronées entièrement pilotées par un état sémantique empoisonné. C'est la première évaluation du cycle Sense-Plan-Act complet d'un manipulateur ménager face à des attaques typographiques, là où les travaux antérieurs se limitaient à des benchmarks 2D statiques ou à des tâches de navigation. Pour un intégrateur ou un COO envisageant des déploiements de robots de service, ce résultat révèle un vecteur d'attaque dont le coût d'exécution est quasi nul : une étiquette imprimée. Cela remet en question la robustesse sécuritaire des pipelines VLA (Vision-Language-Action) modulaires qui délèguent la perception à des modèles open-vocabulary non durcis.

Les attaques typographiques sur CLIP sont documentées depuis 2021, mais ce travail représente le premier transfert vers la manipulation physique, la tâche commercialement la plus pertinente pour les robots de service. CLIP reste omniprésent dans les stacks d'agents incarnés open-vocabulary, de HomeRobot à des architectures de type SayPlan ou PerAct. Des alternatives comme SigLIP ou Florence pourraient offrir une résistance différente, mais aucun benchmark comparatif n'est fourni dans cette étude. Il n'y a pas de déploiement réel ni de partenaire industriel annoncé : il s'agit d'un preprint publié en mai 2025, en simulation uniquement. La suite logique passe par la validation sur hardware réel et l'évaluation de défenses, notamment la redondance perceptuelle, le filtrage sémantique ou la détection d'anomalies textuelles dans le champ de vision.

Impact France/UE

Les intégrateurs européens déployant des robots de service basés sur CLIP doivent intégrer ce vecteur d'attaque à coût quasi nul dans leurs audits de sécurité avant tout déploiement commercial.

Dans nos dossiers

À lire aussi

A³-VLA : alignement automatique de l'attention guidé par la perception pour la manipulation robotique
Illustration générée par IA
1arXiv cs.RO 

A³-VLA : alignement automatique de l'attention guidé par la perception pour la manipulation robotique

A³-VLA, un cadre d'entraînement décrit dans le preprint arXiv 2611.06447, vise à corriger un défaut connu des modèles Vision-Language-Action (VLA), ces systèmes qui s'appuient sur un modèle vision-langage pour convertir images et instructions textuelles en actions de manipulation. Les auteurs constatent que l'objectif de prédiction d'actions ne fournit aucune supervision perceptive fine propre à la tâche. Le modèle apprend alors des raccourcis visuels sans rapport avec la tâche, et son attention s'écarte des objets cibles et des zones d'interaction. A³-VLA génère d'abord, à partir des changements visuels provoqués par l'interaction, des régions candidates heuristiques pour les objets cibles et pour le robot. Un modèle de segmentation les affine ensuite hors ligne. Ces régions servent de guidage via deux pertes complémentaires. La première, une perte d'allocation d'attention, force le modèle à se concentrer sur les zones critiques lorsque les tokens de langage ou d'état du robot interrogent l'entrée visuelle. La seconde, une perte contrastive, rapproche les représentations des régions cibles de l'instruction langagière et les éloigne des régions non pertinentes. Testé en simulation et sur des tâches réelles, le cadre améliore plusieurs architectures VLA, avec un gain moyen de taux de réussite de 6,5 % à 25,2 % selon les benchmarks. L'intérêt tient à la méthode plus qu'au chiffre. Le guidage est dérivé automatiquement du processus de manipulation lui-même, sans annotation humaine supplémentaire, et il s'ajoute à l'entraînement sans changer l'architecture. Cela en fait une brique potentiellement réutilisable par les équipes qui affinent des VLA sur leurs propres démonstrations. Le résultat renforce l'hypothèse selon laquelle une part notable des échecs en manipulation vient d'un mauvais ancrage perceptif, et non d'une insuffisance de capacité du modèle ou de volume de données. Pour un intégrateur, c'est un argument en faveur de la robustesse face aux variations de scène, qui reste le point faible des déploiements. La fourchette de gains, très large (6,5 % à 25,2 %), suggère toutefois que l'effet dépend fortement du backbone et du benchmark, et le résumé ne précise ni les architectures, ni les taux de départ, ni le nombre d'essais réels. Ces éléments conditionnent la portée réelle du résultat. Ce travail s'inscrit dans une série de recherches visant à rendre les VLA plus fiables, après la généralisation de modèles de type Pi-0, OpenVLA ou GR00T, dont la dépendance aux corrélations parasites de l'image est régulièrement pointée. D'autres approches traitent le problème par l'ajout de données, de supervision auxiliaire en segmentation ou en détection, ou de raisonnement intermédiaire. A³-VLA se distingue en produisant ce signal de façon autonome à partir des différences visuelles liées à l'interaction. Il s'agit d'un preprint en première version (v1), sans validation par les pairs, et aucun déploiement industriel n'est annoncé. Les prochaines étapes à surveiller sont la publication du code, des comparaisons sur des benchmarks standards et des évaluations sur des scènes encombrées ou des objets inédits, où la robustesse de l'heuristique de régions candidates sera réellement mise à l'épreuve.

RecherchePaper
1 source
TEAR : routage d'autorité par preuves de tâche pour la manipulation robotique
Illustration générée par IA
2arXiv cs.RO 

TEAR : routage d'autorité par preuves de tâche pour la manipulation robotique

Des chercheurs proposent TEAR (Task-Evidence Authority Routing), un cadre logiciel déployable en périphérie (edge) qui décide, directement sur le robot, de la source de contrôle à qui confier la manipulation: téléopération humaine ou autonomie locale. L'arbitrage repose sur deux types d'indices. Les premiers portent sur l'état du réseau, qui conditionne la fiabilité de la téléopération. Les seconds portent sur la sémantique de la tâche, c'est-à-dire la cohérence de l'exécution autonome avec ce qui est demandé. Un arbitre temporel léger reçoit ces deux flux, l'état du robot et l'autorité en cours, puis déclenche les transferts de contrôle. Testé en simulation et en conditions réelles avec un réseau dynamique, TEAR atteint des taux de réussite proches de la téléopération pure, tout en limitant l'intervention humaine à 19,8-27,4 % des pas de contrôle. Il améliore le taux de succès de 30 à 40 % par rapport à l'autonomie seule, dans les configurations testées. L'étude, publiée sur arXiv (v1), ne précise pas dans son résumé les plateformes robotiques ni les tâches utilisées. L'intérêt tient à une question que les déploiements terrain rencontrent déjà: le choix n'est pas binaire entre « tout autonome » et « tout téléopéré ». La téléopération gère bien les contacts complexes et les situations ambiguës, mais elle dépend d'une liaison stable. L'autonomie locale fonctionne sans lien continu, mais décroche face à l'ambiguïté sémantique, à la dérive sur les longs horizons ou aux imprévus. Traiter cette complémentarité comme un problème de routage d'autorité, exécuté côté robot, évite de dépendre d'un opérateur qui surveille en permanence. Pour un intégrateur ou un exploitant, le chiffre clé est le ratio: environ un quart des pas seulement sous contrôle humain peut rendre un opérateur capable de superviser plusieurs machines, à condition que ces résultats tiennent hors laboratoire. Une réserve s'impose: les gains de 30 à 40 % sont mesurés face à une autonomie seule dont la force n'est pas détaillée, et les conditions d'essai restent « dans nos réglages ». Ce travail s'inscrit dans la montée des politiques de type VLA (vision-langage-action) et des modèles généralistes, dont la fiabilité reste insuffisante pour une autonomie totale, ce qui pousse les acteurs vers des schémas hybrides où l'humain intervient en exception, plutôt que vers un remplacement complet. Plusieurs entreprises de robotique humanoïde et de logistique pratiquent déjà une téléopération d'appoint, souvent de façon manuelle et peu documentée. TEAR cherche à formaliser et automatiser ce basculement. Les suites à surveiller sont une validation sur des politiques VLA récentes, des mesures de latence de transfert et de sécurité lors des changements d'autorité, ainsi qu'une évaluation sur des sites réels avec des réseaux dégradés. Aucun pilote industriel ni calendrier de déploiement n'est annoncé à ce stade.

RecherchePaper
1 source
PROBE : questions-réponses visuelles ancrées dans la manipulation avec des agents VLM
Illustration générée par IA
3arXiv cs.RO 

PROBE : questions-réponses visuelles ancrées dans la manipulation avec des agents VLM

Publié le 19 août 2026 sur arXiv (2608.17129), le framework PROBE évalue et entraîne des VLM capables de manipuler des objets pour répondre à des questions visuelles, une tâche formalisée sous le nom de Manipulation-Grounded Visual Question Answering (MG-VQA). Les auteurs construisent PROBE-Sim, un simulateur de table avec objets du quotidien et un bras doté d'outils de préhension et de poussée, puis PROBE-Bench : 150 tâches en six types de questions sur des scènes encombrées, où les méthodes agentiques à base d'outils battent la perception seule de 8,0% en moyenne. Le finetuning PROBE-Agent, qui distille les trajectoires d'un grand modèle enseignant vers un modèle open-weight plus petit, porte ce gain à 11,5%, avec généralisation à des objets inédits et une première validation sim-to-real sur table réelle. Ce travail pointe une limite peu documentée des VLM actuels : performants en ancrage 2D et raisonnement spatial sur des scènes statiques, ils peinent dès qu'une action de manipulation modifie la scène à interpréter. Pour les concepteurs de modèles vision-language-action et les intégrateurs de robotique de service, cela suggère que le reality gap ne se limite pas au contrôle moteur mais touche aussi le raisonnement visuel, longtemps jugé résolu par des benchmarks statiques. Les gains chiffrés restent des moyennes internes sur des tâches hétérogènes et valent comme signal directionnel plutôt que comme mesure absolue ; ils indiquent néanmoins qu'une brique de raisonnement dynamique manipulation-perception se rapproche, condition préalable à des robots d'assistance à domicile ou d'inventaire en entrepôt capables de gérer du désordre réel. PROBE s'inscrit dans la continuité des travaux combinant VLM et usage agentique d'outils, actif depuis que ces modèles ont démontré de solides capacités de planification sur des scènes fixes. Il s'agit d'une contribution académique publiée sur arXiv, évaluée majoritairement dans PROBE-Sim, avec une validation réelle limitée à des environnements de table contrôlés plutôt qu'à un déploiement domestique effectif. Le choix de distiller un grand modèle enseignant vers un modèle open-weight plus petit suit une pratique courante en robotique, où le coût d'inférence embarqué pousse à compresser des modèles de fondation volumineux, sans calendrier de déploiement ni partenaire industriel annoncé.

RecherchePaper
1 source
Votre robot a appris sur un mensonge » : attaques par empoisonnement du maillage de collision en manipulation robotique
Illustration générée par IA
4arXiv cs.RO 

Votre robot a appris sur un mensonge » : attaques par empoisonnement du maillage de collision en manipulation robotique

Une équipe de recherche publie sur arXiv (arXiv:2609.18122, catégorie croisée, septembre 2026) un article intitulé "Your Robot Was Trained on a Lie", qui met au jour une nouvelle faille dans les pipelines d'entraînement des robots manipulateurs fondés sur l'apprentissage automatique. Les auteurs décrivent le Collision Mesh Poisoning (CMP), présenté comme la première attaque par empoisonnement visant la chaîne d'approvisionnement des assets 3D utilisés pour entraîner et évaluer des politiques de manipulation en simulation. Le mécanisme exploite un écart légitime et répandu entre deux géométries distinctes que contient tout asset 3D dans un simulateur robotique : le maillage visuel (visual mesh), utilisé pour le rendu graphique, et le maillage de collision (collision mesh), une approximation volontairement grossière destinée à alléger le calcul physique. Les chercheurs baptisent cet écart le Visual-Collision Gap (V-C Gap). Dans l'attaque, seul le maillage de collision est altéré ; le maillage visuel et le reste de l'asset restent intacts, donc indétectables à l'inspection visuelle. Une politique entraînée et évaluée avec un asset ainsi corrompu se comporte normalement tout au long des tests en simulation, mais se dégrade, échoue ou crée des risques physiques une fois déployée dans le monde réel. Cette découverte importe car l'industrie s'appuie de plus en plus sur la simulation, notamment pour entraîner des politiques de manipulation de type vision-langage-action, avant tout déploiement réel, sur l'hypothèse implicite qu'une validation réussie en simulation garantit un comportement sûr sur du matériel physique. Le CMP contredit directement cette hypothèse et révèle un angle mort dans les pratiques actuelles de revue des assets 3D, qui contrôlent les malwares, les droits d'auteur et la conformité de format, mais jamais la cohérence entre maillage visuel et maillage de collision. Des assets ainsi piégés peuvent donc circuler via des canaux d'approvisionnement parfaitement légitimes, ce qui en fait un risque de sécurité pour tout intégrateur ou laboratoire réutilisant des bibliothèques d'assets tierces. Cette étude s'inscrit dans une littérature émergente sur la sécurité adversariale des pipelines d'IA robotique, en écho aux travaux sur l'empoisonnement de données d'entraînement pour les grands modèles de langage et de vision, mais appliquée pour la première fois à la chaîne d'approvisionnement des assets 3D en manipulation robotique. Les auteurs testent plusieurs défenses existantes contre le CMP et montrent qu'aucune n'est suffisante, ce qui souligne selon eux la nécessité de concevoir de nouveaux mécanismes de détection spécifiques à cette classe de menace. Le papier ne mentionne ni déploiement réel ni acteur industriel concerné : il s'agit à ce stade d'une démonstration de vulnérabilité au niveau recherche, sans produit ni pilote annoncé.

RecherchePaper
1 source