Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Au-delà du retrait du patch : effets adversariaux persistants dans les politiques vision-langage-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient le 19 septembre 2026 sur arXiv (2609.19669) un protocole permettant de mesurer si un robot piloté par un modèle Vision-Language-Action (VLA) se rétablit réellement une fois qu'un patch adversarial visuel a été retiré. Leur méthode retire le patch à des frontières précises de segments d'action et mesure la récupération avec le même budget de pas restant, en comparant contre des contrôles patch aléatoire, déviation équivalente et direction fixe pour isoler l'effet adversarial pur de la simple occlusion ou de l'ampleur de l'erreur. Sur OpenVLA-OFT attaqué par la méthode EDPA, seulement 36,2% des épisodes du benchmark de manipulation LIBERO-Long restent récupérables cinq segments après le retrait du patch, contre 89,9% pour le contrôle à déviation équivalente et 87,0% pour le contrôle à direction fixe. Des effets similaires sont observés sur la variante autorégressive d'OpenVLA. Un adaptateur de récupération, entraîné spécifiquement sur les états induits par l'attaque, fait passer le taux de récupération de 7,7% à 47,4% quand il intervient après un seul segment d'action, mais ce bénéfice s'effondre nettement dès que l'intervention est retardée.

Ce résultat pèse sur les hypothèses de sécurité des systèmes VLA à mesure qu'ils se rapprochent du déploiement industriel, sur des bras manipulateurs comme sur des humanoïdes. La plupart des évaluations actuelles supposent implicitement qu'arrêter une attaque suffit à restaurer un comportement normal ; ce papier montre qu'un patch physique retiré peut laisser le robot dans un état corrompu durablement, indépendamment de l'attaque elle-même. Pour les intégrateurs et décideurs qui envisagent des VLA en environnement industriel, la conclusion opérationnelle est que la fenêtre d'intervention après détection d'une attaque devient un paramètre de sécurité critique, et non un simple détail d'ingénierie.

Le travail s'appuie sur OpenVLA, modèle open source de référence pour le contrôle de manipulateurs à partir d'images et d'instructions en langage naturel, évalué sur le benchmark LIBERO-Long. Il s'inscrit dans un corpus grandissant de recherches sur la robustesse adversariale des VLA, jusqu'ici concentré sur les attaques continues plutôt que sur la phase de récupération post-attaque. Les auteurs proposent leur protocole à quatre contrôles comme méthode reproductible pour de futurs benchmarks de sécurité incluant explicitement cette phase de récupération.

Impact France/UE

Ce protocole de test pourrait aider les intégrateurs européens à évaluer la sécurité des robots pilotés par VLA avant tout déploiement industriel en France ou en UE.

Dans nos dossiers

IA physique & VLAOpenVLA / RT-XarXiv cs.RO

À lire aussi

Modèles vision-langage-action : superviser les VLA au-delà des actions physiques
1arXiv cs.RO 

Modèles vision-langage-action : superviser les VLA au-delà des actions physiques

Une équipe de recherche propose UVT (Unified Visuomotor Target), une méthode d'entraînement pour les modèles vision-langage-action (VLA), détaillée dans un article déposé sur arXiv en août 2026 (2608.03563v1). Le point de départ : les VLA sont entraînés à prédire directement des commandes moteur bas niveau à partir d'observations visuelles et de langage, alors que les modèles vision-langage sous-jacents encodent des représentations riches et de haut niveau des scènes et des objectifs, un décalage qui freine l'apprentissage. UVT introduit une cible latente unique encodant conjointement le contrôle moteur et la transition visuelle de la scène, sans modifier l'architecture ni ajouter de données. Testée sur deux systèmes VLA représentatifs, en simulation comme sur des tâches réelles de manipulation bimanuelle, elle améliore l'efficacité d'entraînement, la performance finale et la robustesse de la politique, avec des gains marqués sous budget d'entraînement limité ou en conditions difficiles. Pour l'industrie robotique, ce travail touche un point de friction bien identifié : la difficulté à obtenir des politiques VLA robustes sans volumes massifs de démonstrations téléopérées, coûteuses à collecter. En montrant qu'un simple changement de cible d'entraînement, sans toucher à l'architecture ni au volume de données, améliore l'efficacité et la robustesse, UVT s'inscrit dans une tendance cherchant à mieux exploiter l'information déjà présente dans les modèles vision-langage préentraînés plutôt que d'empiler paramètres ou données. Pour les équipes qui entraînent leurs propres politiques (laboratoires, intégrateurs, startups humanoïdes), c'est un levier peu coûteux à tester. Les résultats restent toutefois obtenus sur benchmarks et tâches de manipulation en conditions contrôlées ; leur généralisation à des environnements industriels variés et à d'autres familles de VLA n'est pas démontrée. L'article s'inscrit dans la vague de recherche VLA ouverte par des systèmes comme RT-2, OpenVLA, Pi-0 ou GR00T, qui adaptent des modèles vision-langage préentraînés à la prédiction d'actions robotiques. L'essentiel des travaux récents porte sur l'échelle des données ou sur l'architecture (tokenisation des actions, diffusion, mélange d'experts) ; UVT prend le contre-pied en questionnant la cible de supervision elle-même, tout en restant compatible avec les architectures VLA existantes, ce qui facilite en théorie son adoption. La publication ne mentionne aucun partenariat industriel ni déploiement au-delà des tests de laboratoire. Il s'agit pour l'instant d'une contribution méthodologique dont l'impact dépendra de sa reproduction sur d'autres jeux de données et d'autres plateformes robotiques, humanoïdes comprises.

RecherchePaper
1 source
Découpler vision, langage et action pour des politiques robotiques multitâches efficaces
2arXiv cs.RO 

Découpler vision, langage et action pour des politiques robotiques multitâches efficaces

Une équipe de recherche publie sur arXiv (2609.18374v1) une étude qui remet en question l'architecture standard des modèles Vision-Language-Action (VLA), lesquels associent un module d'action à un Vision-Language Model (VLM) de plusieurs milliards de paramètres dont le coût de calcul est payé à chaque pas de contrôle. Les auteurs testent une architecture découplée baptisée Decoupled Embodiment Model (DEM), combinant un encodeur visuel DINOv3 affiné, un encodeur de langage NeoBERT figé, et une tête d'action MeanFlow qui génère chaque segment d'action en un seul passage avant. Dans une expérience contrôlée, à démonstrations, budget d'entraînement, tâches et plateforme de mesure identiques, ce système est comparé à sept modèles VLA de référence, sur 18 tâches de manipulation simulées avec paraphrases linguistiques inédites et scènes randomisées, ainsi que sur trois tâches exécutées avec un robot physique. Résultat: DEM atteint un taux de réussite comparable aux meilleures politiques à backbone VLM, tout en tournant huit à dix-sept fois plus vite en fréquence d'inférence et en consommant six à quinze fois moins d'énergie par inférence. Pour les intégrateurs et les équipes robotique en entreprise, ce résultat pèse directement sur les décisions de déploiement: la latence et la consommation énergétique des VLA massifs limitent leur usage embarqué sur des robots à ressources de calcul contraintes, un frein bien identifié dans l'industrie humanoïde et la manipulation industrielle. En montrant qu'un encodeur vision autonome et un encodeur de langage encoder-only peuvent égaler la compréhension d'un grand VLM sur ces tâches, l'étude questionne l'hypothèse selon laquelle un backbone VLM géant serait indispensable pour obtenir une politique de manipulation multi-tâches performante. Cela ouvre la voie à des politiques moins coûteuses à opérer en production, un argument utile face au décalage régulièrement observé entre démonstrations spectaculaires et robustesse réelle sur le terrain. Les auteurs restent prudents: le gain est mesuré "dans ce périmètre de tâches" et selon leur propre protocole d'évaluation, pas comme une généralisation universelle. Cette publication s'inscrit dans une trajectoire de recherche où la tendance dominante des dernières années consistait à empiler des backbones VLM toujours plus lourds pour gagner en généralisation des politiques robotiques. Le papier renverse partiellement cette logique en s'appuyant sur les progrès récents des encodeurs autonomes, DINOv3 pour la vision et NeoBERT pour le texte, désormais capables de rivaliser avec de grands VLM sur les benchmarks d'embedding visuel et de compréhension du langage. L'étude ne détaille pas précisément l'identité des sept baselines VLA testées ni des tâches réalisées sur robot physique, et ne mentionne aucun calendrier de déploiement industriel: il s'agit à ce stade d'un travail de recherche académique publié en preprint, sans partenaire industriel ni essai pilote annoncés. La suite logique attendue serait une validation sur un plus grand nombre de tâches réelles et une comparaison directe avec les politiques VLA propriétaires déjà déployées commercialement par les acteurs humanoïdes du secteur.

UELes intégrateurs européens de robotique industrielle pourraient s'appuyer sur des politiques VLA moins coûteuses en calcul et en énergie pour des déploiements embarqués, mais aucun acteur ou institution française/européenne n'est cité dans l'étude.

RecherchePaper
1 source
Au-delà des tests à axe unique : évaluation croisée de la robustesse combinée des politiques vision-langage-action
3arXiv cs.RO 

Au-delà des tests à axe unique : évaluation croisée de la robustesse combinée des politiques vision-langage-action

Une équipe de recherche présente LIBERO-CTRL, un benchmark en six axes conçu pour tester la robustesse des politiques vision-langage-action (VLA) face à des perturbations combinées plutôt qu'isolées, selon un article publié sur arXiv le 15 septembre 2026 (arXiv:2609.15940v1). Le protocole apparie, pour chaque état initial, des essais à perturbation unique avec un essai équivalent soumis simultanément à plusieurs perturbations, à trois niveaux de sévérité. L'évaluation porte sur six politiques VLA et met en évidence deux phénomènes que les taux de réussite agrégés ne permettent pas de distinguer : des échecs émergents, où toutes les variantes à perturbation unique réussissent mais la version combinée échoue, et des réussites compensées, où au moins une variante à perturbation unique échoue mais la version combinée réussit. Ces deux effets vont dans des directions opposées et peuvent s'annuler statistiquement dans les moyennes, alors même que jusqu'à 29,0% des états initiaux appariés changent de résultat, ce taux montant à 34,5% dans la condition la plus affectée. Cette étude touche un point sensible pour l'industrie robotique : elle démontre que les scores de robustesse agrégés, largement utilisés pour comparer les politiques VLA entre elles, peuvent masquer des écarts de comportement substantiels dès que plusieurs perturbations surviennent en même temps, ce qui est précisément la situation d'un déploiement réel en usine ou en entrepôt. Autrement dit, un modèle jugé robuste sur des tests à perturbation unique peut échouer de façon imprévisible dès que deux conditions défavorables se combinent, sans que cela transparaisse dans les benchmarks classiques. Pour les intégrateurs et décideurs B2B qui évaluent des politiques génératives pour du pick-and-place ou de la manipulation en environnement non contrôlé, ce résultat invite à exiger des évaluations appariées par instance plutôt que des moyennes globales avant de valider un déploiement, et tempère l'idée que les benchmarks actuels suffisent à garantir une robustesse compositionnelle. Le travail s'inscrit dans la lignée des efforts de la communauté robotique pour évaluer les politiques VLA au-delà des suites de test standard comme LIBERO, habituellement utilisées pour mesurer la sensibilité à des décalages de distribution pris un par un (changement d'éclairage, de position d'objet, de texture, etc.). Les auteurs soulignent que les taux de transition entre échec et réussite restent stables lors de réévaluations indépendantes des politiques stochastiques, ce qui exclut un simple artefact de bruit expérimental. L'article ne précise pas les politiques testées nommément dans le résumé ni un calendrier de suivi, mais son apport principal est méthodologique : il fournit un cadre reproductible pour quantifier la robustesse composée, appelé à être repris par les équipes évaluant des modèles VLA en conditions de déploiement multi-perturbations.

RecherchePaper
1 source
SUN : programmes persistants pour politiques ancrées dans le langage, du contrôle à l'apprentissage jusqu'au réel
4arXiv cs.RO 

SUN : programmes persistants pour politiques ancrées dans le langage, du contrôle à l'apprentissage jusqu'au réel

Des chercheurs présentent SUN (Semantically UNified Programs), une méthode publiée en prépublication sur arXiv fin août 2026, associée au système Kuafu qui synthétise automatiquement des programmes typés à partir de descriptions en langage naturel et de la scène observée, pilotés par des modèles de vision-langage de grande taille. Ces programmes définissent une seule fois les relations géométriques et de contact, puis les compilent en coûts pour un contrôleur prédictif (MPC), en prédicats de réussite, en récompenses pour l'apprentissage par renforcement et en gardes de transition. Sur neuf tâches de manipulation, Kuafu atteint un taux de succès moyen de 82,03%, contre 35,67% pour une base de référence à récompense éparse et 24,75% pour une base Stage-BC. À l'échelle de 8192 environnements simulés en parallèle, le système génère 10,57 fois plus de temps de trajectoire réussie par heure de téléopération humaine équivalente. Avec seulement 500 trajectoires par tâche, les données de Kuafu permettent d'entraîner des politiques DP3 atteignant 46,0% de réussite en simulation, contre 22,4% pour les alternatives, et 34,7% sur des bras robotiques physiques Franka Emika et Kinova. Le résultat est méthodologique plus qu'industriel: il tente de réconcilier deux approches qui s'ignoraient jusque là, le contrôle basé modèle qui exécute des objectifs explicitement spécifiés, et l'apprentissage qui amortit ce comportement en politique réactive mais avec des récompenses bricolées à la main et un comportement qui dérive de ce que le contrôle avait validé. En conservant la sémantique de la tâche tout au long de la chaîne, plutôt qu'un pipeline bout-en-bout de type VLA, SUN et Kuafu évitent la collecte de démonstrations humaines et l'ingénierie manuelle de récompenses, un goulot d'étranglement connu pour les intégrateurs qui cherchent à industrialiser la manipulation robotique. Mais l'écart entre 46% de succès en simulation et 34,7% sur robot physique confirme que le passage sim-to-real reste un problème ouvert, même quand la sémantique de tâche est vérifiée par MPC en amont, un signal utile pour les décideurs B2B qui évaluent la maturité réelle des pipelines d'apprentissage par simulation avant tout achat ou pilote. Le travail s'inscrit dans la lignée des efforts pour automatiser la génération de récompenses et de curricula d'entraînement via des modèles de vision-langage, une direction parallèle aux approches VLA bout-en-bout poussées par des laboratoires comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, ou Figure AI avec Helix. Contrairement à ces systèmes orientés produit et déploiement humanoïde, SUN et Kuafu restent à un stade de recherche académique, validés sur des bras manipulateurs fixes Franka et Kinova plutôt que sur des plateformes mobiles ou humanoïdes, sans partenariat industriel ni calendrier de commercialisation annoncés. Aucun acteur français ou européen n'apparaît dans cette publication. La suite logique, non précisée par les auteurs, serait l'extension à des tâches plus longues et à des plateformes mobiles, ainsi qu'une réduction de l'écart simulation-réel qui conditionne l'adoption par les intégrateurs industriels.

RecherchePaper
1 source