RecherchearXiv cs.RO4h

Les modèles du monde latents comprennent-ils les contraintes de sécurité partiellement observables ?

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv (2510.06492v2) une étude systématique des défaillances des modèles du monde latents face à des contraintes de sécurité partiellement observables. Appliquée à un bras manipulateur Franka Research 3 sur des tâches de cuisine, la recherche identifie deux modes de défaillance distincts. Le premier, appelé "estimation gap", survient quand l'observation courante ne révèle pas une grandeur critique pour la sécurité : la température d'une surface de cuisson, invisible en RGB seul, en est l'exemple central. Le second, le "prediction gap", désigne les situations où la défaillance devient observable dès qu'elle se produit, mais ne peut être anticipée à partir des observations disponibles. Les auteurs proposent deux diagnostics quantitatifs associés : une mesure d'observabilité de sécurité basée sur l'information mutuelle, et une mesure de prédictibilité future fondée sur des rollouts simulés. Deux stratégies de mitigation sont ensuite validées en hardware : la supervision multimodale privilégiée (ajout de capteurs thermiques ou tactiles au flux RGB) pour combler les estimation gaps, et la calibration de risque conforme (conformal risk calibration) pour les prediction gaps, avec des résultats mesurés sur le robot réel.

Ces résultats posent une question structurante pour le secteur : les représentations latentes produites par un world model entraîné sur observations RGB sont-elles suffisantes pour garantir un contrôle fiable en environnement industriel ? La réponse empirique ici est non, et ce constat a des implications directes pour les intégrateurs qui déploient des bras robotisés sur des lignes de production où des variables non-visuelles (température, force de contact, couple) conditionnent la sécurité. La calibration conforme, issue de la théorie statistique de la prédiction, permet de borner le risque de violation de contrainte sans retrainer le modèle, ce qui représente un avantage pratique pour les déploiements existants. La contrepartie documentée est une conservatisme accru du contrôleur, se traduisant par une réduction du taux de complétion des tâches : la sécurité est améliorée, mais au prix d'une productivité moindre, un arbitrage classique que les COO devront quantifier pour leur contexte.

Le travail s'inscrit dans la lignée des world models de type Dreamer et RSSM (Recurrent State Space Model), popularisés par DeepMind, qui apprennent une représentation compressée de l'état du monde pour planifier en espace latent. Cette approche gagne du terrain face aux politiques purement réactives, notamment dans les architectures VLA (Vision-Language-Action) portées par des équipes comme Physical Intelligence (Pi-0), Google DeepMind (GR00T) ou Figure AI. La plupart de ces modèles s'appuient sur des flux RGB ou RGBD, ignorant les modalités thermiques ou haptiques, ce que cette étude remet en cause sur des tâches à risque. Le Franka Research 3 est le banc d'essai standard de la communauté, ce qui facilite la reproductibilité. Les prochaines étapes probables incluent l'extension à des configurations multi-bras, l'intégration dans des pipelines VLA de production, et la question ouverte de savoir comment sélectionner automatiquement les modalités nécessaires à la sécurité pour une tâche donnée.

Dans nos dossiers

Figure NVIDIA GR00T Physical Intelligence — π0 World models

À lire aussi

1arXiv cs.RO

Alignement de sécurité des modèles VLA par apprentissage contraint : le projet SafeVLA

Des chercheurs, vraisemblablement affiliés à l'Université de Pékin (l'URL du projet pointe vers pku-safevla.github.io), ont publié en mars 2025 SafeVLA, une méthode d'alignement sécurisé pour les modèles vision-langage-action (VLA) déployés sur robots physiques. L'approche, baptisée ISA (Integrated Safety Approach), repose sur le paradigme des processus de décision de Markov contraints (CMDP) et combine trois étapes : modélisation formelle des exigences de sécurité, élicitation active de comportements dangereux, puis optimisation min-max de la politique robot via du renforcement contraint. Sur des tâches de manipulation mobile à long horizon, SafeVLA réduit le coût cumulé des violations de sécurité de 83,58 % par rapport à la méthode de référence state-of-the-art, tout en améliorant simultanément le taux de succès des tâches de 3,85 points. Les données, modèles et benchmark associés sont publiés en open source. Ce résultat est notable parce qu'il adresse directement le principal frein à la commercialisation des VLA en environnement industriel : la garantie de comportement sûr hors distribution. Jusqu'ici, les politiques générales de type pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) montraient des performances impressionnantes en laboratoire mais offraient peu de garanties formelles sur les scénarios de défaillance extrêmes, les cas limites ou les perturbations inattendues. SafeVLA propose un cadre d'assurance quantifiable, avec une généralisation démontrée aux perturbations out-of-distribution, ce qui intéresse directement les intégrateurs industriels et les COO qui exigent des SLA de sécurité avant tout déploiement en cellule humaine ou en espace partagé. L'amélioration simultanée du taux de succès contredit l'hypothèse courante selon laquelle la sécurité contrainte dégrade nécessairement la performance. Les VLA ont connu une accélération significative depuis 2023 avec des travaux fondateurs comme RT-2 (Google DeepMind) et OpenVLA, mais la question de leur alignement sécurisé pour une utilisation réelle restait largement ouverte, la plupart des équipes se concentrant sur les capacités génératives plutôt que sur les garanties de comportement. SafeVLA s'inscrit dans un mouvement plus large de formalisation de la sécurité robotique, en parallèle des travaux de Physical Intelligence sur pi-0, de 1X Technologies ou de Figure AI avec Figure 03. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné dans la publication : il s'agit d'une contribution académique avec benchmark public, pas d'un produit shipé. Les prochaines étapes naturelles seraient l'intégration de cette approche dans des architectures VLA commerciales et sa validation sur des plateformes humanoïdes à grande échelle.

UELes résultats de SafeVLA pourraient alimenter les travaux de normalisation de la sécurité des VLA en Europe (AI Act, certification robots collaboratifs), mais aucun acteur européen n'est impliqué directement dans cette publication académique.

RechercheOpinion

1 source

2arXiv cs.RO

Attaques adversariales par patches partiellement observables sur les modèles VLA en robotique

Des chercheurs ont publié début juin 2026 une étude (arXiv:2606.03556) démontrant la vulnérabilité des modèles Vision-Language-Action (VLA) à des attaques adversariales par patch dans des conditions partiellement observables. Contrairement aux travaux antérieurs qui supposaient un accès complet à l'intégralité de la trajectoire d'exécution du robot, cette équipe formule un modèle de menace plus réaliste : l'adversaire ne dispose que d'un court préfixe de trajectoire pour générer un patch visuel fixe, ensuite appliqué à toutes les trames suivantes. Leur framework en deux phases consiste d'abord à localiser la zone optimale du patch en exploitant les cartes d'attention du modèle pour identifier les régions visuellement critiques liées à l'instruction en cours, puis à optimiser ce patch pour simultanément perturber l'ancrage sémantique des objets cibles et augmenter la courbure des trajectoires d'action planifiées. Les expériences menées en simulation et en environnements robotiques réels montrent une réduction significative des taux de succès sur des tâches longues. Ce résultat est important car les VLA sont de plus en plus intégrés dans des bras manipulateurs et des robots mobiles déployés en environnements industriels et logistiques, précisément parce qu'ils promettent une généralisation robuste à partir d'instructions en langage naturel. Prouver qu'un patch physique imprimable, placé dans le champ de vision du robot, peut dégrader durablement ses performances de contrôle sans accès complet à son état interne remet en question les hypothèses de sécurité des déploiements actuels. Cela soulève un gap réel entre robustesse en démo contrôlée et résilience en production, particulièrement pour des intégrateurs qui s'appuient sur des modèles comme OpenVLA, pi-0 (Physical Intelligence) ou RT-2 (Google DeepMind) sans auditer leur surface d'attaque perceptive. Les VLA connaissent une montée en puissance depuis 2023 avec RT-2 de Google, suivi de pi-0 de Physical Intelligence et des travaux d'Embodied Intelligence. La sécurité adversariale de ces modèles reste un angle quasi-inexploré dans la littérature par rapport à leur homologues LLM ou vision-langage purs. Cette publication s'inscrit dans un effort émergent pour caractériser les vecteurs d'attaque physiques sur les systèmes robotiques autonomes, un enjeu croissant alors que Figure AI, Agility Robotics et 1X Technologies accélèrent leurs déploiements en entrepôt. Les prochaines étapes probables incluent des défenses basées sur l'augmentation adversariale à l'entraînement et des mécanismes de détection d'anomalie sur les cartes d'attention, domaine dans lequel des équipes européennes comme celles du LAAS-CNRS et du DLR commencent également à publier.

UELes équipes du LAAS-CNRS et du DLR commencent à publier sur la défense adversariale des VLA, positionnant l'Europe comme contributrice émergente à la sécurisation des déploiements robotiques industriels.

RechercheOpinion

1 source

3arXiv cs.RO

Contrôle à sûreté critique sous observabilité partielle : POMDP d'atteinte-évitement et contrôle dans l'espace des croyances

Des chercheurs ont publié sur arXiv (référence 2503.10572v2) une architecture de contrôle en temps réel pour robots évoluant dans des environnements partiellement observables, c'est-à-dire des situations où le robot ne perçoit qu'une fraction de son état réel. Le problème traité est celui des POMDP reach-avoid (Partially Observable Markov Decision Processes) : comment guider un robot vers un objectif tout en évitant des obstacles, quand ses capteurs sont bruités ou incomplets. L'approche proposée découple ce problème en trois composants modulaires opérant dans l'espace des croyances (belief space), soit l'ensemble des distributions de probabilité sur les états possibles. Les auteurs introduisent deux outils formels : les Belief Control Lyapunov Functions (BCLFs), qui formalisent la collecte active d'information comme un problème de convergence Lyapunov, et les Belief Control Barrier Functions (BCBFs), qui fournissent des garanties de sécurité probabilistes à horizon fini via la prédiction conforme. La synthèse de commande se réduit à des programmes quadratiques légers, résolus en temps réel même pour des représentations de croyances non gaussiennes de dimension supérieure à 10 000. Les expériences couvrent la simulation et une plateforme réelle de robotique spatiale. L'apport principal est architectural : plutôt que de tout résoudre dans un arbre de recherche unifié, ce qui souffre de conflits entre échelles de temps (sécurité immédiate vs. planification à long terme), l'architecture en couches permet à chaque composant de fonctionner à son propre rythme. Pour les intégrateurs robotiques et les équipes R&D, c'est une avancée concrète sur le sim-to-real gap dans des contextes à observabilité partielle. La garantie probabiliste de sécurité via prédiction conforme est particulièrement notable : elle s'applique sans hypothèse gaussienne, ce qui élargit le domaine d'application à des scénarios industriels réels où les distributions d'incertitude sont complexes. Les performances annoncées sur la plateforme spatiale suggèrent une applicabilité au-delà du laboratoire, même si les conditions exactes des tests restent à détailler. L'article s'inscrit dans un courant actif de recherche sur le contrôle certifié (Control Barrier Functions, Control Lyapunov Functions) appliqué à la prise de décision probabiliste. Les travaux antérieurs comme DESPOT, POMCP ou les POMDP contraints (C-POMDP) tentaient d'intégrer sécurité et planification dans un seul solveur, souvent au prix de temps de calcul prohibitifs. L'utilisation de la prédiction conforme pour les garanties de sécurité rapproche cette ligne de travail des approches émergentes en apprentissage machine certifié. La plateforme spatiale mentionnée évoque des applications dans l'inspection et la maintenance orbitale, un secteur où acteurs comme Airbus Defence, Thales Alenia Space ou des startups comme ClearSpace développent des capacités d'opération autonome. Les prochaines étapes naturelles seraient une validation sur des robots mobiles ou manipulateurs en environnement industriel, et une publication des hyperparamètres permettant la reproductibilité.

UELes méthodes de contrôle certifié pour observabilité partielle sont directement applicables aux projets d'opération autonome orbitale développés par des acteurs européens comme Airbus Defence, Thales Alenia Space et ClearSpace.

RecherchePaper

1 source

4arXiv cs.RO

ALAM : des transitions latentes algébriquement cohérentes pour les modèles VLA

Une équipe de chercheurs publie sur arXiv (2605.10819) ALAM, un modèle d'action latente algébriquement cohérent conçu pour lever le principal frein au passage à l'échelle des modèles VLA (vision-language-action) : la rareté des données robot étiquetées par des actions. La méthode exploite des vidéos sans annotation d'action pour apprendre des transitions latentes structurées, en soumettant des triplets d'images à deux contraintes algébriques : cohérence par composition (la combinaison de deux transitions doit être une transition valide) et cohérence par inversion (une transition doit être réversible). L'encodeur ainsi pré-entraîné est ensuite gelé, et ses séquences de transitions latentes servent de cibles génératives auxiliaires, co-générées avec les actions robot via un objectif de flow matching conjoint. Sur MetaWorld MT50, ALAM fait passer le taux de succès moyen de 47,9 % à 85,0 %. Sur LIBERO, il progresse de 94,1 % à 98,1 %. Les erreurs d'additivité et de réversibilité sont réduites de 25 à 85 fois par rapport aux baselines de modèles d'action latente non structurés. Ces résultats sont significatifs pour les équipes qui développent des politiques robotiques généralisées. Le goulot d'étranglement des données étiquetées freine depuis plusieurs années la commercialisation des VLA : collecter des démonstrations téléopérées est coûteux et lent à l'échelle industrielle. ALAM démontre qu'il est possible d'extraire une géométrie de transition utile depuis des vidéos brutes, YouTube, flux industriels, simulations sans annotation, et de la transférer efficacement vers une politique opérationnelle. La structure algébrique du latent n'est pas seulement un artefact de représentation : les ablations confirment que c'est la synergie entre cette cohérence locale et le flow matching conjoint qui produit les gains les plus nets, ce qui valide une hypothèse longtemps débattue sur la nécessité d'une structure explicite dans les espaces d'action latente. Le contexte est celui d'une compétition dense autour des VLA généralisés. Physical Intelligence (pi0), NVIDIA (GR00T N2), Figure (Helix) et Google DeepMind investissent massivement dans des architectures capables de généraliser à de nouvelles tâches avec peu de données. Les approches antérieures de latent action learning (comme IDM ou des variantes GROOT) apprenaient des codes latents par reconstruction pure, sans garantie structurelle, ce qu'ALAM corrige explicitement. L'étape suivante naturelle serait de tester la méthode sur des benchmarks réels plus diversifiés et sur des horizons de tâche plus longs, deux axes où les VLA actuels montrent encore des fragilités documentées.

RechercheOpinion

1 source