RecherchearXiv cs.RO 22 septembre 2026

Actions vision-langage sécurisées par Poisson pour la sécurité corporelle complète des politiques apprises

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche en robotique a publié en septembre 2026 sur arXiv un article décrivant VLPSA (Vision-Language-Poisson-Safe Actions), un filtre de sécurité destiné aux politiques Vision-Language-Action (VLA) qui ne garantissent aujourd'hui aucune évitement de collision fiable, en particulier hors des distributions d'entraînement. Le système synthétise en ligne, à partir des données de perception, des fonctions de sécurité de Poisson (PSF), converties en fonction barrière de contrôle (CBF) appliquée via un filtre CBF-QP sur l'ensemble du corps du robot et sur tout objet saisi, traité comme une extension du dernier lien articulaire. Pour tenir le temps réel tout en gardant une résolution spatiale fine dans les zones critiques de la tâche, VLPSA combine deux résolutions de cette PSF grâce à des compositions booléennes de CBF. Testé sur le benchmark SafeLIBERO face à plusieurs méthodes de filtrage de sécurité existantes, VLPSA obtient le meilleur taux d'évitement de collision du lot: il fait passer ce taux de 23,1% pour la politique de base pi-0.5 à 91,2%, tout en dépassant le taux de réussite des tâches de cette même politique de base. Le système a aussi été déployé sur un bras robotique Franka FR3 dans des scènes encombrées avec obstacles dynamiques et interférence humaine.

L'intérêt principal tient au fait que VLPSA agit comme une surcouche de sécurité sans nécessiter de réentraînement de la politique VLA sous-jacente, un point sensible pour les intégrateurs qui déploient des modèles génériques de manipulation dans des environnements industriels non contrôlés. Le résultat contredit l'hypothèse selon laquelle renforcer la sécurité dégraderait mécaniquement la performance de la tâche: ici, sécurité et taux de réussite progressent simultanément. Cela apporte une réponse concrète à un angle mort connu des modèles VLA génériques, souvent démontrés dans des environnements scénarisés mais fragiles face à des obstacles imprévus ou des humains dans la boucle.

Le travail s'inscrit dans la lignée des recherches sur les politiques VLA génériques de manipulation, dont pi-0.5 sert ici de politique de référence, et dans le champ plus large des fonctions barrière de contrôle appliquées à la robotique de sécurité. Les auteurs comparent VLPSA à d'autres baselines de filtrage de sécurité sans les nommer précisément dans le résumé, et les prochaines étapes annoncées concernent l'extension des déploiements réels au-delà du Franka FR3 testé.

Dans nos dossiers

Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

ActFovea : sécurisation en temps réel des politiques VLA par cohérence spatio-temporelle vision-action

Le laboratoire à l'origine du projet publie ActFovea, un framework de sécurisation à l'exécution pour les politiques vision-langage-action (VLA) utilisées en manipulation robotique. Contrairement à un réentraînement du modèle, ActFovea s'installe en complément d'une politique VLA existante, sans la modifier, pour détecter et corriger les défaillances causées par des perturbations qui désynchronisent observations visuelles, états du robot et actions exécutées. Le système s'appuie sur la cinématique du robot, ses états proprioceptifs et son historique d'actions récentes pour construire des zones fovéales conditionnées à l'action, qui conservent les régions de contact et les corridors de mouvement prévus tout en filtrant le contenu visuel non pertinent pour la tâche. Il détecte les risques en vérifiant la cohérence entre mouvement visuel, fraîcheur des observations et transitions géométriques, proprioceptives et d'action attendues. Testé en boucle fermée sur le modèle Pi-0 dans plusieurs suites LIBERO, ActFovea fait passer le taux de succès sous perturbations visuelles localisées de 49,3% à 90,3%, comblant 93,7% de l'écart avec les performances en conditions propres. Il améliore aussi la robustesse de 7,0 points face à la dérive d'action et de 9,8 points face aux délais visuels, sans dégrader les performances en environnement non perturbé. Ce résultat s'attaque à un point faible connu des politiques VLA: leur fragilité dès que le flux d'observations devient obsolète, retardé ou incohérent avec l'état réel du robot, un scénario fréquent en déploiement réel (caméra masquée, latence réseau, capteur défaillant) mais rarement testé dans les démonstrations. Pour les intégrateurs industriels, la promesse n'est pas d'améliorer la politique elle-même mais d'ajouter une couche de garde-fou capable de distinguer une perturbation récupérable d'une situation où mieux vaut arrêter le geste, avec un mécanisme d'échec sécurisé qui, dans les essais rapportés, ne laisse passer aucune défaillance non protégée en cas de flux d'observation figé ou rejoué. Ce travail s'inscrit dans la vague actuelle de recherche sur la fiabilisation des politiques VLA généralistes, popularisées par des modèles comme Pi-0 ou GR00T N2, dont les performances en environnement contrôlé masquent souvent une sensibilité élevée au bruit du monde réel. En proposant une couche indépendante de la politique plutôt qu'un réentraînement coûteux, les auteurs positionnent ActFovea comme une brique de sécurité runtime potentiellement compatible avec différentes architectures VLA, une direction que devront confirmer des essais au-delà des suites de simulation LIBERO.

RecherchePaper

1 source

2arXiv cs.RO

JEPA-WAM : des politiques vision-langage-action apprises par modélisation du monde à embarquement conjoint

JEPA-WAM, un nouveau modèle de monde latent (world action model, WAM) pour le contrôle robotique, est présenté dans un article publié le 11 août 2026 sur arXiv (2608.09381v1). Le système s'appuie sur l'espace latent pré-entraîné V-JEPA, l'architecture d'auto-supervision vidéo développée par Meta AI, et couple prédiction de transition et génération d'action continue via un prédicteur partagé, plutôt que de générer explicitement des vidéos futures comme le font les WAM à base vidéo, coûteux à déployer. Sur le benchmark LIBERO-Plus, JEPA-WAM atteint 79,2 % de réussite, le meilleur score parmi les méthodes sans pré-entraînement à grande échelle sur des politiques robotiques. Instancié sur le modèle pi0.5 déjà pré-entraîné, il grimpe à 86,3 %, la meilleure performance globale rapportée dans l'article. Des expériences complémentaires sur le simulateur RoboTwin 2.0 et sur des tâches de manipulation bimanuelle en conditions réelles confirment une bonne généralisation face aux variations visuelles et spatiales. Ce travail s'attaque à un compromis central dans l'apprentissage de politiques vision-langage-action (VLA) : les modèles de monde générant explicitement des vidéos futures sont coûteux en calcul et en latence, tandis que les approches latentes existantes sacrifient souvent la richesse de la représentation prédictive ou la séparent du chemin utilisé pour générer l'action. En démontrant qu'un même prédicteur partagé peut porter à la fois la supervision de transition et la prédiction d'action sans déconnecter représentation et politique, JEPA-WAM fournit un argument empirique en faveur de l'unification des deux tâches dans une même colonne vertébrale visuelle. Pour les équipes de recherche et les intégrateurs en robotique, l'intérêt pratique tient au fait que la méthode s'applique aussi à des politiques VLA déjà pré-entraînées, comme pi0.5, sans modifier leurs chemins de perception et d'action d'origine, ce qui laisse entrevoir un gain applicable à des systèmes existants plutôt qu'une architecture entièrement nouvelle à réentraîner. Il s'agit d'un article de recherche publié sur arXiv, sans annonce de produit ni de déploiement commercial : les résultats reposent sur des benchmarks de simulation (LIBERO-Plus, RoboTwin 2.0) complétés par des essais réels limités en manipulation bimanuelle, sans précision sur le nombre de robots ou les sites concernés. JEPA-WAM s'inscrit dans la lignée des architectures d'apprentissage par prédiction latente issues de V-JEPA, et se positionne face à l'écosystème grandissant des politiques VLA telles que pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Les auteurs ne précisent aucun calendrier de suite, pilote industriel ou partenariat, ce qui situe cette publication au stade de la recherche fondamentale plutôt qu'à une étape de déploiement à court terme.

RechercheActu

1 source

3arXiv cs.RO

Vue-croisée d'action cohérente pour des politiques vision-langage-action robustes aux caméras

Des chercheurs publient sur arXiv (2608.06965v1) une méthode pour rendre les politiques vision-langage-action (VLA) robustes au déplacement de la caméra de scène, défaut fréquent alors même que tâche et objets restent identiques. L'approche n'utilise que l'image RGB, le langage et la proprioception, sans extrinsèques ni profondeur, la caméra au poignet étant masquée pour éviter tout raccourci visuel. Pour les VLA à flow matching, elle régularise le champ de vitesse d'action via une perte cross-vue appliquée à des paires de rendus MuJoCo (vue nominale/perturbée) issues des mêmes démonstrations LIBERO. Sur le benchmark LIBERO-Plus, elle atteint 87,2% de réussite (4797 rollouts par graine, sur 3 graines d'entraînement), contre 79,8% pour un flow-matching seul sur les mêmes paires et seulement 25,8% quand les paires sont mélangées au hasard, tout en préservant 95% de réussite en caméra nominale. Sur robot réel, sur trois tâches de manipulation, le taux de réussite en caméra inédite passe de 53,3% à 74,4%. Le résultat s'attaque à un vrai point de friction pour les intégrateurs: reconfigurer ou dupliquer une cellule robotique oblige aujourd'hui à recollecter des données, faute de quoi la performance chute dès que l'angle de caméra change. Sans capteur supplémentaire ni calibration caméra, la méthode améliore la robustesse de près de 20 points sur robot réel, ce qui suggère que la généralisation aux changements de point de vue des VLA dépend autant de l'algorithme d'entraînement que du volume de données, une nuance qui tranche avec les discours misant tout sur l'échelle des données. Le taux plafonne toutefois à 74% en caméra inédite, sur seulement trente essais réels au total, ce qui limite la portée des conclusions hors laboratoire. Le travail s'appuie sur LIBERO-Plus, extension du benchmark LIBERO conçue pour stresser les politiques d'imitation face aux perturbations de caméra, et sur le flow matching, technique de génération d'action utilisée par plusieurs architectures VLA récentes. Il se positionne implicitement contre la pratique courante du fine-tuning multi-caméra, moins performante de 12,5 points que la perte cross-vue proposée. Publié comme préprint non encore évalué par les pairs, sans mention de déploiement pilote ni de partenaire industriel, l'article laisse en suspens une validation à plus grande échelle, sur davantage de tâches et de plateformes robotiques réelles.

RechercheOpinion

1 source

4arXiv cs.RO

Agir ou ne pas agir : garantir la sécurité des politiques visuomotrices apprises par démonstration

Une équipe de chercheurs a publié sur arXiv (référence 2605.01201) une analyse formelle de la sécurité des politiques visuomotrices apprises par imitation (imitation learning, IL). Le papier propose un concept baptisé execution guarantee : une mesure de sécurité indépendante de l'architecture de la politique qui certifie le succès maximal d'une tâche malgré des variations mineures à l'exécution, à l'intérieur d'une région définie de l'espace des états. Les chercheurs exploitent les avancées récentes en synthèse de vue (view synthesis) pour identifier ces régions, puis s'appuient sur la condition de sous-tangentialité de Nagumo, un résultat classique d'invariance ensembliste, pour formaliser et opérationnaliser cette garantie. Les expériences ont été conduites sur un bras Franka Emika, à la fois en simulation et en environnement réel. Le travail comble un angle mort structurel de la recherche en IL : jusqu'ici, la performance d'une politique se mesurait quasi exclusivement au taux de succès des tâches, sans considération de sécurité. Pour la robotique de terrain, qu'il s'agisse de manipulation industrielle, d'environnements partagés humain-robot ou de logistique, cette lacune est bloquante. Un robot IL déployé doit savoir ne pas agir si les conditions de sécurité ne sont pas réunies, quitte à enregistrer une performance nulle. L'execution guarantee fournit pour la première fois un cadre théorique actionnable pour arbitrer ce compromis sécurité/performance. Le papier démontre par ailleurs qu'une politique de récupération (recovery policy), générée comme sous-produit de l'analyse, permet d'atténuer ce compromis en pratique en augmentant le taux de succès global. La sécurité dans l'apprentissage par imitation est une problématique historiquement sous-explorée. Si la théorie du contrôle classique dispose d'outils matures comme les fonctions de barrière de contrôle (Control Barrier Functions, CBF), leur extension aux politiques visuomotrices à réseaux neuronaux reste difficile : ces politiques n'exposent pas de représentation d'état symbolique exploitable par les formalismes classiques. Ce papier s'inscrit dans un courant émergent cherchant à combiner garanties formelles et apprentissage profond, aux côtés de travaux similaires menés à Carnegie Mellon et Stanford sur les approches CBF-IL. La prochaine étape naturelle serait l'extension à des scènes dynamiques et à des politiques de type VLA (Vision-Language-Action), où la variabilité de l'entrée visuelle rend les garanties de sécurité encore plus difficiles à établir à l'échelle.

RechercheOpinion

1 source