RecherchearXiv cs.RO 17 septembre 2026

CALOS : couche de sécurité Lyapunov control-affine sur variété pour l'apprentissage par renforcement profond sûr des quadrirotors

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

CALOS, pour Control-Affine Lyapunov On-manifold Safety, est une couche de sécurité présentée dans une prépublication arXiv (2609.17758v1) destinée à sécuriser les politiques d'apprentissage par renforcement profond appliquées au contrôle de quadrirotors. Le système impose quatre inégalités sur l'angle d'inclinaison et une condition de décroissance de Lyapunov, formulées comme un unique programme quadratique dont la solution est la correction de norme minimale à appliquer au couple nominal produit par la politique. Ce programme quadratique est résolu de façon exacte par énumération d'ensembles actifs dans l'espace de couple à trois dimensions, avec un coût de calcul suffisamment faible pour fonctionner en temps réel sur plusieurs milliers d'environnements de simulation exécutés en parallèle, comme l'exigent les pipelines d'entraînement massivement parallèles utilisés aujourd'hui. Testé sur des tâches de suivi de trajectoire dans NVIDIA Isaac Lab, CALOS réduit l'erreur de suivi latérale de 55 à 60% par rapport à une politique PPO (Proximal Policy Optimization) non contrainte, tout en atteignant zéro violation des contraintes d'attitude sur la trajectoire d'entraînement.

L'intérêt pour l'industrie robotique tient au fait que cette couche de sécurité s'ajoute au-dessus de l'algorithme d'apprentissage sans le modifier, ce qui la rend compatible avec des pipelines d'entraînement existants. Elle répond à une limite connue des politiques de RL pour drones: rien ne garantit qu'elles respectent des contraintes physiques pendant l'entraînement ou le déploiement. Autre point notable, en restreignant l'exploration aux régions sûres de l'espace d'état, la contrainte accélère la convergence de l'entraînement au lieu de le pénaliser, ce qui contredit l'hypothèse répandue selon laquelle sécurité et performance s'opposent nécessairement en apprentissage par renforcement.

Ce travail s'inscrit dans un courant de recherche plus large sur les couches de sécurité par fonctions de Lyapunov et barrières de contrôle pour le RL robotique. Sa spécificité revendiquée est la résolution exacte, et non approchée, du programme quadratique, à un coût compatible avec la simulation massivement parallèle. Il s'agit à ce stade d'une validation uniquement en simulation, dans Isaac Lab, sans expérimentation sur drone réel ni acteur industriel associé.

Dans nos dossiers

NVIDIA Isaac & Cosmos arXiv cs.RO

À lire aussi

1arXiv cs.RO

Stabilité de l'apprentissage par renforcement guidé par fonction de Lyapunov de contrôle

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv (arXiv:2605.01978) une analyse théorique de la stabilité des politiques de contrôle issues du reinforcement learning (RL) appliqué à la locomotion humanoïde. Le cœur du travail porte sur la technique dite CLF-RL, qui consiste à construire les fonctions de récompense du RL à partir de fonctions de Lyapunov de contrôle (Control Lyapunov Functions, CLF), un outil classique de la théorie du contrôle. Les auteurs démontrent formellement la stabilité exponentielle des contrôleurs optimaux résultants, aussi bien en temps continu qu'en temps discret, en traitant le problème RL comme un problème de commande optimale. Les résultats sont vérifiés numériquement sur des systèmes de référence académiques (double intégrateur, cart-pole), puis les récompenses guidées par CLF sont appliquées à un robot humanoïde marchant pour générer des orbites périodiques stables. Ce travail comble un écart critique entre la pratique et la théorie dans le domaine de la robotique humanoïde. Le RL est aujourd'hui la méthode dominante pour faire marcher des humanoïdes, avec des déploiements chez Figure, Tesla, Agility Robotics ou encore Unitree, mais ces systèmes manquent de garanties de stabilité formelles, ce qui freine leur certification pour des environnements industriels ou la cohabitation humain-robot. Prouver la stabilité exponentielle, c'est-à-dire démontrer que le système converge vers sa trajectoire cible à un taux borné même après une perturbation, est un résultat nettement plus fort que la simple stabilité au sens de Lyapunov. Pour un intégrateur ou un COO industriel, cela ouvre la voie à une qualification plus rigoureuse des systèmes RL en production. La CLF-RL s'inscrit dans un courant académique plus large qui tente de réconcilier l'efficacité empirique du RL avec la rigueur de la théorie du contrôle, un programme de recherche actif depuis les travaux sur la Control Barrier Function (CBF) et les approches de type safety-critical control. Face aux approches purement model-based (Boston Dynamics) ou au RL non guidé (Agility, Figure Gen-2), la CLF-RL propose une voie intermédiaire. Ce papier reste une contribution théorique et de simulation, sans déploiement matériel annoncé sur un humanoïde commercial, et la généralisation à des dynamiques complètes à haute dimension (32 DOF et plus) reste un défi ouvert.

UECes garanties formelles de stabilité exponentielle pourraient alimenter les futurs cadres de certification des humanoïdes en environnement industriel européen (AI Act, normes IEC 61508), mais aucun acteur français ou européen n'est impliqué dans ces travaux.

RecherchePaper

1 source

2arXiv cs.RO

Raffinement itératif de la pose de préhension : une approche par apprentissage par renforcement profond pour la vision 2D

Un article publié sur arXiv (2608.17628v1) présente un framework de reinforcement learning pour affiner des poses de préhension robotique à partir d'images 2D. Le système couple une représentation d'objets par points clés à un Deep Q-Network (DQN) : un algorithme géométrique génère d'abord des candidats de prise sur des vues aériennes simulées, puis le DQN les raffine itérativement, transformant des prises échouées en succès. Sur 300 objets du dataset Dex-Net testés avec un bras UR5, le système atteint 100% de réussite sur des objets que les méthodes géométriques seules jugeaient impossibles à saisir. Le transfert sim-to-real a été vérifié sur un robot parallèle Delta physique, où une prise raffinée a permis de manipuler un objet auparavant non saisissable. Le résultat vise un point de friction connu des planificateurs géométriques classiques (type GQ-CNN/Dex-Net), qui échouent sur des objets à géométrie ambiguë ou aux surfaces glissantes et obligent souvent à des reprises manuelles en intégration industrielle. En récupérant 100% des échecs sur un panel de 300 objets via une couche de raffinement par renforcement, l'étude propose d'améliorer des pipelines de préhension existants sans reconception complète de la perception, un enjeu concret pour les intégrateurs d'AMR et de bras robotisés en logistique. La validation sur un robot Delta réel, distinct du simulateur UR5 d'entraînement, indique une généralisation au-delà de la simulation, même si l'échantillon physique reste limité et ne prouve pas une robustesse à grande échelle. L'approche prolonge des travaux combinant planification géométrique classique et apprentissage, un terrain déjà balisé par les Grasp Quality CNN du dataset Dex-Net, référence établie en planification de prise par images de profondeur. En choisissant des représentations compactes par points clés plutôt que des réseaux visuo-langage-action lourds comme Pi-0 ou GR00T N2, les auteurs privilégient l'interprétabilité et la frugalité en données plutôt que l'échelle brute. Le papier, classé comme soumission nouvelle sur arXiv, ne mentionne ni partenariat industriel ni calendrier de déploiement ; la suite logique serait une extension à davantage de plateformes robotiques et à des scènes plus encombrées, hors du cadre contrôlé du laboratoire.

RecherchePaper

1 source

3arXiv cs.RO

ResSafe : filtrage de sécurité par apprentissage par renforcement résiduel pour humanoïdes

ResSafe, une architecture de contrôle en deux politiques pour les robots humanoïdes, a été publiée le 15 septembre 2026 sur arXiv sous la référence 2609.15988. La méthode sépare performance et sécurité : une politique nominale est entraînée uniquement pour accomplir la tâche, tandis qu'une politique résiduelle apprend en parallèle des corrections de sécurité qui ajustent ses actions. Cette seconde politique agit comme un filtre de sécurité implicite, censé limiter chutes et instabilités liées à la dynamique à haute dimensionnalité et aux interactions riches en contacts propres aux humanoïdes. L'abstract ne cite aucune plateforme robotique ni aucun chiffre de performance (taux de chute, distance parcourue, degrés de liberté), signe d'une recherche encore amont, sans validation matérielle détaillée. Pour l'industrie, ce découplage répond à un problème connu : faire arbitrer par une seule politique performance, robustesse et sécurité oblige à régler manuellement plusieurs termes de récompense concurrents, un exercice fragile qui complique le passage du simulateur au robot réel. En sortant la sécurité de cette équation unique, ResSafe propose une approche modulaire qui, si elle se confirme sur du matériel, pourrait faciliter l'ajout de correctifs de sécurité sans réentraîner toute la politique de locomotion. L'enjeu parle directement aux intégrateurs et décideurs du secteur, confrontés à un écart persistant entre démonstrations en simulation et fiabilité en conditions réelles. Le travail s'inscrit dans une recherche académique plus large sur le contrôle par apprentissage des humanoïdes, où le RL pour la locomotion et le suivi de mouvement s'est largement généralisé ces dernières années. Il se distingue des méthodes de filtrage de sécurité explicite, fondées sur des barrières de contrôle ou des modèles analytiques de la dynamique, souvent coûteuses ou difficiles à généraliser à un système aussi complexe. L'article ne mentionne ni code source, ni partenaire industriel, ni calendrier d'essais sur robot physique : ResSafe reste, à ce stade, une contribution de recherche dont l'apport devra être confirmé au-delà de la simulation.

RecherchePaper

1 source

4arXiv cs.RO

COP-Q : apprentissage par renforcement axé sur la sécurité pour la commande de robots via projection de Cholesky ordonnée

Des chercheurs ont publié le 5 juin 2026 sur arXiv (2606.04749) une méthode d'apprentissage par renforcement sûr baptisée COP-Q, pour Cholesky-Ordered Projection Q-learning. L'algorithme s'attaque à un problème central du contrôle robotique : maximiser la performance d'un agent tout en respectant des contraintes de sécurité strictes. Dans les approches off-policy existantes, les valeurs Q de récompense et de sécurité sont estimées par des ensembles de critiques séparés, chaque objectif gérant son incertitude de façon indépendante. COP-Q rompt avec ce traitement cloisonné en intégrant la covariance inter-objectifs dans une estimation vectorielle des Q-valeurs, puis utilise la décomposition de Cholesky pour encoder la priorité des objectifs sous forme séquentielle : la sécurité prime, la récompense s'adapte en conséquence. La méthode a été validée sur des benchmarks de locomotion dans Brax et de navigation sûre dans Safety-Gymnasium, en conditions de contraintes dures et souples. Ce que prouve ce travail, c'est que l'hypothèse d'indépendance entre objectifs de sécurité et de récompense est une source réelle de sous-performance. En modélisant explicitement leur corrélation, COP-Q réduit le conservatisme excessif sur la récompense sans dégrader les garanties de sécurité, ce qui se traduit par une meilleure efficacité d'échantillonnage face aux baselines représentatifs du domaine. Pour un intégrateur ou un équipementier qui cherche à déployer des robots en environnement contraint (entrepôt, ligne d'assemblage, espace partagé avec des opérateurs), cela signifie concrètement des politiques plus performantes à entraînement équivalent, sans sacrifier les garde-fous. L'overhead computationnel est décrit comme minimal, et la méthode est annoncée compatible avec la majorité des frameworks deep Q-learning existants. Le problème du safe RL pour la robotique mobilise une communauté dense depuis plusieurs années, avec des approches comme CPO (Constrained Policy Optimization), PCPO ou SAC-Lagrangian comme points de référence. COP-Q se positionne dans la lignée des méthodes off-policy avec ensembles de critiques, un espace où la gestion de l'incertitude par intervalles de confiance est devenue standard. La décomposition de Cholesky, plus connue en algèbre linéaire numérique, est ici réinterprétée comme un mécanisme de priorisation structurelle des objectifs, une idée potentiellement transférable à d'autres problèmes multi-objectifs en RL. Les prochaines étapes naturelles seraient une validation sur hardware réel et une confrontation aux benchmarks industriels comme ceux proposés par le Robosuite ou le CVPR 2025 Safe Manipulation Track.

RecherchePaper

1 source