RecherchearXiv cs.RO 5 mai 2026

Stabilité de l'apprentissage par renforcement guidé par fonction de Lyapunov de contrôle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv (arXiv:2605.01978) une analyse théorique de la stabilité des politiques de contrôle issues du reinforcement learning (RL) appliqué à la locomotion humanoïde. Le cœur du travail porte sur la technique dite CLF-RL, qui consiste à construire les fonctions de récompense du RL à partir de fonctions de Lyapunov de contrôle (Control Lyapunov Functions, CLF), un outil classique de la théorie du contrôle. Les auteurs démontrent formellement la stabilité exponentielle des contrôleurs optimaux résultants, aussi bien en temps continu qu'en temps discret, en traitant le problème RL comme un problème de commande optimale. Les résultats sont vérifiés numériquement sur des systèmes de référence académiques (double intégrateur, cart-pole), puis les récompenses guidées par CLF sont appliquées à un robot humanoïde marchant pour générer des orbites périodiques stables.

Ce travail comble un écart critique entre la pratique et la théorie dans le domaine de la robotique humanoïde. Le RL est aujourd'hui la méthode dominante pour faire marcher des humanoïdes, avec des déploiements chez Figure, Tesla, Agility Robotics ou encore Unitree, mais ces systèmes manquent de garanties de stabilité formelles, ce qui freine leur certification pour des environnements industriels ou la cohabitation humain-robot. Prouver la stabilité exponentielle, c'est-à-dire démontrer que le système converge vers sa trajectoire cible à un taux borné même après une perturbation, est un résultat nettement plus fort que la simple stabilité au sens de Lyapunov. Pour un intégrateur ou un COO industriel, cela ouvre la voie à une qualification plus rigoureuse des systèmes RL en production.

La CLF-RL s'inscrit dans un courant académique plus large qui tente de réconcilier l'efficacité empirique du RL avec la rigueur de la théorie du contrôle, un programme de recherche actif depuis les travaux sur la Control Barrier Function (CBF) et les approches de type safety-critical control. Face aux approches purement model-based (Boston Dynamics) ou au RL non guidé (Agility, Figure Gen-2), la CLF-RL propose une voie intermédiaire. Ce papier reste une contribution théorique et de simulation, sans déploiement matériel annoncé sur un humanoïde commercial, et la généralisation à des dynamiques complètes à haute dimension (32 DOF et plus) reste un défi ouvert.

Impact France/UE

Ces garanties formelles de stabilité exponentielle pourraient alimenter les futurs cadres de certification des humanoïdes en environnement industriel européen (AI Act, normes IEC 61508), mais aucun acteur français ou européen n'est impliqué dans ces travaux.

Dans nos dossiers

Boston Dynamics Unitree Agility Robotics — Digit arXiv cs.RO

À lire aussi

1arXiv cs.RO

Stabilité de la récompense par transition d'étapes pour l'apprentissage par renforcement

Une équipe de recherche présente STDR (Stage-Transition Dense Reward), un framework qui transforme des vidéos de démonstration non structurées en récompenses denses pour entraîner des agents d'apprentissage par renforcement (RL) sur des tâches de manipulation robotique à long horizon, sans design manuel de fonction de récompense. Le système infère automatiquement la structure en étapes d'une tâche à partir des démonstrations, puis fournit deux signaux complémentaires pendant l'entraînement en ligne : une récompense orientée objectif à chaque transition d'étape, et un signal de progression fine à l'intérieur de chaque étape. Un mécanisme de détection hors distribution (OOD) et un module de régulation de la préhension ont été ajoutés pour éviter le "reward hacking", ce biais classique où l'agent exploite des failles de la fonction de récompense plutôt que d'accomplir réellement la tâche. Les tests couvrent 14 tâches de manipulation réparties sur trois bancs d'essai standards du domaine, MetaWorld, ManiSkill et Franka Kitchen, avec des validations complémentaires sur robot réel. L'enjeu dépasse la seule performance académique. Concevoir des récompenses denses à la main reste l'un des goulots d'étranglement majeurs du RL appliqué à la robotique industrielle : chaque nouvelle tâche, chaque nouvelle configuration d'objets impose de retravailler manuellement le signal d'apprentissage, ce qui freine le déploiement à grande échelle chez les intégrateurs. En montrant que STDR égale voire dépasse les récompenses handcrafted sur plusieurs tâches complexes, tout en gagnant en efficacité d'échantillonnage, l'étude appuie l'hypothèse selon laquelle l'apprentissage par vidéos de démonstration peut remplacer l'ingénierie de récompense ad hoc, un argument déterminant pour accélérer l'entraînement de bras robotiques ou de mains manipulatrices en environnement réel plutôt qu'en simulation pure. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage de récompenses par vision (reward learning from video), un axe actif face aux limites du reward shaping manuel et aux coûts d'annotation. Les résultats sur robot réel, où STDR assigne des récompenses stables et bien calibrées sur les exécutions réussies tout en pénalisant correctement les échecs, suggèrent une robustesse au bruit visuel qui manquait souvent aux approches précédentes. Les prochaines étapes attendues porteront sur l'extension à des tâches encore plus longues et sur l'intégration avec des politiques de type VLA (vision-language-action) pour la généralisation multi-tâches.

RecherchePaper

1 source

2arXiv cs.RO

FlashSAC : un apprentissage par renforcement hors-politique rapide et stable pour le contrôle robotique haute dimension

Des chercheurs ont publié FlashSAC, un algorithme d'apprentissage par renforcement (RL) hors-politique conçu pour le contrôle robotique en haute dimension. Basé sur Soft Actor-Critic (SAC), FlashSAC réduit drastiquement le nombre de mises à jour de gradient tout en compensant par des modèles plus grands et un débit de données plus élevé. Pour stabiliser l'entraînement à cette échelle, l'algorithme impose des bornes explicites sur les normes de poids, de features et de gradients, limitant ainsi l'accumulation d'erreurs du critique par bootstrapping. Testé sur plus de 60 tâches dans 10 simulateurs différents, il surpasse systématiquement PPO et les baselines hors-politique standards, aussi bien en performance finale qu'en efficacité d'entraînement. Le gain le plus marqué est observé sur des tâches à haute dimensionnalité comme la manipulation dextre. En locomotion humanoïde avec transfert sim-to-real, FlashSAC réduit le temps d'entraînement de plusieurs heures à quelques minutes. Ce résultat est significatif parce qu'il attaque directement le principal frein des méthodes hors-politique en robotique : leur instabilité sur des espaces d'états et d'actions complexes. Les méthodes sur-politique comme PPO dominent aujourd'hui les benchmarks robotiques précisément parce qu'elles sont stables, malgré leur inefficacité en données. FlashSAC propose un chemin pour inverser ce compromis sans sacrifier la convergence, ce qui est particulièrement pertinent pour la manipulation dextre et la locomotion humanoïde, où l'espace d'action peut dépasser plusieurs dizaines de degrés de liberté. La réduction du temps d'entraînement sim-to-real de quelques heures à quelques minutes change l'équation économique des cycles de développement pour les équipes robotique. L'algorithme s'inscrit dans une tendance plus large d'application des lois de scaling, jusqu'ici observées en apprentissage supervisé, aux algorithmes RL, une hypothèse activement explorée par des laboratoires comme Google DeepMind, Meta AI et des startups humanoïdes telles que Figure, Apptronik ou 1X Technologies. Ces acteurs cherchent tous à accélérer le sim-to-real pour leurs plateformes humanoïdes, où le coût d'entraînement en conditions réelles reste prohibitif. FlashSAC n'est pas encore associé à un déploiement industriel annoncé, mais la démonstration de locomotion humanoïde en simulation suggère une applicabilité directe aux robots à deux jambes actuellement en phase de pilote chez plusieurs intégrateurs. La prochaine étape naturelle serait une validation sur hardware réel à grande échelle.

RecherchePaper

1 source

3arXiv cs.RO

Introduction à l'apprentissage par renforcement profond et par imitation

Un document de référence publié sur arXiv (identifiant 2512.08052, troisième version) propose une introduction structurée et autosuffisante au Deep Reinforcement Learning (DRL) et au Deep Imitation Learning (DIL) appliqués aux agents incarnés, c'est-à-dire aux robots et personnages virtuels capables d'agir dans un environnement physique ou simulé. L'ouvrage couvre le spectre complet, des fondations mathématiques (processus de décision markoviens) jusqu'aux algorithmes avancés : côté DRL, REINFORCE puis Proximal Policy Optimization (PPO) ; côté DIL, le Behavioral Cloning, Dataset Aggregation (DAgger) et Generative Adversarial Imitation Learning (GAIL). L'approche retenue est délibérément "depth-first" : un petit nombre d'algorithmes fondateurs traités en profondeur, plutôt qu'un panorama exhaustif du champ. Ce type de ressource pédagogique répond à un besoin concret dans l'industrie robotique : les équipes d'intégration et les laboratoires qui cherchent à embarquer des politiques de contrôle apprises se heurtent souvent à une littérature fragmentée, supposant des prérequis hétérogènes. La distinction que l'auteur opère entre DRL (apprentissage par signal de récompense, adapté aux environnements où la démonstration experte est coûteuse) et DIL (apprentissage par imitation sur des trajectoires expertes, plus direct mais plus sensible à la distribution shift) est précisément le choix d'architecture sur lequel butent aujourd'hui les équipes qui déploient des bras manipulateurs ou des robots mobiles en environnement industriel. Des algorithmes comme PPO sont devenus des briques standard dans des pipelines tels que ceux d'OpenAI, IsaacLab (NVIDIA) ou MuJoCo ; DAgger, lui, est au coeur de nombreuses approches Vision-Language-Action (VLA) récentes. Le contexte de publication est significatif : l'arXiv connaît depuis 2023 une explosion des travaux sur les agents incarnés, portée par les avancées en sim-to-real (IsaacSim, Genesis) et par les déploiements humanoïdes annoncés chez Figure AI, Physical Intelligence (pi0) ou Boston Dynamics. Ce document n'est pas un papier de recherche original mais un outil pédagogique structuré, comparable dans sa vocation aux cours de Sergey Levine (UC Berkeley) ou aux notes de David Silver (DeepMind). Sa valeur est d'offrir un accès cohérent et autonome à des méthodes dont la maîtrise conditionne directement la capacité des équipes à itérer sur des politiques de contrôle pour robots réels.

RecherchePaper

1 source

4arXiv cs.RO

COLSON : navigation sociale contrôlable par apprentissage par renforcement basé sur la diffusion

Des chercheurs proposent COLSON (Controllable Learning-based Social Navigation), une méthode de navigation sociale pour robots mobiles autonomes (AMR) en milieux piétons, fondée sur l'apprentissage par renforcement couplé à des modèles de diffusion. Publiée sur arXiv (2503.13934v2), cette étude traite d'un verrou persistant pour les robots de service : naviguer de façon fluide et socialement cohérente parmi des piétons dynamiques, sans violer leurs espaces de proximité ni générer de comportements erratiques. Les approches à base de règles telles qu'ORCA ou DWA montrent leurs limites dans les environnements denses, tandis que les méthodes de deep RL conventionnelles reposent sur des distributions gaussiennes qui contraignent la variété des trajectoires produites. COLSON contourne cette limitation en exploitant les distributions d'actions plus riches offertes par les modèles de diffusion appliqués au RL, capables de représenter des comportements multimodaux (hésiter, contourner à gauche ou à droite) que les politiques gaussiennes tendent à lisser. L'apport central de la méthode est sa capacité de généralisation à des scénarios inédits sans ré-entraînement. Dans les démonstrations présentées, le robot adapte son comportement à des obstacles statiques absents du jeu d'entraînement, ou change d'objectif pour accompagner un piéton cible tout en évitant les autres passants. Pour les intégrateurs d'AMR en milieux hospitaliers, aéroportuaires ou logistiques, cette propriété de contrôlabilité zero-shot est stratégiquement importante : elle réduit le coût de re-paramétrage à chaque nouveau site de déploiement. Elle valide aussi partiellement l'hypothèse que les diffusion models peuvent atténuer le sim-to-real gap en navigation sociale, en générant des distributions d'actions plus robustes face à l'imprévu. Le champ de la social navigation par deep RL est actif depuis une décennie, avec des travaux fondateurs comme CADRL (2017), SARL et CrowdNav. L'application des modèles de diffusion au RL dans la robotique est plus récente, s'appuyant notamment sur Diffusion Policy (Columbia/MIT, 2023) dans le domaine de la manipulation. COLSON transfère cette logique vers la planification de mouvement en espace ouvert. Il s'agit à ce stade d'un preprint académique avec validation uniquement en simulation ; aucun déploiement sur robot réel ni partenariat industriel n'est mentionné, ce qui invite à tempérer les conclusions. Les éditeurs actifs sur la navigation sociale autonome incluent Boston Dynamics, ANYbotics et Clearpath Robotics, et côté européen Enchanted Tools (France) ou PAL Robotics (Espagne) pour les robots de service. Les prochaines étapes naturelles seraient une validation en environnement réel et un benchmarking sur les datasets standardisés ETH/UCY.

UELes intégrateurs AMR européens (dont Enchanted Tools en France, PAL Robotics en Espagne) pourraient à terme bénéficier de la contrôlabilité zero-shot de COLSON pour réduire les coûts de redéploiement multi-sites, mais la méthode reste validée uniquement en simulation sans partenariat industriel déclaré.

RecherchePaper

1 source