RecherchearXiv cs.RO 25 août 2026

Contrôle des systèmes autonomes aligné sur la mission et informé par l'apprentissage : formulation et fondements

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (référence 2507.04356, version 3) un article intitulé "Mission-Aligned Learning-Informed Control of Autonomous Systems: Formulation and Foundations". Le papier propose un cadre formel d'optimisation à deux niveaux pour piloter des agents physiques autonomes: robots industriels et de service, drones, dispositifs de contrôle embarqués. Les auteurs prennent comme cas d'étude stylisé la robotique d'assistance aux soins, domaine où l'approche classique repose sur une procédure d'apprentissage par renforcement (RL) à deux étages, un niveau bas décidant des mouvements physiques et un niveau haut gérant les tâches conceptuelles. Leur contribution consiste à reformuler cette architecture comme un schéma d'optimisation bi-niveau intégrant du contrôle classique au niveau bas et de la planification classique au niveau haut, le tout couplé à une capacité d'apprentissage. Aucun robot, entreprise ni chiffre de déploiement n'est cité: il s'agit d'un travail théorique posant les fondations mathématiques du cadre, sans expérimentation matérielle rapportée.

Pour l'industrie robotique, l'intérêt tient moins à une performance chiffrée qu'à la promesse de fiabilité et de sécurité physique dans des systèmes qui restent aujourd'hui largement des boîtes noires. En combinant RL, contrôle et planification symbolique plutôt que du RL de bout en bout, les auteurs visent une architecture plus interprétable, un enjeu direct pour les intégrateurs et les régulateurs devant certifier des robots évoluant près d'humains. Le travail s'inscrit dans un débat plus large du secteur: les politiques d'apprentissage à grande échelle progressent vite en démonstration, mais laissent ouvertes des questions de garantie de sécurité et d'auditabilité des décisions, souvent exigées avant un déploiement industriel réel.

Le contexte évoqué est celui d'une hausse rapide des investissements en recherche et en capital vers les agents physiques autonomes, tous secteurs confondus. Historiquement, les architectures hiérarchiques de RL à deux niveaux séparent déjà décisions motrices bas niveau et objectifs haut niveau, mais sans intégration formelle avec des méthodes de contrôle et de planification classiques, plus anciennes et mieux comprises en termes de garanties. En articulant ces trois familles de méthodes dans un seul cadre, l'article se positionne comme un travail de fondation plutôt qu'une preuve de concept appliquée, laissant à des travaux ultérieurs la validation expérimentale sur des plateformes robotiques réelles.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Contrôle de formation haute précision pour systèmes multi-robots hétérogènes via apprentissage par renforcement profond hiérarchique et hybride, informé par la physique

Des chercheurs proposent un nouveau cadre de contrôle pour la formation de flottes de robots hétérogènes, baptisé HHy-PIDRL (hierarchical hybrid physics-informed deep reinforcement learning), publié sur arXiv début juillet 2026. L'architecture repose sur deux couches. La couche supérieure gère la navigation autonome d'un robot leader à direction Ackermann via un algorithme Soft Actor-Critic (SAC), une méthode de deep reinforcement learning reconnue pour sa stabilité d'entraînement. La couche inférieure combine trois briques pour les robots suiveurs omnidirectionnels : un contrôleur physique feed-forward haute-fidélité, un correcteur proportionnel-dérivé (PD) classique, et un contrôleur résiduel adaptatif par apprentissage par renforcement, l'ensemble formant une politique hybride baptisée HM-DRL. Une fonction de récompense hiérarchique spécifique a été conçue pour guider l'apprentissage des suiveurs vers une politique de contrôle stable et affinée. Selon les auteurs, les taux de réussite atteignent 100% aussi bien pour la navigation du leader que pour le maintien de formation des suiveurs, des résultats validés par des expériences d'ablation. Ce travail s'attaque à un problème concret pour l'industrie robotique multi-agents : les méthodes de contrôle classiques exigent des modèles physiques précis et tiennent mal face aux incertitudes de modélisation et aux perturbations externes, tandis que les approches de reinforcement learning bout-en-bout souffrent traditionnellement d'une faible efficacité d'échantillonnage et de convergences instables. En hybridant modèle physique et apprentissage résiduel, l'équipe cherche à concilier la robustesse théorique du contrôle classique avec l'adaptabilité du RL, un enjeu direct pour les opérateurs de flottes de robots mobiles autonomes (AMR) en entrepôt ou en logistique, où l'hétérogénéité des plateformes (Ackermann versus omnidirectionnel) complique la coordination de formation. Cette publication s'inscrit dans une lignée de recherches visant à combiner physics-informed learning et RL pour dépasser les limites respectives des approches purement analytiques ou purement data-driven, une tendance déjà explorée pour la locomotion de robots humanoïdes et le contrôle de bras manipulateurs. Les auteurs annoncent des expériences d'ablation pour isoler la contribution de chaque module, mais les résultats à 100% de réussite, obtenus en simulation selon toute vraisemblance, restent à confirmer en conditions réelles avant tout déploiement industriel.

RecherchePaper

1 source

2arXiv cs.RO

IA incarnée et prédictive : le contrôle par apprentissage sûr pour les systèmes robotiques ego-monde

Des chercheurs proposent SOWL-MPC, une méthode de contrôle prédictif sûr conçue pour un nouveau scénario baptisé "ego-world robotic framework": un robot ego doit naviguer aux côtés d'un autre robot ("world robot") dont la politique de contrôle est totalement inconnue. Plutôt que de supposer un comportement prévisible chez l'autre agent, comme le font la plupart des méthodes existantes, l'approche combine un mécanisme d'apprentissage en ligne basé sur des processus gaussiens variationnels épars (SVGP) avec un schéma de contrôle à horizon glissant. À partir de simples mesures d'état bruitées, le système infère une distribution postérieure sur la politique latente du robot tiers, mise à jour en continu via un conditionnement variationnel en ligne (OVC), puis propagée dans la dynamique non linéaire du système via un schéma approché de propagation des moments, avant d'alimenter un contrôleur prédictif (MPC) sensible à l'incertitude. La méthode a été testée lors de campagnes Monte Carlo en simulation sous ROS 2, puis validée sur du matériel robotique réel dans une arène intérieure. Il s'agit d'un article de recherche déposé sur arXiv (2607.22225v1), pas d'un produit commercialisé. L'enjeu dépasse l'exercice académique: dans les entrepôts, les usines ou les espaces partagés où circulent plusieurs robots mobiles (AMR) ou humanoïdes issus de flottes ou de fabricants différents, un robot ne connaît généralement pas la politique de contrôle exacte des autres agents évoluant autour de lui. Les méthodes de navigation sûre reposent le plus souvent sur des hypothèses simplificatrices, modèles cinématiques fixes, comportements connus à l'avance, qui s'effondrent dès que l'environnement devient hétérogène. Une approche capable d'apprendre en ligne le comportement d'un agent inconnu tout en garantissant des marges de sécurité formelles répond directement à ce point de friction, potentiellement utile pour l'intégration de flottes multi-fournisseurs. Le travail s'inscrit dans la lignée des recherches combinant processus gaussiens et contrôle prédictif pour la navigation sûre, un axe actif depuis plusieurs années en robotique mobile et en interaction homme-robot. La validation reste toutefois limitée à une arène intérieure contrôlée: le passage à des environnements réels plus complexes, avec davantage d'agents ou des dynamiques plus rapides, constitue la prochaine étape logique avant tout usage industriel.

RecherchePaper

1 source

3arXiv cs.RO

Stabilité de l'apprentissage par renforcement guidé par fonction de Lyapunov de contrôle

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv (arXiv:2605.01978) une analyse théorique de la stabilité des politiques de contrôle issues du reinforcement learning (RL) appliqué à la locomotion humanoïde. Le cœur du travail porte sur la technique dite CLF-RL, qui consiste à construire les fonctions de récompense du RL à partir de fonctions de Lyapunov de contrôle (Control Lyapunov Functions, CLF), un outil classique de la théorie du contrôle. Les auteurs démontrent formellement la stabilité exponentielle des contrôleurs optimaux résultants, aussi bien en temps continu qu'en temps discret, en traitant le problème RL comme un problème de commande optimale. Les résultats sont vérifiés numériquement sur des systèmes de référence académiques (double intégrateur, cart-pole), puis les récompenses guidées par CLF sont appliquées à un robot humanoïde marchant pour générer des orbites périodiques stables. Ce travail comble un écart critique entre la pratique et la théorie dans le domaine de la robotique humanoïde. Le RL est aujourd'hui la méthode dominante pour faire marcher des humanoïdes, avec des déploiements chez Figure, Tesla, Agility Robotics ou encore Unitree, mais ces systèmes manquent de garanties de stabilité formelles, ce qui freine leur certification pour des environnements industriels ou la cohabitation humain-robot. Prouver la stabilité exponentielle, c'est-à-dire démontrer que le système converge vers sa trajectoire cible à un taux borné même après une perturbation, est un résultat nettement plus fort que la simple stabilité au sens de Lyapunov. Pour un intégrateur ou un COO industriel, cela ouvre la voie à une qualification plus rigoureuse des systèmes RL en production. La CLF-RL s'inscrit dans un courant académique plus large qui tente de réconcilier l'efficacité empirique du RL avec la rigueur de la théorie du contrôle, un programme de recherche actif depuis les travaux sur la Control Barrier Function (CBF) et les approches de type safety-critical control. Face aux approches purement model-based (Boston Dynamics) ou au RL non guidé (Agility, Figure Gen-2), la CLF-RL propose une voie intermédiaire. Ce papier reste une contribution théorique et de simulation, sans déploiement matériel annoncé sur un humanoïde commercial, et la généralisation à des dynamiques complètes à haute dimension (32 DOF et plus) reste un défi ouvert.

UECes garanties formelles de stabilité exponentielle pourraient alimenter les futurs cadres de certification des humanoïdes en environnement industriel européen (AI Act, normes IEC 61508), mais aucun acteur français ou européen n'est impliqué dans ces travaux.

RecherchePaper

1 source

4arXiv cs.RO

DiSA-IQL : apprentissage par renforcement hors ligne pour un contrôle robuste des robots souples face aux changements de distribution

Les robots serpents mous, capables de se faufiler et de se plier dans des environnements complexes grâce à leur structure flexible, restent difficiles à piloter car leur dynamique est fortement non linéaire et échappe aux modèles simplifiés utilisés par les contrôleurs classiques ou bio-inspirés. Une équipe de recherche propose DiSA-IQL (Distribution-Shift-Aware Implicit Q-Learning), une extension de l'algorithme d'apprentissage par renforcement hors ligne IQL, décrite dans une version révisée d'un article publié sur arXiv (identifiant 2510.00358v2). La méthode ajoute une pénalité sur les paires état-action jugées peu fiables afin de limiter la dégradation de performance causée par le décalage de distribution, un problème classique de l'apprentissage hors ligne où l'agent doit généraliser à partir d'un jeu de données figé sans pouvoir interagir en temps réel avec l'environnement. Les auteurs testent DiSA-IQL sur des tâches d'atteinte d'objectif, en distribution et hors distribution, uniquement en simulation, et rapportent des taux de réussite supérieurs, des trajectoires plus lisses et une robustesse accrue par rapport à trois références : le clonage comportemental (BC), Conservative Q-Learning (CQL) et l'IQL standard. L'enjeu dépasse le seul cas des robots serpents. L'apprentissage en ligne sur du matériel réel est coûteux et risqué pour des structures souples fragiles, ce qui pousse la recherche vers des méthodes hors ligne capables d'exploiter des jeux de données pré-collectés sans dégrader leurs performances face à des situations inédites. Si les résultats se confirment au-delà de la simulation, ils renforceraient la viabilité de pipelines d'apprentissage hors ligne pour des classes de robots à dynamique difficile à modéliser, un enjeu direct pour les intégrateurs qui cherchent à déployer des systèmes souples sans multiplier les essais physiques coûteux. Le travail s'inscrit dans la lignée directe d'IQL et de CQL, deux méthodes de référence en RL hors ligne conservateur, que les auteurs utilisent comme bases de comparaison plutôt que comme simples antécédents théoriques. Il reste à ce stade purement académique et simulé : aucune validation sur robot physique n'est rapportée, et l'article ne mentionne ni partenaire industriel ni calendrier de transfert vers du matériel réel.

RecherchePaper

1 source