RecherchearXiv cs.RO 25 août 2026

Contrôle des systèmes autonomes aligné sur la mission et informé par l'apprentissage : formulation et fondements

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (référence 2507.04356, version 3) un article intitulé "Mission-Aligned Learning-Informed Control of Autonomous Systems: Formulation and Foundations". Le papier propose un cadre formel d'optimisation à deux niveaux pour piloter des agents physiques autonomes: robots industriels et de service, drones, dispositifs de contrôle embarqués. Les auteurs prennent comme cas d'étude stylisé la robotique d'assistance aux soins, domaine où l'approche classique repose sur une procédure d'apprentissage par renforcement (RL) à deux étages, un niveau bas décidant des mouvements physiques et un niveau haut gérant les tâches conceptuelles. Leur contribution consiste à reformuler cette architecture comme un schéma d'optimisation bi-niveau intégrant du contrôle classique au niveau bas et de la planification classique au niveau haut, le tout couplé à une capacité d'apprentissage. Aucun robot, entreprise ni chiffre de déploiement n'est cité: il s'agit d'un travail théorique posant les fondations mathématiques du cadre, sans expérimentation matérielle rapportée.

Pour l'industrie robotique, l'intérêt tient moins à une performance chiffrée qu'à la promesse de fiabilité et de sécurité physique dans des systèmes qui restent aujourd'hui largement des boîtes noires. En combinant RL, contrôle et planification symbolique plutôt que du RL de bout en bout, les auteurs visent une architecture plus interprétable, un enjeu direct pour les intégrateurs et les régulateurs devant certifier des robots évoluant près d'humains. Le travail s'inscrit dans un débat plus large du secteur: les politiques d'apprentissage à grande échelle progressent vite en démonstration, mais laissent ouvertes des questions de garantie de sécurité et d'auditabilité des décisions, souvent exigées avant un déploiement industriel réel.

Le contexte évoqué est celui d'une hausse rapide des investissements en recherche et en capital vers les agents physiques autonomes, tous secteurs confondus. Historiquement, les architectures hiérarchiques de RL à deux niveaux séparent déjà décisions motrices bas niveau et objectifs haut niveau, mais sans intégration formelle avec des méthodes de contrôle et de planification classiques, plus anciennes et mieux comprises en termes de garanties. En articulant ces trois familles de méthodes dans un seul cadre, l'article se positionne comme un travail de fondation plutôt qu'une preuve de concept appliquée, laissant à des travaux ultérieurs la validation expérimentale sur des plateformes robotiques réelles.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Contrôle de formation haute précision pour systèmes multi-robots hétérogènes via apprentissage par renforcement profond hiérarchique et hybride, informé par la physique

Des chercheurs proposent un nouveau cadre de contrôle pour la formation de flottes de robots hétérogènes, baptisé HHy-PIDRL (hierarchical hybrid physics-informed deep reinforcement learning), publié sur arXiv début juillet 2026. L'architecture repose sur deux couches. La couche supérieure gère la navigation autonome d'un robot leader à direction Ackermann via un algorithme Soft Actor-Critic (SAC), une méthode de deep reinforcement learning reconnue pour sa stabilité d'entraînement. La couche inférieure combine trois briques pour les robots suiveurs omnidirectionnels : un contrôleur physique feed-forward haute-fidélité, un correcteur proportionnel-dérivé (PD) classique, et un contrôleur résiduel adaptatif par apprentissage par renforcement, l'ensemble formant une politique hybride baptisée HM-DRL. Une fonction de récompense hiérarchique spécifique a été conçue pour guider l'apprentissage des suiveurs vers une politique de contrôle stable et affinée. Selon les auteurs, les taux de réussite atteignent 100% aussi bien pour la navigation du leader que pour le maintien de formation des suiveurs, des résultats validés par des expériences d'ablation. Ce travail s'attaque à un problème concret pour l'industrie robotique multi-agents : les méthodes de contrôle classiques exigent des modèles physiques précis et tiennent mal face aux incertitudes de modélisation et aux perturbations externes, tandis que les approches de reinforcement learning bout-en-bout souffrent traditionnellement d'une faible efficacité d'échantillonnage et de convergences instables. En hybridant modèle physique et apprentissage résiduel, l'équipe cherche à concilier la robustesse théorique du contrôle classique avec l'adaptabilité du RL, un enjeu direct pour les opérateurs de flottes de robots mobiles autonomes (AMR) en entrepôt ou en logistique, où l'hétérogénéité des plateformes (Ackermann versus omnidirectionnel) complique la coordination de formation. Cette publication s'inscrit dans une lignée de recherches visant à combiner physics-informed learning et RL pour dépasser les limites respectives des approches purement analytiques ou purement data-driven, une tendance déjà explorée pour la locomotion de robots humanoïdes et le contrôle de bras manipulateurs. Les auteurs annoncent des expériences d'ablation pour isoler la contribution de chaque module, mais les résultats à 100% de réussite, obtenus en simulation selon toute vraisemblance, restent à confirmer en conditions réelles avant tout déploiement industriel.

RecherchePaper

1 source

2arXiv cs.RO

IA incarnée et prédictive : le contrôle par apprentissage sûr pour les systèmes robotiques ego-monde

Des chercheurs proposent SOWL-MPC, une méthode de contrôle prédictif sûr conçue pour un nouveau scénario baptisé "ego-world robotic framework": un robot ego doit naviguer aux côtés d'un autre robot ("world robot") dont la politique de contrôle est totalement inconnue. Plutôt que de supposer un comportement prévisible chez l'autre agent, comme le font la plupart des méthodes existantes, l'approche combine un mécanisme d'apprentissage en ligne basé sur des processus gaussiens variationnels épars (SVGP) avec un schéma de contrôle à horizon glissant. À partir de simples mesures d'état bruitées, le système infère une distribution postérieure sur la politique latente du robot tiers, mise à jour en continu via un conditionnement variationnel en ligne (OVC), puis propagée dans la dynamique non linéaire du système via un schéma approché de propagation des moments, avant d'alimenter un contrôleur prédictif (MPC) sensible à l'incertitude. La méthode a été testée lors de campagnes Monte Carlo en simulation sous ROS 2, puis validée sur du matériel robotique réel dans une arène intérieure. Il s'agit d'un article de recherche déposé sur arXiv (2607.22225v1), pas d'un produit commercialisé. L'enjeu dépasse l'exercice académique: dans les entrepôts, les usines ou les espaces partagés où circulent plusieurs robots mobiles (AMR) ou humanoïdes issus de flottes ou de fabricants différents, un robot ne connaît généralement pas la politique de contrôle exacte des autres agents évoluant autour de lui. Les méthodes de navigation sûre reposent le plus souvent sur des hypothèses simplificatrices, modèles cinématiques fixes, comportements connus à l'avance, qui s'effondrent dès que l'environnement devient hétérogène. Une approche capable d'apprendre en ligne le comportement d'un agent inconnu tout en garantissant des marges de sécurité formelles répond directement à ce point de friction, potentiellement utile pour l'intégration de flottes multi-fournisseurs. Le travail s'inscrit dans la lignée des recherches combinant processus gaussiens et contrôle prédictif pour la navigation sûre, un axe actif depuis plusieurs années en robotique mobile et en interaction homme-robot. La validation reste toutefois limitée à une arène intérieure contrôlée: le passage à des environnements réels plus complexes, avec davantage d'agents ou des dynamiques plus rapides, constitue la prochaine étape logique avant tout usage industriel.

RecherchePaper

1 source

3arXiv cs.RO

Au-delà de l'alignement de politique : boucler la planification et l'apprentissage pour le contrôle de robots avec des modèles du monde appris

Des chercheurs proposent PL-MPC (Planning-Learning MPC), une évolution de TD-MPC, la famille de méthodes qui combine un modèle du monde appris, une optimisation de trajectoire en ligne (MPPI) et des fonctions de valeur et de politique apprises. Trois modifications sont introduites, sans toucher à l'architecture du modèle du monde ni à l'optimiseur. Des cibles TD multi-étapes hybrides exposent le critique à davantage de récompenses réellement observées avant le bootstrap. Une estimation de valeur terminale sensible au désaccord entre critiques réduit le poids des valeurs incertaines pendant la planification. Enfin, une distillation de l'acteur pondérée par le retour privilégie les actions exécutées par le planificateur dans les épisodes les plus rentables. Sur HumanoidBench, le Total Average Return passe de 98±18 à 387±255 sur balance-hard, et de 199±13 à 466±200 sur hurdle. Les résultats restent dépendants de la tâche sur le reste du benchmark, et la méthode demeure compétitive sur DMControl. Un test de transfert sim-to-real zero-shot est réalisé sur l'alignement d'un écrou avec une clé, avec un bras KUKA IIWA14 à 7 DoF. Le taux de succès observé est supérieur à celui de TD-M(PC)^2, pour la taille d'objet d'entraînement et deux tailles inédites. Code et données doivent être publiés ultérieurement. L'intérêt tient à la manière dont le problème est posé. Le planificateur génère les données dont le critique et l'acteur apprennent, et ceux-ci notent et proposent à leur tour les plans futurs : les erreurs de valeur peuvent donc se renforcer d'un cycle à l'autre. Les variantes précédentes se contentaient d'aligner la politique sur le comportement du planificateur. PL-MPC traite aussi la supervision du critique et la valeur terminale, ce qui suggère que les gains viennent de la boucle entière plutôt que d'un seul composant. Il faut toutefois lire les chiffres avec prudence. Les écarts-types sont très larges (387±255, 466±200), les gains se concentrent sur deux tâches, et les ablations montrent que les composants interagissent différemment d'une tâche à l'autre. Le test sim-to-real reste un seul scénario sur bras fixe, sans aucune mesure sur un humanoïde réel : il ne dit rien du passage à l'échelle sur des robots à corps entier. Ce travail prolonge TD-MPC et TD-MPC2, références du contrôle basé sur modèle du monde pour les systèmes de grande dimension, ainsi que TD-M(PC)^2, variante contrainte par la politique qui sert ici de point de comparaison direct. Il se positionne en recherche amont, à distance des approches VLA généralistes (Pi-0, GR00T, Helix) qui dominent les annonces industrielles. HumanoidBench reste un banc d'essai simulé, et un transfert réussi sur un bras industriel ne garantit pas la robustesse sur un humanoïde. La suite dépendra de la publication du code et des données annoncés sur pl-mpc-humanoid.github.io, puis d'éventuelles validations sur matériel humanoïde.

RecherchePaper

1 source

4arXiv cs.RO

Stabilité de l'apprentissage par renforcement guidé par fonction de Lyapunov de contrôle

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv (arXiv:2605.01978) une analyse théorique de la stabilité des politiques de contrôle issues du reinforcement learning (RL) appliqué à la locomotion humanoïde. Le cœur du travail porte sur la technique dite CLF-RL, qui consiste à construire les fonctions de récompense du RL à partir de fonctions de Lyapunov de contrôle (Control Lyapunov Functions, CLF), un outil classique de la théorie du contrôle. Les auteurs démontrent formellement la stabilité exponentielle des contrôleurs optimaux résultants, aussi bien en temps continu qu'en temps discret, en traitant le problème RL comme un problème de commande optimale. Les résultats sont vérifiés numériquement sur des systèmes de référence académiques (double intégrateur, cart-pole), puis les récompenses guidées par CLF sont appliquées à un robot humanoïde marchant pour générer des orbites périodiques stables. Ce travail comble un écart critique entre la pratique et la théorie dans le domaine de la robotique humanoïde. Le RL est aujourd'hui la méthode dominante pour faire marcher des humanoïdes, avec des déploiements chez Figure, Tesla, Agility Robotics ou encore Unitree, mais ces systèmes manquent de garanties de stabilité formelles, ce qui freine leur certification pour des environnements industriels ou la cohabitation humain-robot. Prouver la stabilité exponentielle, c'est-à-dire démontrer que le système converge vers sa trajectoire cible à un taux borné même après une perturbation, est un résultat nettement plus fort que la simple stabilité au sens de Lyapunov. Pour un intégrateur ou un COO industriel, cela ouvre la voie à une qualification plus rigoureuse des systèmes RL en production. La CLF-RL s'inscrit dans un courant académique plus large qui tente de réconcilier l'efficacité empirique du RL avec la rigueur de la théorie du contrôle, un programme de recherche actif depuis les travaux sur la Control Barrier Function (CBF) et les approches de type safety-critical control. Face aux approches purement model-based (Boston Dynamics) ou au RL non guidé (Agility, Figure Gen-2), la CLF-RL propose une voie intermédiaire. Ce papier reste une contribution théorique et de simulation, sans déploiement matériel annoncé sur un humanoïde commercial, et la généralisation à des dynamiques complètes à haute dimension (32 DOF et plus) reste un défi ouvert.

UECes garanties formelles de stabilité exponentielle pourraient alimenter les futurs cadres de certification des humanoïdes en environnement industriel européen (AI Act, normes IEC 61508), mais aucun acteur français ou européen n'est impliqué dans ces travaux.

RecherchePaper

1 source