L'apprentissage par renforcement régularisé améliore le transfert simulation-réel

Des chercheurs proposent Soft MellowMax Actor-Critic (SMM-AC), un algorithme d'apprentissage par renforcement (RL) régularisé fondé sur la fonction de valeur « soft mellowmax ». Ils l'ont conçu pour mesurer ce que la régularisation apporte au transfert de la simulation vers le robot réel (sim-to-real). Sur les benchmarks de contrôle continu MuJoCo, SMM-AC reste compétitif face à des références comme Soft Actor-Critic (SAC). Sur robots physiques, il obtient un meilleur retour cumulé que les algorithmes de comparaison. Il se montre aussi plus robuste aux perturbations des observations, de l'environnement et de la dynamique. Le résumé de l'étude, publiée sur arXiv en version 1, ne donne ni chiffres précis, ni plateformes robotiques testées, ni nombre d'essais. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel associé.

L'intérêt tient à un décalage persistant entre théorie et pratique. Les méthodes de RL régularisé offrent des garanties de robustesse démontrées, qui devraient faciliter le passage au réel. Pourtant, la plupart des pipelines sim-to-real restent construits sur PPO (Proximal Policy Optimisation), faiblement régularisé, sans preuve claire que la régularisation paie sur du matériel réel. Si ces résultats se confirment, ils donneraient aux équipes de locomotion et de manipulation un argument empirique pour revoir ce choix par défaut, surtout quand les conditions de terrain varient (usure, charge, bruit capteur). Pour un intégrateur, la robustesse aux écarts de dynamique pèse souvent plus que la performance maximale en simulation. Le manque de détails quantitatifs impose toutefois de la prudence : sans robots, tâches et marges d'écart précisés, l'ampleur du gain reste invérifiable.

Le contexte est celui d'une course où les politiques apprises en simulation, souvent par PPO à grande échelle sur GPU, pilotent la locomotion des humanoïdes et des quadrupèdes. SAC et ses variantes dominent l'alternative « off-policy », plus économe en données, mais sont moins employés pour le transfert. SMM-AC se place entre ces deux familles en cherchant à combiner performance et garanties de robustesse. La suite logique serait une validation sur des plateformes complexes, comme des humanoïdes à nombreux degrés de liberté, et une comparaison directe avec les pipelines industriels actuels. Aucun calendrier ni partenariat n'est annoncé.