Introduction aux techniques d'optimisation d'ordre zéro pour la robotique

Les techniques d'optimisation d'ordre zéro, qui n'utilisent que des évaluations de la fonction de coût sans en calculer le gradient, gagnent en popularité en robotique. Un tutoriel mathématique publié sur arXiv (2506.22087, troisième version révisée) en propose une présentation structurée centrée sur la recherche aléatoire (random search). Les auteurs affirment que cette approche offre une grille de lecture simple et unificatrice pour un large éventail d'algorithmes déjà utilisés dans le domaine. À partir de ce cadre, ils classent de nombreuses méthodes d'optimisation de trajectoire sous un formalisme commun et en dérivent de nouveaux algorithmes d'apprentissage par renforcement (RL) présentés comme compétitifs. Il s'agit d'un travail académique : le résumé disponible ne mentionne ni robot, ni déploiement, ni benchmark chiffré.

L'intérêt pratique tient aux deux propriétés mises en avant : ces méthodes tolèrent les fonctions non différentiables et peuvent échapper aux minima locaux. Or ces situations sont fréquentes en robotique réelle, par exemple avec des contacts, des frottements, des discontinuités ou des simulateurs en boîte noire, où les méthodes à gradient sont fragiles ou exigent des approximations lissées. Pour un ingénieur ou un intégrateur, un cadre unifié aide à comparer des planificateurs de type échantillonnage (comme MPPI ou CEM) et des stratégies d'optimisation de politiques, au lieu de les traiter comme des familles disjointes. Il faut toutefois rester prudent : la compétitivité des nouveaux algorithmes RL n'est qu'affirmée dans le résumé, et le coût en nombre d'évaluations, souvent élevé pour l'ordre zéro, ainsi que le passage à l'échelle sur des politiques de grande dimension restent à vérifier dans le texte complet.

Ce travail s'inscrit dans le retour d'intérêt pour l'échantillonnage massivement parallèle, rendu praticable par les simulateurs accélérés sur GPU, qui réduisent le coût des évaluations. Il se place en alternative ou en complément des approches par gradient (différentiation de simulateur, policy gradient) et des méthodes d'apprentissage par imitation ou de modèles VLA, qui dominent aujourd'hui l'actualité des humanoïdes. Le statut est celui d'une préprint révisée : aucun produit ni déploiement n'est annoncé. La suite dépendra de la reprise de ce formalisme par les équipes de recherche et de son éventuelle intégration dans des bibliothèques de contrôle ouvertes.