∇Mimic : contrôle ultra-efficace de robots humanoïdes par simulation différentiable

Des chercheurs publient ∇Mimic, une méthode d'apprentissage de politiques pour humanoïdes qui s'appuie sur les gradients exacts du simulateur plutôt que sur des méthodes dites d'ordre zéro comme PPO, lesquelles traitent le simulateur en boîte noire et exigent des volumes d'échantillons considérables. Le travail s'accompagne de NablaEngine, un moteur de simulation GPU différentiable pour le Unitree G1. Il reproduit la dynamique de contact complète de MuJoCo avec des noyaux fusionnés par monde simulé, et calcule l'adjoint d'un pas de contrôle entier dans un unique mégakernel. Ses gradients analytiques concordent avec des différences finies en float64 et sont 11,5 fois plus rapides que l'adjoint MuJoCo Warp disponible. Sur le suivi de mouvement corps entier des 40 clips LAFAN1, avec une seule politique sur un seul GPU, ∇Mimic atteint le score de 0,82, celui rapporté par la méthode de référence à base de modèle du monde, en 20 minutes au lieu de 1,2 heure, puis 0,874 en 1,8 heure. La base de référence de premier ordre SHAC, elle, s'arrête en quelques minutes sur des gradients qui explosent. Le code est publié en open source.

L'enjeu tient à ce que la différentiation à travers la physique de contact passait jusqu'ici pour impraticable sur le contrôle corps entier : les gradients y divergent, car la dynamique de contact n'est pas différentiable partout et sa dérivée diverge près de certains événements. Les auteurs affirment que les gradients exacts du simulateur surpassent les gradients de substitution d'un modèle appris, une hypothèse que la méthode concurrente à base de modèle du monde avait contournée. Leur parade est double : un écrêtage des gradients par échantillon, relatif à la médiane, appliqué à chaque étape de la passe arrière, puis une régression multi-pas sur des cibles d'action dérivées des gradients, qui réutilise chaque fenêtre de simulation coûteuse et borne chaque cible indépendamment de l'échelle des gradients. Pour un laboratoire ou un intégrateur, passer de plus d'une heure à vingt minutes sur un GPU change le rythme d'itération. Les réserves sont toutefois nettes : il s'agit d'un preprint (arXiv, version 1) non évalué par les pairs, les résultats portent sur la simulation uniquement et sur un seul benchmark de suivi de mouvement, sans transfert vers un robot réel ni tâches de manipulation ou de locomotion sur terrain varié.

Le contexte est celui d'un apprentissage par renforcement humanoïde dominé par PPO, coûteux en échantillons, malgré des politiques de suivi de mouvement désormais courantes sur le G1, plateforme d'étude très répandue. Les méthodes de premier ordre existantes, dont SHAC, échouaient sur le contact riche, ce qui avait poussé vers les modèles du monde appris. Le résultat s'inscrit dans l'écosystème MuJoCo et sa déclinaison GPU, MuJoCo Warp, que NablaEngine dépasse sur le calcul d'adjoint. Les suites à surveiller sont la reproduction indépendante des scores, l'extension à d'autres morphologies et tâches, et surtout la preuve du transfert sim-to-real, seul juge de paix pour les équipes qui déploient des humanoïdes.