FOCUS : contrôle du premier ordre par supervision de transport optimal pour l'imitation à partir d'observations

FOCUS (First-Order Control Using Optimal Transport Supervision) est une méthode d'apprentissage par imitation à partir d'observations, présentée dans un article déposé sur arXiv. Elle vise à reconstruire un comportement à partir de démonstrations qui ne contiennent que des états, sans actions ni correspondance temporelle connue entre l'expert et l'agent. L'approche associe un alignement local par transport optimal à un apprentissage acteur-critique différentiable sur horizon court. Les fenêtres de déroulement de l'agent sont comparées à plusieurs segments d'expert échantillonnés, via un objectif « soft best-of-K » qui favorise les appariements localement compatibles. Les coûts de transport qui en résultent servent de récompenses d'imitation différentiables, tandis qu'un critique appris propage la valeur au-delà de l'horizon de simulation. La méthode ne requiert ni trajectoires alignées dans le temps, ni initialisation alignée sur l'expert, ni « teacher forcing ». Les tests portent sur des tâches de locomotion riches en contacts dans DFlex, dont un humanoïde musculo-squelettique piloté par 152 activations musculaires.

L'enjeu est d'abord technique, mais il touche un point sensible de la robotique apprenante. Les simulateurs différentiables fournissent des gradients de politique par chemin, plus informatifs que les estimateurs classiques de l'apprentissage par renforcement. Mais dériver à travers de longues trajectoires riches en contacts rend l'optimisation instable, ce qui a limité leur usage. En se restreignant à de courts horizons et en confiant le long terme à un critique, FOCUS propose un compromis qui revendique une meilleure efficacité en échantillons et une meilleure stabilité d'entraînement que les méthodes adversariales d'imitation à partir d'observations et que les références différentiables antérieures. Pour les équipes qui disposent de vidéos ou de captures de mouvement sans étiquettes d'actions, c'est une voie plus directe vers des politiques de locomotion. Les résultats restent toutefois obtenus en simulation, sur un banc d'essai académique. Le résumé ne donne aucun chiffre de gain, et rien ne prouve encore un transfert sim-to-real.

Le contexte est celui d'un champ où l'imitation à partir d'observations s'est largement appuyée sur des approches adversariales, connues pour leur instabilité, tandis que les simulateurs différentiables comme DFlex ont surtout servi à des démonstrations de contrôle. Le recours au transport optimal pour comparer des distributions de mouvements prolonge ces travaux en leur donnant un signal de récompense lisse. Le modèle musculo-squelettique à 152 muscles est un test exigeant, mais il concerne la biomécanique et l'animation plus que les humanoïdes industriels actuels. La suite logique serait une validation sur des plateformes physiques ou sur des données issues de vidéos réelles. À ce stade, il s'agit d'une prépublication (v1), non évaluée par les pairs.