Quand, où et quoi corriger : correction résiduelle adaptative guidée par l'humain pour les politiques robotiques

Des chercheurs proposent Adaptive Residual Correction (ARC), un module léger de post-entraînement qui apprend, par apprentissage par renforcement (RL), une correction résiduelle appliquée par-dessus une politique d'imitation figée. Le point de départ est un échec fréquent en manipulation de précision: une politique exécute correctement l'essentiel d'une trajectoire mais échoue dans une zone localisée qui demande une précision de dernier centimètre. ARC s'appuie sur quelques corrections humaines éparses, mais ne les traite pas comme des cibles d'imitation. Les états précédant l'intervention déterminent quand la commande résiduelle s'active. La géométrie de la correction définit où, dans l'espace des actions résiduelles, l'exploration autonome doit se concentrer. La récompense de la tâche décide enfin quel résiduel est réellement exécuté. Sur trois tâches de manipulation de précision avec un robot réel, le taux de succès moyen passe de 33,3 % à 75,0 %. Les corrections humaines définissent des sous-espaces de dimension 2 à 3 au sein de l'espace résiduel à sept articulations, et ces sous-espaces conservent 96,0 à 97,7 % de la magnitude quadratique des corrections.

L'intérêt pour l'industrie tient à la manière dont le problème est posé. Réentraîner une politique entière, ou laisser du RL explorer des actions résiduelles partout, traite un défaut local comme un problème d'apprentissage global, ce qui coûte cher en données et en temps robot. Ici, la politique de base reste intacte, ce qui limite le risque de régression sur les parties de la tâche qui fonctionnaient déjà. Pour un intégrateur, c'est un schéma de mise au point sur site: déployer une politique générique, puis la corriger uniquement là où elle échoue, avec peu d'interventions d'un opérateur. Le résultat sur les sous-espaces suggère aussi que les corrections humaines sont très redondantes et peuvent réduire fortement la dimension de l'exploration, d'où une meilleure efficacité d'échantillonnage.

Il faut toutefois tempérer. Les résultats portent sur trois tâches et un seul robot à sept articulations, sans indication, dans le résumé, du nombre d'essais, de la variance ni de la comparaison avec d'autres méthodes de correction résiduelle ou d'apprentissage interactif. Un taux de 75 % reste très inférieur aux exigences d'une cadence industrielle. Le travail s'inscrit dans la lignée des approches de RL résiduel et d'apprentissage interactif avec intervention humaine, qui cherchent à combler l'écart entre la précision des politiques d'imitation et celle exigée en production. Il s'agit ici d'un préprint arXiv, sans produit ni déploiement annoncé. Les prochaines étapes à surveiller sont la validation sur des politiques généralistes de type VLA (vision-langage-action), sur des tâches plus longues, et avec des mesures de robustesse et de coût en interventions humaines.