RACE : notation cumulative calibrée pour la sélection de points de contrôle de politiques robotiques sans déploiement

Des chercheurs proposent RACE, une métrique de sélection de checkpoints pour politiques robotiques apprises, qui ne nécessite aucun déploiement réel (« rollout-free »). Le problème visé est concret: mesurer le taux de réussite d'une tâche pour chaque checkpoint candidat exige des essais coûteux sur robot. L'alternative usuelle, la perte de validation moyenne, donne des classements parfois incohérents avec la performance réelle. RACE s'appuie sur un jeu fixe de trajectoires réussies mises de côté. Elle compare chaque action prédite à un seuil conditionné par l'état, calculé à partir des écarts d'actions observés dans des états similaires de ces trajectoires. Les scores sont agrégés par un produit cumulatif glissant, puis moyennés dans le temps et sur l'ensemble des trajectoires pour donner le score du checkpoint. En simulation, RACE surpasse les méthodes de référence selon les sources de validation, alors que plusieurs d'entre elles se dégradent fortement quand le jeu de validation change. Sur robots réels, ses classements concordent avec le succès en déploiement pour plusieurs architectures de politiques et des tâches de difficulté variable. Le résumé ne précise ni le nombre de robots, ni les tâches, ni les gains chiffrés.

L'enjeu pour les équipes qui entraînent des politiques (VLA ou politiques de diffusion) est très pratique: le choix du checkpoint final reste souvent fondé sur des essais manuels ou sur une perte de validation mal corrélée au succès. Réduire le nombre de rollouts réels diminue le coût d'itération, ce qui compte pour les intégrateurs qui adaptent des politiques à de nouveaux postes. Les auteurs identifient deux défauts de la perte moyenne. Elle pénalise tout écart d'action, sans distinguer ceux dont la politique peut se rattraper. Elle donne aussi un poids égal aux prédictions tardives, alors qu'une dérive précoce rend le reste de la trajectoire de référence peu pertinent. Les analyses par perturbation montrent que RACE distingue des écarts aux effets très différents sur la réussite, là où les références réagissent de façon similaire. La robustesse au changement de jeu de validation est un point utile, car elle limite la dépendance à un choix de données arbitraire. Reste à vérifier la portée: il s'agit d'un préprint, sans réplication indépendante, et la corrélation avec le déploiement n'a été montrée que sur les politiques et tâches évaluées.

Ce travail s'inscrit dans le problème, ancien en apprentissage par imitation, du décalage entre la perte hors ligne et la performance en boucle fermée. Cet écart tient notamment à l'accumulation d'erreurs et au décalage de distribution, que l'on observe depuis les travaux sur le clonage de comportement. La communauté a multiplié les politiques généralistes à grande échelle, ce qui rend la sélection de checkpoints plus coûteuse, chaque évaluation réelle mobilisant du temps robot et des opérateurs. Les alternatives incluent l'évaluation en simulation, les modèles du monde servant d'évaluateurs, ou des métriques proxy, que RACE cherche à compléter sans environnement simulé. Le préprint arXiv 2611.05838 en est à sa première version. Les prochaines étapes probables sont la validation sur des politiques plus grandes, des tâches de manipulation longue et des données multi-embodiments, ainsi que la publication éventuelle du code.