Evo-RL : apprentissage par renforcement itératif pour robots à partir d'expériences sélectionnées

Une nouvelle méthode d'apprentissage par renforcement (RL) en conditions réelles, baptisée Evo-RL, est décrite dans un preprint arXiv (2610.13345). Elle améliore une politique de manipulation de façon itérative en combinant interventions humaines et sélection de l'expérience guidée par l'avantage. Au lieu de réinjecter tout ce que le robot a accumulé, la politique est affinée à partir des corrections humaines et des seules trajectoires réussies dont l'avantage estimé est positif. Les auteurs partent du constat que même une trajectoire réussie peut contenir des comportements inefficaces ou redondants. Ils publient aussi RW-RL-Dataset, qui dépasse 1 000 heures de données sur quatre morphologies de robots. Sur une tâche réelle de manipulation de haute précision, le taux de succès par tentative progresse de 30,46 % face à RECAP. Le code, les checkpoints et le jeu de données sont ouverts. Le résumé ne dit pas si ce gain est exprimé en points ou en relatif, ni combien d'essais le sous-tendent.

L'enjeu est de savoir où se situe la valeur dans les données de RL réel. Le goulot d'étranglement des déploiements est souvent le temps de supervision humaine et de collecte, pas la puissance de calcul. Une méthode qui trie l'expérience, et ne retient que ce qui améliore vraiment la politique, vise à réduire ce coût. Elle conteste aussi l'idée qu'une rollout réussie est forcément une bonne donnée d'entraînement. La prudence reste de mise, car le chiffre phare provient d'une seule tâche et d'un seul comparatif. La diversité de plateformes du dataset suggère une ambition de généralité, mais celle-ci reste à démontrer sur d'autres tâches et d'autres équipes. La publication complète du code et des poids permet justement cette vérification indépendante, ce qui est rare dans un domaine où les laboratoires industriels publient peu.

RECAP, la référence battue ici, a été introduite par Physical Intelligence avec son modèle pi*0.6. Elle conditionne la politique sur l'avantage pour apprendre à la fois de démonstrations, de corrections humaines et de rollouts autonomes. Evo-RL se présente comme une évolution de cette lignée, centrée sur la sélectivité. Il s'agit d'un travail académique en preprint, sans produit ni pilote industriel annoncé. Les prochaines étapes à surveiller sont les réplications externes, les tests sur des tâches à horizon plus long et l'application à de grands modèles vision-langage-action (VLA). Les intégrateurs y trouveront surtout une piste pour améliorer en continu un robot déjà déployé, avec moins d'heures de téléopération.