Réduction de récompense dense pour la manipulation robotique via synthèse d'échecs

Des chercheurs présentent DenseReward, un modèle de récompense visio-linguistique conçu pour l'apprentissage par renforcement (RL) appliqué à la manipulation robotique, détaillé dans un article publié sur arXiv (2607.13033v1). Le système répond à deux limites connues des modèles de récompense existants : la difficulté de collecter des trajectoires d'échec à grande échelle et l'absence de signaux fins au-delà d'un simple label de succès ou d'échec en fin de trajectoire. Pour cela, les auteurs ont développé un pipeline automatisé qui synthétise en simulation des trajectoires d'échec physiquement réalistes, sans intervention humaine, couvrant des modes de défaillance variés : collisions, préhensions manquées, chutes d'objets et comportements de récupération. À partir de ces données, DenseReward prédit des scores de récompense image par image, à partir d'observations visuelles et d'instructions en langage naturel, permettant d'estimer la progression d'une tâche tout au long d'un épisode plutôt qu'un simple verdict final. Les expériences montrent que ce modèle surpasse à la fois des VLM généralistes et les modèles de récompense robotiques existants sur la prédiction de récompense dense, en simulation comme en conditions réelles.

Cette avancée cible un goulot d'étranglement central du RL en robotique : sans retour dense et fiable, l'optimisation de politiques reste inefficace et dépendante de démonstrations imitées, ce qui limite la capacité des robots à dépasser les performances de leurs données d'entraînement. En automatisant la génération de données d'échec, DenseReward réduit un coût d'annotation humaine qui freinait jusqu'ici le déploiement du RL à grande échelle sur des tâches de manipulation, un enjeu direct pour l'entraînement de politiques VLA robustes destinées à l'industrie.

Le travail s'inscrit dans la lignée des efforts récents visant à doter les robots de modèles de récompense appris plutôt que conçus manuellement, un axe où les VLM généralistes servaient jusqu'ici de solution par défaut faute de mieux. Les auteurs annoncent la publication en accès libre du jeu de données, des modèles de récompense entraînés et d'une suite d'évaluation, avec pour objectif de faciliter l'intégration de DenseReward dans des boucles de contrôle prédictif par modèle (MPC) et de RL en aval, ouvrant la voie à des travaux communautaires sur la récompense dense sensible aux échecs.