La valeur comme mémoire : post-entraînement en ligne guidé par la valeur pour les politiques robotiques générales

Des chercheurs ont mis en ligne sur arXiv (version 1, octobre 2026) Value as Memory (VaM), un cadre de post-entraînement en conditions réelles pour politiques robotiques généralistes. Il vise deux problèmes: l'observabilité partielle, qui rend ambiguë la sélection d'une action, et les méthodes de post-entraînement hors ligne, qui retardent l'exploitation de l'expérience acquise en déploiement. Le « value caching » conditionne l'action sur les prédictions de valeur récentes, utilisées comme mémoire de l'avancement de la tâche. Les mises à jour en ligne combinent démonstrations hors ligne, interventions off-policy et rollouts on-policy. Le système passe d'un échauffement par RL hors ligne à un apprentissage autonome avec récompenses éparses. Sur des tâches longues impliquant objets déformables et manipulation riche en contacts, le gain absolu moyen de taux de succès atteint 29,4 % avec le value caching, et 32,8 % avec l'apprentissage en ligne autonome, par rapport à un entraînement hors ligne équivalent. Le calendrier en ligne réalise 8 fois plus d'itérations de politique à budget égal de pas de gradient, avec un temps enregistré par pas de gradient plus de 2 fois inférieur grâce à la collecte et à l'entraînement concurrents.

L'enjeu est la fiabilité sur tâches longues, point où l'écart entre démonstration et usage réel reste le plus visible. Utiliser la valeur prédite comme mémoire de progression est une réponse légère à l'ambiguïté d'état, sans architecture récurrente lourde. Pour un intégrateur, la perspective est une adaptation sur site avec un signal de succès simple, moins dépendante de la téléopération. Le gain de débit compte aussi, car le temps robot est le poste de coût dominant. Les chiffres demandent toutefois de la prudence. La référence est un entraînement hors ligne apparié, pas d'autres méthodes en ligne. Le résumé ne donne ni taux de succès absolus, ni nombre d'essais, ni plateforme robotique, et les 29,4 % et 32,8 % sont des moyennes sur un jeu de tâches choisi par les auteurs.

Les politiques généralistes de type VLA (vision-langage-action), comme Pi-0 ou GR00T, sont pré-entraînées surtout par imitation, puis affinées sur la tâche cible. Le RL réel reste coûteux en temps robot, en supervision et en réglages, ce qui explique la préférence récente pour le post-entraînement hors ligne que VaM cherche à dépasser. Il s'agit d'un préprint non évalué par des pairs, sans déploiement industriel annoncé. Les prochains marqueurs seront la publication du code, la comparaison avec d'autres approches de RL réel, et une réplication sur d'autres robots et tâches hors du cadre des auteurs.