Quand le passé façonne l'action : comprendre la mémoire incarnée

Les agents robotiques et incarnés (embodied AI) progressent vite grâce aux modèles de fondation génératifs, qui permettent une navigation, une manipulation et une exécution de tâches longues de plus en plus générales. Une nouvelle revue de littérature publiée sur arXiv (2610.41688) soutient pourtant que la perception et le raisonnement ne suffisent pas. Un agent qui interagit avec un environnement dynamique agit avec une connaissance partielle et doit conserver, retrouver et mettre à jour des informations issues de ses observations, actions et expériences passées. Les auteurs définissent la mémoire incarnée comme le mécanisme qui préserve l'information utile à la décision au-delà de l'observation courante. Ils classent les approches selon deux axes : six besoins fondamentaux (persistance de l'état du monde, suivi de l'avancement de la tâche, maintien de croyances, apprentissage par l'expérience) et huit catégories d'architectures, dont les états récurrents, les fast weights, les représentations visuelles et symboliques, la mémoire spatiale et les systèmes fondés sur l'expérience.

Pour les intégrateurs et les équipes qui déploient des robots, l'intérêt tient à un angle mort de l'évaluation. Un robot peut réussir une tâche courte sans jamais exploiter son historique, puisque l'observation instantanée suffit souvent. Les auteurs examinent donc la façon dont les benchmarks mesurent les comportements dépendant de la mémoire, en cherchant à distinguer l'usage réel de l'information passée de la performance générale. Cela jette un doute sur certains scores affichés pour des politiques vision-langage-action (VLA) sur des tâches longues : sans test qui isole la mémoire, on ne sait pas si le modèle se souvient ou s'il réagit à ce qu'il voit. Pour la fiabilité en production (reprise après interruption, reconnaissance d'un objet déjà déplacé, suivi d'une séquence de montage), cette distinction compte davantage que le taux de succès moyen en laboratoire.

Le travail s'inscrit dans une phase où les modèles généralistes de manipulation et de navigation ont gagné en capacité, mais restent largement conçus autour d'une fenêtre d'observation courte ou d'un contexte limité. L'article ne présente ni nouveau modèle ni résultat chiffré : c'est une synthèse conceptuelle, pas un produit ni un déploiement. Il identifie trois chantiers ouverts : choisir quelles expériences retenir ou récupérer, maintenir des croyances cohérentes quand l'environnement change, et consolider les connaissances d'un épisode à l'autre. Ces points conditionneront l'apprentissage continu et l'autonomie sur de longs horizons, que visent les acteurs de l'humanoïde et de la manipulation généraliste. Ils restent à démontrer sur des systèmes réels.