Mémoire explicite guidée par l'avantage pour la navigation sociale

Une équipe de recherche publie sur arXiv (référence 2608.25610v1) un nouvel agent de navigation robotique doté d'une mémoire explicite non paramétrique, conçu pour la navigation sociale, c'est à dire le déplacement d'un robot au milieu d'humains. Le constat de départ est que les politiques robotiques actuelles, entraînées par imitation learning ou par apprentissage par renforcement (RL) classiques, stockent tout leur comportement dans les poids du réseau de neurones, ce qui les rend fragiles face aux situations rares mais critiques, comme un risque de collision avec un piéton. La solution proposée consiste à indexer explicitement les séquences d'étapes ayant mené à ces événements critiques dans une mémoire externe, plutôt que de tout confier à la représentation apprise. Techniquement, cette mémoire est intégrée à une architecture PPO récurrente (Proximal Policy Optimization), où les états cachés du réseau servent de clé de récupération pour capter la dynamique spatio-temporelle continue de l'environnement, et où les signaux d'avantage du RL guident la priorisation des événements rares à fort impact. L'agent est entraîné en simulation, combinant rendu photoréaliste et simulation de foule non visuelle.

L'apport principal tient à deux effets combinés. D'une part, l'agent peut continuer à apprendre pendant son déploiement en collectant des données de ses propres épisodes de test, ce qui améliore sa généralisation face à des comportements humains hors distribution (OOD), un point faible connu des politiques purement paramétriques. D'autre part, cette mémoire externe atténue en partie l'écart classique entre simulation et monde réel (sim-to-real gap), puisque certaines décisions peuvent désormais s'appuyer sur des données réelles collectées après l'entraînement, et non uniquement sur des poids figés issus de la simulation. Pour les intégrateurs travaillant sur des robots mobiles évoluant en environnement humain, cela pointe vers des architectures hybrides mémoire plus apprentissage continu comme piste pour fiabiliser la sécurité sans réentraînement complet.

Le travail s'inscrit dans la lignée des méthodes RL récurrentes de type PPO et des recherches sur la mémoire épisodique non paramétrique, sans affiliation industrielle ni nom d'entreprise cités dans la publication. Il reste à ce stade une validation en simulation, sans annonce de pilote terrain ni de calendrier de déploiement réel.