Retour sur la bonne voie : amélioration de la politique au déploiement par planification avec un modèle du monde
Des chercheurs proposent un cadre de supervision et d'intervention qui améliore une politique visuomotrice pendant son déploiement, sans la réentraîner ni modifier son architecture (arXiv 2610.19579). La méthode n'exige qu'un accès « boîte noire » à la politique, c'est-à-dire la possibilité de l'interroger sans toucher à ses poids. À partir d'un nombre limité de déroulés (rollouts) étiquetés de la politique nominale, l'équipe apprend une valeur de « liveness », conditionnée par la politique, qui mesure sa progression vers l'achèvement de la tâche. Elle entraîne aussi un modèle du monde latent compact, qui s'appuie sur ces mêmes déroulés et sur des données de jeu (play data). Pendant l'exécution, la valeur de liveness surveille en continu le comportement. Si elle détecte une perte de progression, un planificateur à horizon court cherche dans le modèle du monde des actions correctrices, en utilisant cette même valeur comme objectif, puis rend la main à la politique nominale. L'évaluation porte sur la suite de tâches LIBERO-Goal et sur un bras Franka Panda réel. Les politiques nominales sont le modèle vision-langage-action π0.5 et une diffusion policy. Les auteurs annoncent des gains significatifs de taux de réussite, compatibles avec un contrôle en temps réel. Le résumé ne donne aucun chiffre précis (taux avant et après, latence du planificateur, nombre de déroulés étiquetés), ce qui empêche de juger l'ampleur réelle de l'amélioration.
L'enjeu est pratique. Les politiques actuelles échouent en production de façons qu'elles ne détectent pas et dont elles ne savent pas se relever. Les corriger passe aujourd'hui par davantage de données, un réentraînement ou une refonte de l'architecture, trois leviers coûteux, surtout pour un intégrateur qui utilise un modèle de fondation fourni par un tiers. Une couche externe qui détecte le blocage et propose une correction, sans accès aux poids, répond directement à cette contrainte. Elle suggère aussi que l'écart entre démonstration et fiabilité industrielle peut se réduire par de la supervision à l'exécution plutôt que par un modèle toujours plus gros. Plusieurs réserves s'imposent. Il s'agit d'un travail académique, sans déploiement client. Le banc d'essai LIBERO-Goal est de l'ordre de la simulation, et la validation réelle se limite à un seul bras. Il reste aussi à voir comment la méthode se comporte sur des tâches longues, ou lorsque le modèle du monde s'écarte de la réalité.
Ce travail s'inscrit dans un courant qui cherche à fiabiliser les VLA après leur entraînement. Ce courant comprend l'apprentissage par renforcement sur robot réel, les détecteurs d'échec à l'exécution et les approches fondées sur des modèles du monde, utilisés comme simulateurs ou comme planificateurs. π0.5, de Physical Intelligence, est devenu une référence ouverte pour ces expériences, tout comme les diffusion policies pour la manipulation. Les grands acteurs de l'humanoïde, dont Figure avec Helix, Tesla avec Optimus et NVIDIA avec la famille GR00T, misent surtout sur l'échelle des données et l'entraînement. Une couche de récupération qui s'ajoute à ces politiques suivrait une logique différente. Les prochaines étapes à surveiller sont la publication de résultats chiffrés détaillés, des tests sur davantage de plateformes et de tâches de longue durée, et la mesure du coût de calcul du planificateur sur du matériel embarqué. Une vidéo et des résultats complémentaires sont annoncés sur le site du projet.
Dans nos dossiers
