Illustration générée par IAZoellent AI Lab présente GR-SAC pour affiner des politiques de robot figées avec un petit contrôleur
Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie
Zoellent AI Lab a publié GR-SAC (Gated Residual Soft Actor-Critic), un contrôleur d'apprentissage par renforcement léger destiné à corriger l'exécution d'un modèle vision-langage-action (VLA) dont les poids restent gelés. Une annonce en chinois datée du 20 novembre décrit la méthode et les artefacts publics, après la mise en ligne du dépôt et une soumission au classement RoboMME plus tôt dans la semaine. Plutôt que de réentraîner le modèle de base, SimpleMemVLA, le laboratoire lui adjoint un acteur visuel de 232 110 paramètres. Le modèle d'origine interprète les observations et produit une séquence d'actions, tandis que le petit contrôleur apprend des corrections bornées sur les commandes articulaires du bras. Il reçoit les images des caméras frontale et poignet, l'état du robot et la file d'actions en attente. Une porte (gâté) n'autorise les corrections que dans des conditions observables précises, notamment lorsque les cibles d'action et les commandes de pince sont relativement stables, et des bornes, une décroissance et des remises à zéro limitent leur accumulation. Sur 16 tâches RoboMME à 50 épisodes chacune, le taux de succès passe de 706 à 711 épisodes sur 800, soit de 88,250 % à 88,875 %. InsertPeg progresse de 46 % à 52 % et MoveCube de 94 % à 100 %, mais le tableau de référence consigne aussi des régressions sur certaines tâches.
Il faut lire ces chiffres avec précision. Le gain est de 5 épisodes, soit 0,625 point de pourcentage ; les échecs passent de 94 à 89, une réduction relative de 5,32 %, et non une hausse de 5,32 points du succès global. À cette échelle, avec 50 épisodes par tâche, l'écart se situe vraisemblablement dans la marge de variabilité statistique, et aucune barre d'erreur ni répétition indépendante n'est mentionnée. L'intérêt réel est ailleurs : la démonstration qu'on peut améliorer un VLA figé avec un module de moins de 250 000 paramètres, sans coût de réentraînement ni risque d'oubli catastrophique sur le modèle de base. Pour un intégrateur, cette architecture « résiduelle » ressemble à une couche d'adaptation spécifique à un site ou à une tâche, déployable au-dessus d'une politique généraliste. En revanche, les mécanismes de porte, de bornes et de remise à zéro sont des choix de conception, pas une garantie de sécurité dans tous les environnements, et rien ne prouve ici un transfert vers un robot réel : les résultats sont des évaluations de référence des développeurs, non une validation de fiabilité en conditions d'usine, ni une reproduction indépendante.
Zoellent présente GR-SAC comme en tête de la piste Standard de RoboMME, qui évalue des méthodes fondées sur des modèles ouverts. Le même classement comprend une catégorie Agentic reposant sur des modèles propriétaires de pointe, ainsi qu'une référence humaine ; une première place en Standard ne signifie donc pas battre toutes les entrées du tableau combiné. Le dépôt public contient un rapport technique, un point de contrôle du contrôleur, le matériel d'entraînement et d'évaluation et les résultats par tâche. Le code est sous licence MIT, ce qui ne remplace pas les conditions du modèle de base ni des autres dépendances. L'approche s'inscrit dans un courant plus large de raffinement post-entraînement des VLA par apprentissage par renforcement résiduel, face à des acteurs qui privilégient le réentraînement complet ou l'adaptation fine à grande échelle, et dans un intérêt croissant pour les benchmarks de mémoire robotique comme RoboMME ou RoboMemArena. Les suites à surveiller sont une reproduction indépendante, des tests sur robot physique et la vérification de la tenue des gains sur d'autres modèles de base que SimpleMemVLA.
Dans nos dossiers




