Aller au contenu principal
LASER : appariement adjoint dans l'espace latent pour l'apprentissage par renforcement hors ligne à entropie régularisée et support contraintIllustration générée par IA
RecherchearXiv cs.RO 

LASER : appariement adjoint dans l'espace latent pour l'apprentissage par renforcement hors ligne à entropie régularisée et support contraint

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs du laboratoire REALM du MIT publient sur arXiv (2610.08989) LASER, un algorithme d'apprentissage par renforcement hors ligne (offline RL). Il vise à optimiser une politique à partir de jeux de données statiques, sans interaction coûteuse avec un robot ou un environnement réel. Le travail s'appuie sur une approche récente: apprendre d'abord une politique de clonage de comportement par flow matching, puis faire l'apprentissage par renforcement dans son espace latent contraint, afin que les actions restent proches de celles du jeu de données. LASER ajoute une régularisation par l'entropie, mise en œuvre par un « latent-space adjoint matching ». Cette technique permet d'entraîner des politiques de flux expressives sans rétropropagation à travers le temps. L'évaluation porte sur 40 tâches de l'OGBench, avec des jeux de données de qualité variable. LASER y atteint l'état de l'art, avec un jeu d'hyperparamètres unique et fixe pour toutes les tâches. Les références comparées, dont certaines sont réglées tâche par tâche et jeu de données par jeu de données, sont dépassées. Un site de projet et le code associé sont annoncés.

Cette avancée touche un point bloquant pour le déploiement de politiques robotiques apprises: le risque d'exécuter des actions hors distribution (OOD) que le jeu de données n'a jamais couvertes. Les auteurs observent qu'optimiser naïvement la politique latente la fait s'effondrer sur un mode fragile, ou lui fait exploiter les artefacts abrupts du critique appris. Pour un robot physique, cela se traduit par des comportements instables ou dangereux. Le résultat sur les hyperparamètres compte presque autant que le score. Dans l'industrie, le réglage par tâche mobilise des ingénieurs et des essais coûteux, et il complique le passage du laboratoire à plusieurs sites clients. Une méthode qui tient sans réglage spécifique réduit ce coût. Il faut toutefois rester prudent: OGBench est un banc d'essai en simulation, centré sur des tâches de navigation et de manipulation à objectif. Rien n'est démontré ici sur du matériel réel, ni sur des modèles VLA de grande taille comme Pi-0 ou GR00T N2. Le transfert simulation vers réel reste une hypothèse non testée.

Cette publication s'inscrit dans un courant qui combine politiques génératives (diffusion, flow matching) et RL hors ligne. Il répond à une limite connue: ces politiques imitent bien mais ne dépassent pas la qualité de leurs démonstrations. Les méthodes concurrentes contraignent généralement le support de la politique ou distillent un modèle de flux en une politique à une étape, ce qui impose souvent un réglage fin par tâche. LASER propose de rester dans l'espace latent du modèle de flux et d'y maintenir de l'entropie. La suite logique sera de tester la méthode sur des données robotiques réelles et sur des modèles de fondation plus larges. Aucun pilote industriel ni calendrier de déploiement n'est annoncé à ce stade. Il s'agit d'un résultat de recherche à l'état de préprint, non évalué par les pairs.

Dans nos dossiers

À lire aussi

Au-delà du support de politique : apprentissage par renforcement hors ligne sous contrainte d'interaction pour la conduite autonome
Illustration générée par IA
1arXiv cs.RO 

Au-delà du support de politique : apprentissage par renforcement hors ligne sous contrainte d'interaction pour la conduite autonome

Des chercheurs proposent ICDP (Interaction-Constrained Drive Policy), un cadre d'apprentissage par renforcement hors ligne pour la conduite autonome, qui cible un défaut peu traité : le décalage de distribution au niveau des interactions. Le problème de base est classique. En RL hors ligne, la politique s'entraîne sur un jeu de données figé, sans exploration en ligne, et l'optimisation tend à choisir des actions peu représentées dans ces données, ce qui rend les estimations de valeur peu fiables. Les méthodes existantes contrôlent ce décalage dans l'espace d'actions de la politique elle-même.

RecherchePaper
1 source
PrefO2O : apprentissage par renforcement sans essai à partir de préférences, via transfert latent hors ligne vers en ligne
Illustration générée par IA
2arXiv cs.RO 

PrefO2O : apprentissage par renforcement sans essai à partir de préférences, via transfert latent hors ligne vers en ligne

PrefO2O, un framework décrit dans un préprint arXiv (2610.31812v1), s'attaque à un goulot d'étranglement connu de l'apprentissage par renforcement à partir de préférences (PbRL) : la nécessité de collecter de coûteux labels de préférence humaine pour chaque nouvelle tâche. Les auteurs proposent un transfert « offline-to-online » de préférences latentes. Une petite quantité de données de préférence hors ligne, issues de tâches sources, sert à apprendre un espace latent invariant à la tâche, où les structures de préférence transférables sont séparées des variations propres à chaque tâche. Sur une tâche cible inédite, le système réutilise ces structures et des a priori de récompense malgré le décalage de distribution.

RecherchePaper
1 source
Ce qui compte pour le transfert de l'apprentissage par renforcement en simulation vers l'apprentissage en ligne sur des robots réels
Illustration générée par IA
3arXiv cs.RO 

Ce qui compte pour le transfert de l'apprentissage par renforcement en simulation vers l'apprentissage en ligne sur des robots réels

Une étude empirique menée sur trois plateformes robotiques distinctes a testé l'apprentissage par renforcement (RL) en ligne directement sur des robots physiques, à travers 100 sessions d'entraînement réelles. Les chercheurs ont systématiquement isolé les choix de conception algorithmiques, matériels et expérimentaux habituellement laissés implicites dans les travaux précédents sur le sujet. Résultat principal : certains réglages par défaut largement utilisés dans la pratique du RL se révèlent contre-productifs sur du matériel réel, tandis qu'un ensemble restreint de choix de conception robustes, faciles à adopter dans le cadre standard du RL, permet d'obtenir un apprentissage stable sur différentes tâches et différents types de robots.

RecherchePaper
1 source
E2HiL : sélection d'échantillons guidée par l'entropie pour un apprentissage par renforcement humain-dans-la-boucle efficace en conditions réelles
Illustration générée par IA
4arXiv cs.RO 

E2HiL : sélection d'échantillons guidée par l'entropie pour un apprentissage par renforcement humain-dans-la-boucle efficace en conditions réelles

Des chercheurs présentent E2HiL, un framework d'apprentissage par renforcement en boucle humaine (human-in-the-loop RL) destiné à réduire le nombre d'interventions manuelles nécessaires pour entraîner des politiques de manipulation robotique en conditions réelles. Publié sur arXiv (2601.19969v2), le système a été évalué sur 10 tâches de manipulation réelle, couvrant plusieurs types de robots et plusieurs frameworks d'apprentissage. Comparé aux meilleures références HiL-RL existantes, E2HiL améliore le taux de réussite de 24,9% tout en réduisant de 9,3% les interventions humaines requises. Techniquement, la méthode calcule des fonctions d'influence mesurant l'effet de chaque échantillon sur l'entropie de la politique, via la covariance entre probabilités d'action et avantages softs, puis ne conserve que les échantillons à influence modérée, écartant les raccourcis provoquant une chute…

RecherchePaper
1 source