RecherchearXiv cs.RO 26 octobre 2026

PrefO2O : apprentissage par renforcement sans essai à partir de préférences, via transfert latent hors ligne vers en ligne

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

PrefO2O, un framework décrit dans un préprint arXiv (2610.31812v1), s'attaque à un goulot d'étranglement connu de l'apprentissage par renforcement à partir de préférences (PbRL) : la nécessité de collecter de coûteux labels de préférence humaine pour chaque nouvelle tâche. Les auteurs proposent un transfert « offline-to-online » de préférences latentes. Une petite quantité de données de préférence hors ligne, issues de tâches sources, sert à apprendre un espace latent invariant à la tâche, où les structures de préférence transférables sont séparées des variations propres à chaque tâche. Sur une tâche cible inédite, le système réutilise ces structures et des a priori de récompense malgré le décalage de distribution. Un alignement par transport optimal pondéré par la confiance produit des pseudo-préférences fiables, qui servent à adapter la fonction de récompense en ligne, sans aucun retour humain. Les tests portent sur des benchmarks de manipulation robotique et de locomotion. Selon les auteurs, PrefO2O dépasse nettement les méthodes existantes de transfert de préférences, égale ou surpasse des méthodes PbRL entraînées avec de vrais retours humains, et fonctionne en transfert plusieurs-vers-un comme un-vers-un, ainsi qu'entre morphologies de robots différentes.

L'intérêt pratique tient au coût de la supervision. Dans un déploiement industriel, spécifier une récompense à la main est fragile, et annoter des préférences humaines pour chaque variante de tâche ne passe pas à l'échelle : un intégrateur qui reconfigure une cellule de manipulation ou adapte une politique à un nouveau robot paie ce coût à chaque fois. Si l'approche tient ses promesses, la préférence humaine deviendrait un actif réutilisable plutôt qu'une dépense récurrente. Il faut toutefois rester prudent. Le résumé ne donne aucun chiffre (taux de réussite, volume de données hors ligne, nombre de tâches), les résultats portent sur des benchmarks, très probablement simulés, et rien n'indique de validation sur robot physique. Prétendre « égaler » le PbRL avec vrais labels dépend fortement de la proximité entre tâches sources et cibles, un point que seule la lecture complète permettra d'évaluer.

Ce travail s'inscrit dans la lignée du PbRL popularisé par les approches de type RLHF appliquées au contrôle, qui ont réduit le besoin d'ingénierie de récompense mais restent limitées par l'effort d'annotation. Le transfert de préférences, le méta-apprentissage et les modèles de fondation généralistes de type VLA (vision-langage-action) visent des objectifs voisins, avec d'autres compromis : les VLA misent sur de grandes quantités de démonstrations, PrefO2O sur la réutilisation d'un signal de préférence compact. Il s'agit d'une première version de préprint, sans évaluation par les pairs, et aucun déploiement industriel ni calendrier n'est annoncé. La suite logique serait une validation sur matériel réel, des comparaisons avec des politiques généralistes et une mesure de la robustesse lorsque les tâches cibles s'éloignent nettement des sources.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Ce qui compte pour le transfert de l'apprentissage par renforcement en simulation vers l'apprentissage en ligne sur des robots réels

Une étude empirique menée sur trois plateformes robotiques distinctes a testé l'apprentissage par renforcement (RL) en ligne directement sur des robots physiques, à travers 100 sessions d'entraînement réelles. Les chercheurs ont systématiquement isolé les choix de conception algorithmiques, matériels et expérimentaux habituellement laissés implicites dans les travaux précédents sur le sujet. Résultat principal : certains réglages par défaut largement utilisés dans la pratique du RL se révèlent contre-productifs sur du matériel réel, tandis qu'un ensemble restreint de choix de conception robustes, faciles à adopter dans le cadre standard du RL, permet d'obtenir un apprentissage stable sur différentes tâches et différents types de robots. Il s'agit, selon les auteurs, de la première étude empirique à grande échelle de ce type portant sur ces choix de conception. Cette cartographie répond à un point de friction bien identifié chez les intégrateurs et équipes de recherche robotique : le RL en ligne sur robot réel reste réputé fragile, coûteux en ingénierie et peu reproductible d'une plateforme à l'autre, ce qui pousse la majorité des équipes vers l'apprentissage en simulation (sim-to-real) ou l'imitation à partir de démonstrations. En identifiant quels réglages par défaut nuisent réellement à l'apprentissage et lesquels le stabilisent, ce travail réduit potentiellement l'effort d'ingénierie nécessaire pour déployer du RL en ligne directement sur du hardware, sans passer par un simulateur intermédiaire. C'est un signal utile pour évaluer si le RL en ligne peut devenir une option pratique face aux architectures VLA (vision-langage-action) qui dominent actuellement la communication du secteur, en offrant une alternative plus frugale en données de démonstration. Le papier s'inscrit dans une lignée de travaux cherchant à combler l'écart entre les promesses du RL en robotique, démontrées depuis longtemps en simulation, et sa fiabilité en conditions réelles, où le coût d'échantillonnage et les risques matériels limitent les expérimentations à grande échelle. Contrairement aux annonces de plateformes humanoïdes commerciales, ce travail relève de la recherche fondamentale reproductible, avec des ablations systématiques plutôt qu'une démonstration ponctuelle. Publié sur arXiv en tant que version révisée ("replace"), il ouvre la voie à des protocoles standardisés que d'autres laboratoires pourront reprendre et à des comparaisons futures avec des approches sim-to-real ou par imitation sur les mêmes tâches.

RecherchePaper

1 source

2arXiv cs.RO

LASER : appariement adjoint dans l'espace latent pour l'apprentissage par renforcement hors ligne à entropie régularisée et support contraint

Des chercheurs du laboratoire REALM du MIT publient sur arXiv (2610.08989) LASER, un algorithme d'apprentissage par renforcement hors ligne (offline RL). Il vise à optimiser une politique à partir de jeux de données statiques, sans interaction coûteuse avec un robot ou un environnement réel. Le travail s'appuie sur une approche récente: apprendre d'abord une politique de clonage de comportement par flow matching, puis faire l'apprentissage par renforcement dans son espace latent contraint, afin que les actions restent proches de celles du jeu de données. LASER ajoute une régularisation par l'entropie, mise en œuvre par un « latent-space adjoint matching ». Cette technique permet d'entraîner des politiques de flux expressives sans rétropropagation à travers le temps. L'évaluation porte sur 40 tâches de l'OGBench, avec des jeux de données de qualité variable. LASER y atteint l'état de l'art, avec un jeu d'hyperparamètres unique et fixe pour toutes les tâches. Les références comparées, dont certaines sont réglées tâche par tâche et jeu de données par jeu de données, sont dépassées. Un site de projet et le code associé sont annoncés. Cette avancée touche un point bloquant pour le déploiement de politiques robotiques apprises: le risque d'exécuter des actions hors distribution (OOD) que le jeu de données n'a jamais couvertes. Les auteurs observent qu'optimiser naïvement la politique latente la fait s'effondrer sur un mode fragile, ou lui fait exploiter les artefacts abrupts du critique appris. Pour un robot physique, cela se traduit par des comportements instables ou dangereux. Le résultat sur les hyperparamètres compte presque autant que le score. Dans l'industrie, le réglage par tâche mobilise des ingénieurs et des essais coûteux, et il complique le passage du laboratoire à plusieurs sites clients. Une méthode qui tient sans réglage spécifique réduit ce coût. Il faut toutefois rester prudent: OGBench est un banc d'essai en simulation, centré sur des tâches de navigation et de manipulation à objectif. Rien n'est démontré ici sur du matériel réel, ni sur des modèles VLA de grande taille comme Pi-0 ou GR00T N2. Le transfert simulation vers réel reste une hypothèse non testée. Cette publication s'inscrit dans un courant qui combine politiques génératives (diffusion, flow matching) et RL hors ligne. Il répond à une limite connue: ces politiques imitent bien mais ne dépassent pas la qualité de leurs démonstrations. Les méthodes concurrentes contraignent généralement le support de la politique ou distillent un modèle de flux en une politique à une étape, ce qui impose souvent un réglage fin par tâche. LASER propose de rester dans l'espace latent du modèle de flux et d'y maintenir de l'entropie. La suite logique sera de tester la méthode sur des données robotiques réelles et sur des modèles de fondation plus larges. Aucun pilote industriel ni calendrier de déploiement n'est annoncé à ce stade. Il s'agit d'un résultat de recherche à l'état de préprint, non évalué par les pairs.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de la loco-manipulation à partir de démonstrations SMPC via un RL clairsemé hors ligne vers en ligne

Une équipe de recherche présente dans un preprint arXiv publié le 13 août 2026 (arXiv:2608.12063v1) une méthode d'apprentissage combinant locomotion et manipulation pour robots à pattes. Le système utilise du Sample-based Model Predictive Control (SMPC), une forme de commande prédictive par échantillonnage, exécutée entièrement en simulation pour générer automatiquement de vastes jeux de données hors ligne, jouant le rôle d'expert artificiel. Ces données servent ensuite à entraîner un agent de reinforcement learning (RL) off-policy à l'aide de récompenses de tâche uniquement éparses (sparse rewards), sans le façonnage manuel et chronophage de fonctions de récompense denses habituellement nécessaire. Cet agent de haut niveau est couplé à un contrôleur bas niveau assurant la stabilité dynamique du robot. Les auteurs valident la robustesse du transfert simulation-vers-réel (sim-to-real) en déployant des compétences complexes de loco-manipulation sur deux morphologies différentes: un quadrupède Spot équipé d'un bras et un humanoïde G1. L'intérêt principal de ces travaux tient à la résolution du goulot d'étranglement le plus coûteux du RL appliqué à la robotique: la conception manuelle de récompenses denses, qui ralentit considérablement l'apprentissage de nouvelles compétences à chaque nouvelle tâche. En s'appuyant sur des démonstrations SMPC pour préremplir l'exploration, les auteurs affirment que les politiques apprises finissent par surpasser leur propre professeur de commande optimale, un résultat notable si confirmé à plus grande échelle. Pour les intégrateurs et décideurs du secteur, cela illustre une voie alternative aux approches VLA entraînées sur des démonstrations réelles massives: générer les données d'entraînement en simulation via un contrôleur classique plutôt que par téléopération humaine, ce qui pourrait réduire les coûts de collecte de données pour les robots à pattes et humanoïdes. Ce travail s'inscrit dans la tendance du RL offline-to-online et de l'usage de contrôleurs optimaux comme professeurs pour le RL. Il reste à ce stade une publication de recherche, sans nom d'entreprise, de laboratoire ni de calendrier de déploiement commercial associés dans l'abstract, et sans comparaison chiffrée directe avec les approches VLA concurrentes.

RecherchePaper

1 source

4arXiv cs.RO

Découpage Q adaptatif pour l'apprentissage par renforcement hors ligne vers en ligne

Des chercheurs ont publié sur arXiv (arXiv:2605.05544, mai 2026) une méthode appelée Adaptive Q-Chunking (AQC), visant à résoudre une limitation structurelle de l'apprentissage par renforcement offline-to-online avec action chunking. Toutes les approches existantes appliquent une taille de chunk fixe à chaque état, ce qui est sous-optimal : près d'un contact physique, des chunks courts sont nécessaires pour un contrôle réactif ; en déplacement libre, des chunks longs améliorent l'attribution du crédit temporel. La solution naïve, entraîner un critique par taille de chunk puis comparer les valeurs Q, échoue systématiquement par désalignement des échelles de remise (discount-scale mismatch) et dégénère en bruit dans les états à faible valeur. AQC corrige ce double problème en comparant l'avantage relatif de chaque horizon par rapport à une baseline normalisée par le facteur de remise, rendant les comparaisons non biaisées même en l'absence de signal discriminant. La méthode atteint des taux de succès état de l'art sur les benchmarks OGBench et Robomimic, et améliore significativement les performances de modèles VLA à grande échelle sur les tâches RoboCasa-GR1. L'enjeu est concret pour les équipes qui intègrent des modèles Vision-Language-Action en production. Ces architectures, dont Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et Helix de Figure AI, prédisent des séquences d'actions dont l'efficacité dépend directement de la granularité temporelle de ces séquences. AQC est applicable sans modifier l'architecture sous-jacente, ce qui en fait un correctif plug-and-play pour des pipelines existants. Les auteurs fournissent également des bornes formelles sur l'immunité au bruit du sélecteur d'avantage et sur la dominance en valeur du chunking adaptatif face à toute taille fixe, donnant une assise théorique à des performances que les benchmarks confirment empiriquement. L'action chunking s'est imposé comme paradigme de référence en manipulation apprise depuis ACT (Action Chunking with Transformers, Chi et al., 2023) et Diffusion Policy. La limitation d'une taille fixe était documentée mais sans solution rigoureuse. Des approches concurrentes adressent la granularité temporelle via la planification hiérarchique ou le fine-tuning online de politiques de diffusion, sans résoudre le biais de comparaison entre horizons. AQC se positionne comme correctif algorithmique orthogonal, applicable en surcouche de ces méthodes. Les résultats présentés portent intégralement sur des environnements simulés ; la validation sur plateformes physiques reste à établir, le gap sim-to-real demeurant une variable non résolue dans ce domaine.

RechercheOpinion

1 source