Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Goodhart dans le planificateur : le contrôle par échantillonnage exploite les récompenses apprises à partir de préférences humaines
RecherchearXiv cs.RO 

Goodhart dans le planificateur : le contrôle par échantillonnage exploite les récompenses apprises à partir de préférences humaines

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une préversion arXiv (2611.09670v1) mesure ce qui arrive à l'objectif réel quand un robot choisit ses actions en cherchant contre un modèle de récompense appris à partir de préférences humaines, que ce soit en commande prédictive (MPPI) ou en sélection best-of-N. Les tests portent sur HalfCheetah et Hopper avec des étiquettes issues de foule, puis sur les tâches Meta-World drawer-open et plate-slide avec des étiquettes synthétiques et des étiquettes aveugles produites par les deux auteurs. Plus la recherche MPPI est poussée, plus le retour réel baisse, jusqu'à 76 %. Avec les étiquettes humaines, le tiroir s'ouvre dans 0 essai sur 20, contre 10 sur 10 pour la politique clonée dont part le planificateur, alors que la précision du scorer sur des paires mises de côté reste à 0,75-0,97. Sur plate-slide, les étiquettes humaines sont moins exploitées que les synthétiques, et sur window-open la recherche aide. Un vérificateur issu d'étiquettes synthétiques en best-of-N tombe sous le niveau d'une seule action bruitée.

Le résultat contredit une hypothèse implicite : une bonne précision sur des paires hors échantillon ne garantit pas que le modèle résiste à l'optimisation. Pour qui déploie des planificateurs ou des vérificateurs appris sur des préférences, ajouter du calcul de recherche peut dégrader la performance sans signal d'alerte. Les auteurs montrent que le retour réel suit à peu près la distance (√KL) entre les poids du planificateur et ses propositions. Ils prouvent qu'un MPPI régularisé en χ², avec une température fixée par la dispersion d'erreur du scorer, est optimal dans le pire cas, et qu'aucun gain positif ne peut être certifié quand cette dispersion dépasse celle du scorer lui-même.

Il s'agit de recherche académique, sur des benchmarks simulés, et non d'un produit ou d'un déploiement. Le correctif est calibré avec 100 paires de propositions classées par un oracle, sur des états de départ jamais utilisés en évaluation. Avec cinq jeux indépendants, il réussit dans tous les essais et conserve en moyenne 86 à 94 % du retour de la politique clonée sur plate-slide et drawer-open, au prix d'une prudence excessive là où la recherche aide. La limite principale vient de la source de calibration : des comparaisons issues d'une personne ne détectent pas un biais que le scorer a appris de cette même personne. Corriger pour les paires indiscernables ou faire intervenir une seconde personne limite les dégâts.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Planification certifiée par échantillonnage à l'aide de graphes d'ensembles convexes
1arXiv cs.RO 

Planification certifiée par échantillonnage à l'aide de graphes d'ensembles convexes

Des chercheurs publient sur arXiv (référence 2608.29770v1) la première mesure chiffrée d'un écart resté largement ignoré dans la planification de trajectoire par graphes d'ensembles convexes (GCS), une famille de planificateurs réputés produire des trajectoires sans collision "par construction". Le problème: le générateur de régions convexes sous-jacent ne garantit cette absence de collision que de façon probabiliste, et aucun planificateur GCS existant ne vérifie réellement cette propriété avant de livrer sa réponse. Sur une bibliothèque bimanuelle à 14 degrés de liberté (DOF) mise à l'échelle, les auteurs mesurent que 3,2 % des échantillons d'interface entre régions sont en réalité en collision. Le planificateur de référence testé, GCS* (approche par recherche), transforme cette erreur de volume en 62 % d'erreur de réponse: 18 des 29 requêtes de pick-and-place évaluées retournent des trajectoires faisant pénétrer les bras jusqu'à 91 mm dans les étagères, tout en étant rapportées comme des succès. Ce résultat met en défaut une hypothèse de confort répandue dans la planification de mouvement robotique, celle voulant que les garanties théoriques "correct par construction" des GCS se traduisent automatiquement en fiabilité opérationnelle. Pour des intégrateurs déployant des bras robotiques en environnement encombré (entrepôt, cellule industrielle, picking bimanuel), cela signale un risque concret de collisions silencieuses, d'autant plus critique que l'espace de configuration est dense avec deux bras. Les correctifs évidents échouent: durcir dix fois le contrat d'acceptation des régions, générer des régions certifiées par sommes de carrés, ou imposer des marges uniformes, détruisent tous la connectivité nécessaire à la planification avant même d'obtenir une garantie de solidité, révélant une tension structurelle entre sécurité et faisabilité dans cette famille d'algorithmes. Face à ce constat, les auteurs proposent un planificateur qui certifie chaque réponse plutôt que de faire confiance à la génération de régions en amont: il échantillonne les recouvrements et faces partagées de la décomposition convexe, élague la recherche via une borne informée admissible, vérifie en continu le candidat proposé à chaque tour par une chaîne de certificats de dégagement sans paramètre de résolution arbitraire, répare les échecs par des détours locaux internes aux régions, puis revérifie le polissage convexe final. Sur les mêmes 29 requêtes, ce planificateur ne produit aucune réponse invalide, contre 21 pour la référence, atteint sa première réponse certifiée en 0,11 seconde contre 1,59 seconde pour la version non vérifiée, et reproduit exactement l'optimum de référence chaque fois que celui-ci est physiquement valide. L'article, un pré-print de recherche sans affiliation industrielle précisée, ne mentionne ni calendrier de déploiement ni partenaire commercial.

RecherchePaper
1 source
Représentation des préférences humaines déployable en robotique : apprendre des récompenses représentatives à partir de préférences humaines diverses
2arXiv cs.RO 

Représentation des préférences humaines déployable en robotique : apprendre des récompenses représentatives à partir de préférences humaines diverses

Une équipe de recherche a publié sur arXiv (2607.12466v1) un nouveau framework baptisé PREC (Preference-based REward Clustering), conçu pour aligner les politiques de contrôle robotique sur les préférences humaines lors du déploiement auprès d'utilisateurs finaux variés. Le problème que les auteurs cherchent à résoudre est concret : quand chaque utilisateur fournit un retour de préférence binaire (trajectoire A préférée à trajectoire B), ce signal est souvent trop rare et bruité pour apprendre une politique individualisée fiable, tandis qu'une politique unique partagée entre tous les utilisateurs écrase les préférences minoritaires. PREC contourne ce dilemme en mettant de côté les labels de préférence dans un premier temps pour apprendre un encodeur de trajectoires au niveau de la population entière, puis en regroupant les utilisateurs en clusters cohérents selon leurs préférences et en entraînant un modèle de récompense représentatif par cluster, à partir duquel une politique dédiée est optimisée. Les tests, menés sur des environnements de locomotion simulés, montrent que PREC identifie mieux les groupes d'utilisateurs aux préférences divergentes que les méthodes de référence, même avec un retour humain sparse et bruité. Pour l'industrie robotique, l'enjeu dépasse la simple curiosité académique : c'est un problème de scalabilité du déploiement. Multiplier les politiques individualisées pour chaque client rend la validation de sécurité intraitable avant mise en production, alors qu'une politique générique déçoit une partie des utilisateurs et nuit à l'adoption. En réduisant le nombre de politiques à un jeu de clusters gérable tout en couvrant les préférences hétérogènes, PREC propose un compromis directement pertinent pour les intégrateurs qui doivent certifier et maintenir un nombre limité de comportements robotiques plutôt qu'une politique par client. Ce travail s'inscrit dans la lignée des recherches sur l'alignement par préférences humaines (RLHF appliqué à la robotique), un champ qui a longtemps oscillé entre alignement individuel coûteux et alignement collectif appauvri. Les auteurs positionnent explicitement PREC face aux approches d'alignement par utilisateur et à l'alignement par politique unique partagée, sur lesquelles il montre des gains sur trois métriques de bien-être social. L'étude reste pour l'instant limitée à des environnements de locomotion simulés, sans validation sur robots physiques ni indication de partenaires industriels ou de calendrier de déploiement.

RecherchePaper
1 source
Modèles de récompense résiduels : exploiter les connaissances a priori pour un apprentissage par renforcement basé sur les préférences efficace en robotique
3arXiv cs.RO 

Modèles de récompense résiduels : exploiter les connaissances a priori pour un apprentissage par renforcement basé sur les préférences efficace en robotique

Les chercheurs proposent les Residual Reward Models (RRM), une méthode d'apprentissage par renforcement basé sur les préférences (PbRL) destinée à réduire le volume de retours humains nécessaires pour entraîner des robots. Publié sur arXiv (2507.00611v2), le papier part d'un constat pratique: le PbRL classique apprend une fonction de récompense à partir de démonstrations puis l'affine avec des préférences humaines, mais le passage d'une fonction de perte à l'autre pendant l'entraînement d'un réseau de neurones déstabilise souvent l'optimisation et dégrade les performances. L'idée du RRM est de décomposer la récompense réelle de l'environnement en deux termes: une récompense a priori, fixée avant l'entraînement (heuristique d'ingénierie, récompense générée par un modèle de langage, ou fonction apprise par apprentissage par renforcement inverse), et une récompense résiduelle apprise ensuite à partir des préférences humaines. Les auteurs valident l'approche sur les bancs d'essai en simulation Meta-World et DM-Control, puis sur un robot physique Franka Panda, où la méthode accélère l'apprentissage de politiques et atteint des taux de réussite élevés en moins d'étapes que les méthodes de référence. Pour l'industrie robotique, ce travail s'attaque directement au goulot d'étranglement du PbRL: le coût et le volume de feedback humain nécessaires pour spécifier des comportements complexes sans concevoir manuellement des fonctions de récompense fragiles. En montrant un gain de sample efficiency sur plusieurs types de récompenses a priori et sur un bras robotique réel, l'étude appuie l'idée que combiner connaissances préalables (heuristiques, LLM, apprentissage inverse) et apprentissage par préférences peut rendre l'entraînement de politiques robotiques plus praticable hors laboratoire, un enjeu clé pour les intégrateurs qui cherchent à réduire le temps d'ingénierie de récompense avant déploiement. Ce travail s'inscrit dans la lignée des recherches en RLHF appliqué à la robotique, où l'instabilité liée aux changements de fonction de perte entre phases d'entraînement est un problème documenté. Le choix de Meta-World et DM-Control comme bancs d'essai standards, complété par une validation sur un Franka Panda physique, positionne cette contribution comme un travail académique avec preuve de concept matérielle plutôt qu'un produit commercial. Le papier ne mentionne ni partenaire industriel ni feuille de route de déploiement; il reste, à ce stade, une contribution méthodologique destinée à d'autres chercheurs en apprentissage par renforcement et en robotique.

RecherchePaper
1 source
4arXiv cs.RO 

Q-OIL : exploration optimiste dans l'apprentissage à partir des interventions humaines

Des chercheurs publient Q-OIL, une méthode d'apprentissage par renforcement qui exploite les interventions humaines pour corriger des robots en cours de déploiement, accompagnée d'un nouveau modèle de simulation du comportement des opérateurs (arXiv:2611.08576). Les auteurs ont d'abord analysé des données d'intervention de participants réels et constaté que les humains interviennent surtout lorsque la progression de l'agent stagne, et que leurs actions correctives sont souvent sous-optimales. Sur cette base, ils proposent un modèle d'intervention fondé sur la progression, dont le classement des algorithmes présente une meilleure corrélation de rang avec celui obtenu auprès d'utilisateurs réels. Q-OIL ajoute des bonus optimistes aux transitions d'intervention, ce qui oriente l'exploration vers les corrections humaines. Des critiques découplés (decoupled critics) empêchent ces bonus de se propager aux états antérieurs à l'intervention, condition jugée critique pour la stabilité. Les auteurs annoncent un gain de 10 à 50 % de taux de réussite par rapport aux références concurrentes, en simulation comme sur robots réels. La méthode améliore aussi des VLA (modèles vision-langage-action) préentraînés sur deux tâches de manipulation bimanuelle. Pour l'industrie, l'enjeu est le goulot d'étranglement de l'apprentissage avec humain dans la boucle. Les expériences réelles sont lentes et coûteuses, si bien que la plupart des algorithmes sont développés avec des opérateurs simulés. Ces opérateurs simulés reposent sur des hypothèses que les données réelles contredisent, par exemple celle d'un correcteur optimal. Un simulateur mieux corrélé aux préférences d'utilisateurs réels rend le benchmarking plus fiable et réduit le risque de retenir des algorithmes qui ne fonctionnent que face à un opérateur idéalisé. Pour les intégrateurs et les exploitants de flottes, la perspective est de transformer chaque téléopération de secours en signal d'apprentissage, sans recourir à des démonstrations parfaites. Le point à nuancer est l'ampleur des résultats. L'écart de 10 à 50 % est une fourchette large, et le résumé ne précise ni le nombre de tâches ni le nombre d'essais sur robot réel. Il ne dit pas non plus quels VLA ont été améliorés. Seules deux tâches bimanuelles servent de validation sur VLA, ce qui reste un périmètre étroit avant de parler de passage à l'échelle. Ces travaux s'inscrivent dans l'essor des politiques généralistes de type VLA, dont le déploiement réel produit inévitablement des erreurs. L'apprentissage à partir d'interventions humaines, déjà exploré par des approches de type DAgger ou par les boucles de correction de certains acteurs de l'humanoïde, cherche à fermer cet écart entre démonstration et exploitation. Q-OIL se distingue par sa mécanique d'exploration optimiste, plutôt que par un simple ajout de données corrigées. Il s'agit d'une prépublication v1, sans évaluation par les pairs ni code ou déploiement industriel annoncé dans le résumé. Les prochaines étapes à surveiller sont la reproduction par d'autres laboratoires, la publication des données d'intervention et du modèle de simulation, puis un test sur des flottes en production, où la fréquence et la qualité des interventions varient fortement.

RecherchePaper
1 source