RecherchearXiv cs.RO 16 octobre 2026

Poser de meilleures questions : apprentissage actif ciblé des préférences pour des récompenses sous-spécifiées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv (2610.22285, première version) une méthode qui déplace vers le robot la charge de clarifier une fonction de récompense mal spécifiée. Le point de départ est connu: un humain qui enseigne une tâche ne peut surveiller qu'un nombre limité de critères (features) à la fois, si bien que certains aspects sont mal transmis. Des travaux antérieurs permettaient déjà au robot d'identifier, à partir des données d'enseignement, les features mal supervisées. Leur remède restait toutefois de demander à l'humain de recommencer, donc de solliciter celui qui avait déjà peiné à les exprimer. La nouvelle approche remplace cette étape par des requêtes de préférence, c'est-à-dire des comparaisons entre options. Elle repose sur deux éléments: un prior informé qui dirige ces requêtes vers les features à résoudre, et une explication jointe à chaque requête qui oriente l'attention de l'humain sur ces mêmes features. En simulation, le prior informé dépasse jusqu'à 30,8 % la méthode de référence d'apprentissage actif de préférences quand le nombre de requêtes est faible. Dans une étude utilisateur, le prior et les explications améliorent chacun significativement la reconstruction de la récompense, et leurs effets se renforcent mutuellement.

L'intérêt tient à la réduction de l'effort demandé aux opérateurs, point critique dès qu'un robot doit être configuré par des non-spécialistes sur le terrain. Le gain est le plus marqué là où l'économie d'interaction compte le plus, avec peu de questions posées. Il faut toutefois relativiser: le « jusqu'à 30,8 % » est un maximum obtenu en simulation, face à une seule référence. Le résumé ne précise ni la taille de l'étude utilisateur, ni les tâches, ni la plateforme robotique. Il s'agit de recherche académique, sans produit ni déploiement industriel.

Ce travail s'inscrit dans l'apprentissage de récompense à partir de démonstrations, de corrections et de préférences, qui suppose le plus souvent que le retour humain couvre tout ce qui compte. Il prolonge la détection des lacunes de supervision en y ajoutant une réponse active. Sa référence directe est l'apprentissage actif de préférences standard, qui choisit les questions sans exploiter ce que le robot sait ne pas savoir. Aucune échéance ni validation sur robot physique n'est annoncée. Les suites logiques seraient des tâches plus complexes et des essais en conditions réelles.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

QuickLAP : apprentissage rapide des préférences langage-action pour systèmes semi-autonomes

Des chercheurs du MIT CLEAR Lab ont publié QuickLAP (Quick Language-Action Preference Learning), un cadre bayésien conçu pour apprendre les préférences d'un utilisateur en combinant deux types de retours : les corrections physiques (gestes, ajustements de trajectoire) et les instructions en langage naturel. L'article, déposé sur arXiv (2511.17855v2), présente des résultats obtenus dans un simulateur de conduite semi-autonome. L'approche utilise un LLM pour extraire, à partir d'énoncés libres, deux signaux distincts : un masque d'attention sur les caractéristiques de la fonction de récompense (quels critères comptent) et un vecteur de déplacement de préférence (dans quelle direction). Ces signaux sont intégrés avec les corrections physiques via une règle de mise à jour en forme fermée, sans nécessiter d'optimisation itérative à chaque cycle. Les résultats quantitatifs sont notables : QuickLAP réduit l'erreur d'apprentissage de la récompense de plus de 70 % par rapport à des baselines utilisant uniquement le retour physique ou des fusions multimodales heuristiques. Une étude utilisateur menée avec 15 participants confirme que le système est perçu comme plus compréhensible et collaboratif, et que le comportement appris est préféré à celui des baselines. Pour les intégrateurs de systèmes semi-autonomes (robotique d'assistance, véhicules autonomes, cobots industriels), cela pointe vers une voie concrète pour réduire la charge de supervision humaine : au lieu d'imposer des interfaces de correction rigides, le système réconcilie des feedbacks ambigus en temps réel. La combinaison LLM + inférence bayésienne contourne l'ambiguïté classique des corrections gestuelles seules. Le problème adressé est bien identifié dans la littérature sur l'apprentissage par renforcement interactif (IRL, RLHF, preference learning). Les approches précédentes traitaient soit le langage (via RLHF ou instruction following), soit le retour physique (DAgger, kinesthetic teaching), rarement les deux de façon cohérente. QuickLAP se positionne dans la lignée des travaux sur les VLAs et les reward models multimodaux, avec un angle applicatif sur les systèmes à supervision humaine partielle. Le code est disponible sur GitHub (MIT-CLEAR-Lab/QuickLAP). Les prochaines étapes naturelles seraient une validation sur robot physique et des expériences dans des domaines au-delà de la conduite, comme la manipulation ou la navigation en entrepôt.

RechercheOpinion

1 source

2arXiv cs.RO

MAPL : apprentissage des préférences multi-objectifs pour la locomotion robotique

Des chercheurs présentent MAPL (Multi-Objective AI-Informed Preference Learning), un cadre d'apprentissage par renforcement pour la locomotion quadrupède qui remplace les fonctions de récompense manuelles par des préférences générées par LLM. Publié sur arXiv (réf. 2606.25398) en juin 2025, le système soumet des paires de trajectoires à un grand modèle de langage, qui les évalue selon plusieurs critères sémantiques distincts, formulés en langage naturel générique et invariants selon le terrain. Ces préférences par objectif alimentent un modèle de scoring à plusieurs têtes, dont les sorties sont agrégées en récompense scalaire pour l'optimisation de politique. Sur quatre environnements de simulation quadrupède, les auteurs rapportent des performances comparables ou supérieures à des récompenses conçues par des experts du domaine. L'intérêt de MAPL tient à sa décomposition structurée des objectifs, là où les méthodes LLM existantes se limitent à un jugement global entre comportements. En robotique industrielle, la conception de fonctions de récompense reste un goulot d'étranglement reconnu, exigeant de longues itérations entre ingénieurs RL et spécialistes métier. Substituer ce travail par des descriptions en langage naturel, réutilisables sans réécriture d'équations, réduirait le coût d'adaptation à de nouvelles tâches. La décomposition en critères distincts offre aussi une meilleure interprétabilité : il devient possible d'identifier quels objectifs sont en tension, ce qui facilite le débogage comportemental. MAPL s'inscrit dans la vague d'automatisation de la conception de récompenses via LLM, initiée notamment par EUREKA (NVIDIA, 2023), qui générait directement du code de récompense via GPT-4, et par RL-VLM-F, qui exploite des modèles vision-langage pour évaluer les comportements. La locomotion quadrupède est un benchmark standard utilisé par des projets comme ANYmal (ETH Zurich) et les plateformes Unitree. Plusieurs limites méritent d'être signalées : l'article reste un preprint non relu par les pairs, les expériences sont menées uniquement en simulation sans validation physique, et le LLM utilisé pour générer les préférences n'est pas spécifié, ce qui complique la reproductibilité. Les extensions naturelles concernent la validation sur robot réel et l'application à des morphologies plus complexes, comme les humanoïdes, où l'ingénierie de récompense est particulièrement coûteuse.

RecherchePaper

1 source

3arXiv cs.RO

Repenser les implications du retour humain pour l'apprentissage des préférences dans la collaboration homme-robot

Une équipe de recherche en interaction homme-robot publie sur arXiv (2609.13982) une remise en cause de la méthode standard d'apprentissage des préférences pour le comportement des robots collaboratifs. Cette méthode standard fonctionne en trois étapes : le robot collecte un feedback humain direct limité, généralement binaire (positif ou négatif) ; il en déduit ensuite des étiquettes "acceptée" ou "rejetée" pour des actions faisables mais non choisies, via des règles d'implication fixes préétablies ; puis il met à jour son modèle de récompense avec l'ensemble de ces données. Une étude utilisateur menée sur deux environnements de simulation collaboratifs montre que les étiquettes d'implication réellement données par les humains divergent souvent de ce que prédit la règle fixe, et que l'usage des étiquettes humaines réelles améliore nettement l'apprentissage de récompense avec l'algorithme PIE (Preference Learning from Implicit and Explicit Feedback). Les chercheurs proposent en réponse IMPLIED, une méthode qui utilise la règle fixe comme simple point de départ tout en apprenant à inférer et corriger les étiquettes au fil des interactions. Testée sur des trajectoires d'interaction homme-robot enregistrées ainsi que sur une étude avec un robot physique préparant des pizzas, IMPLIED prédit les implications humaines plus fidèlement que la règle fixe et que des références basées sur des LLM, en se rapprochant des performances d'un oracle utilisant directement des étiquettes humaines. Ce résultat questionne une hypothèse implicite largement répandue dans la conception des systèmes de robots collaboratifs : que des règles logiques figées suffisent à extrapoler les préférences humaines au-delà du feedback explicite donné. Pour les concepteurs de robots d'assistance ou de cobots industriels, cela signifie que les modèles de récompense actuels risquent de mal interpréter systématiquement l'intention des opérateurs sur les actions non directement évaluées, ce qui peut se traduire par un comportement robotique perçu comme irrationnel ou mal aligné en situation réelle de collaboration. En réduisant l'erreur d'estimation des préférences, IMPLIED promet des robots capables de s'adapter plus vite et plus fidèlement à un opérateur humain sans multiplier les sollicitations de feedback, un enjeu direct pour l'efficacité des déploiements en environnement partagé homme-robot. Le travail s'inscrit dans la lignée des approches d'apprentissage de préférences par renforcement inverse appliquées à la robotique collaborative, où l'algorithme PIE sert de référence pour combiner feedback explicite et implicite. En comparant IMPLIED à la fois à la règle fixe classique et à des références utilisant des grands modèles de langage, les auteurs positionnent leur méthode comme une alternative apprise et adaptative aux heuristiques statiques du domaine. La validation combine environnements simulés et un cas d'usage physique concret de fabrication culinaire, suggérant une voie vers une intégration future dans des architectures de robots collaboratifs déployés en usine ou en environnement de service.

RecherchePaper

1 source

4arXiv cs.RO

Modélisation de récompense de progression pour l'apprentissage robotique : une étude complète

Une étude publiée sur arXiv (arXiv:2607.21655v1) propose la première synthèse structurée de la littérature sur le "progress reward modeling" en apprentissage robotique, soit les signaux de récompense qui mesurent l'avancement d'une tâche pendant son exécution, et non plus seulement à son terme. Le constat de départ est simple: un signal de succès terminal indique si la tâche est accomplie, mais ne dit rien sur le fait qu'un robot progresse, stagne ou régresse dans son comportement en cours de route. Face à la profusion de méthodes récentes exploitant ce type de retour intermédiaire, les auteurs organisent le champ en trois axes reliés: l'interface du modèle (quelles observations et spécifications d'objectif il reçoit, quel signal de progression il produit), les mécanismes internes de construction de ce signal, puis les données et protocoles d'évaluation qui servent à le valider. L'étude recense aussi les limites actuelles des approches existantes et esquisse des pistes de recherche futures. L'enjeu dépasse la seule taxonomie académique. En apprentissage par renforcement ou par imitation, la récompense terminale rare reste un goulot d'étranglement majeur pour les tâches longues de manipulation ou de locomotion: sans retour intermédiaire, l'agent ne sait pas s'il se rapproche de l'objectif. Des signaux de progression denses, exploitables par des politiques vision-langage-action comme GR00T ou Pi-0, promettent un apprentissage plus efficace en échantillons. Mais les auteurs pointent surtout l'absence de cadre commun: espaces d'observation, formats de signal, sources de supervision et protocoles d'évaluation diffèrent d'un papier à l'autre, rendant les comparaisons de résultats entre laboratoires largement invalides en l'état. Ce travail s'inscrit dans la lignée des modèles de récompense apparus avec le RLHF pour les grands modèles de langage, transposés ici au monde incarné, après des années de récompenses denses conçues à la main ou de signaux terminaux trop pauvres pour guider l'apprentissage. Les approches récentes s'appuient sur des fonctions de valeur apprises à partir de vidéos, des modèles vision-langage utilisés comme juges, ou de l'apprentissage contrastif contre des démonstrations. Sans annoncer de nouveaux résultats expérimentaux, cette synthèse vise avant tout à poser les bases de benchmarks standardisés pour ce sous-domaine en pleine expansion.

RecherchePaper

1 source