RecherchearXiv cs.RO 15 septembre 2026

Repenser les implications du retour humain pour l'apprentissage des préférences dans la collaboration homme-robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche en interaction homme-robot publie sur arXiv (2609.13982) une remise en cause de la méthode standard d'apprentissage des préférences pour le comportement des robots collaboratifs. Cette méthode standard fonctionne en trois étapes : le robot collecte un feedback humain direct limité, généralement binaire (positif ou négatif) ; il en déduit ensuite des étiquettes "acceptée" ou "rejetée" pour des actions faisables mais non choisies, via des règles d'implication fixes préétablies ; puis il met à jour son modèle de récompense avec l'ensemble de ces données. Une étude utilisateur menée sur deux environnements de simulation collaboratifs montre que les étiquettes d'implication réellement données par les humains divergent souvent de ce que prédit la règle fixe, et que l'usage des étiquettes humaines réelles améliore nettement l'apprentissage de récompense avec l'algorithme PIE (Preference Learning from Implicit and Explicit Feedback). Les chercheurs proposent en réponse IMPLIED, une méthode qui utilise la règle fixe comme simple point de départ tout en apprenant à inférer et corriger les étiquettes au fil des interactions. Testée sur des trajectoires d'interaction homme-robot enregistrées ainsi que sur une étude avec un robot physique préparant des pizzas, IMPLIED prédit les implications humaines plus fidèlement que la règle fixe et que des références basées sur des LLM, en se rapprochant des performances d'un oracle utilisant directement des étiquettes humaines.

Ce résultat questionne une hypothèse implicite largement répandue dans la conception des systèmes de robots collaboratifs : que des règles logiques figées suffisent à extrapoler les préférences humaines au-delà du feedback explicite donné. Pour les concepteurs de robots d'assistance ou de cobots industriels, cela signifie que les modèles de récompense actuels risquent de mal interpréter systématiquement l'intention des opérateurs sur les actions non directement évaluées, ce qui peut se traduire par un comportement robotique perçu comme irrationnel ou mal aligné en situation réelle de collaboration. En réduisant l'erreur d'estimation des préférences, IMPLIED promet des robots capables de s'adapter plus vite et plus fidèlement à un opérateur humain sans multiplier les sollicitations de feedback, un enjeu direct pour l'efficacité des déploiements en environnement partagé homme-robot.

Le travail s'inscrit dans la lignée des approches d'apprentissage de préférences par renforcement inverse appliquées à la robotique collaborative, où l'algorithme PIE sert de référence pour combiner feedback explicite et implicite. En comparant IMPLIED à la fois à la règle fixe classique et à des références utilisant des grands modèles de langage, les auteurs positionnent leur méthode comme une alternative apprise et adaptative aux heuristiques statiques du domaine. La validation combine environnements simulés et un cas d'usage physique concret de fabrication culinaire, suggérant une voie vers une intégration future dans des architectures de robots collaboratifs déployés en usine ou en environnement de service.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Repenser le désapprentissage des démonstrations dans l'apprentissage par imitation pour la robotique

Un article publié sur arXiv (2608.20784v1) propose un cadre d'audit pour l'oubli de démonstrations en apprentissage par imitation robotique, quand des contributeurs demandent le retrait de leurs démonstrations d'une politique déjà entraînée. Plutôt qu'un réentraînement complet, coûteux à mesure que grandissent modèle et données, les auteurs évaluent des opérateurs d'édition appliqués directement à la politique existante. Leur audit croise deux axes: le comportement, mesuré par la divergence d'action face à des réentraînements de référence, et la preuve, mesurée par une attaque d'appartenance rapportant rang et niveau absolu de perte. Sur cinq conditions préenregistrées, trois politiques robotiques réelles et deux suites de simulation, un édit de type redirection sur l'architecture ACT restaure un taux de succès de 18 essais sur 20 en évaluation en aveugle. Ce travail répond à un problème concret pour l'industrie robotique: à mesure que les politiques génératives de type VLA s'entraînent sur des volumes croissants de démonstrations téléopérées, les demandes de retrait de données individuelles se heurteront au coût du réentraînement complet. Les métriques héritées du machine unlearning classique, comme la perte d'oubli ou une simple attaque d'appartenance, ne suffisent pas à garantir qu'une édition a réellement supprimé l'influence d'une démonstration en boucle fermée: un édit peut réparer le comportement sans effacer la trace détectable, ou au contraire réduire cette détectabilité tout en éloignant le comportement du réentraînement réel. Pour des intégrateurs tentés par l'édition post-hoc plutôt que le réentraînement complet, un simple test de réussite de tâche ne suffit donc pas à certifier qu'une démonstration a été effectivement oubliée. Cette recherche prolonge les travaux de machine unlearning menés sur les grands modèles de langage et de vision, transposés ici au contrôle robotique en boucle fermée, où c'est l'action, non la seule prédiction, qui doit être auditée. Elle survient alors que l'apprentissage par imitation à partir de démonstrations téléopérées s'impose comme méthode dominante pour entraîner des politiques robotiques générales, dans la lignée d'architectures comme ACT, popularisée par les plateformes de téléopération de type ALOHA. La question du retrait de données gagne en importance à mesure que ces jeux de données reposent sur des opérateurs identifiables, avec des implications de consentement et de conformité. Les auteurs ont préenregistré leurs cinq conditions expérimentales, une rigueur rare dans la littérature robotique, sans annoncer de calendrier de déploiement industriel.

UELes enjeux de retrait de données et de conformité soulevés touchent directement les industriels européens de la téléopération robotique soumis aux exigences de consentement et de suppression de données (type RGPD).

RecherchePaper

1 source

2arXiv cs.RO

Apprendre à assister : des modèles VLA collaboratifs pour la coopération implicite humain-robot

Des chercheurs ont publié le 12 juin 2026 (arXiv:2606.12475) une étude sur l'usage de modèles vision-langage-action (VLA) entraînés par imitation learning pour la collaboration humain-robot (HRC) implicite, sans signal explicite déclenchant l'assistance robotique. Évaluant deux VLA de référence sur des tâches d'assemblage collaboratif, l'équipe identifie un défaut propre aux politiques d'action-chunking : la "fuite d'actions de démonstration" (demonstration action leakage). Ce phénomène survient lorsque des chunks d'actions enjambent des transitions latentes de sous-tâches, poussant le robot à assister l'humain trop tôt, comme tendre un outil avant que l'opérateur soit prêt à le saisir. Pour corriger ce comportement sans réentraîner le modèle, les auteurs proposent un pilotage à l'inférence (inference-time steering). Une étude à 16 participants sur une tâche d'assemblage longue horizon confirme que le steering réduit les interventions prématurées, accélère la collaboration et diminue les échecs par rapport à une politique à horizon court. Ce résultat ouvre une voie concrète pour l'intégration des VLA dans des workflows industriels collaboratifs, jusqu'ici dépendants de pipelines codés à la main, peu scalables vers de nouvelles tâches. La fuite d'actions constitue un avertissement direct pour les équipes déployant des politiques ACT ou diffusion en mode HRC : allonger l'horizon d'exécution, souvent souhaitable pour la fluidité du mouvement, aggrave le problème. Le steering à l'inférence fournit un correctif opérationnel sans modification du modèle entraîné, ce qui le rend attractif pour un déploiement rapide. Les VLA généralistes comme Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) ont prouvé leur efficacité en manipulation autonome, mais leur usage en HRC implicite restait peu documenté. Cette publication comble ce manque méthodologique. En Europe, des acteurs comme Enchanted Tools et Wandercraft, dont les robots sont conçus pour opérer aux côtés d'humains, pourraient réduire leur charge d'ingénierie manuelle en s'appuyant sur ces résultats. La prochaine étape sera d'étendre la méthode à des environnements industriels non contrôlés et à des tâches encore plus longues, afin d'évaluer la robustesse du steering face à la variabilité réelle des comportements humains.

UEEnchanted Tools et Wandercraft, acteurs européens de la robotique collaborative, pourraient réduire leur charge d'ingénierie manuelle en adoptant le steering à l'inférence pour corriger la fuite d'actions dans leurs déploiements VLA, sans réentraîner leurs modèles.

RechercheOpinion

1 source

3arXiv cs.RO

L'enseignement comme processus : le cadre TOSS pour modéliser les décisions humaines d'enseignement dans l'apprentissage robotique interactif

Une étude exploratoire menée auprès de 34 participants (N=34) documente pour la première fois la logique intuitive que les humains appliquent lorsqu'ils enseignent à un robot par apprentissage par renforcement (RL). Les chercheurs ont fait observer aux participants deux scénarios distincts de RL robotique et ont analysé 204 réponses d'enseignement intuitif, réparties sur trois phases d'apprentissage du robot (précoce, intermédiaire, tardive). L'analyse révèle que les décisions d'enseignement ne sont pas de simples signaux de récompense ponctuels, mais forment un réseau structuré de quatre composantes: des déclencheurs (situations qui incitent à intervenir), des objectifs (ce que l'enseignant cherche subjectivement à obtenir), des signaux (les actes de communication effectivement produits) et des stratégies (une logique de pilotage de plus haut niveau). Les participants endossent spontanément des rôles différents selon les moments, tantôt coach, tantôt ingénieur, tantôt concepteur, avec des priorités d'objectifs qui varient en conséquence. Ces résultats sont formalisés dans le cadre théorique TOSS (Trigger-Objective-Signal-Strategy), publié le 24 août 2026 sur arXiv (2608.21083). Cette recherche met en évidence un décalage entre la manière dont les algorithmes de RL interactif attendent un retour humain, généralement un signal de récompense simple et homogène, et la façon dont les humains enseignent réellement, de manière contextuelle, changeante et stratégique. Pour les équipes qui conçoivent des pipelines d'apprentissage par démonstration ou des interfaces de feedback humain pour robots, ce constat suggère que les hypothèses simplificatrices actuelles limitent l'efficacité de l'apprentissage interactif et que des architectures capables d'intégrer des rôles et objectifs multiples pourraient mieux exploiter l'expertise humaine. Le travail s'inscrit dans le champ de l'interaction humain-robot appliquée à l'apprentissage par renforcement interactif, où la modélisation du comportement de l'enseignant humain reste peu formalisée malgré son rôle central dans l'apprentissage supervisé par démonstration. Les auteurs mettent à disposition un jeu de données ouvert accompagnant le cadre TOSS, destiné à servir de base pour simuler des oracles humains réalistes et concevoir de nouveaux algorithmes de RL ainsi que des interfaces d'enseignement centrées sur l'humain, au-delà des contraintes des configurations actuelles.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique

Une équipe de chercheurs publie dans un préprint arXiv daté du 3 juin 2026 PACT (Preference-calibrated Actor-Critic Training), un cadre d'apprentissage par renforcement avec supervision humaine (HIL-RL) pour la manipulation robotique. Le problème ciblé est connu : quand un opérateur reprend la main pour corriger le robot, les trajectoires collectées contiennent des segments suboptimaux que les méthodes actuelles propagent indistinctement dans le calcul des récompenses, surestimant les Q-valeurs et biaisant la politique vers des comportements sous-performants. PACT introduit un modèle de progression entraîné sur des démonstrations humaines pour identifier ces segments défaillants, puis construit des paires de préférence entre l'action correctrice humaine et l'action rééchantillonnée de la politique au même état d'intervention. Cette comparaison génère un avantage contrefactuel qui pénalise les cibles de Bellman sur les segments suboptimaux, complété par un alignement direct de la politique sur les actions correctives dans l'espace des moyennes bornées. Sur cinq tâches de manipulation réelle-robot, PACT affiche une amélioration moyenne du taux de succès de 24,5 % et une convergence 1,3 fois plus rapide que les méthodes HIL-RL de référence. Le code est disponible en open source sur dépôt GitHub anonymisé. Ces résultats s'attaquent à un goulot d'étranglement pratique du HIL-RL : la supervision humaine améliore l'efficacité en échantillons, mais introduit du bruit quand les corrections arrivent après plusieurs actions déjà incorrectes. En extrayant les signaux de préférence implicitement des interventions, sans annotation post-hoc coûteuse, PACT permet à un opérateur non-expert d'intervenir naturellement pendant l'entraînement sans dégrader la qualité des données. La convergence accélérée réduit directement le temps d'adaptation sur de nouvelles tâches, un facteur critique pour le déploiement en environnements industriels variables. Le HIL-RL s'appuie sur des travaux fondateurs comme DAgger (Ross et al., 2011) et IWR (Mandlekar et al., 2020), complétés par des variantes comme HG-DAgger, qui pondèrent les transitions différemment sans toutefois distinguer explicitement les segments suboptimaux. PACT se positionne comme une extension ciblée de cette famille. La manipulation robotique est par ailleurs traversée par les approches VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui misent sur la généralisation zero-shot, une stratégie complémentaire plutôt qu'opposée au fine-tuning supervisé par intervention humaine. Le préprint, non encore peer-reviewed, ne mentionne ni partenaires industriels ni calendrier de déploiement ; la distance entre banc de test robotique de laboratoire et production industrielle reste entière.

UEImpact indirect : ce cadre HIL-RL open-source pourrait accélérer les travaux des équipes européennes de robotique industrielle cherchant à réduire le coût d'adaptation de robots à de nouvelles tâches en production.

RecherchePaper

1 source