RecherchearXiv cs.RO 5 août 2026

EvoHIL : optimisation évolutive de la récompense et de la politique par flow matching pour l'apprentissage par renforcement robuste avec humain dans la boucle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche vient de publier sur arXiv (2608.03872, début août 2026) EvoHIL, un framework d'apprentissage par renforcement avec humain dans la boucle (HIL-RL) pour la manipulation robotique riche en contacts. Le système combine trois mécanismes : une récompense auto-évolutive (SER) qui met à jour le classificateur de succès à partir d'exemples positifs validés par un humain et de négatifs faibles provisoires ; une stabilisation de flux d'actions (AFS), qui génère des séquences temporellement cohérentes via flow matching en s'appuyant sur les préfixes d'actions déjà exécutés et les démonstrations ; et un fine-tuning hors ligne dit « rétention-aware », qui rejoue des données d'interaction rééclairées tout en ancrant l'acteur-critique AFS au comportement antérieur, sans interaction robotique supplémentaire. Les auteurs ont testé EvoHIL sur six tâches de manipulation, sur des bras Franka FR3 et SO-101, sous un changement contrôlé d'éclairage. Comparé aux méthodes HIL-RL classiques et à l'imitation learning, EvoHIL améliore le taux de réussite, l'accord avec les labels de confirmation humaine, la fluidité du mouvement et le temps de complétion.

L'intérêt tient à la façon dont le papier attaque trois faiblesses couplées qui plombent le HIL-RL en conditions réelles : un modèle de récompense visuel statique qui s'effondre dès que la scène change, des actions échantillonnées indépendamment qui produisent des mouvements saccadés, et des politiques vision-based fragiles face aux changements d'apparence. C'est exactement ce type de fragilité qui sépare les démonstrations de labo des déploiements industriels, où l'éclairage, le fond ou la position des objets varient en permanence. En montrant qu'un reward model, un générateur d'actions et un domaine visuel peuvent être adaptés conjointement plutôt que séparément, EvoHIL nourrit le débat sur la viabilité des politiques VLA à l'échelle, une question centrale pour tout intégrateur cherchant à sortir un bras collaboratif ou un humanoïde des conditions contrôlées d'une démo.

Le travail s'inscrit dans la lignée des recherches récentes sur le flow matching appliqué aux politiques robotiques, une approche popularisée par des modèles comme Pi-0 ou GR00T N2 pour produire des trajectoires plus fluides que les méthodes de diffusion classiques. Il s'agit toutefois d'un article académique soumis en double-aveugle, avec une page projet hébergée sous un identifiant anonyme et sans affiliation d'entreprise ni de laboratoire revendiquée à ce stade, ni déploiement industriel annoncé. Les essais se limitent à deux plateformes de bras manipulateurs en environnement contrôlé, loin des volumes d'un déploiement commercial. La suite logique, si les résultats tiennent lors de la publication définitive, serait une extension à davantage de tâches, de plateformes et de variations environnementales pour confirmer la robustesse au-delà du simple changement d'éclairage testé ici.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Stabilité de la récompense par transition d'étapes pour l'apprentissage par renforcement

Une équipe de recherche présente STDR (Stage-Transition Dense Reward), un framework qui transforme des vidéos de démonstration non structurées en récompenses denses pour entraîner des agents d'apprentissage par renforcement (RL) sur des tâches de manipulation robotique à long horizon, sans design manuel de fonction de récompense. Le système infère automatiquement la structure en étapes d'une tâche à partir des démonstrations, puis fournit deux signaux complémentaires pendant l'entraînement en ligne : une récompense orientée objectif à chaque transition d'étape, et un signal de progression fine à l'intérieur de chaque étape. Un mécanisme de détection hors distribution (OOD) et un module de régulation de la préhension ont été ajoutés pour éviter le "reward hacking", ce biais classique où l'agent exploite des failles de la fonction de récompense plutôt que d'accomplir réellement la tâche. Les tests couvrent 14 tâches de manipulation réparties sur trois bancs d'essai standards du domaine, MetaWorld, ManiSkill et Franka Kitchen, avec des validations complémentaires sur robot réel. L'enjeu dépasse la seule performance académique. Concevoir des récompenses denses à la main reste l'un des goulots d'étranglement majeurs du RL appliqué à la robotique industrielle : chaque nouvelle tâche, chaque nouvelle configuration d'objets impose de retravailler manuellement le signal d'apprentissage, ce qui freine le déploiement à grande échelle chez les intégrateurs. En montrant que STDR égale voire dépasse les récompenses handcrafted sur plusieurs tâches complexes, tout en gagnant en efficacité d'échantillonnage, l'étude appuie l'hypothèse selon laquelle l'apprentissage par vidéos de démonstration peut remplacer l'ingénierie de récompense ad hoc, un argument déterminant pour accélérer l'entraînement de bras robotiques ou de mains manipulatrices en environnement réel plutôt qu'en simulation pure. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage de récompenses par vision (reward learning from video), un axe actif face aux limites du reward shaping manuel et aux coûts d'annotation. Les résultats sur robot réel, où STDR assigne des récompenses stables et bien calibrées sur les exécutions réussies tout en pénalisant correctement les échecs, suggèrent une robustesse au bruit visuel qui manquait souvent aux approches précédentes. Les prochaines étapes attendues porteront sur l'extension à des tâches encore plus longues et sur l'intégration avec des politiques de type VLA (vision-language-action) pour la généralisation multi-tâches.

RecherchePaper

1 source

2arXiv cs.RO

RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage

Les systèmes de reinforcement learning avec humain dans la boucle (HIL-RL) atteignent des taux de succès quasi parfaits sur le poste de travail où ils sont entraînés, mais s'effondrent lorsque le même robot est déplacé de quelques mètres vers un poste différent. La cause est simple : des variations d'éclairage (position des lampes, lumière naturelle) perturbent suffisamment la distribution des entrées visuelles pour invalider la politique apprise. Pour combler ce "cross-domain gap" sans recollecte de données terrain, des chercheurs présentent RoHIL (Robust Human-in-the-Loop), un framework de fine-tuning hors ligne évalué sur quatre tâches de manipulation robotique réelle. RoHIL repose sur trois mécanismes : un re-lighting basé sur un world model qui resynthétise le flux visuel des trajectoires sources sous plusieurs environnements HDRI virtuels sans modifier les actions ni les récompenses, un mécanisme anti-oubli appelé Illumination-Retention Replay (IRR) qui entrelace transitions d'adaptation et transitions de rétention, et un régulariseur Bellman-acteur ancré limitant la dérive de représentation par rapport à la politique source. L'enjeu industriel est direct : recollecte de démonstrations et ré-entraînement HIL à chaque nouveau poste sont incompatibles avec un déploiement à l'échelle. La fragilité aux variations lumineuses reste l'un des obstacles les plus sous-estimés entre laboratoire et production réelle. RoHIL répond à ce problème sans interaction robot supplémentaire, ce qui réduit le coût d'intégration pour les opérateurs. La combinaison IRR et régulariseur Bellman démontre qu'il est possible d'adapter une politique à de nouvelles conditions visuelles tout en préservant les performances sur l'environnement d'origine, résultat non trivial face à l'oubli catastrophique classique. Ce travail, déposé sur arXiv en mai 2025 sous soumission anonyme et vraisemblablement en cours d'évaluation par une conférence, s'inscrit dans la vague de recherches visant à rendre les politiques robotiques robustes aux variations de domaine. Les approches concurrentes incluent la randomisation de domaine à l'entraînement, les politiques multi-environnements ou l'augmentation visuelle agressive, mais ces techniques nécessitent d'anticiper les variations en amont. RoHIL se distingue par son mode entièrement offline. Aucun déploiement commercial ni partenariat industriel n'est mentionné : il s'agit d'un résultat académique à ce stade, dont les extensions naturelles porteront sur un plus grand nombre de postes, de conditions lumineuses et de tâches à degrés de liberté élevés.

RecherchePaper

1 source

3arXiv cs.RO

LyEvO : optimisation évolutionnaire guidée par Lyapunov pour un apprentissage de politique sûr et robuste en transfert simulation-réel

Une équipe de recherche publie sur arXiv (référence 2608.06481) LyEvO, une méthode combinant optimisation évolutionnaire contrainte, vérification statistique de modèles (Statistical Model Checking) et analyse de stabilité de Lyapunov pour entraîner des politiques de contrôle sûres et transférables de la simulation au réel. À partir de la dynamique connue du système, LyEvO calcule d'abord une région de stabilité candidate par analyse de Lyapunov, puis une boucle itérative optimise et vérifie statistiquement la politique sur des scénarios tirés de cette région, avant d'élargir ses frontières selon les résultats obtenus. Ce processus fournit un critère pratique pour juger si un contrôleur est prêt au déploiement réel. La méthode est testée sur deux bancs d'essai classiques, le pendule inversé sur chariot (Cartpole) et un quadrirotor 3D, via des simulations puis des expériences physiques, avec un transfert simulation-réel jugé sûr et robuste par les auteurs. Le problème visé est central pour la robotique apprenante : les politiques entraînées en simulation, notamment par renforcement, échouent souvent une fois transférées sur du matériel réel, faute de garanties sur leur stabilité en dehors des conditions d'entraînement. En couplant vérification statistique et analyse de stabilité issue de la théorie du contrôle classique, LyEvO propose une alternative aux pratiques dominantes, randomisation de domaine et essais-erreurs empiriques, qui n'offrent aucune preuve formelle de robustesse. Pour des ingénieurs devant certifier qu'un contrôleur tiendra face à des perturbations non vues à l'entraînement, disposer d'un critère explicite de préparation au déploiement plutôt qu'une simple confiance empirique constitue un apport méthodologique réel, même si la validation reste ici cantonnée à des systèmes académiques standards plutôt qu'à des robots commerciaux complexes. L'écart entre simulation et réel reste un goulot d'étranglement historique du contrôle apprenant, les erreurs de modélisation, le bruit des capteurs et les dynamiques non capturées en simulation pouvant faire échouer en conditions réelles un contrôleur performant sur banc virtuel. Les approches existantes reposent généralement soit sur la randomisation de domaine pour gagner en robustesse par diversité d'entraînement, soit sur des méthodes de vérification formelle, précises mais coûteuses en calcul et difficiles à mettre à l'échelle. LyEvO se positionne entre ces deux traditions en réintroduisant la stabilité de Lyapunov, un outil classique du contrôle, dans une boucle moderne d'optimisation évolutionnaire et de vérification statistique. Publié comme nouvelle soumission arXiv, l'article ne mentionne aucun partenariat industriel ni déploiement commercial ; la suite logique pour ce type de travaux académiques serait l'extension à des systèmes robotiques plus complexes, bras manipulateurs ou robots à pattes, où les garanties de stabilité formelle restent aujourd'hui rares.

RecherchePaper

1 source

4arXiv cs.RO

E2HiL : sélection d'échantillons guidée par l'entropie pour un apprentissage par renforcement humain-dans-la-boucle efficace en conditions réelles

Des chercheurs présentent E2HiL, un framework d'apprentissage par renforcement en boucle humaine (human-in-the-loop RL) destiné à réduire le nombre d'interventions manuelles nécessaires pour entraîner des politiques de manipulation robotique en conditions réelles. Publié sur arXiv (2601.19969v2), le système a été évalué sur 10 tâches de manipulation réelle, couvrant plusieurs types de robots et plusieurs frameworks d'apprentissage. Comparé aux meilleures références HiL-RL existantes, E2HiL améliore le taux de réussite de 24,9% tout en réduisant de 9,3% les interventions humaines requises. Techniquement, la méthode calcule des fonctions d'influence mesurant l'effet de chaque échantillon sur l'entropie de la politique, via la covariance entre probabilités d'action et avantages softs, puis ne conserve que les échantillons à influence modérée, écartant les raccourcis provoquant une chute d'entropie brutale et le bruit sans effet mesurable. Les détails du projet sont disponibles sur e2hil.github.io. L'approche cible un goulot d'étranglement bien identifié du RL réel appliqué à la manipulation: la supervision humaine nécessaire pour guider l'exploration reste coûteuse en main d'oeuvre, ce qui freine le passage à l'échelle hors simulation. En sélectionnant activement les échantillons les plus informatifs plutôt qu'en traitant chaque intervention de façon uniforme, E2HiL améliore simultanément performance et coût de supervision, un compromis rarement obtenu dans la littérature HiL-RL. Présenté comme agnostique à la politique et à l'embodiment, le module est réutilisable avec différents robots et algorithmes d'apprentissage sans reconception spécifique, ce qui intéresse les équipes cherchant à industrialiser le RL réel plutôt que de rester dépendantes du fine-tuning de modèles vision-langage-action entraînés hors ligne. Les gains chiffrés restent toutefois mesurés par les auteurs face à leurs propres baselines, sans validation indépendante à ce stade. Le framework s'inscrit dans la lignée des méthodes de RL en boucle humaine apparues pour accélérer l'apprentissage en conditions réelles, en alternative aux approches purement imitatives ou aux grands modèles vision-langage-action entraînés hors ligne puis affinés. La mention "replace" associée à la version 2 de l'article indique une mise à jour d'une publication antérieure; le résumé fourni ne précise ni laboratoire ni affiliation institutionnelle des auteurs. Aucun partenariat industriel, pilote annoncé ou calendrier de déploiement n'est mentionné: il s'agit à ce stade d'une contribution de recherche méthodologique, conçue comme un module plug-and-play destiné à s'intégrer dans des pipelines HiL-RL existants plutôt que d'un produit ou d'un système robotique complet.

RecherchePaper

1 source