Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RMTL : apprentissage par renforcement sur micro-tâches pour la manipulation à long terme avec récompenses VLM
RecherchearXiv cs.RO 

RMTL : apprentissage par renforcement sur micro-tâches pour la manipulation à long terme avec récompenses VLM

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié en juin 2026, via arXiv (identifiant 2606.26175), une méthode baptisée RMTL (Reinforced Micro-Task Learning) visant à résoudre un problème central de l'apprentissage par renforcement appliqué à la manipulation robotique : la conception du signal de récompense. Plutôt que de s'appuyer sur une fonction de récompense dense codée manuellement (coûteuse à calibrer et souvent fragile) ou sur des démonstrations humaines, RMTL exploite des modèles vision-langage (VLM) préentraînés comme signaux de récompense zero-shot. La nouveauté réside dans la décomposition de la tâche globale en un petit ensemble de micro-tâches décrites en langage naturel, chacune associée à un prompt dédié. À chaque étape, l'agent reçoit une récompense calculée par le VLM selon la micro-tâche active, moyennée sur plusieurs angles de caméra pour atténuer les effets d'occlusion. Un curriculum inverse expose progressivement l'agent à des conditions initiales plus difficiles, tandis qu'un gestionnaire hiérarchique appris remplace une règle de sélection de phase basée sur la distance. Les expériences ont été menées sur l'environnement Fetch, benchmark standard de la manipulation en simulation, avec seulement trois prompts courts sans ajustement supplémentaire.

L'apport principal est l'amélioration significative du signal d'apprentissage par rapport à une approche VLM à prompt unique. Un prompt global produit un signal de récompense quasi-plat en début de trajectoire : l'agent ne détecte pas ses progrès précoces, ce qui ralentit drastiquement la convergence sur des tâches à long horizon. RMTL répond à ce problème structurel en rendant chaque micro-tâche localement observable. Pour les équipes cherchant à réduire leur dépendance aux démonstrations humaines ou à l'ingénierie manuelle des récompenses, cela représente une piste sérieuse pour rendre le RL guidé par le langage plus scalable sans coût d'annotation supplémentaire.

Ce travail s'inscrit dans une vague active de recherches utilisant les VLMs comme substituts de fonctions de récompense, dont EUREKA de NVIDIA ou les approches SayCan de Google DeepMind. Contrairement à certaines de ces méthodes qui nécessitent un fine-tuning ou des démonstrations vidéo, RMTL mise sur une décomposition minimale en trois phases sans recalibrage des prompts. L'évaluation reste cependant confinée à la simulation sur robot Fetch, et aucun résultat sur plateforme physique n'est rapporté. La prochaine étape critique sera de valider si cette approche tient face au gap sim-to-real, notamment sur des manipulateurs physiques avec variabilité sensorielle réelle.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

AtomicRL : apprentissage par renforcement atomique pour la manipulation robotique à long horizon
1arXiv cs.RO 

AtomicRL : apprentissage par renforcement atomique pour la manipulation robotique à long horizon

AtomicRL, un framework de post-entraînement par apprentissage par renforcement (RL) pour modèles vision-langage-action (VLA), est présenté dans une prépublication arXiv (2610.30097v1). Les auteurs partent d'un constat : l'apprentissage par imitation seul peine à maîtriser les compétences de manipulation longues, et les méthodes VLA-RL existantes souffrent d'une attribution du crédit tardive et biaisée, car elles reposent sur des récompenses éparses calculées à l'échelle de la trajectoire entière. AtomicRL exploite la structure en sous-tâches atomiques avec deux briques. La première, SAPO (Semantic-Aware Policy Optimization), utilise un filtrage sémantique pour empêcher les résidus TD d'une sous-tâche échouée de se propager aux suivantes, tout en conservant l'attribution du crédit au sein de chaque sous-tâche. La seconde, BATE (Bottleneck-Adaptive Target Exploration), ajuste l'échantillonnage des tâches et les incitations à l'exploration locale selon le niveau de maîtrise de chaque sous-tâche. Un pipeline Real2Sim2Real relie l'entraînement RL en simulation au déploiement sur robot physique. Sur LIBERO-LONG, le gain absolu atteint 3,6 % et 4,0 % face à PPO sur deux architectures VLA. Sur CALVIN ABC-D, la performance sur la tâche complète progresse jusqu'à 9,5 %. Avec Real2Sim2Real, les tâches réelles gagnent en moyenne 21,3 %. L'intérêt tient moins aux gains en simulation, modestes, qu'à la méthode. Le goulot d'étranglement de la manipulation longue est souvent une sous-tâche faible dont l'échec invalide toute la séquence. Un signal de crédit plus fin et un échantillonnage qui cible ces faiblesses répondent à un problème que rencontrent les intégrateurs dès qu'ils enchaînent des étapes d'assemblage ou de kitting. Le gain réel moyen de 21,3 % est le chiffre le plus parlant, mais il appelle de la prudence. Le résumé ne donne ni le nombre de tâches, ni le robot, ni le nombre d'essais, ni la référence de comparaison, ce qui empêche d'en juger la portée. LIBERO et CALVIN restent des benchmarks académiques en simulation, loin des variabilités d'une ligne de production. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel. Ce travail s'inscrit dans la tendance du RL appliqué aux VLA après un pré-entraînement par imitation. Il suit des approches comme les variantes de PPO pour VLA, dont AtomicRL fait sa référence principale. Les acteurs industriels qui misent sur des VLA généralistes, tels que Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix, restent confrontés au même écart entre imitation et robustesse en conditions réelles. La décomposition en compétences atomiques rejoint aussi les architectures hiérarchiques utilisées par plusieurs acteurs européens pour fiabiliser des enchaînements de tâches. Les prochaines étapes à surveiller sont la publication du code, des résultats sur des plateformes variées et des validations sur des tâches industrielles à plus long horizon, avec des statistiques détaillées de réussite et de temps de cycle.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
RARM : modèle de récompenses de progression à seuil de confiance pour l'apprentissage par renforcement en manipulation
2arXiv cs.RO 

RARM : modèle de récompenses de progression à seuil de confiance pour l'apprentissage par renforcement en manipulation

Des chercheurs ont publié sur arXiv (réf. 2606.22027) RARM, pour Reference-Anchored Reward Model, une approche visant à résoudre un verrou central de l'apprentissage par renforcement (RL) en manipulation robotique : la conception des fonctions de récompense. La méthode repose sur un comparateur visuel léger qui, à partir d'une seule démonstration réussie, génère automatiquement un signal de récompense dense et progressif. RARM est pré-entraîné une unique fois sur des vidéos généralistes via un objectif de contraste temporel, sans données robot-spécifiques ni étiquetage manuel. Au déploiement, il compare des extraits de la tentative courante à des clips de référence et ne délivre une récompense que lorsque la correspondance dépasse un seuil de confiance (d'où l'appellation confidence-gated). Évalué sur 9 tâches de manipulation simulées issues des benchmarks LIBERO et MetaWorld ainsi que sur 4 tâches réelles, RARM obtient les meilleurs taux de succès globaux en entraînement RL, avec des gains particulièrement marqués sur des tâches longue durée comme le pliage de tissu. Le verrou qu'attaque RARM est fondamental : les récompenses éparses (succès/échec en fin de séquence) produisent un signal trop faible pour les tâches longues, tandis que les récompenses denses codées manuellement exigent une ingénierie fastidieuse et se généralisent mal d'une tâche à l'autre. Les approches de progression existantes souffraient d'un biais critique : elles attribuaient des récompenses élevées à des états visuellement plausibles mais physiquement incorrects, ce que la porte de confiance de RARM réduit directement. L'implication concrète pour les intégrateurs est qu'une seule vidéo de démonstration humaine suffit désormais à bootstrapper l'entraînement RL sur une nouvelle tâche, sans ré-ingénierie de la fonction de récompense. RARM se positionne en concurrence directe avec EUREKA (OpenAI, génération de récompenses via LLM) et les méthodes d'imitation inverse (IRL), dont il se distingue par sa légèreté et l'absence de données robot-spécifiques. Son objectif de généralisation le rapproche des ambitions des modèles VLA comme pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La publication reste un preprint arXiv, pas encore un produit ni un déploiement industriel ; les prochaines étapes attendues incluent une validation sur des plateformes hardware diversifiées et une intégration dans des pipelines de fine-tuning de modèles fondationnels robotiques.

RecherchePaper
1 source
De la préformation à la maîtrise : apprentissage par renforcement des sous-tâches en conditions réelles pour la manipulation à long horizon, avec intervention humaine minimale
3arXiv cs.RO 

De la préformation à la maîtrise : apprentissage par renforcement des sous-tâches en conditions réelles pour la manipulation à long horizon, avec intervention humaine minimale

PARTS (Policy Adaptation with RL on Targeted Subtasks) est un cadre d'apprentissage par renforcement qui corrige les échecs récurrents des politiques robotiques préentraînées sur des tâches longues, décrit dans un preprint arXiv (2609.21788) publié en septembre 2026. La politique de base reste gelée pour les actions nominales, tandis que des sélecteurs et vérificateurs de succès générés automatiquement déclenchent des corrections résiduelles ciblées sur les sous-tâches en échec et distribuent des récompenses locales, même quand les succès complets restent rares ; les humains se limitent à repérer ces points de blocage et à effectuer les réinitialisations physiques. Le taux de succès complet grimpe de 32% à 61% sur des tâches bimanuelles avec la plateforme YAM, et de 50% à 95% sur des tâches à bras unique avec un robot Franka (Franka Emika, Allemagne), pour quelques dizaines de minutes de rollouts réels par tâche en moyenne. Ce résultat répond à un problème connu du secteur : les politiques de type VLA impressionnent souvent en démonstration mais s'effondrent sur quelques étapes critiques au déploiement, et le fine-tuning par RL à récompense éparse peine à résoudre des tâches longues. En montrant qu'une correction ciblée sur les seules sous-tâches en échec comble l'essentiel de l'écart avec quelques dizaines de minutes de collecte réelle et une supervision humaine minimale, PARTS réduit le coût du dernier kilomètre de fiabilité, souvent le facteur limitant en usine ou en entrepôt. Comparé aux méthodes RL existantes de fine-tuning en conditions réelles, il améliore le succès complet de plus de 25 points à budget de rollouts identique, avec moins d'intervention humaine. PARTS s'inscrit dans la course aux politiques de fondation robotique préentraînées sur de larges jeux de démonstrations, que le secteur cherche à fiabiliser sans re-collecte complète. Les auteurs le comparent aux méthodes RL existantes de fine-tuning en conditions réelles, qu'il surpasse nettement à budget de rollouts égal, et au fine-tuning supervisé classique qu'il rend en partie superflu. Publié sans partenariat industriel ni calendrier annoncé, ce résultat de laboratoire, validé sur les seules plateformes YAM et Franka Emika, reste à étendre à davantage de tâches, de robots et de politiques commerciales.

UELe framework est validé sur un bras Franka Emika (fabricant allemand), mais sans institution ou entreprise européenne pilotant la recherche, l'impact direct sur la France/UE reste limité.

RecherchePaper
1 source
Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique
4arXiv cs.RO 

Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique

Une équipe de chercheurs publie dans un préprint arXiv daté du 3 juin 2026 PACT (Preference-calibrated Actor-Critic Training), un cadre d'apprentissage par renforcement avec supervision humaine (HIL-RL) pour la manipulation robotique. Le problème ciblé est connu : quand un opérateur reprend la main pour corriger le robot, les trajectoires collectées contiennent des segments suboptimaux que les méthodes actuelles propagent indistinctement dans le calcul des récompenses, surestimant les Q-valeurs et biaisant la politique vers des comportements sous-performants. PACT introduit un modèle de progression entraîné sur des démonstrations humaines pour identifier ces segments défaillants, puis construit des paires de préférence entre l'action correctrice humaine et l'action rééchantillonnée de la politique au même état d'intervention. Cette comparaison génère un avantage contrefactuel qui pénalise les cibles de Bellman sur les segments suboptimaux, complété par un alignement direct de la politique sur les actions correctives dans l'espace des moyennes bornées. Sur cinq tâches de manipulation réelle-robot, PACT affiche une amélioration moyenne du taux de succès de 24,5 % et une convergence 1,3 fois plus rapide que les méthodes HIL-RL de référence. Le code est disponible en open source sur dépôt GitHub anonymisé. Ces résultats s'attaquent à un goulot d'étranglement pratique du HIL-RL : la supervision humaine améliore l'efficacité en échantillons, mais introduit du bruit quand les corrections arrivent après plusieurs actions déjà incorrectes. En extrayant les signaux de préférence implicitement des interventions, sans annotation post-hoc coûteuse, PACT permet à un opérateur non-expert d'intervenir naturellement pendant l'entraînement sans dégrader la qualité des données. La convergence accélérée réduit directement le temps d'adaptation sur de nouvelles tâches, un facteur critique pour le déploiement en environnements industriels variables. Le HIL-RL s'appuie sur des travaux fondateurs comme DAgger (Ross et al., 2011) et IWR (Mandlekar et al., 2020), complétés par des variantes comme HG-DAgger, qui pondèrent les transitions différemment sans toutefois distinguer explicitement les segments suboptimaux. PACT se positionne comme une extension ciblée de cette famille. La manipulation robotique est par ailleurs traversée par les approches VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui misent sur la généralisation zero-shot, une stratégie complémentaire plutôt qu'opposée au fine-tuning supervisé par intervention humaine. Le préprint, non encore peer-reviewed, ne mentionne ni partenaires industriels ni calendrier de déploiement ; la distance entre banc de test robotique de laboratoire et production industrielle reste entière.

UEImpact indirect : ce cadre HIL-RL open-source pourrait accélérer les travaux des équipes européennes de robotique industrielle cherchant à réduire le coût d'adaptation de robots à de nouvelles tâches en production.

RecherchePaper
1 source