RecherchearXiv cs.RO 20 août 2026

Dream2Reward : modèles de récompense alignés sur la transition à partir de démonstrations positives

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Publié le 20 août 2026 sur arXiv sous la référence 2608.18787, l'article présente Dream2Reward, un modèle de récompense pour l'apprentissage de politiques robotiques en manipulation, entraîné uniquement à partir de démonstrations réussies. Le système apprend un champ de transition latente conditionné par le langage : à partir de l'historique visuel précédant une étape, il prédit le déplacement attendu en cas de succès, puis le compare au déplacement réellement observé selon son sens (accord directionnel signé) et son amplitude (accord de magnitude symétrique). Cette comparaison transition par transition permet de détecter un mouvement dans le mauvais sens, un dépassement de cible ou une stagnation, même quand l'état final observé semble indiquer une progression, un cas que les récompenses de progression classiques laissent souvent passer. Le modèle ne nécessite aucune annotation d'échec, aucune étiquette de progression ni exemple négatif synthétique, et produit un signal de récompense dense et causal. Selon les auteurs, il offre une meilleure séparation succès/échec et un signal plus informatif sur les comportements de faible qualité que les méthodes de progression existantes, et réduit le contournement de récompense en apprentissage de politique en ligne comme hors ligne, avec des gains également rapportés en manipulation sur robot réel.

Le problème visé est classique en apprentissage par renforcement robotique : une récompense qui ne mesure que l'avancement le long d'une trajectoire nominale peut rester élevée après une transition incorrecte, ce qui laisse la politique apprise exploiter le signal plutôt que reproduire un geste réellement réussi. En évaluant chaque mouvement par rapport à ce qu'un geste réussi devrait produire, plutôt qu'en jugeant seulement l'état final, Dream2Reward réduit ce risque sans exiger la collecte de démonstrations d'échec ni la conception d'exemples négatifs synthétiques, une charge d'ingénierie de données qui pèse habituellement sur les pipelines d'imitation puis de renforcement. Pour les équipes qui entraînent des politiques génériques de type VLA (vision-language-action), à l'image de Pi-0, GR00T N2 ou Helix, disposer d'un signal dense et fiable à partir des seules démonstrations positives déjà collectées représente un gain potentiel, à condition que les résultats se confirment au-delà du cadre expérimental testé.

Dream2Reward s'inscrit dans la lignée des récompenses apprises par imitation, en réponse aux limites documentées des récompenses de progression, restées jusqu'ici l'approche dominante pour convertir des démonstrations en signal d'entraînement dense sans supervision d'échec. Le résumé de l'article ne précise ni le laboratoire ou les auteurs, ni les benchmarks de référence utilisés pour les comparaisons annoncées, ni de taux de succès chiffré sur robot réel, des éléments à vérifier dans la publication complète avant d'en tirer des conclusions définitives. Publié en prépublication sans évaluation par les pairs à ce stade, Dream2Reward reste un résultat de recherche et non un système déployé, sa validation sur des benchmarks robotiques plus larges et sa comparaison directe à d'autres approches de récompense apprise constituant la suite logique.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Des démonstrations aux récompenses : optimisation de prompts au moment du test pour les modèles de récompense VLM

Des chercheurs ont publié sur arXiv (arXiv:2606.00083) une méthode baptisée Demo2Reward, qui adapte automatiquement les instructions textuelles d'un modèle de récompense basé sur un VLM (Vision-Language Model) à partir d'un petit nombre de trajectoires expertes, typiquement 3 à 10 démonstrations. L'objectif est de réduire les faux positifs que produisent les VLMs utilisés tel quel comme évaluateurs de politique en apprentissage par renforcement. La technique opère en phase de test (test-time adaptation), sans ré-entraînement du modèle ni ressources de calcul supplémentaires pendant l'apprentissage de la politique. Les auteurs démontrent que Demo2Reward surpasse les approches zero-shot et few-shot existantes sur plusieurs tâches robotiques simulées, et valident le transfert vers un scénario d'apprentissage en environnement réel. La conception de fonctions de récompense reste l'un des principaux goulots d'étranglement en robotique par renforcement. Les approches manuelles exigent une expertise domaine significative et ne passent pas à l'échelle sur des tâches variées. L'utilisation des VLMs comme juges zero-shot est prometteuse mais fragile: un faux positif, c'est-à-dire le modèle qui valide une trajectoire incorrecte, corrompt l'entraînement de façon cumulative. Demo2Reward résout ce problème pragmatiquement en exploitant les quelques démonstrations déjà collectées pour amorcer l'apprentissage, afin de calibrer automatiquement le prompt du VLM, sans annotation supplémentaire. Ce résultat suggère que le fossé entre ingénierie de récompense manuelle et supervision automatique via VLM peut être comblé à faible coût computationnel, argument concret pour les équipes cherchant à réduire l'intervention humaine dans leurs pipelines RL. L'exploitation des VLMs comme fonctions de récompense est un axe actif depuis 2023, porté notamment par EUREKA (NVIDIA, qui utilise GPT-4 pour générer du code de récompense) et des approches basées sur CLIP comme évaluateurs de trajectoires. Demo2Reward se différencie par son focus sur la correction du prompt plutôt que sur la génération de code, et par l'utilisation explicite de démonstrations comme signal de calibration, ce qui le rend directement exploitable dans les pipelines existants. Du côté des acteurs concurrents, Google DeepMind, Physical Intelligence avec pi0, et plusieurs laboratoires académiques explorent des pistes proches pour automatiser la supervision en robotique. La contribution reste un preprint arXiv sans déploiement industriel ni partenariat commercial annoncé. Les étapes naturelles seraient une validation sur des manipulateurs en environnement industriel non structuré ou sur des plateformes humanoïdes, là où les récompenses manuelles sont les plus coûteuses à concevoir.

RechercheOpinion

1 source

2arXiv cs.RO

Au-delà des pixels : apprendre des récompenses invariantes pour la robotique réelle à partir de quelques démonstrations

Des chercheurs ont publié fin mai 2026 (arXiv:2605.22123) un framework permettant d'apprendre des fonctions de récompense symboliques invariantes à partir de seulement cinq démonstrations pour des tâches de manipulation robotique. Le système repose sur deux composants couplés : une formulation structurelle de récompense encodant des stratégies de niveau tâche et des contraintes physiques, et une procédure hybride symbolique-numérique qui distille des invariants comportementaux depuis ces démonstrations sans requérir d'interaction en ligne avec l'environnement. La méthode a été évaluée sur huit tâches du benchmark Meta-World et trois tâches de manipulation sur bras Franka, affichant de meilleures capacités d'alignement procédural et de classement de rollouts de politique par rapport aux baselines existantes. Trois expériences réelles out-of-distribution valident une généralisation zero-shot à des variations de position, de point de vue caméra et d'instances d'objets inédites. Le problème adressé est structurel : les modèles de récompense basés sur la vision tendent à mémoriser des distributions de pixels spécifiques et s'effondrent dès que les conditions visuelles changent, qu'il s'agisse d'un objet déplacé, d'un angle de caméra différent ou d'une variante d'objet inconnue. Pour un intégrateur déployant un système de manipulation en milieu industriel, cela impose de recollectecter des démonstrations ou de réentraîner le modèle à chaque variation du contexte opérationnel. Le passage aux invariants symboliques, c'est-à-dire des propriétés comportementales constantes indépendamment de l'apparence visuelle, propose une représentation de récompense réutilisable sur de multiples variantes de tâche sans interaction supplémentaire, ce qui réduit significativement le coût itératif du déploiement en apprentissage par renforcement. Ce travail s'inscrit dans une dynamique de recherche active visant à résoudre le goulot d'étranglement du reward engineering en RL robotique. Les approches récentes fondées sur des embeddings visuels issus de VLMs, comme VIP ou RoboCLIP, ont progressé sur la généralisation visuelle mais restent fragilisées par les variations de distribution en dehors des conditions d'entraînement. La méthode proposée se distingue en substituant aux embeddings bruts une abstraction symbolique de la tâche. Des laboratoires comme Berkeley BAIR, Stanford ou le CMU Robotics Institute travaillent sur des directions similaires d'abstraction pour le RL. La capacité à bootstrapper une récompense généralisable depuis cinq démonstrations seulement ouvre la voie à des pipelines de fine-tuning robotique plus accessibles, potentiellement utilisables par des intégrateurs sans expertise RL avancée.

RecherchePaper

1 source

3arXiv cs.RO

Exp2VLA : permettre la navigation de drones par modèle vision-langage-action à partir de démonstrations d'experts

Des chercheurs proposent Exp2VLA, un pipeline de distillation d'expertise pour la navigation de drones pilotée par le langage, décrit dans une prépublication arXiv (2607.03146v1). Le principe consiste à capturer des comportements experts, qu'ils proviennent de l'apprentissage par renforcement, de la téléopération ou d'autres contrôleurs classiques, puis à convertir ces trajectoires en données d'entraînement pour affiner des modèles vision-langage-action (VLA) de taille compacte. L'objectif est de transférer des stratégies de contrôle existantes vers un modèle unifié capable de comprendre des commandes en langage naturel. Les auteurs ont testé leur approche dans des environnements simulés, à la fois en configuration sim-to-sim et en boucle simulation-in-the-loop, sur des scènes comportant plusieurs objets. Les modèles affinés parviennent à traiter des commandes sémantiques variées et à généraliser à des compositions de cibles jamais vues pendant l'entraînement. Aucun vol réel n'est mentionné à ce stade : les résultats reposent exclusivement sur la simulation. L'enjeu dépasse le simple exercice académique. Les modèles VLA se sont largement développés autour des bras manipulateurs et des humanoïdes, mais leur adaptation aux drones bute sur deux obstacles concrets : le coût de calcul embarqué, souvent incompatible avec les contraintes de poids et d'autonomie d'un UAV, et le manque de robustesse de nombreuses solutions dès que l'environnement se complexifie. En automatisant la conversion de contrôleurs spécialisés en un modèle unique piloté par le langage, Exp2VLA réduit la charge d'intégration manuelle que doivent habituellement assumer les équipes qui déploient de nouveaux comportements robotiques. Pour les intégrateurs et décideurs industriels travaillant sur des flottes de drones autonomes, ce type d'approche illustre une piste pour rendre les systèmes plus flexibles sans repartir d'une architecture de contrôle entièrement nouvelle à chaque nouvelle tâche. Le travail s'inscrit dans la lignée des grands modèles VLA généralistes déjà déployés sur d'autres classes de robots, à l'image de Pi-0 ou GR00T N2 pour les bras et humanoïdes. Son originalité est de cibler spécifiquement les contraintes propres aux UAV plutôt que d'adapter directement des architectures pensées pour des robots au sol. Restant à ce stade un résultat de recherche validé en simulation, la suite logique attendue serait une validation sur drone réel, condition nécessaire avant toute perspective de déploiement opérationnel.

RechercheActu

1 source

4arXiv cs.RO

Apprentissage de règles symboliques compositionnelles à partir de démonstrations par programmation logique inductive

Des chercheurs ont déposé sur arXiv (réf. 2605.26828) une méthode combinant apprentissage par démonstration (LfD) et programmation logique inductive (ILP) pour extraire des règles symboliques à partir d'exemples fournis par un opérateur humain. Plutôt que de reproduire les gestes observés, le système décompose une tâche complexe en une hiérarchie d'objectifs d'apprentissage à plusieurs niveaux d'abstraction ontologique : les règles inférées au bas de la hiérarchie sont réutilisées comme briques pour construire des structures de tâches plus élaborées, selon un principe de raisonnement compositionnel. Les expériences ont été conduites dans un scénario synthétique d'assemblage de blocs, et montrent une généralisation aux configurations inédites, y compris avec des objets absents de la phase d'entraînement. À mesure que les robots industriels gagnent en autonomie, la lisibilité et la réutilisabilité de leurs représentations internes de tâches deviennent des enjeux critiques pour les intégrateurs et les équipes de validation. L'ILP produit des règles symboliques explicites et modifiables par un ingénieur, à l'opposé des approches neuronales d'imitation telles que le behavior cloning ou les VLA (vision-language-action models), dont les décisions restent opaques et difficiles à auditer. La capacité du système à généraliser à des tâches plus difficiles avec des objets jamais vus est un résultat encourageant, que les auteurs qualifient eux-mêmes de "preuve préliminaire" : l'évaluation se limite à un environnement entièrement simulé, sans validation sur robot physique ni mesure du sim-to-real gap. L'apprentissage par démonstration est un paradigme fondateur de la robotique programmable, mais les méthodes récentes basées sur le deep learning sacrifient souvent l'interprétabilité à la performance brute. L'ILP, issu de l'IA symbolique des années 1990, connaît un regain d'intérêt dans le mouvement plus large du raisonnement neurosymbolique, qui cherche à allier la flexibilité du machine learning et la rigueur du raisonnement logique. Ce travail s'inscrit dans ce courant sans prétendre à un déploiement industriel immédiat : les étapes suivantes attendues sont la validation sur hardware réel et des scénarios de manipulation plus diversifiés, seuls capables de mesurer la robustesse effective de l'approche hors simulation.

RecherchePaper

1 source