Aller au contenu principal
Récompense dense généralisable pour les tâches robotiques à long horizonIllustration générée par IA
RecherchearXiv cs.RO 

Récompense dense généralisable pour les tâches robotiques à long horizon

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent VLLR, un cadre de récompense dense destiné à affiner par apprentissage par renforcement (RL) des politiques robotiques pré-entraînées par imitation, sans écrire de fonction de récompense à la main pour chaque tâche. Il combine deux signaux. Le premier est une récompense extrinsèque. Un grand modèle de langage (LLM) découpe la tâche en sous-tâches vérifiables, puis un modèle vision-langage (VLM) estime l'avancement. Cette estimation initialise la fonction de valeur pendant une courte phase de préchauffage. Le VLM n'est donc pas appelé à chaque pas, ce qui évite un coût d'inférence prohibitif. Le second signal est intrinsèque : l'auto-certitude de la politique (self-certainty) guide chaque pas pendant tout l'affinage par PPO. Sur le benchmark CHORES (manipulation mobile et navigation), VLLR gagne jusqu'à 56 points de taux de succès absolu sur la politique de départ. Il gagne jusqu'à 5 points face aux méthodes d'affinage RL de l'état de l'art sur les tâches connues, et jusqu'à 10 points sur les tâches hors distribution.

Le travail s'attaque à un point faible connu des modèles de fondation robotiques, l'imitation à grande échelle. Face à une dérive de distribution, les erreurs s'accumulent sur les tâches longues. Le RL peut corriger cela, mais il bute sur l'ingénierie manuelle des récompenses, qui ne passe pas à l'échelle sur des tâches variées. Les ablations montrent des effets complémentaires. L'initialisation par VLM améliore surtout l'efficacité d'exécution, tandis que l'auto-certitude améliore surtout le taux de succès, notamment hors distribution. L'écart de 5 points sur les tâches connues reste modeste. L'apport principal est la suppression de l'ingénierie de récompense, pas un gain de performance spectaculaire.

Les résultats portent sur un benchmark académique. Le résumé ne mentionne ni robot réel, ni temps de cycle, ni déploiement, et les visualisations sont publiées sur une page de projet. Les gains « jusqu'à » sont des maxima, sans détail par tâche ici. Le travail s'inscrit dans la tendance des politiques vision-langage-action (VLA) affinées après un pré-entraînement par imitation. Il se compare aux approches RL qui exigent encore des récompenses spécifiques, ou des signaux de VLM trop coûteux pour être appelés tout au long de l'entraînement. La suite logique serait une validation sur matériel réel et sur des tâches plus longues. C'est ce qui dira si le préchauffage par VLM suffit hors simulation.

Dans nos dossiers

À lire aussi

Grana : modélisation compositionnelle de la récompense pour la manipulation robotique à long horizon
Illustration générée par IA
1arXiv cs.RO 

Grana : modélisation compositionnelle de la récompense pour la manipulation robotique à long horizon

Des chercheurs publient sur arXiv (v1, novembre 2026) Grana, un modèle de récompense vision-langage conçu pour évaluer la progression de robots sur des tâches de manipulation longues. Le modèle est conditionné par des descriptions de sous-tâches en vocabulaire ouvert : il identifie la sous-tâche encore inachevée, estime sa progression continue, puis la combine avec le crédit accordé aux sous-tâches déjà accomplies pour calculer une progression globale. Il est pré-entraîné sur 200 tâches de manipulation variées, majoritairement courtes, puis adapté à cinq tâches longues de plusieurs minutes. Les auteurs annoncent une prédiction de récompense zero-shot sur des tâches inédites, une meilleure estimation de la progression après adaptation, et de meilleures performances des politiques entraînées en aval.

RecherchePaper
1 source
Grands modèles de récompense : génération de récompenses robotiques en ligne et généralisable grâce aux modèles vision-langage
Illustration générée par IA
2arXiv cs.RO 

Grands modèles de récompense : génération de récompenses robotiques en ligne et généralisable grâce aux modèles vision-langage

Des chercheurs proposent les Large Reward Models (LRM), un cadre qui transforme des modèles vision-langage (VLM) de base en générateurs de récompense image par image, destinés à affiner des politiques de manipulation robotique. Le VLM de pointe retenu est spécialisé sur un jeu de données multi-sources : trajectoires de robots réels, interactions humain-objet et environnements de manipulation simulés. Contrairement aux approches qui évaluent les trajectoires a posteriori, les LRM exposent trois interfaces de récompense à partir des seules observations visuelles : estimation de progression, détection d'achèvement de la tâche et comparaison contrastive temporelle.

RecherchePaper
1 source
SeeQ : entraîner des fonctions de valeur généralistes pour la manipulation robotique à long horizon
Illustration générée par IA
3arXiv cs.RO 

SeeQ : entraîner des fonctions de valeur généralistes pour la manipulation robotique à long horizon

Des chercheurs présentent SeeQ (Subtask-elicited Q-functions) dans un preprint publié sur arXiv sous la référence 2609.22085v1, classé comme soumission nouvelle. La méthode s'attaque à un problème connu des politiques robotiques généralistes : leur fragilité sur des tâches longues et multi-étapes qui exigent plusieurs tentatives et une délibération répétée sur une même sous-étape avant de réussir. Plutôt que d'apprendre une fonction de valeur Q sur la récompense globale de la tâche, ce qui impose un horizon de crédit-assignation très long et des mises à jour de Bellman difficiles à stabiliser, SeeQ apprend une valeur Q pour la sous-tâche activement en cours, ce qui raccourcit l'horizon de prédiction et rend possible un apprentissage par différence temporelle efficace.

RecherchePaper
1 source
LOGIV : exécution vérifiée par graphe avec réparation locale causale pour les tâches robotiques à long horizon
Illustration générée par IA
4arXiv cs.RO 

LOGIV : exécution vérifiée par graphe avec réparation locale causale pour les tâches robotiques à long horizon

LOGIV est un framework publié sur arXiv (2610.40016v2) qui vise à fiabiliser l'exécution de tâches robotiques longues pilotées par des agents. Il s'appuie sur un graphe de tâches explicite qui relie planification symbolique, vérification par observation et action physique. Le plan validé est compilé en arêtes de « support de condition » et d'ordonnancement de ressources. Pendant l'exécution, le système contrôle la validité physique de ces dépendances. Après un échec, un traçage des dépendances identifie ce qu'il faut restaurer. La réparation est contrainte par les actions non terminées conservées, et la suite combinée est validée symboliquement avant la reprise. Le framework se place au-dessus de politiques VLA (Vision-Language-Action) et WAM (World Action Model) existantes, sans composant entraînable supplémentaire.

RecherchePaper
1 source