Aller au contenu principal
Grana : modélisation compositionnelle de la récompense pour la manipulation robotique à long horizonIllustration générée par IA
RecherchearXiv cs.RO 

Grana : modélisation compositionnelle de la récompense pour la manipulation robotique à long horizon

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv (v1, novembre 2026) Grana, un modèle de récompense vision-langage conçu pour évaluer la progression de robots sur des tâches de manipulation longues. Le modèle est conditionné par des descriptions de sous-tâches en vocabulaire ouvert : il identifie la sous-tâche encore inachevée, estime sa progression continue, puis la combine avec le crédit accordé aux sous-tâches déjà accomplies pour calculer une progression globale. Il est pré-entraîné sur 200 tâches de manipulation variées, majoritairement courtes, puis adapté à cinq tâches longues de plusieurs minutes. Les auteurs annoncent une prédiction de récompense zero-shot sur des tâches inédites, une meilleure estimation de la progression après adaptation, et de meilleures performances des politiques entraînées en aval. Les chiffres détaillés (taux de réussite, gain par rapport aux références, nature des robots) ne figurent pas dans le résumé disponible.

L'enjeu est moins la performance brute que le goulot d'étranglement que ce travail vise. Les modèles de récompense généralistes transfèrent bien d'une tâche à l'autre, mais leur comportement sur des séquences de plusieurs minutes reste peu étudié. À l'inverse, les modèles de progression pour tâches longues reposent souvent sur des classifieurs de sous-tâches propres à chaque tâche ou sur des vocabulaires d'actions figés, ce qui empêche de réutiliser ce qui a été appris. Pour un intégrateur, un signal de récompense réutilisable est ce qui permet de filtrer des démonstrations, de détecter un échec en cours de séquence ou de faire de l'apprentissage par renforcement sans réécrire une fonction de coût à chaque nouveau poste. La composition par sous-tâches va dans ce sens, mais la preuve reste à faire à l'échelle: cinq tâches longues constituent un échantillon restreint, et rien n'indique à ce stade de validation en conditions industrielles.

L'apport méthodologique le plus transférable est probablement le protocole d'annotation. Les approches fondées sur le temps écoulé faussent la progression quand les sous-tâches ont des durées inégales ou quand un échec annule un avancement local. Grana convertit donc des frontières de sous-tâches éparses et des annotations de qualité d'action en cibles de progression denses, sans que les annotateurs aient à attribuer de scores numériques, ce qui réduit le coût de collecte. Le travail s'inscrit dans la lignée des modèles de récompense généralistes et des politiques vision-langage-action (VLA), dont le passage aux horizons longs reste l'un des points durs du secteur. Il s'agit d'une publication académique, sans produit ni déploiement annoncé: la suite dépendra de la publication du code, des données annotées et de reproductions indépendantes sur d'autres plateformes.

À lire aussi

MUCO : un cadre de manipulation structuré par unités pour les tâches robotiques compositionnelles à long horizon
Illustration générée par IA
1arXiv cs.RO 

MUCO : un cadre de manipulation structuré par unités pour les tâches robotiques compositionnelles à long horizon

MUCO, un cadre de manipulation robotique décrit dans un preprint arXiv (2610.19913), s'attaque à un problème bien connu des tâches longues : les apprendre et les exécuter comme des trajectoires complètes fait grimper le coût de collecte de données, empêche de réutiliser les compétences acquises et laisse une erreur locale se propager à toutes les étapes suivantes. Les auteurs proposent de découper la tâche en « manipulation units » (MU), des opérations réutilisables définies chacune par un but local, une condition de déclenchement et des critères de succès et d'échec observables. Chaque MU est apprise et vérifiée séparément. Le cadre formel, appelé MUSM, est mis en œuvre par MUCO (MU-Centric Orchestration).

RecherchePaper
1 source
Repenser le modèle monde-action pour la manipulation robotique compositionnelle et en contexte
Illustration générée par IA
2arXiv cs.RO 

Repenser le modèle monde-action pour la manipulation robotique compositionnelle et en contexte

Des chercheurs proposent ViGAR (Visual Goal-conditioned Action Reasoning), un cadre hiérarchique pour la manipulation robotique compositionnelle à long horizon, détaillé dans un preprint arXiv (2610.02368). Il sépare la tâche en deux modules. Un planificateur de sous-buts visuels prédit, à partir de l'observation courante et de l'instruction globale, une image du sous-but de la prochaine sous-tâche. Un exécuteur de sous-buts génère ensuite conjointement les trajectoires visuelles futures et les actions, conditionnées par ce sous-but. Les deux composants partagent la même représentation de world model pré-entraîné. Sur le benchmark simulé RoboTwin Clean2Random, ViGAR atteint 82,00 % de réussite en configuration Clean et 67,02 % en configuration Random. Cela représente 12,86 points de pourcentage de mieux que la meilleure référence, en moyenne.

RecherchePaper
1 source
NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon
Illustration générée par IA
3arXiv cs.RO 

NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon

Des chercheurs présentent, dans un preprint publié sur arXiv début juillet 2026, NativeMEM, une politique Vision-Language-Action (VLA) dotée d'une mémoire longue durée mise à jour en temps réel. Le cœur du système, baptisé Native Memory Compression, réutilise l'encodeur visuel du VLA lui-même pour compresser chaque image historique de chaque caméra en un unique token, ajouté à la séquence d'entrée du modèle. Cette approche permet au VLA préentraîné d'exploiter un historique long avec un surcoût de latence négligeable, sans planificateur externe ni module mémoire réinitialisé à part.

RechercheActu
1 source
Récompense dense généralisable pour les tâches robotiques à long horizon
Illustration générée par IA
4arXiv cs.RO 

Récompense dense généralisable pour les tâches robotiques à long horizon

Des chercheurs proposent VLLR, un cadre de récompense dense destiné à affiner par apprentissage par renforcement (RL) des politiques robotiques pré-entraînées par imitation, sans écrire de fonction de récompense à la main pour chaque tâche. Il combine deux signaux. Le premier est une récompense extrinsèque. Un grand modèle de langage (LLM) découpe la tâche en sous-tâches vérifiables, puis un modèle vision-langage (VLM) estime l'avancement. Cette estimation initialise la fonction de valeur pendant une courte phase de préchauffage. Le VLM n'est donc pas appelé à chaque pas, ce qui évite un coût d'inférence prohibitif. Le second signal est intrinsèque : l'auto-certitude de la politique (self-certainty) guide chaque pas pendant tout l'affinage par PPO.

RecherchePaper
1 source