RecherchearXiv cs.RO 27 octobre 2026

RoboLongR : des récompenses causalement cohérentes permettent aux robots de maîtriser progressivement la manipulation à long horizon

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent RoboLongR, un cadre « offline-to-online » qui apprend une fonction de récompense dépendante de l'historique pour guider l'adaptation d'une politique robotique à de nouvelles tâches de manipulation longue durée. La récompense est préentraînée sur des démonstrations issues de 88 tâches du benchmark RLBench et du jeu de données Open-X. Le système repose sur trois mécanismes. Une supervision par « mélange d'étapes » (stage-shuffle) rend le modèle sensible à l'ordre d'exécution. Une mémoire récurrente conserve la trace des interactions passées. Un entraînement en deux tours affine les segments de trajectoire à partir de la progression prédite. La politique est ensuite raffinée par étapes, du clonage comportemental (behavior cloning) à l'apprentissage par renforcement en ligne. Un signal terminal parcimonieux (succès ou échec) corrige les cas où la récompense attribue de manière répétée un score élevé à des exécutions qui échouent. Sur 18 tâches longues exclues du préentraînement de la récompense, la méthode atteint 31,8 % de succès moyen, soit 9,2 points de pourcentage de plus que la meilleure référence évaluée. Sur quatre tâches sur robot réel, elle atteint 57,5 %, soit 32,5 points de plus que la méthode de comparaison.

Le problème visé est un défaut connu des récompenses apprises à partir de vision seule. Sur une tâche longue, l'avancement visible peut masquer l'absence d'un prérequis. Un objet peut sembler bien placé alors qu'une étape antérieure, comme ouvrir un tiroir ou déverrouiller un mécanisme, n'a jamais eu lieu. Une récompense qui ne sait pas cela pousse la politique à exploiter des états « presque corrects » et produit des échecs à score élevé. En imposant une cohérence causale entre la progression récompensée et l'historique d'exécution, les auteurs s'attaquent à une cause de blocage de l'apprentissage par renforcement sur les tâches séquentielles. Il faut toutefois relativiser les chiffres. 31,8 % en simulation reste un taux d'échec majoritaire. L'échantillon réel de quatre tâches est mince, et les 57,5 % dépendent de la définition des tâches et du nombre d'essais, que le résumé ne précise pas. Pour les intégrateurs, le résultat est une direction de recherche et non une brique prête à déployer. Il suggère néanmoins que le goulot d'étranglement se déplace vers la qualité du signal de récompense, plus que vers la seule échelle des politiques.

Ce travail s'inscrit dans la recherche sur les modèles de récompense appris, destinés à éviter l'ingénierie manuelle de récompenses, et sur l'adaptation de politiques préentraînées par démonstrations. Il se place en concurrence avec les approches fondées sur le clonage comportemental à grande échelle, qui ne corrigent pas les échecs au-delà des données, et avec les récompenses issues de modèles vision-langage. Le papier est une prépublication arXiv (v1) et n'a pas été évalué par des pairs. Les suites naturelles seraient des tests sur plus de tâches réelles et d'autres plateformes, ainsi qu'une comparaison avec les modèles vision-langage-action récents. Les contrôles sur des perturbations synthétiques de l'ordre des étapes et les ablations devront confirmer la contribution de chaque composant.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

PACE : manipulation robotique cohérente par étapes sur de longs horizons grâce à un contexte aligné sur la progression

Des chercheurs proposent PACE (Progress-Aligned Context for Execution), une méthode destinée aux politiques robotiques conditionnées par démonstration, dans le cadre de la manipulation longue durée. Le problème visé porte le nom de « stage confusion » : lorsque des états visuellement proches reviennent à différentes étapes d'une tâche, ou lorsque la démonstration et l'exécution n'avancent pas à la même vitesse, la politique perd le fil et se trompe d'étape. PACE compresse la démonstration complète en jetons de prompt multimodaux ordonnés, et s'appuie, pendant l'entraînement uniquement, sur une supervision d'attention « à double arête » (dual-edge) pour faire apparaître la structure latente des étapes. À l'exécution, une mémoire à poids rapides (fast-weight), propre à l'épisode, encode de façon causale les transitions action-observation réellement effectuées et module la cross-attention sur le prompt. Un expert d'action unifié, basé sur la diffusion, reçoit ainsi un contexte aligné sur la progression, sans étiquettes d'étape au test ni politiques spécifiques à chaque étape. Sur LIBERO-Gen, le taux de réussite passe de 88,9 % à 94,0 % sur Goal Chain, et de 79,1 % à 83,3 % sur Spatial Combination. Sur les tâches Block Routing en deux étapes, il bondit de 33,3 % à 73,3 %. L'intérêt tient moins au gain sur les benchmarks LIBERO, déjà proches de la saturation et modestes (+5,1 et +4,2 points), qu'au diagnostic posé : une part notable des échecs des politiques VLA et des politiques à diffusion sur les tâches séquentielles viendrait d'une mauvaise localisation dans la tâche, et non d'un déficit de dextérité ou de perception. Le doublement du succès sur Block Routing, où les états se répètent entre les étapes, va dans ce sens, et l'analyse d'échecs des auteurs indique que l'alignement structuré de la démonstration et la mémoire causale contribuent conjointement. Pour les intégrateurs, la promesse est de spécifier un comportement par une démonstration unique sans réentraîner de politique par étape, ce qui réduit le coût de mise en production d'enchaînements d'assemblage ou de tri. Les réserves sont nettes : les résultats proviennent de simulation, d'une seule version préprint, sans validation sur robot réel ni mesure de latence ajoutée par la mémoire. Le gain sur Block Routing part en outre d'une base très basse, ce qui en amplifie l'effet apparent. PACE s'inscrit dans la lignée des politiques généralistes de type VLA (Pi-0, GR00T, Helix) et des approches par imitation conditionnée sur démonstration, qui peinent sur les horizons longs faute de mémoire d'exécution explicite. Il rejoint les travaux sur les mémoires épisodiques et les couches à poids rapides pour la robotique. Les auteurs ne citent pas de déploiement industriel ni de calendrier. Les prochaines étapes logiques sont des tests sur robots physiques, des comparaisons directes avec les grands VLA du marché et une évaluation sur des tâches plus longues que deux étapes. Aucun acteur français ou européen n'est mentionné dans cette publication.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon

Des chercheurs présentent, dans un preprint publié sur arXiv début juillet 2026, NativeMEM, une politique Vision-Language-Action (VLA) dotée d'une mémoire longue durée mise à jour en temps réel. Le cœur du système, baptisé Native Memory Compression, réutilise l'encodeur visuel du VLA lui-même pour compresser chaque image historique de chaque caméra en un unique token, ajouté à la séquence d'entrée du modèle. Cette approche permet au VLA préentraîné d'exploiter un historique long avec un surcoût de latence négligeable, sans planificateur externe ni module mémoire réinitialisé à part. L'entraînement se fait en deux temps : d'abord un tokenizer de mémoire générique, entraîné sous la supervision d'un VLA gelé sur des données exigeantes en mémoire, puis un dégel complet du modèle pour un fine-tuning spécifique à la tâche. Les résultats annoncés sont marqués : le taux de réussite passe de 32,4% à 84,0% en simulation, et grimpe jusqu'à 98,7% sur robots réels, avec une latence d'inférence et une consommation GPU maîtrisées. Le système atteint aussi des performances comparables aux méthodes précédentes en n'utilisant que 20% des données d'entraînement. L'enjeu adressé est concret pour la manipulation robotique longue horizon, un point dur reconnu du secteur : les VLA préentraînés peinent à retenir un historique visuel étendu à haute fréquence de mise à jour sans sacrifier leur réactivité, et les solutions de gestion mémoire externe existantes limitent soit l'horizon temporel, soit la vitesse de réaction. Que la compression tienne dans l'encodeur visuel déjà présent, sans architecture séparée, va à l'encontre de l'hypothèse répandue qu'une mémoire longue nécessite un module dédié coûteux à entraîner. Le saut de performance observé, notamment sur robots réels et non seulement en simulation, est le signal à surveiller pour les intégrateurs qui cherchent à dépasser les tâches courtes et réactives. Ce travail s'inscrit dans la vague de recherche actuelle sur les architectures VLA à mémoire pour la manipulation robotique, un axe activement exploré en parallèle des efforts de robots humanoïdes commerciaux. Le papier n'ayant pas encore été relu par les pairs, ses chiffres restent à confirmer par des évaluations indépendantes ; les prochaines étapes attendues concernent la généralisation à davantage de plateformes robotiques et de tâches multi-étapes en conditions réelles.

RechercheActu

1 source

3arXiv cs.RO

ProcVLM : un modèle VLA apprenant des récompenses de progression ancrées dans les procédures pour la manipulation robotique

Une équipe de recherche a publié en mai 2026 sur arXiv (référence 2605.08774) ProcVLM, un modèle vision-langage conçu pour générer des signaux de récompense denses dans les tâches de manipulation robotique à longue durée. Contrairement aux approches existantes qui s'appuient sur des étiquettes de succès en fin de trajectoire ou sur une interpolation temporelle, ProcVLM ancre son estimation de progression dans la structure procédurale de la tâche et dans les changements visuels au sein de chaque sous-étape. Le modèle adopte un paradigme "raisonner avant d'estimer" : il infère d'abord les actions atomiques restantes avant de chiffrer l'avancement global. Pour l'entraîner à grande échelle, les auteurs ont constitué ProcCorpus-60M, un corpus de 60 millions de trames annotées issues de 30 jeux de données embodied, dont est dérivé ProcVQA, un benchmark couvrant l'estimation de progression, la segmentation d'actions et la planification prospective. L'enjeu est direct pour les intégrateurs et les équipes travaillant sur la manipulation longue durée, comme l'assemblage multi-étapes, le conditionnement ou la maintenance industrielle. Les modèles de récompense classiques, en confondant temps écoulé et progression réelle, sont incapables de détecter stagnation, étapes manquées ou états d'échec intermédiaires. ProcVLM produit des estimations discriminantes intra-trajectoire, ce qui en fait un composant plus utile pour la policy optimization guidée par récompense. Les expériences publiées montrent des gains mesurés sur ProcVQA et sur des benchmarks de modèles de récompense face aux baselines représentatives. Ces résultats restent néanmoins dans le cadre de la simulation et de l'évaluation hors-ligne : aucun déploiement sur robot physique n'est annoncé. Ce travail s'inscrit dans une tendance de fond visant à améliorer la qualité des signaux de supervision pour les modèles vision-langage-action (VLA), un chantier central depuis la publication de Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA. Le problème du reward shaping dans les tâches manipulatoires longues est un verrou bien identifié : le sim-to-real gap se double d'un gap supervision-comportement quand les étiquettes de succès sont trop parcimonieuses. ProcVLM propose une réponse méthodologique à ce second verrou via un corpus de supervision synthétique à 60 millions de trames, mais demeure à ce stade un preprint académique sans validation sur hardware réel annoncée. La page projet (procvlm.github.io) est en ligne, sans date de release du code ou des données précisée.

RechercheOpinion

1 source

4arXiv cs.RO

GORDON : récompenses par graphes centrées sur l'objet pour décomposer la manipulation à long horizon

Une équipe de recherche décrit dans un article publié sur arXiv début août 2026 (2608.03753) GORDON, un système qui apprend des récompenses denses pour l'apprentissage par renforcement en manipulation robotique, à partir de simples vidéos de démonstration sans action associée. Chaque scène est convertie en graphe d'objets et de relations spatiales, qu'un réseau de neurones sur graphe, entraîné de façon auto-supervisée, projette dans un espace latent aligné sur la progression de la tâche, en isolant les objets pertinents du mouvement propre au bras robotique. La récompense correspond alors à la distance, dans cet espace, entre l'état courant et la configuration d'objectif démontrée. Sur sept tâches testées dans les bancs d'essai simulés MAGICAL et ManiSkill3, GORDON atteint un taux de réussite moyen de 74,4 % sur les tâches longues, soit environ 35 points de mieux que la meilleure base apprise et 25 points de mieux qu'une politique oracle. Ce résultat s'attaque à un goulot d'étranglement classique du RL robotique, la conception de la récompense pour des tâches longues et multi-étapes : les récompenses éparses donnent peu de signal, et celles apprises sur pixels bruts se révèlent fragiles aux variations d'arrière-plan ou de trajectoire. En représentant la scène par objets plutôt que par pixels, et en découvrant automatiquement les sous-tâches à partir du profil temporel de la récompense, sans annotation manuelle, GORDON réduit le travail d'ingénierie nécessaire pour décomposer une tâche complexe. C'est un frein connu pour les équipes qui entraînent des politiques sur des séquences d'assemblage ou de tri multi-étapes, un des obstacles à la généralisation des politiques apprises au-delà des tâches courtes. La méthode s'inscrit dans la lignée des travaux sur la récompense apprise par démonstration, qui cherchaient jusqu'ici un compromis entre richesse du signal et robustesse visuelle. Elle diffère des approches vision-langage-action comme Pi-0 ou GR00T N2, qui apprennent une politique de bout en bout : GORDON reste une brique de reward shaping et de décomposition de tâches, combinable en principe avec différents algorithmes de RL. Les résultats restent pour l'instant limités à deux bancs d'essai simulés, sans test sur robot physique ni transfert sim-to-real annoncé, ce qui reste l'étape suivante pour juger de la portée réelle de la méthode.

RecherchePaper

1 source