IA physiquearXiv cs.RO 22 septembre 2026

Post-entraînement en ligne stable et efficace pour VLA en conditions réelles via l'amélioration de politique ancrée sur le replay asynchrone

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (papier 2609.22888, soumis en septembre 2026) une méthode baptisée RAPolicy (Replay-Anchored Policy improvement), destinée a l'entrainement en ligne de modèles vision-langage-action (VLA) sur robot réel. Le système fait tourner en parallèle la collecte de trajectoires et l'apprentissage, en ancrant les mises a jour du critique et de l'acteur sur les actions rejouées depuis un buffer de replay plutôt que sur des prédictions d'actions futures. Le critique apprend des valeurs au niveau de blocs d'actions et construit ses cibles de Bellman sans prédire l'action suivante, ce qui réduit le calcul nécessaire. L'acteur, a flux en une seule étape, réutilisé le bruit initial stocke pendant le rollout et s'entraine par vraisemblance conditionnelle pondérée par l'avantage. Teste sur quatre taches isolées et un scenario conjoint a cinq taches en conditions réelles, avec un budget d'entrainement en ligne de seulement une a deux heures, RAPolicy part de politiques déjà affinées sur dix démonstrations par tache. Il atteint un taux de réussite moyen de 86,3% sur les taches isolées, et fait grimper le taux de réussite global du scenario multi-tache de 52% a 88%, tout en préservant les taches déjà maîtrisées et en améliorant les plus faibles.

Ce résultat s'attaque a un point de friction connu du post-entrainement en ligne des VLA sur robot réel: l'instabilité de l'apprentissage par renforcement lorsque les données arrivent en flux continu et que la politique change pendant la collecte. Pour les intégrateurs et décideurs B2B, l'enjeu concret est le cout d'adaptation: passer d'une politique généraliste a une compétence fiable sur une nouvelle tache en une a deux heures de pratique, avec seulement dix démonstrations de départ et moins d'interventions humaines que les méthodes de référence, change l'économie d'un déploiement capable d'apprendre sur site plutôt qu'en laboratoire. Le résultat va aussi a l'encontre de l'hypothèse répandue selon laquelle le fine-tuning en ligne des VLA reste trop instable hors des environnements simules, même si l'évaluation reste limitée a cinq taches et aux conditions de laboratoire des auteurs, sans réplication indépendante ni comparaison sur des taches plus complexes ou des robots tiers.

Cette approche s'inscrit dans la lignée des modèles VLA généralistes tels que Pi-0, GR00T N2 ou Helix, pretraines sur de larges corpus de démonstrations puis adaptes a des taches spécifiques, une étape qui repose habituellement sur davantage de démonstrations ou sur du reinforcement learning hors ligne, deux voies gourmandes en données ou fragiles en stabilité. RAPolicy se positionne comme une alternative asynchrone a ces méthodes, misant sur l'ancrage dans les trajectoires rejouées pour stabiliser simultanément critique et acteur. Les auteurs mettent a disposition une page de projet avec, selon toute vraisemblance, code et vidéos de démonstration, mais ne précisent ni institution ni calendrier pour une intégration a des piles VLA commerciales existantes.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

VLA-Precision : co-amorçage asymétrique pour un apprentissage par renforcement en ligne efficace en réel des modèles VLA

Publié le 4 septembre 2026 sur arXiv (2609.04355v1), VLA-Precision est un cadre de renforcement en ligne conçu pour affiner en conditions réelles des modèles vision-langage-action (VLA) déjà préentraînés. Il repose sur l'algorithme ACoB, qui combine un apprentissage comportemental guidé par intervention humaine en début d'entraînement avec un calibrage progressif des valeurs par propagation globale du retour et classement de préférences, et sur l'architecture ACoB-Stream, qui découple les états invariants et diffuse les données à la demande pour alléger le calcul des grands VLA. Testé sur neuf tâches de chimie de haute précision, réparties en quatre catégories et exécutées par quatre corps robotiques différents, le système atteint 98,3% de réussite moyenne en 45,8 minutes par tâche, avec des épisodes de 27,6 secondes, soit 1,2 et 1,8 fois plus rapide que les références VLA et RL respectivement, et un gain de débit allant jusqu'à 10,9 fois. Le code et les ressources sont publiés sur vla-precision.github.io. L'enjeu est concret pour la robotique industrielle : les VLA préentraînés généralisent bien en manipulation mais restent peu fiables dès qu'une précision et une répétabilité strictes sont exigées, l'écart habituel entre démonstration en laboratoire et usage réel. En s'attaquant à la fois à la dérive de politique causée par des signaux de valeur peu fiables et au coût de calcul prohibitif des grands VLA en boucle d'apprentissage, l'étude propose une voie pour rendre l'amélioration autonome par essai-erreur exploitable à grande échelle plutôt que limitée aux démonstrations coûteuses à collecter. Les résultats restent toutefois issus d'un cadre de laboratoire contrôlé et n'ont pas encore été validés en déploiement industriel réel. Ce travail s'inscrit dans la lignée des modèles VLA qui, à l'image de Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, unifient perception, langage et contrôle moteur dans un réseau entraîné sur de vastes corpus de démonstrations, avec pour limite commune la fragilité sur les tâches de précision fine. VLA-Precision ne change pas le modèle de base mais y ajoute une couche de renforcement en ligne compatible avec les grands VLA existants. Classé comme nouvelle publication sur arXiv, l'article ne mentionne aucun partenariat industriel ni calendrier commercial : il s'agit à ce stade d'une contribution de recherche à ressources ouvertes, dont l'extension à d'autres domaines que la chimie de précision constitue la suite naturelle pour la communauté.

IA physiqueOpinion

1 source

2arXiv cs.RO

GRAFT : adaptation par renforcement en ligne, ancrée et efficace, pour une manipulation robotique de précision

Un article déposé sur arXiv (2608.27079v1) présente GRAFT (Grounded Reinforcement Adaptation for Fast Task Learning), un cadre d'adaptation en ligne par renforcement de politiques vision-langage-action (VLA) pré-entraînées à des tâches de manipulation robotique fine en biomédical. La méthode apprend des ancrages visuels propres à chaque point de vue via une supervision au niveau des régions de l'image, sans exiger de propositions de régions au déploiement, et combine génération d'action en une seule étape avec réutilisation en cache du préfixe visuo-linguistique pour accélérer l'apprentissage. Sur quatre tâches de manipulation biomédicale, les auteurs annoncent un gain de 25 points de pourcentage de réussite à budget d'adaptation égal, avec un coût de calcul réduit pour les mises à jour. Le travail cible un verrou concret des VLA : entraînés sur de larges corpus de démonstrations, ils offrent de bons a priori généraux mais peinent sur des tâches où la réussite dépend d'indices visuels subtils et dépendants du point de vue, alors que la récompense de tâche ne dit rien des régions qui comptent. Le coût de calcul de l'inférence VLA et des mises à jour par rejeu limite l'apprentissage en ligne sur robot réel. En réduisant interactions nécessaires et coût par mise à jour, GRAFT plaide pour une adaptation en ligne plutôt que pour le seul réglage fin hors ligne ou la collecte massive de démonstrations, débat suivi autour de modèles comme Pi-0, GR00T N2 ou Helix. Le gain de 25 points annoncé n'est pas contextualisé : ni taux de référence ni détail des quatre tâches ne sont précisés. Classé comme nouveau dépôt sur arXiv, le document ne cite ni laboratoire ni entreprise porteuse, ni plateforme robotique précise, ce qui le situe côté recherche académique plutôt que produit commercialisé. Il s'inscrit dans la lignée des modèles VLA généralistes récents tels Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, conçus pour des a priori de manipulation transférables mais nécessitant une adaptation spécifique avant usage réel. GRAFT vise l'adaptation par renforcement en ligne, voie moins explorée que le réglage fin hors ligne. Aucune publication de code ni de pilote avec un partenaire biomédical n'est annoncée.

IA physiqueActu

1 source

3arXiv cs.RO

IVRA : améliorer les relations entre tokens visuels pour la politique d'action des robots grâce à un guidage sans entraînement

Les modèles Vision-Language-Action (VLA) souffrent d'un défaut structurel bien documenté : en aplatissant les patches d'image en une séquence 1D de tokens, ils perdent les repères spatiaux 2D nécessaires à la manipulation précise d'objets. Des chercheurs ont publié sur arXiv (référence 2601.16207v2) IVRA, une méthode d'inférence légère et sans réentraînement qui corrige ce problème en exploitant des signaux d'affinité déjà présents dans l'encodeur visuel natif du modèle. Ces signaux sont injectés sélectivement dans une couche du modèle de langage où résident les caractéristiques au niveau des instances, réalignant les interactions entre tokens visuels et préservant mieux la structure géométrique sans modifier aucun paramètre. Appliqué à trois architectures distinctes, LLaRA, OpenVLA et FLOWER, IVRA a été évalué sur les benchmarks VIMA (manipulation 2D) et LIBERO (manipulation 3D), ainsi que sur des tâches en environnement physique réel. Sur VIMA en régime de faibles données, il améliore le taux de succès moyen de +4,2 % par rapport à la baseline LLaRA. Sur LIBERO 3D, les gains restent cohérents même proches de la saturation (96,3 % vers 97,1 %). L'intérêt industriel est direct : un intégrateur qui a déjà déployé un VLA peut appliquer IVRA à l'inférence sans réentraînement, sans capteur supplémentaire, sans encodeur externe. C'est un avantage immédiat en time-to-value pour des systèmes en production. Le fait que la méthode fonctionne même à 96,3 % de baseline suggère qu'elle améliore la précision géométrique locale plutôt que la compréhension globale de scène, précisément le point de défaillance des VLA sur des tâches de manipulation fine (saisie d'objets proches, tri par forme, assemblage). Pour la recherche, IVRA valide l'hypothèse que les encodeurs visuels embarqués contiennent des informations spatiales latentes exploitables sans supervision supplémentaire, une direction "training-free adapter" qui mérite davantage d'exploration. La perte de structure spatiale dans les VLA est connue depuis les premières publications sur RT-2 (Google DeepMind, 2023) et OpenVLA (Berkeley/Stanford, 2024). Les réponses habituelles consistent à modifier l'architecture ou à ajouter des flux de données supplémentaires (depth, point clouds), augmentant la complexité de déploiement. Physical Intelligence avec pi-0 et NVIDIA avec GR00T N2 misent sur des architectures propriétaires plus lourdes ; IVRA propose une correction orthogonale applicable sur des modèles ouverts, en compétition directe avec les méthodes de spatial token resampling et d'attention guidée comme RoboFlamingo. L'étape suivante logique serait une validation sur des benchmarks plus exigeants (RLBench, BridgeData v2) et sur des manipulateurs industriels à 6 DOF ou plus en conditions réelles, là où la précision spatiale est critique.

IA physiqueOpinion

1 source

4arXiv cs.RO

WISE : ordonnancement de l'imagination guidé par un modèle du monde pour un post-entraînement efficace des modèles vision-langage-action

Un article publié le 3 septembre 2026 sur arXiv (2609.03681) présente WISE, une méthode de post-entraînement pour les modèles VLA (Vision-Language-Action) en robotique manipulatrice. Plutôt que d'affiner ces politiques par démonstrations d'experts coûteuses ou par renforcement en conditions réelles, risqué et onéreux, WISE s'appuie sur un modèle du monde pour imaginer et évaluer des comportements candidats, mais seulement aux états jugés critiques pour l'interaction, sur des horizons courts et multi-vues afin de limiter la dérive de prédiction. Testée sur les modèles Pi-0 et Pi-0.5 de Physical Intelligence, la méthode réduit le temps de calcul GPU d'environ 80% par rapport à une imagination exhaustive, tout en améliorant les performances sur un éventail de tâches de manipulation. Des évaluations en conditions réelles confirment des gains de robustesse et de généralisation face à des changements de distribution. Le résultat s'attaque à un frein connu à l'usage des modèles du monde en robotique: leur coût de calcul et l'accumulation d'erreurs sur de longs horizons de simulation en limitaient jusqu'ici l'intérêt pratique face au renforcement réel. En montrant qu'une imagination sélective et bornée conserve l'essentiel du gain de performance pour un cinquième du coût GPU d'une approche complète, WISE offre aux équipes de recherche appliquée un argument économique pour intégrer ces modèles dans leurs pipelines de fine-tuning sans les risques du reinforcement learning physique. Le travail apporte aussi une preuve empirique que des architectures VLA généralistes comme Pi-0 peuvent gagner en robustesse sans démonstrations supplémentaires, un point clé pour les décideurs qui évaluent le passage du laboratoire au déploiement industriel fiable. Ce travail s'inscrit dans la lignée des recherches récentes sur les modèles du monde en robotique, dans un paysage où NVIDIA (GR00T N2) ou Figure AI (Helix) explorent aussi des architectures VLA généralistes, mais en ciblant ici spécifiquement l'efficacité du post-entraînement plutôt que la génération de comportements bout-en-bout. La méthode a été validée sur Pi-0 et Pi-0.5, les bases VLA développées par Physical Intelligence. Il s'agit à ce stade d'un article de recherche, sans annonce de produit commercial, de partenariat industriel ni de calendrier de déploiement; la suite attendue serait son intégration dans des pipelines de fine-tuning propriétaires ou sa reproduction indépendante sur d'autres architectures pour confirmer les gains annoncés.

IA physiqueOpinion

1 source