RecherchearXiv cs.RO 22 octobre 2026

SafeDojo : apprentissage par renforcement sûr pour les VLA grâce à un modèle du monde interactif

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

SafeDojo est un cadre d'apprentissage par renforcement sûr (safe RL) à base de modèle, destiné à améliorer les politiques vision-langage-action (VLA) sans exploration risquée sur robot réel. Le système fait de l'apprentissage par renforcement en ligne dans un modèle de monde vidéo interactif, c'est-à-dire un simulateur appris qui génère les images futures. Un classifieur ResNet évalue la réussite de la tâche sur les images prédites. Une tête de sécurité légère estime, pas à pas, la probabilité de contact à partir du contexte latent courant et du segment d'actions proposé (action chunk). Ces deux signaux restent découplés. Ils sont arbitrés par un GRPO sous contrainte lagrangienne. Sur le benchmark SafeLIBERO niveau I, le taux de réussite sûre moyen progresse de 8,25 points par rapport à la meilleure base de comparaison. Au niveau II, en zéro-shot, SafeDojo reste seulement compétitif avec la meilleure méthode sans modèle (model-free). Sur un bras Franka réel, il obtient les meilleurs taux moyens de réussite et de réussite sûre sur cinq tâches. Le résumé ne donne aucun chiffre absolu pour ces essais réels.

L'intérêt tient au verrou que cible ce travail. Le safe RL classique exige soit une exploration coûteuse et dangereuse sur matériel, soit des fonctions de sécurité écrites à la main, qui ne passent pas à l'échelle des VLA en environnement ouvert. Déplacer l'apprentissage dans un monde imaginé réduit les casses et les temps machine, ce qui compte pour les intégrateurs qui veulent affiner un VLA sur site. Les résultats restent à relativiser. Le gain de 8,25 points est mesuré en simulation, le niveau II ne montre pas de supériorité nette, et cinq tâches sur un Franka restent un échantillon étroit, loin d'un déploiement industriel. La fiabilité du modèle de monde reste aussi une inconnue : un signal de contact mal prédit en imagination se traduirait par un risque réel.

Ce papier, publié sur arXiv en version 2 (preprint, sans validation par les pairs), s'inscrit dans la montée de l'apprentissage par renforcement post-entraînement des VLA, où GRPO s'impose comme algorithme de référence, et dans l'essor des modèles de monde comme substituts de simulateur. Il se positionne face aux méthodes model-free de safe RL, qui restent sa référence directe. Les suites à surveiller sont la publication du code, des évaluations sur davantage de tâches et de robots, et des mesures de sécurité en contact réel.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modèle du monde critique pour l'apprentissage par renforcement vision-langage-action (WCM)

Des chercheurs ont publié fin juillet 2026 un article arXiv (2607.29613) présentant le World Critic Model (WCM), une nouvelle architecture pour l'apprentissage par renforcement (RL) appliqué aux modèles Vision-Language-Action (VLA) utilisés en manipulation robotique. Le problème ciblé est celui des méthodes RL à base de critique, qui évaluent la valeur d'une action à partir d'une seule image ou d'un seul instant du flux visuel, un choix mal adapté au contrôle robotique où l'observation est par nature partielle et séquentielle. Bâti sur une architecture légère dérivée de LeJEPA, WCM prédit conjointement l'état latent futur de la scène et estime la valeur de l'action, ce qui force le critique à apprendre la dynamique temporelle plutôt qu'à simplement régresser un score. Le système s'intègre aux pipelines on-policy et off-policy et fonctionne avec les backbones VLA de référence Pi0, Pi0.5 et OpenVLA-OFT. Les auteurs rapportent des résultats état de l'art sur 149 tâches réparties sur quatre benchmarks, avec des gains marqués en généralisation hors distribution, ainsi qu'une validation sur sept tâches de manipulation réelles combinant OpenVLA-OFT et Pi0.5 en RL off-policy. L'enjeu dépasse la seule performance chiffrée: le RL post-entraînement des modèles VLA est aujourd'hui l'un des leviers les plus regardés pour fiabiliser les politiques robotiques au-delà de l'imitation pure, mais les critiques scalaires classiques peinent justement là où le contrôle réel exige de la mémoire et de l'anticipation. Si les gains de généralisation se confirment en dehors du cadre des benchmarks académiques, WCM pourrait devenir un composant standard pour les équipes qui affinent des VLA en production plutôt qu'une simple curiosité de laboratoire, en particulier pour les intégrateurs qui cherchent à réduire l'écart entre démonstration en simulation et déploiement réel. L'article s'inscrit dans la lignée des travaux récents sur l'apprentissage par prédiction de représentations latentes (JEPA, popularisé par Meta AI) appliqués à la robotique, et complète les approches critic-based existantes du RL pour VLA. Les auteurs ne précisent pas de plan de mise en open source ni de calendrier d'intégration dans des stacks robotiques commerciales; l'étape suivante logique serait une validation à plus grande échelle sur des plateformes industrielles.

RechercheActu

1 source

2arXiv cs.RO

Passage à l'échelle de l'apprentissage par renforcement VLA sim-vers-réel grâce à des mondes 3D génératifs

Une preprint arXiv mise a jour (2603.18532v3) présente une méthode pour affiner par apprentissage par renforcement (RL) des modèles vision-langage-action (VLA) en remplaçant les données réelles couteuses par des mondes 3D génératifs. Partant d'une politique pretrainee par imitation, les chercheurs combinent des modèles génératifs de scènes 3D et un concepteur de scènes pilote par langage naturel pour produire 100 environnements interactifs varies, permettant un entrainement RL massivement parallèle. Le taux de réussite en simulation grimpe de 9,7% a 79,8%, avec un temps de complétion des taches réduit de 1,25x. Transfere vers le réel grâce a de la randomisation de domaine, le taux de réussite passe de 21,7% a 75%, pour un gain de vitesse de 1,13x. Ce résultat s'attaque a un problème connu du secteur : affiner un VLA par RL directement en conditions réelles évite le fosse sim-to-real mais transforme paradoxalement un modèle généraliste en politique surspecialisee a une seule scene, faute de pouvoir diversifier les environnements physiques a bas cout. La simulation promettait plus de diversité, mais concevoir manuellement des scènes variées restait tout aussi couteux en travail. En montrant qu'un générateur de mondes 3D peut produire a la demande des dizaines d'environnements exploitables pour du RL a grande échelle, ces travaux ouvrent une voie pour les laboratoires et intégrateurs cherchant a entrainer des politiques généralistes sans multiplier les campagnes de collecte réelle, tout en traitant le fosse sim-to-real par la diversité des scènes plutôt que par le seul réalisme physique du simulateur. La méthode s'inscrit dans la lignée des travaux sur le fine-tuning RL des VLA, inspires par les progrès des grands modèles vision-langage entraines par renforcement, et se distingue des approches concurrentes fondées sur le RL purement réel ou sur des bibliothèques de scènes simulées construites a la main. Cette troisième version (v3) succède a des publications antérieures de la même preprint sur arXiv, signe d'un travail itératif. Une étude d'ablation montre que la généralisation zero-shot s'améliore directement avec la diversité des scènes générées, ce qui laisse présager une mise a l'échelle au-delà des 100 environnements testes ici avant tout déploiement industriel.

RechercheActu

1 source

3arXiv cs.RO

VLaRL : enrichir les modèles vision-langage-action grâce à un apprentissage par renforcement résiduel entraîné en simulation

Une équipe de recherche a publié fin septembre 2026 sur arXiv (2609.30868) un article décrivant VLaRL, une méthode qui ajoute une correction par apprentissage par renforcement (RL) résiduel aux modèles vision-langage-action (VLA), sans réentraîner le VLA lui-même, qui reste gelé. Contrairement au RL résiduel classique, entraîné directement sur robot réel donc coûteux et risqué en sécurité, VLaRL entraîne sa politique correctrice entièrement en simulation puis la déploie sur robot réel sans RL en ligne ni adaptation supplémentaire. Pour franchir l'écart visuel entre simulation et réalité, la méthode conditionne la politique résiduelle sur la représentation latente interne vision-langage du VLA plutôt que sur l'image brute, et ajoute un module léger qui reprojette les latents simulés vers la distribution des latents réels. Testée sur quatre tâches de manipulation à fort contact avec deux architectures VLA différentes, VLaRL améliore le taux de réussite en conditions réelles dans toutes les combinaisons tâche/modèle, et des ablations contrôlées confirment l'apport à la fois du conditionnement latent et de son alignement. Le problème visé est bien connu de l'industrie : les VLA généralistes, du type Pi-0, GR00T N2 ou Helix, exécutent des instructions larges mais restent souvent imprécis dès que la tâche exige un contact fin, une insertion ou un assemblage. La solution habituelle, le RL résiduel entraîné sur robot réel, mobilise du temps d'ingénierie et expose le robot à des phases d'exploration risquées en usine. En montrant qu'un correctif entraîné uniquement en simulation se transfère sans RL en ligne ni adaptation, VLaRL ouvre une voie moins coûteuse pour fiabiliser des VLA déjà déployés, sans toucher au modèle de base ni ajouter d'exposition au risque, un argument qui parle directement aux intégrateurs cherchant à combler l'écart entre démonstration et production. Les VLA se sont imposés depuis deux ans comme approche dominante pour piloter bras robotiques et humanoïdes par instructions en langage naturel, mais leur adoption industrielle bute sur cet écart persistant entre démonstration et fiabilité en conditions réelles. Le RL résiduel était déjà étudié comme correctif, mais son coût en robot réel en freinait le déploiement à grande échelle ; VLaRL s'inscrit dans la lignée des travaux sur le transfert sim-to-real, en misant sur l'espace latent plutôt que sur le rendu visuel pour réduire cet écart. L'article reste à ce stade un résultat de recherche en préprint, validé sur un nombre limité de tâches et d'architectures, sans partenariat industriel ni calendrier de déploiement pilote annoncé.

RechercheActu

1 source

4arXiv cs.RO

Démarrage par modèle VLA pour l'apprentissage par renforcement des agents robotiques

Des chercheurs proposent VLAJS (Vision-Language-Action Jump-Starting), une méthode publiée sur arXiv (réf. 2604.13733v2) visant à accélérer l'apprentissage par renforcement (RL) en manipulation robotique. Le principe repose sur l'utilisation d'un modèle VLA comme guide transitoire en début d'entraînement, sans imitation stricte ni démonstrations humaines. VLAJS augmente l'algorithme PPO (Proximal Policy Optimization) d'une régularisation directionnelle qui aligne progressivement les actions de l'agent RL avec les suggestions du VLA, avant d'annuler cette contrainte à mesure que l'agent gagne en compétence. La méthode a été évaluée sur six tâches simulées (levée d'objet, pick-and-place, réorientation et insertion de cheville, poking, pushing), dont un sous-ensemble validé sur un bras Franka Panda réel. Elle réduit de plus de 50 % le nombre d'interactions d'entraînement nécessaires par rapport à PPO seul ou aux baselines de distillation, et démontre un transfert sim-to-real zero-shot robuste face à des encombrements, variations d'objets et perturbations externes. Ce résultat répond à une tension structurelle bien connue du domaine: les modèles VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) excellent dans le raisonnement à l'échelle de la tâche grâce à leur préentraînement multimodal massif, mais restent trop lents pour le contrôle en boucle fermée à haute fréquence. Inversement, le RL classique assure cette précision mais explore de façon inefficace sur des tâches longues avec récompenses éparses. VLAJS prouve qu'un VLA peut être utile sans être interrogé en continu, réduisant potentiellement les coûts d'entraînement pour des applications de manipulation industrielle et validant l'hypothèse qu'un modèle généraliste peut servir d'amorce dans des pipelines RL orientés production. VLAJS émerge dans un contexte de convergence entre fondations VLA et contrôle temps-réel, où Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Google DeepMind (RT-2) s'affrontent sur la généralisation pendant que le RL pur domine en précision. Cette contribution reste académique: validée sur le Franka Panda à 7 degrés de liberté, elle n'est pas encore un produit déployé ni industrialisé, et la réduction de 50 % des interactions porte sur des tâches relativement courtes en simulation. Les suites naturelles incluent l'extension à des morphologies plus complexes (humanoïdes, systèmes bimanuels) et l'intégration dans des frameworks d'entraînement open-source comme Isaac Lab ou ManiSkill.

RechercheOpinion

1 source