Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Prism-GRPO : accélérer l'optimisation des politiques VLA en scindant les groupes à résultat identique
IA physiquearXiv cs.RO 

Prism-GRPO : accélérer l'optimisation des politiques VLA en scindant les groupes à résultat identique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un preprint arXiv (2608.17423v1, août 2026) présente Prism-GRPO, une méthode destinée à accélérer l'entraînement par renforcement des politiques vision-langage-action (VLA) en robotique. Elle s'appuie sur GRPO, technique prisée car elle évite d'entraîner un réseau critique contrairement à PPO, mais qui gaspille une grande partie du budget de rollouts dès qu'un groupe d'essais réussit ou échoue en bloc. Prism-GRPO ajoute à la récompense binaire un score de qualité d'exécution, tiré des contacts simulateur, des actions ou des observations visuelles, qui scinde ces groupes en spectre de qualité sans jamais classer un échec devant un succès. Sur quatre tâches du benchmark RoboTwin, la méthode améliore le taux de succès à budget égal et atteint les objectifs visés avec jusqu'à 56% de rollouts en moins.

Ce travail cible un goulot d'étranglement connu : chaque rollout robotique, simulé ou réel, coûte cher en temps et en calcul, et les méthodes de type GRPO en gaspillent une part importante dès le début de l'entraînement. Les auteurs démontrent formellement que Prism-GRPO ne peut jamais augmenter la probabilité qu'un groupe soit écarté, une garantie théorique rare face aux méthodes empiriques de reward shaping, souvent sujettes au reward hacking. La méthode supprime aussi un raccourci de triche observé en simulation, et ce comportement plus propre se transfère lors d'un déploiement sur robot réel, répondant à la critique récurrente sur l'écart entre simulation et monde réel, un enjeu économique pour les équipes qui entraînent des VLA à grande échelle.

Prism-GRPO prolonge GRPO, méthode de renforcement popularisée pour les grands modèles de langage avant d'être adaptée aux politiques VLA robotiques, qui transforment observations visuelles et instructions en actions motrices. L'évaluation repose sur RoboTwin, benchmark de manipulation bimanuelle simulée. Des ablations montrent des gains cohérents avec des signaux de qualité basés sur les contacts, la fluidité des trajectoires ou des jugements de modèles vision-langage. Il s'agit à ce stade d'une contribution de recherche validée surtout en simulation, avec une première confirmation sur robot réel, et non d'un produit déployé ; sa portée dépendra de l'adoption par les laboratoires entraînant les prochaines générations de VLA.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

RePO-VLA : l'optimisation de politique guidée par la récupération pour les modèles vision-langage-action (VLA)
1arXiv cs.RO 

RePO-VLA : l'optimisation de politique guidée par la récupération pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (arXiv:2605.09410) RePO-VLA, un framework d'optimisation de politique pour modèles VLA (Vision-Language-Action) conçu pour améliorer la robustesse en manipulation bimanuelle sur des tâches longues et à fort contact. Le problème central identifié: les pipelines d'entraînement classiques exploitent uniquement les trajectoires réussies, abandonnant les épisodes ratés et rendant les modèles fragiles à la moindre perturbation d'exécution. RePO-VLA introduit trois mécanismes distincts: la Recovery-Aware Initialization (RAI), qui isole les segments de récupération et réinitialise l'historique d'état pour que les actions correctives s'ancrent dans l'état adverse courant plutôt que dans l'enchaînement d'erreurs précédent; la Progress-Aware Semantic Value Function (PAS-VF), qui attribue une valeur aux préfixes utiles des trajectoires échouées via un mécanisme de "reliability decay"; et le Value-Conditioned Refinement (VCR), qui entraîne la politique à sélectionner les actions à haute progression. Les auteurs introduisent également FRBench, un benchmark standardisé d'injection d'erreurs orienté récupération. Sur des tâches bimanuelle simulées et réelles, le taux de succès en conditions adverses passe de 20% à 75% en moyenne, et jusqu'à 80% lors d'essais réels à grande échelle. Ce résultat marque une rupture avec les pipelines dominants. Physical Intelligence (Pi-0, Pi-0.5), Figure AI et la quasi-totalité des approches VLA académiques s'entraînent exclusivement sur des trajectoires réussies, sacrifiant l'information contenue dans les épisodes ratés. RePO-VLA démontre que ces données sont exploitables à condition d'être labélisées en fonction de leur degré de progression vers l'objectif. Autre avantage pour le déploiement industriel: à l'inférence, aucun détecteur de défaillance en ligne n'est requis. Un simple paramètre fixe (v=1.0) suffit à biaiser les actions vers le manifold de succès appris, ce qui simplifie considérablement l'intégration en production sur des tâches de manipulation répétitive longue durée. Les VLA sont en 2025-2026 l'un des axes de recherche les plus actifs en robotique manipulatrice, portés par Physical Intelligence, Figure AI, et des laboratoires comme Berkeley, Stanford et CMU. La manipulation bimanuelle en contact représente l'échelon de difficulté le plus élevé: elle concentre les problèmes de sim-to-real gap, de gestion du contact imprédictible et de dérive d'exécution sur de longues séquences. RePO-VLA reste pour l'instant un article arXiv sans annonce de déploiement ni partenariat industriel associé. FRBench pourrait toutefois s'imposer comme référence communautaire pour évaluer la robustesse en récupération d'erreur, critère aujourd'hui absent des benchmarks standards comme LIBERO ou RoboSuite.

IA physiqueOpinion
1 source
Apprentissage par imitation à partir de données sous-optimales en robotique : la politique de diffusion ambiante
2arXiv cs.RO 

Apprentissage par imitation à partir de données sous-optimales en robotique : la politique de diffusion ambiante

Des chercheurs ont publié le 12 juin 2026 un article sur arXiv (2606.12365) présentant l'Ambient Diffusion Policy, une méthode d'apprentissage par imitation conçue pour exploiter des données de démonstration sous-optimales en robotique. Le problème de fond est économique : collecter des données de haute qualité, spécifiques à une tâche, reste coûteux et chronophage, tandis que des datasets hétérogènes, bruités ou hors distribution sont abondants. La méthode introduit un nouvel axe de co-entraînement fondé sur le bruit : la contribution des données sous-optimales est restreinte aux seuls niveaux de bruit élevés et faibles dans le processus de diffusion, plutôt que sur l'ensemble des timesteps d'entraînement. Cette sélectivité permet d'extraire les caractéristiques utiles tout en neutralisant les signaux parasites. Testée sur six tâches couvrant quatre types de données dégradées (trajectoires bruitées, écart sim-to-réel, désalignement de tâche, mélanges de datasets à grande échelle), la méthode surpasse les baselines de co-entraînement existantes de jusqu'à 33% sur Open X-Embodiment, un dataset public de référence regroupant des données robotiques hétérogènes issues de multiples plates-formes. L'impact pour les intégrateurs et les équipes R&D est direct : l'un des goulots d'étranglement majeurs du déploiement de politiques de contrôle apprises n'est plus la quantité de données parfaites disponibles, mais la capacité à valoriser des données imparfaites déjà collectées. La justification théorique repose sur l'observation que les données d'action robotique suivent une loi de puissance spectrale, ce qui induit deux propriétés exploitables dans les Diffusion Policies : une hiérarchie global-to-local et une propriété de localité. Ces propriétés permettent de comprendre pourquoi les niveaux de bruit extrêmes encodent respectivement la structure globale du mouvement et les détails fins, et donc pourquoi la restriction de la contribution des données sous-optimales à ces deux régimes fonctionne. C'est un résultat notable : la méthode n'exige pas de filtrage préalable ni de pondération manuelle des sources, ce qui simplifie le pipeline d'ingestion de données. L'Ambient Diffusion Policy s'inscrit dans le sillage des Diffusion Policies (Chi et al., 2023, Columbia University), devenues une référence dans le contrôle robotique par imitation depuis leur démonstration sur des tâches de manipulation précise. Le co-entraînement sur données hétérogènes est un défi actif, notamment pour les grandes politiques généralistes comme RT-2, Octo ou OpenVLA, qui s'appuient sur Open X-Embodiment. L'approche "Ambient" s'inspire des travaux sur l'apprentissage par diffusion à partir de données corrompues (Gokaslan et al., 2023), ici réinterprétés pour le contexte robotique. Les concurrents directs incluent les méthodes de filtrage par récompense (IQL, AWR) et les approches de pondération implicite comme DWSL. La prochaine étape naturelle, non annoncée dans l'article, serait une intégration dans des pipelines de fine-tuning de politiques fondatrices (foundation policies) où la qualité des données de démonstration spécifiques au site de déploiement reste variable.

UELes équipes R&D robotique françaises et européennes travaillant sur des politiques d'imitation peuvent directement exploiter la méthode pour valoriser leurs datasets de démonstration hétérogènes existants, réduisant le coût de collecte de données haute qualité pour le déploiement industriel ou humanoïde.

IA physiquePaper
1 source
Des fondamentaux à l'application : améliorer les modèles VLA en pratique
3arXiv cs.RO 

Des fondamentaux à l'application : améliorer les modèles VLA en pratique

Les chercheurs à l'origine du modèle VLA (vision-language-action) LingBot dévoilent LingBot-VLA 2.0, une version améliorée conçue pour réduire l'écart entre les performances en laboratoire et les conditions réelles de déploiement, un problème récurrent des modèles fondation pour la robotique. Trois axes de travail sont mis en avant. D'abord, la généralisation entre tâches et morphologies de robots a été retravaillée via un nouveau pipeline de traitement de données, avec environ 60 000 heures de données de pré-entraînement, dont 50 000 heures de trajectoires robotiques couvrant 20 configurations de robots différentes et 10 000 heures de vidéos égocentriques humaines. Ensuite, l'espace d'action a été étendu au-delà des plateformes à double bras classiques, pour inclure les degrés de liberté (DOF) de la tête, du buste, de la base mobile et des mains dextres. Enfin, le système intègre une modélisation prédictive de la dynamique, en formulant la prédiction du futur comme tâche annexe, appuyée par un modèle de représentation vidéo pour les indices sémantiques et un modèle d'estimation de profondeur pour les indices géométriques. Les évaluations ont été menées sur le benchmark GM-100 en configuration généraliste. Cette annonce illustre une tendance de fond dans la robotique humanoïde et manipulatrice: le passage de bras robotiques figés à des systèmes corps entier, capables de coordonner tête, buste, base mobile et mains, à l'image des approches poursuivies par Pi-0, GR00T N2 ou Helix. L'accent mis sur la généralisation cross-embodiment et sur le raisonnement temporel prédictif répond directement à une critique fréquente des modèles VLA actuels: leur difficulté à transférer des compétences apprises entre différents robots et à anticiper les conséquences physiques de leurs actions dans des tâches longues et complexes de manipulation mobile. Il s'agit ici d'une publication de recherche (arXiv), pas d'un produit commercialisé ni d'un déploiement industriel annoncé. LingBot-VLA 2.0 s'inscrit dans la succession directe de la première version LingBot-VLA, dans un paysage où les laboratoires chinois et américains multiplient les modèles fondation généralistes pour la robotique, sans que les auteurs ne précisent à ce stade de calendrier de mise en production ou de partenariats industriels.

IA physiqueOpinion
1 source
HaWMPO : optimisation de politique par modèle du monde conscient des hallucinations pour robots généralistes
4arXiv cs.RO 

HaWMPO : optimisation de politique par modèle du monde conscient des hallucinations pour robots généralistes

Des chercheurs présentent HaWMPO (Hallucination-aware World Model-based Policy Optimization), une méthode de post-entraînement pour les politiques génératives robotiques de type Visual-Language-Action (VLA), décrite dans un article publié le 9 septembre 2026 (arXiv:2609.09941). Le problème visé : entraîner ces politiques par apprentissage par renforcement en ligne directement sur robot réel coûte cher, consomme beaucoup d'interactions physiques et présente des risques matériels et de sécurité. L'alternative, l'usage de "world models" pour simuler des trajectoires imaginées, souffre elle-même d'hallucinations lors de prédictions à long horizon, ce qui biaise les transitions d'état et dégrade l'apprentissage. HaWMPO introduit un modèle conditionné par l'action qui estime la fiabilité des séquences d'images générées, puis injecte ce score d'hallucination dans une optimisation de politique par comparaison de groupe (group relative policy optimization), via un mécanisme "Reward-Soft" qui pénalise les segments d'action jugés peu fiables. Sur le benchmark LIBERO, la méthode obtient le meilleur taux de réussite moyen, avec un gain de 15,0 points par rapport au modèle de base et 2,8 points par rapport à la meilleure méthode concurrente testée. En conditions réelles, sur un robot humanoïde Unitree G1, le taux de réussite moyen sur deux tâches de manipulation passe de 67,5% à 80,0%. Pour l'industrie robotique, ce travail s'attaque directement à un goulot d'étranglement connu des politiques VLA génralistes : leur bon comportement en zero-shot ne se traduit pas en fiabilité sur des tâches longues et complexes, et le raffinement par renforcement réel reste trop coûteux pour être industrialisé. En démontrant qu'un world model peut servir de terrain d'entraînement simulé à condition de filtrer ses propres hallucinations, l'étude apporte un élément concret au débat sur la viabilité du sim-to-real pour les VLA à grande échelle, sans prétendre le résoudre entièrement puisque les gains restent mesurés sur un nombre limité de tâches. HaWMPO s'inscrit dans la lignée des politiques génralistes récentes comme Pi-0, GR00T N2 ou Helix, qui cherchent à généraliser la manipulation robotique au-delà de tâches uniques entraînées spécifiquement. Le choix du G1 de Unitree comme plateforme d'essai réel confirme son adoption croissante comme banc de test académique pour la manipulation bimanuelle. L'article ne mentionne ni acteur français ou européen, ni feuille de route de déploiement industriel ; il s'agit à ce stade d'une contribution de recherche évaluée sur benchmark et sur un nombre restreint d'expériences réelles, sans indication de calendrier vers une intégration commerciale.

IA physiqueActu
1 source