RecherchearXiv cs.RO 28 octobre 2026

MO-Playground : apprentissage par renforcement multi-objectif massivement parallélisé pour la robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de Dynamic Mobility présentent MO-Playground, une boîte à outils installable par pip qui regroupe des environnements multi-objectifs accélérés sur GPU, et MORLAX, un algorithme d'apprentissage par renforcement multi-objectif (MORL) conçu nativement pour GPU. Selon l'article arXiv (version 2), l'ensemble approxime des ensembles de Pareto en quelques minutes. Les gains annoncés sont de 26 à 271 fois par rapport aux approches historiques sur CPU, et jusqu'à 19 fois par rapport aux méthodes précédentes sur GPU, avec des hypervolumes de front de Pareto supérieurs. Pour la démonstration, l'équipe a construit un environnement personnalisé du robot humanoïde BRUCE et appris des politiques de locomotion Pareto-optimales sur 6 objectifs pratiques, dont la fluidité du mouvement, l'efficacité énergétique et le balancement des bras. Tout cela reste en simulation : l'article ne rapporte aucun transfert sur robot réel.

Le MORL cherche à produire non pas une politique unique, mais toute une famille de politiques qui représentent les compromis optimaux entre objectifs contradictoires, par exemple vitesse contre consommation, ou stabilité contre naturel de la démarche. Jusqu'ici, ces algorithmes ne tiraient pas parti de la parallélisation massive (des milliers d'environnements simulés en simultané) qui a pourtant rendu l'apprentissage par renforcement classique praticable en robotique. Le coût de calcul était donc un frein à leur usage sur des problèmes complexes. En ramenant la construction d'un front de Pareto à quelques minutes, MO-Playground permettrait à un ingénieur de choisir a posteriori le comportement voulu au lieu de réajuster à la main les pondérations d'une fonction de récompense, ce qui est aujourd'hui un goulot d'étranglement courant pour régler une marche humanoïde. Les gains chiffrés sont toutefois mesurés par les auteurs sur leurs propres benchmarks, et la fourchette très large (26x à 271x) dépend des tâches et des références CPU retenues. La valeur réelle se vérifiera au transfert sim-to-real et à l'adoption par d'autres équipes.

Cette publication s'inscrit dans la lignée des plateformes d'entraînement accélérées sur GPU, comme MuJoCo Playground, Isaac Lab ou Brax, dont MO-Playground reprend l'esprit en y ajoutant la dimension multi-objectif. BRUCE, humanoïde de taille réduite à actionneurs à faible rapport de réduction, est une plateforme de recherche répandue, ce qui facilite la reproduction par d'autres laboratoires. La boîte à outils est publique sur le site du projet. Les prochaines étapes logiques seraient la validation sur matériel, l'élargissement à d'autres morphologies et une intégration aux chaînes d'entraînement des acteurs industriels de l'humanoïde, qui règlent encore largement leurs compromis de manière empirique.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA Isaac & Cosmos arXiv cs.RO

À lire aussi

1arXiv cs.RO

PROMO : apprentissage par renforcement multi-objectif conditionné par les préférences pour robots quadrupèdes

Des chercheurs proposent PROMO (Preference-Conditioned Multi-Objective Reinforcement Learning), une méthode qui transforme l'arbitrage entre objectifs de locomotion en entrée modifiable à l'exécution d'une politique unique pour robot quadrupède. Le travail, publié sur arXiv (2610.01260), vise un problème classique : le suivi de commande, la stabilité et l'efficacité énergétique entrent en conflit, et l'apprentissage par renforcement (RL) conventionnel fige leur hiérarchie dans une récompense scalaire fixée à l'entraînement. PROMO conditionne la politique sur des préférences exprimées au déploiement, tout en gardant fixes les a priori propres à l'embodiment, nécessaires à la génération d'une marche viable. En simulation, sur 100 préférences échantillonnées, 67 comportements sont non dominés au sens strict de Pareto, avec une corrélation moyenne préférence-objectif de 0,843. Sur un Unitree Go2, la même politique est transférée en zero-shot. Le seul changement de préférence, par rapport au réglage équilibré, réduit l'énergie spécifique jusqu'à 30,4 %, l'erreur de position de 38,7 % et l'écart maximal d'attitude du corps de 59,0 %. Le code et des vidéos sont en open source. L'intérêt pratique tient à l'interface. Aujourd'hui, adapter un contrôleur à une mission (économiser la batterie en inspection, privilégier la précision de placement, stabiliser une charge utile) impose souvent de réentraîner ou de maintenir plusieurs spécialistes. Une politique unique réglable à chaud simplifie la validation, le déploiement et la maintenance d'une flotte, ce qui parle aux intégrateurs de robots à pattes pour l'inspection industrielle. Les auteurs affirment qu'elle égale ou dépasse contrôleurs à objectif fixe, baselines multi-objectifs et spécialistes entraînés séparément, ce qui, si cela se confirme, rendrait la spécialisation par réentraînement moins nécessaire. Des réserves s'imposent toutefois : les gains réels sont mesurés sur une seule plateforme, relatifs à un réglage « équilibré » choisi par les auteurs, sans information sur la variété des terrains ni le nombre d'essais. Ce résultat relève de la recherche, pas d'un produit livré ni d'un déploiement. Le RL multi-objectif existait surtout comme outil hors ligne, pour construire des ensembles de Pareto que l'on exploitait ensuite en choisissant un point de fonctionnement. PROMO prolonge ce rôle en faisant de la préférence une variable de commande au runtime. Le Go2 d'Unitree est devenu la plateforme de référence de la recherche académique en locomotion par RL, ce qui facilite la comparaison et la reproduction, et l'ouverture du code va dans ce sens. La suite logique serait de tester l'approche sur d'autres morphologies, sur terrains difficiles, et de l'articuler avec des interfaces de commande de plus haut niveau, par exemple des modèles vision-langage-action ou des opérateurs humains traduisant une intention en préférence. Aucun pilote industriel ni calendrier n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

L'Open Ant, une plateforme robotique pour la recherche en apprentissage par renforcement

Une équipe de recherche présente l'Open Ant, une plateforme robotique physique conçue pour la recherche en apprentissage par renforcement (RL), dans un article publié sur arXiv (2607.18488v1). Il s'agit d'une déclinaison matérielle de l'environnement Gymnasium Ant, un benchmark de simulation largement utilisé dans la communauté RL, accompagnée de sa propre simulation. Les chercheurs démontrent que des politiques de marche compétentes peuvent être apprises directement à partir de l'expérience du robot physique, sans passer par la simulation, en environ une heure seulement. Ce résultat a été obtenu avec deux algorithmes très différents dans leur approche, SARSA(λ) et Soft Actor-Critic (SAC), ce qui suggère une certaine robustesse de la plateforme face à des méthodes d'apprentissage variées. Les auteurs montrent également que des politiques entraînées en simulation se transfèrent avec succès vers le robot réel. L'ensemble, conception matérielle et logiciel, est publié en open source sur GitHub. Cette publication s'attaque à un problème structurel du champ du RL: la grande majorité des travaux restent cantonnés à la simulation, ce qui rend incertaine leur transposition à des systèmes physiques réels, tant pour les algorithmes que pour les chercheurs qui manquent souvent d'accès à du matériel adapté. En apportant la preuve qu'un apprentissage from scratch sur robot réel est possible en une heure, et que le transfert sim-to-real fonctionne sur cette plateforme, les auteurs fournissent un argument concret contre l'idée que le RL physique serait nécessairement lent, coûteux ou peu fiable. Pour les laboratoires académiques et les équipes industrielles travaillant sur des systèmes de locomotion ou de contrôle appris, cela abaisse la barrière à l'expérimentation matérielle. Le choix de dériver la plateforme de l'environnement Gymnasium Ant, très utilisé comme référence en simulation, vise explicitement à faciliter l'adoption par des chercheurs déjà familiers de cet environnement virtuel. Les auteurs ont aussi évalué l'accessibilité du système pour des utilisateurs novices issus de formations diverses, ainsi que la facilité de réparation et de mise à jour du matériel en cas de panne, deux critères rarement documentés dans les publications robotiques mais déterminants pour une adoption réelle en laboratoire.

RecherchePaper

1 source

3arXiv cs.RO

MAPL : apprentissage des préférences multi-objectifs pour la locomotion robotique

Des chercheurs présentent MAPL (Multi-Objective AI-Informed Preference Learning), un cadre d'apprentissage par renforcement pour la locomotion quadrupède qui remplace les fonctions de récompense manuelles par des préférences générées par LLM. Publié sur arXiv (réf. 2606.25398) en juin 2025, le système soumet des paires de trajectoires à un grand modèle de langage, qui les évalue selon plusieurs critères sémantiques distincts, formulés en langage naturel générique et invariants selon le terrain. Ces préférences par objectif alimentent un modèle de scoring à plusieurs têtes, dont les sorties sont agrégées en récompense scalaire pour l'optimisation de politique. Sur quatre environnements de simulation quadrupède, les auteurs rapportent des performances comparables ou supérieures à des récompenses conçues par des experts du domaine. L'intérêt de MAPL tient à sa décomposition structurée des objectifs, là où les méthodes LLM existantes se limitent à un jugement global entre comportements. En robotique industrielle, la conception de fonctions de récompense reste un goulot d'étranglement reconnu, exigeant de longues itérations entre ingénieurs RL et spécialistes métier. Substituer ce travail par des descriptions en langage naturel, réutilisables sans réécriture d'équations, réduirait le coût d'adaptation à de nouvelles tâches. La décomposition en critères distincts offre aussi une meilleure interprétabilité : il devient possible d'identifier quels objectifs sont en tension, ce qui facilite le débogage comportemental. MAPL s'inscrit dans la vague d'automatisation de la conception de récompenses via LLM, initiée notamment par EUREKA (NVIDIA, 2023), qui générait directement du code de récompense via GPT-4, et par RL-VLM-F, qui exploite des modèles vision-langage pour évaluer les comportements. La locomotion quadrupède est un benchmark standard utilisé par des projets comme ANYmal (ETH Zurich) et les plateformes Unitree. Plusieurs limites méritent d'être signalées : l'article reste un preprint non relu par les pairs, les expériences sont menées uniquement en simulation sans validation physique, et le LLM utilisé pour générer les préférences n'est pas spécifié, ce qui complique la reproductibilité. Les extensions naturelles concernent la validation sur robot réel et l'application à des morphologies plus complexes, comme les humanoïdes, où l'ingénierie de récompense est particulièrement coûteuse.

RecherchePaper

1 source

4arXiv cs.RO

Démarrage par modèle VLA pour l'apprentissage par renforcement des agents robotiques

Des chercheurs proposent VLAJS (Vision-Language-Action Jump-Starting), une méthode publiée sur arXiv (réf. 2604.13733v2) visant à accélérer l'apprentissage par renforcement (RL) en manipulation robotique. Le principe repose sur l'utilisation d'un modèle VLA comme guide transitoire en début d'entraînement, sans imitation stricte ni démonstrations humaines. VLAJS augmente l'algorithme PPO (Proximal Policy Optimization) d'une régularisation directionnelle qui aligne progressivement les actions de l'agent RL avec les suggestions du VLA, avant d'annuler cette contrainte à mesure que l'agent gagne en compétence. La méthode a été évaluée sur six tâches simulées (levée d'objet, pick-and-place, réorientation et insertion de cheville, poking, pushing), dont un sous-ensemble validé sur un bras Franka Panda réel. Elle réduit de plus de 50 % le nombre d'interactions d'entraînement nécessaires par rapport à PPO seul ou aux baselines de distillation, et démontre un transfert sim-to-real zero-shot robuste face à des encombrements, variations d'objets et perturbations externes. Ce résultat répond à une tension structurelle bien connue du domaine: les modèles VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) excellent dans le raisonnement à l'échelle de la tâche grâce à leur préentraînement multimodal massif, mais restent trop lents pour le contrôle en boucle fermée à haute fréquence. Inversement, le RL classique assure cette précision mais explore de façon inefficace sur des tâches longues avec récompenses éparses. VLAJS prouve qu'un VLA peut être utile sans être interrogé en continu, réduisant potentiellement les coûts d'entraînement pour des applications de manipulation industrielle et validant l'hypothèse qu'un modèle généraliste peut servir d'amorce dans des pipelines RL orientés production. VLAJS émerge dans un contexte de convergence entre fondations VLA et contrôle temps-réel, où Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Google DeepMind (RT-2) s'affrontent sur la généralisation pendant que le RL pur domine en précision. Cette contribution reste académique: validée sur le Franka Panda à 7 degrés de liberté, elle n'est pas encore un produit déployé ni industrialisé, et la réduction de 50 % des interactions porte sur des tâches relativement courtes en simulation. Les suites naturelles incluent l'extension à des morphologies plus complexes (humanoïdes, systèmes bimanuels) et l'intégration dans des frameworks d'entraînement open-source comme Isaac Lab ou ManiSkill.

RechercheOpinion

1 source