Aller au contenu principal
Au-delà de l'alignement de politique : boucler la planification et l'apprentissage pour le contrôle de robots avec des modèles du monde apprisIllustration générée par IA
RecherchearXiv cs.RO 

Au-delà de l'alignement de politique : boucler la planification et l'apprentissage pour le contrôle de robots avec des modèles du monde appris

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent PL-MPC (Planning-Learning MPC), une évolution de TD-MPC, la famille de méthodes qui combine un modèle du monde appris, une optimisation de trajectoire en ligne (MPPI) et des fonctions de valeur et de politique apprises. Trois modifications sont introduites, sans toucher à l'architecture du modèle du monde ni à l'optimiseur. Des cibles TD multi-étapes hybrides exposent le critique à davantage de récompenses réellement observées avant le bootstrap. Une estimation de valeur terminale sensible au désaccord entre critiques réduit le poids des valeurs incertaines pendant la planification. Enfin, une distillation de l'acteur pondérée par le retour privilégie les actions exécutées par le planificateur dans les épisodes les plus rentables. Sur HumanoidBench, le Total Average Return passe de 98±18 à 387±255 sur balance-hard, et de 199±13 à 466±200 sur hurdle. Les résultats restent dépendants de la tâche sur le reste du benchmark, et la méthode demeure compétitive sur DMControl. Un test de transfert sim-to-real zero-shot est réalisé sur l'alignement d'un écrou avec une clé, avec un bras KUKA IIWA14 à 7 DoF. Le taux de succès observé est supérieur à celui de TD-M(PC)^2, pour la taille d'objet d'entraînement et deux tailles inédites. Code et données doivent être publiés ultérieurement.

L'intérêt tient à la manière dont le problème est posé. Le planificateur génère les données dont le critique et l'acteur apprennent, et ceux-ci notent et proposent à leur tour les plans futurs : les erreurs de valeur peuvent donc se renforcer d'un cycle à l'autre. Les variantes précédentes se contentaient d'aligner la politique sur le comportement du planificateur. PL-MPC traite aussi la supervision du critique et la valeur terminale, ce qui suggère que les gains viennent de la boucle entière plutôt que d'un seul composant. Il faut toutefois lire les chiffres avec prudence. Les écarts-types sont très larges (387±255, 466±200), les gains se concentrent sur deux tâches, et les ablations montrent que les composants interagissent différemment d'une tâche à l'autre. Le test sim-to-real reste un seul scénario sur bras fixe, sans aucune mesure sur un humanoïde réel : il ne dit rien du passage à l'échelle sur des robots à corps entier.

Ce travail prolonge TD-MPC et TD-MPC2, références du contrôle basé sur modèle du monde pour les systèmes de grande dimension, ainsi que TD-M(PC)^2, variante contrainte par la politique qui sert ici de point de comparaison direct. Il se positionne en recherche amont, à distance des approches VLA généralistes (Pi-0, GR00T, Helix) qui dominent les annonces industrielles. HumanoidBench reste un banc d'essai simulé, et un transfert réussi sur un bras industriel ne garantit pas la robustesse sur un humanoïde. La suite dépendra de la publication du code et des données annoncés sur pl-mpc-humanoid.github.io, puis d'éventuelles validations sur matériel humanoïde.

Dans nos dossiers

À lire aussi

PoliMop : planification de mouvement en 3D avec politique dans la boucle pour robots mobiles
Illustration générée par IA
1arXiv cs.RO 

PoliMop : planification de mouvement en 3D avec politique dans la boucle pour robots mobiles

Des chercheurs ont déposé sur arXiv (2611.18110) PoliMop, un planificateur de mouvement kinodynamique de type RRT (rapidly-exploring random tree) qui place la politique de contrôle du robot directement dans la boucle de planification. Le planificateur échantillonne des états dans un espace réduit en 3D autour de la scène, puis étend l'arbre vers chaque échantillon en exécutant des rollouts de la politique dans un simulateur physique. L'échantillonnage est guidé par un chemin préplanifié pour un simple modèle de point massique, ce qui concentre l'exploration sur les zones menant au but et réduit le temps de planification jusqu'à 63 %. Les expériences, menées uniquement en simulation, couvrent des quadrupèdes, des humanoïdes et des robots à roues. Les modifications d'environnement définies à l'avance, comme une planche posée sur un trou pour former un pont, sont intégrées automatiquement : l'espace atteignable du robot s'élargit sans toucher à l'algorithme. L'intérêt tient au découplage entre planification et morphologie. Les planificateurs classiques raisonnent surtout sur la géométrie et un modèle cinématique simplifié, et sous-exploitent donc des compétences apprises comme le franchissement d'obstacles ou la montée de marches. Ici, la capacité du robot est mesurée par ce que sa politique sait réellement faire, ce qui permet de changer de robot ou de politique sans réécrire le planificateur. Pour un intégrateur, cela pourrait réduire l'ingénierie spécifique à chaque plateforme. Les limites sont nettes : aucune validation sur matériel n'est annoncée, donc l'écart sim-to-real reste entier. Le chiffre de 63 % est un maximum, pas une moyenne, et le résumé ne donne ni taux de succès ni coût de calcul des rollouts physiques, deux paramètres décisifs pour un usage embarqué. Ce travail se situe entre la planification d'échantillonnage classique et les politiques de locomotion apprises, qui ont beaucoup progressé sur quadrupèdes et humanoïdes mais restent souvent pilotées par des commandes de vitesse ou des points de passage choisis par un humain ou un planificateur purement géométrique. PoliMop propose une couche intermédiaire qui interroge la politique pour savoir où le robot peut aller, par opposition aux approches de bout en bout de type VLA qui visent à tout absorber dans un seul modèle. Les prochaines étapes logiques seraient un test sur robots réels, la prise en compte de scènes dynamiques et l'extension à des modifications de l'environnement décidées par le robot lui-même plutôt que prédéfinies.

RecherchePaper
1 source
Modèles vision-action pour l'apprentissage et le contrôle des robots : une étude
Illustration générée par IA
2arXiv cs.RO 

Modèles vision-action pour l'apprentissage et le contrôle des robots : une étude

Une équipe de chercheurs publie sur arXiv (identifiant 2609.16074v1) une étude de synthèse consacrée aux World-Action Models (WAM), des architectures qui couplent prédiction de l'état futur du monde et génération d'actions exécutables pour des robots. Le texte ne présente ni robot ni déploiement terrain : c'est une revue de littérature qui situe les WAM par rapport aux modèles du monde classiques, à l'apprentissage par renforcement basé sur un modèle, à la génération vidéo conditionnée par l'action et aux politiques VLA (vision-langage-action) purement réactives. Les auteurs proposent une taxonomie unifiée couvrant représentations, modélisation des transitions d'état, interfaces d'action, architectures, pipelines d'entraînement, modalités de données et stratégies de mise à l'échelle, puis passent en revue les applications en manipulation robotique, navigation et conduite autonome, avant de recenser les jeux de données, benchmarks, métriques et protocoles d'évaluation existants. Une page de projet répertoriant les travaux associés est mise en ligne à l'adresse rcl-robotics.github.io. L'intérêt de ce travail tient moins à un résultat inédit qu'à la mise en ordre d'un champ en pleine effervescence. Depuis l'essor des modèles du monde et de politiques VLA comme Pi-0, GR00T N2 ou Helix, une même intuition traverse le secteur : un robot fiable doit anticiper les conséquences d'une action avant de l'exécuter, plutôt que de se contenter d'associer observation et geste. Pour les intégrateurs et décideurs B2B, cette synthèse offre un vocabulaire commun pour évaluer des annonces concurrentes qui se réclament toutes, à des degrés divers, de cette convergence entre prédiction et action. Elle rappelle aussi, en creux, que la plupart des systèmes déployés aujourd'hui restent soit des générateurs vidéo sans boucle d'action réelle, soit des politiques réactives sans véritable anticipation, ce qui relativise la maturité que certains fournisseurs revendiquent. Ce travail s'inscrit dans la convergence amorcée depuis 2024-2025 entre les modèles du monde issus de la génération vidéo et les politiques d'action de type VLA popularisées par des laboratoires nord-américains et asiatiques ; aucun acteur français ou européen n'est cité dans cette étude, qui reste centrée sur la littérature académique et industrielle existante. Les auteurs identifient plusieurs verrous encore ouverts : l'alignement entre prédiction et action, la factorisation monde-action, la cohérence spatiale et multi-vue, la mémoire à long horizon, la simulation neuronale pour l'apprentissage en boucle fermée, et l'inférence efficace nécessaire à un déploiement temps réel. Ces axes dessinent l'agenda de recherche à venir pour transformer les WAM, aujourd'hui à l'état de cadre conceptuel, en briques réellement déployables sur des robots.

RecherchePaper
1 source
Les modèles du monde robotiques suivent-ils vraiment les actions ? Diagnostic et alignement pour l'apprentissage de politiques
Illustration générée par IA
3arXiv cs.RO 

Les modèles du monde robotiques suivent-ils vraiment les actions ? Diagnostic et alignement pour l'apprentissage de politiques

Un article publié sur arXiv (référence 2608.24885v1) introduit deux outils complémentaires pour diagnostiquer et corriger un défaut jusqu'ici non vérifié dans les "world models" conditionnés par l'action, ces simulateurs appris de plus en plus utilisés pour évaluer et améliorer des politiques robotiques. Le premier, WorldEcho, est un protocole de diagnostic qui mesure si les futurs générés par un modèle suivent réellement l'action commandée, via l'intégrité visuelle des séquences et l'alignement des trajectoires SE(3), sur un éventail d'actions bien plus large que les seules démonstrations expertes utilisées jusque-là par les benchmarks existants. Le diagnostic montre que les modèles actuels exécutent correctement les actions issues de démonstrations expertes, mais échouent largement face à des trajectoires hors distribution: soit ils ignorent la commande, soit ils produisent des séquences visuellement incohérentes. Pour y remédier, les auteurs proposent WorldSync, qui agit sur trois axes: élargissement de la distribution d'entraînement sur les conséquences des actions, ancrage des représentations vidéo intermédiaires dans la dynamique du robot via un "Action-Forcing Expert", et alignement des changements prédits sous intervention avec les changements réels observés. Testé sur les benchmarks RoboTwin et sur des tâches réelles avec un robot physique, WorldSync améliore les métriques WorldEcho et fait gagner du taux de réussite aux politiques entraînées avec ce simulateur. Pour l'industrie robotique, ce travail pointe une faille méthodologique qui touche tout le courant des world models utilisés comme simulateurs pour l'apprentissage par renforcement ou l'amélioration itérative de politiques: un modèle qui ne suit fidèlement que les actions proches de la distribution expert ne peut pas servir de proxy fiable pour tester des comportements qui s'en écartent, ce qui est pourtant l'objectif recherché quand on veut affiner une politique par simulation plutôt que par collecte coûteuse de données réelles. Le papier documente ainsi un écart entre démonstration convaincante et fiabilité réelle, et invite intégrateurs et équipes de recherche à ne pas présumer qu'un modèle génératif entraîné sur des démonstrations suit correctement des actions arbitraires avant de l'utiliser en boucle fermée pour du fine-tuning de politiques. Ce travail s'inscrit dans la tendance qui consiste à utiliser des modèles de génération vidéo conditionnés par l'action comme simulateurs internes pour l'apprentissage de politiques robotiques, en complément des simulateurs physiques classiques. RoboTwin, benchmark déjà reconnu pour la manipulation bimanuelle en simulation, sert ici de terrain de test. En révélant que les world models actuels généralisent mal au-delà des trajectoires expertes, les auteurs ouvrent la voie à des méthodes comme WorldSync, jugées nécessaires avant de pouvoir intégrer ces simulateurs comme brique standard dans des pipelines d'amélioration itérative de politiques, en simulation comme sur robot physique.

RecherchePaper
1 source
Physical Canvas : un modèle du monde visuo-tactile pour l'évaluation et l'apprentissage des politiques robotiques
Illustration générée par IA
4arXiv cs.RO 

Physical Canvas : un modèle du monde visuo-tactile pour l'évaluation et l'apprentissage des politiques robotiques

PhysCanvas, un modèle du monde visuo-tactile décrit dans un préprint arXiv (2610.28613), vise à servir de simulateur interactif pour évaluer et améliorer des politiques de manipulation robotique. Il fusionne dans un même espace visuel des images RGB multivues, des images tactiles, les déplacements de marqueurs du capteur, l'état de la tâche et les actions. Toutes ces modalités passent par un même VAE vidéo et un même backbone génératif pré-entraîné, ce qui permet au toucher optique de réutiliser les a priori visuels et temporels. Les actions sont injectées sous forme d'images de mouvement, calculées par cinématique directe et projection caméra, alignées spatialement avec les vues. Une image RGB initiale sert d'ancre et des observations de référence mises à jour guident la génération séquentielle. Un post-entraînement « consistency-aware » s'appuie sur trois modèles de récompense gelés (scène, modalité, état) qui contrôlent la préservation de la scène, la compatibilité visuo-tactile et la concordance avec les résultats réels. Sur quatre tâches de manipulation réelles, la supervision par le modèle de récompense d'état fait passer la moyenne arithmétique des corrélations de Pearson, entre taux de succès simulé et réel, de 0,602 à 0,885. Le post-entraînement de π0.5 par GRPO dans ce modèle du monde porte son taux de succès réel moyen de 59,1 % (base SFT) à 70,8 %. L'enjeu est double. Évaluer une politique sur robot physique coûte cher et passe mal à l'échelle, et les modèles du monde purement visuels produisent des vidéos plausibles mais fausses sur la dynamique de contact (glissement, force, déformation). C'est précisément ce qui fait diverger un classement de politiques en simulation de sa performance réelle. Le gain de corrélation suggère qu'un modèle du monde aligné sur les résultats de tâche peut devenir un proxy d'évaluation utile, et que l'ajout du tactile aide sur les tâches riches en contact. Le gain de 11,7 points sur π0.5 est modeste mais obtenu sans interactions réelles supplémentaires, ce qui intéresse les intégrateurs confrontés au coût des essais physiques. Quelques réserves s'imposent : seulement quatre tâches, un nombre de rollouts non précisé dans le résumé, des corrélations calculées sur peu de points, et aucune démonstration de généralisation à de nouveaux objets ou à d'autres capteurs. Ce travail s'inscrit dans la montée des modèles du monde actionnables, utilisés comme simulateurs appris pour contourner la difficulté du sim-to-real, et dans l'essor de l'apprentissage par renforcement appliqué aux modèles vision-langage-action (VLA) comme π0.5 de Physical Intelligence. Il complète des approches centrées sur la vision, notamment les modèles du monde de NVIDIA (Cosmos) ou d'autres équipes académiques, en y ajoutant le tactile de type optique. La suite logique serait un passage à des tâches plus longues, à davantage de plateformes et à un déploiement hors laboratoire. Une page projet est disponible, mais aucun calendrier de produit n'est annoncé : il s'agit à ce stade de recherche académique, sans déploiement industriel.

RecherchePaper
1 source