Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Pretraining à l'apprentissage par renforcement acteur-critique pour la locomotion

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche propose une méthode de pré-entraînement pour l'apprentissage par renforcement (RL) appliqué à la locomotion des robots, détaillée dans une nouvelle version d'un article déposé sur arXiv (2510.12363v4). Le constat de départ : dans la plupart des pipelines RL actuels, chaque compétence de marche ou de course est apprise depuis zéro, alors qu'une même architecture de robot partage probablement des connaissances générales d'un mouvement à l'autre. Les auteurs introduisent un Proprioceptive Inverse Dynamics Model (PIDM), entraîné par apprentissage supervisé sur des données de transition dynamiques collectées via une exploration indépendante de toute tâche spécifique. Les poids ainsi obtenus servent ensuite à initialiser à la fois l'acteur et le critique dans des algorithmes classiques comme Proximal Policy Optimization (PPO), au lieu de partir d'une initialisation aléatoire. La méthode a été validée sur neuf environnements de locomotion RL distincts, couvrant trois types de robots différents, avec des gains moyens de 36,2% en efficacité d'échantillonnage et 4,3% en performance de tâche par rapport à une initialisation classique.

L'intérêt pratique tient au coût de l'apprentissage par renforcement pour la robotique : chaque politique entraînée depuis zéro consomme un temps de simulation et de calcul considérable, un frein direct pour les équipes qui doivent multiplier les comportements sur un même robot (marche, course, franchissement d'obstacles, terrains variés). En réutilisant un socle de connaissances proprioceptives commun à l'embodiment, cette approche promet d'accélérer l'entraînement de nouvelles compétences sans repartir de zéro à chaque fois, un enjeu direct pour les laboratoires et intégrateurs qui développent des politiques de locomotion pour humanoïdes ou quadrupèdes.

Ce travail s'inscrit dans la tendance plus large du paradigme pré-entraînement puis fine-tuning, déjà dominant en vision et en langage, et de plus en plus recherché en robotique via les modèles fondation vision-langage-action (VLA) type Pi-0 ou GR00T N2. Contrairement à ces approches qui visent des politiques génériques multi-tâches à grande échelle, cette étude reste focalisée sur la locomotion bas niveau et propose des ablations détaillées pour isoler les mécanismes expliquant les gains observés, une contribution méthodologique plutôt qu'un produit ou un déploiement commercial.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

D'observateur passif à critique actif : l'apprentissage par renforcement révèle un raisonnement de processus pour la manipulation robotique
1arXiv cs.RO 

D'observateur passif à critique actif : l'apprentissage par renforcement révèle un raisonnement de processus pour la manipulation robotique

Une équipe de recherche propose PRIMO R1 (Process Reasoning Induced Monitoring), un framework de 7 milliards de paramètres qui transforme les modèles vidéo multimodaux (MLLM) en "critiques" actifs capables d'évaluer la progression d'une tâche de manipulation robotique, plutôt qu'en simples "observateurs" qui se contentent de reconnaître les actions en cours. La méthode s'appuie sur de l'apprentissage par renforcement basé sur le résultat final pour inciter le modèle à générer un raisonnement explicite en chaîne de pensée (chain-of-thought) lors de l'estimation de la progression. L'architecture ancre la séquence vidéo entre une image de l'état initial et une image de l'état courant, une construction temporelle structurée soutenue par un nouveau jeu de données et benchmark, le PRIMO Dataset. Les résultats annoncés sont significatifs : une réduction de 50% de l'erreur absolue moyenne par rapport aux meilleures références spécialisées, des gains face à des MLLM généralistes de 72 milliards de paramètres malgré une taille dix fois inférieure, et 67,0% de précision sur le benchmark RoboFail, dépassant le modèle o1 d'OpenAI de 6 points. Cette avancée cible un vrai point de friction du secteur : pour les tâches de manipulation longues, les robots doivent non seulement reconnaître ce qu'ils font, mais estimer où ils en sont par rapport à l'objectif final, une capacité clé pour la détection autonome d'échecs sans supervision humaine. Qu'un modèle de 7B batte des systèmes bien plus lourds, y compris o1, sur ce type de raisonnement suggère que le renforcement orienté résultat peut compenser la taille, un argument important pour un déploiement embarqué sur des robots humanoïdes où latence et coût de calcul comptent. Le travail s'inscrit dans la vague de modèles de raisonnement entraînés par RL appliquée spécifiquement à la robotique, avec des tests validés aussi bien en environnements simulés qu'en scénarios réels sur humanoïdes. Il s'agit à ce stade d'une publication de recherche (preprint arXiv, version révisée) accompagnée d'un dataset et d'un benchmark ouverts, pas d'un produit déployé, mais elle pose une référence explicite face aux modèles généralistes et aux systèmes propriétaires comme o1 sur la détection d'échec robotique.

RecherchePaper
1 source
Apprentissage par renforcement neuromorphique pour la locomotion de robots quadrupèdes sur terrain accidenté
2arXiv cs.RO 

Apprentissage par renforcement neuromorphique pour la locomotion de robots quadrupèdes sur terrain accidenté

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv (réf. 2605.09595) un framework d'apprentissage par renforcement basé sur l'équilibrium propagation (EP) pour contrôler la locomotion d'un quadrupède Unitree A1 à 12 degrés de liberté sur terrain accidenté. Plutôt que la rétropropagation classique, ils substituent les gradients globaux par des règles d'apprentissage locales pilotées par les états neuronaux, compatibles avec les substrats neuromorphiques et de calcul en mémoire. Le contrôleur combine un générateur de motif central (CPG) bio-inspiré avec une politique d'ajustement postural résiduel, entraîné via une variante PPO (Proximal Policy Optimization) adaptée à l'EP avec un mécanisme de clipping bilatéral du ratio pour stabiliser les mises à jour lors de la relaxation. Les résultats montrent des performances comparables à une baseline PPO classique en taux de succès, suivi de vitesse, consommation des actionneurs et stabilité corporelle, tout en réduisant la mémoire GPU de 4,3× par rapport à la rétropropagation à travers le temps (BPTT). L'ensemble des expériences reste en simulation, aucun déploiement terrain n'est documenté dans la publication. L'enjeu structurel est clair : les politiques de locomotion RL actuelles sont entraînées hors-ligne en simulation massivement parallèle, puis figées au déploiement. Elles ne s'adaptent pas à l'usure des actionneurs, aux variations de charge utile, ou au drift mécanique sur robot réel, limites critiques pour une industrialisation. En remplaçant la rétropropagation par un apprentissage local compatible avec des puces neuromorphiques (type Intel Loihi), cette approche ouvre la voie à une adaptation continue on-robot à faible consommation, sans dépendance à un GPU externe. Le gain de 4,3× en mémoire est déjà tangible pour les équipes embarquées, même si la validation reste entièrement simulée. Ces travaux s'inscrivent dans l'intense activité autour de la locomotion quadrupède par RL, dominée par l'ETH Zurich sur ANYmal et les robots Unitree. L'équilibrium propagation, formalisé par Scellier et Bengio en 2017, reste peu exploré pour le contrôle continu haute dimension, c'est l'une des premières démonstrations sur un robot à 12 DOF. Les approches concurrentes pour l'adaptation en ligne incluent RMA (Rapid Motor Adaptation, UC Berkeley) et les politiques méta-adaptatives de type MAML. L'étape suivante critique serait de valider sur hardware réel avec une puce neuromorphique embarquée et de mesurer la consommation effective en watts, deux points absents de la publication actuelle.

RecherchePaper
1 source
Filtres de Koopman robustes pour un apprentissage par renforcement acteur-critique sûr
3arXiv cs.RO 

Filtres de Koopman robustes pour un apprentissage par renforcement acteur-critique sûr

Une équipe a déposé sur arXiv (2605.26452) Robust Koopman-CBF SAC, un framework de RL sûr pour la robotique qui s'affranchit du modèle dynamique pré-établi. La méthode apprend un prédicteur de Koopman à dimension finie depuis des trajectoires d'expérience, construit des Control Barrier Functions (CBF) dans l'espace "levé" où la dynamique non linéaire devient affine, puis les applique via une couche de programme quadratique (QP) qui corrige minimalement les actions de la politique Soft Actor-Critic (SAC). Une marge résiduelle projetée, estimée sur des rollouts de validation distincts de l'entraînement, compense les erreurs d'approximation inhérentes au modèle Koopman fini. Sur le benchmark CartPole (stabilisation et suivi de trajectoire), le système atteint zéro violation de contrainte tout en égalant ou dépassant les performances d'un SAC non contraint. Sur les tâches de locomotion haute dimension de Safety Gymnasium, les violations diminuent dans certains scénarios, mais les barrières de vitesse du premier ordre et les modèles EDMD linéaires révèlent des limites structurelles non résolues. L'enjeu est concret pour les intégrateurs: déployer des robots autonomes en environnement industriel exige que les contraintes dures (zones interdites, limites articulaires, forces maximales) ne soient jamais violées, y compris pendant la phase d'entraînement et pas seulement en déploiement. Les approches existantes imposent soit un modèle dynamique précis, difficile à obtenir pour des robots complexes, soit des certificats de sécurité conçus à la main par des experts contrôle. Ici, la dynamique est inférée depuis les données, et la linéarité de l'espace Koopman rend les CBF algébriquement tractables sans expertise manuelle. Le zéro violation sur CartPole est reproductible (code disponible sur GitHub), pas une démonstration sélectionnée. Les limitations exposées sur Safety Gymnasium délimitent honnêtement le périmètre de validité: systèmes à dynamique quasi-linéaire et contraintes de vitesse simples, ce qui est plus informatif que beaucoup de publications dans ce domaine. L'opérateur de Koopman a été réintroduit en robotique et en contrôle vers 2017-2020 notamment via les travaux de Brunton, Kaiser et Kutz sur l'EDMD (Extended Dynamic Mode Decomposition). Les CBF ont été formalisées par Aaron Ames et ses collaborateurs à Caltech puis au Georgia Tech, avec une influence croissante dans le contrôle certifié depuis 2017. Dans le RL sûr, les méthodes de référence comme CPO (Constrained Policy Optimization) et TRPO-Lagrangien peinent à garantir des contraintes dures pendant l'entraînement. Ce travail se positionne explicitement comme pont entre ces deux communautés. Les extensions annoncées incluent des CBF d'ordre supérieur pour mieux traiter les contraintes de vitesse, et des modèles Koopman non linéaires ou multi-pas pour les locomotions haute dimension.

RecherchePaper
1 source
Combinaison d'échantillonnage contraint et d'apprentissage par renforcement pour la manipulation robotique
4arXiv cs.RO 

Combinaison d'échantillonnage contraint et d'apprentissage par renforcement pour la manipulation robotique

Manipulation robotique non préhensile : des chercheurs de la TU Berlin combinent échantillonnage contraint et apprentissage par renforcement Une équipe de la TU Berlin, associée au laboratoire de Marc Toussaint, publie une nouvelle version de ses travaux sur l'entraînement de politiques de manipulation robotique en environnement riche en contacts (arXiv:2602.08557v2). Le problème visé est la manipulation dite non préhensile, c'est à dire pousser, faire glisser ou réorienter un objet sans le saisir, une tâche où l'apprentissage par renforcement (RL) peine souvent à explorer suffisamment l'espace des stratégies possibles. La méthode proposée combine deux idées existantes mais rarement associées : d'une part des stratégies de réinitialisation qui contrôlent la distribution des états de départ de chaque épisode d'entraînement, et d'autre part un échantillonnage basé modèle sur des variétés contraintes, une technique reconnue pour son efficacité à générer des états physiquement valides. Le nouvel échantillonneur tient explicitement compte de la structure des contacts pour couvrir un large éventail de modes de contact, le tout combiné à une interpolation projetée et à un apprentissage curriculaire progressif. Sur le plan des résultats, l'équipe affirme surpasser à la fois le RL classique sans échantillonnage contraint et les méthodes alternatives de réinitialisation, en entraînant des politiques universelles, non préhensiles et dynamiques. L'intérêt pour le secteur tient moins à un produit qu'à une brique méthodologique : la manipulation en contact riche, aujourd'hui l'un des points durs de la robotique appliquée (tri industriel, réorientation d'objets sur convoyeur, préhension d'objets déformables), reste largement dominée par des politiques apprises en simulation qui échouent à généraliser sur des configurations de contact non vues à l'entraînement. Une méthode qui améliore la couverture des modes de contact pendant l'apprentissage adresse directement ce problème de généralisation, sans dépendre d'un matériel ou d'un actionneur particulier. Il s'agit ici d'une contribution académique, pas d'une annonce produit ni d'un déploiement industriel, du matériel supplémentaire étant disponible sur le site du laboratoire. Le travail s'inscrit dans la continuité des recherches de Toussaint sur la planification géométrico logique et les approches hybrides modèle/apprentissage, un courant de recherche européen qui contraste avec les approches purement data-driven (type VLA) privilégiées par les laboratoires américains sur les plateformes humanoïdes commerciales.

UEContribution de la TU Berlin (laboratoire de Marc Toussaint) qui renforce l'expertise europeenne en manipulation robotique hybride modele/apprentissage, une approche qui se distingue des methodes VLA data-driven privilegiees par les laboratoires americains.

RecherchePaper
1 source