Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Vers un apprentissage par renforcement piloté par couple pour la locomotion quadrupède
RecherchearXiv cs.RO 

Vers un apprentissage par renforcement piloté par couple pour la locomotion quadrupède

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (référence 2607.18365v1) un nouveau cadre d'apprentissage par renforcement (RL) piloté par le couple moteur, plutôt que par la position, pour la locomotion de robots quadrupèdes. Contrairement aux approches RL classiques qui commandent les articulations en position et nécessitent une estimation d'état complexe (notamment la vitesse linéaire de l'engin), ce framework agit directement sur le couple et permet à un robot de suivre une vitesse cible sans connaître sa propre vitesse en temps réel. L'équipe a testé son approche en simulation sur Nvidia Isaac Sim et Isaac Lab, en utilisant le quadrupède Unitree B1, une plateforme lourde et à fort couple par rapport aux petits robots légers habituellement employés dans ce type de recherche. Résultat : le robot simulé atteint 3,5 m/s en vitesse linéaire et 1,5 rad/s en rotation, et parvient à monter et descendre des escaliers sans capteur extéroceptif (caméra ou lidar), en s'appuyant uniquement sur sa perception proprioceptive.

L'enjeu dépasse la simple performance chiffrée : la plupart des frameworks RL actuels butent sur des robots légers, limités dès qu'il s'agit de tâches à forte exigence mécanique (charge utile, franchissement d'obstacles robustes). En démontrant qu'un contrôle par couple peut fonctionner sur une plateforme lourde et à haut couple sans état de vitesse explicite, ce travail ouvre la voie à des quadrupèdes RL capables d'opérations industrielles plus exigeantes, un axe clé pour les intégrateurs qui cherchent à sortir la locomotion apprise des laboratoires vers des usages réels (inspection, logistique en terrain difficile).

Il faut toutefois noter que ces résultats restent purement issus de la simulation, sans validation sur robot physique à ce stade, ce qui laisse ouverte la question classique du transfert sim-to-real. Le choix du Unitree B1, une plateforme commerciale déjà répandue dans la recherche en robotique mobile, suggère une intention de test réel à venir, mais aucun calendrier n'est communiqué dans l'article.

Dans nos dossiers

UnitreeNVIDIA Isaac & CosmosarXiv cs.RO

À lire aussi

IA incarnée : locomotion des quadrupèdes par apprentissage par renforcement (sim-vers-réel dans Isaac Sim)
1arXiv cs.RO 

IA incarnée : locomotion des quadrupèdes par apprentissage par renforcement (sim-vers-réel dans Isaac Sim)

Une équipe de recherche présente un nouveau framework d'apprentissage par renforcement (RL) pour la locomotion de robots quadrupèdes, entraîné avec Isaac Sim et son framework compagnon Isaac Lab, les outils de simulation nouvelle génération de Nvidia. La particularité de l'approche est d'obtenir un transfert "zero-shot" du simulateur vers le robot physique, c'est-à-dire une politique de contrôle qui fonctionne directement sur le matériel réel sans réentraînement ni ajustement supplémentaire. Le système gère le contrôle corps entier (whole-body control) et a été validé expérimentalement sur le Unitree Go1, un quadrupède commercial largement utilisé en recherche. Les résultats montrent des performances de suivi de vitesse comparables à celles du contrôleur intégré d'origine du robot, tout en offrant une meilleure capacité de récupération face à de fortes perturbations externes. Le robot atteint des vitesses linéaires de 2,0 m/s et des vitesses angulaires de 1,8 rad/s. Les travaux sont publiés en preprint sur arXiv (2607.18135v1). L'enjeu central de ces travaux est l'écart sim-to-real, ce fossé de performance qui survient lorsqu'une politique entraînée en simulation échoue une fois déployée sur du matériel réel, faute de correspondre exactement à la physique, aux frottements ou aux latences du monde physique. Démontrer un transfert direct et robuste, avec en prime une meilleure résilience aux chocs qu'un contrôleur classique, renforce l'argument selon lequel le RL en simulation peut désormais produire des contrôleurs de locomotion fiables sans les cycles coûteux d'essais sur robot réel. Pour les équipes d'intégration robotique, cela réduit le temps et le risque associés au déploiement de nouveaux comportements locomoteurs, un point clé pour des usages industriels comme l'inspection ou la logistique en environnement accidenté. Le travail s'inscrit dans la transition des outils Nvidia pour la robotique, Isaac Sim et Isaac Lab succédant à l'ancien Isaac Gym, alors que la firme positionne sa pile de simulation aussi bien pour les quadrupèdes que pour les humanoïdes via ses initiatives GR00T. La communauté RL pour la locomotion inclut des acteurs comme l'ETH Zurich, ANYbotics ou Boston Dynamics, avec qui ces résultats sur Go1 offrent un point de comparaison direct. Les auteurs ouvrent la voie à une extension de la méthode vers d'autres plateformes robotiques.

RecherchePaper
1 source
Apprentissage par renforcement neuromorphique pour la locomotion de robots quadrupèdes sur terrain accidenté
2arXiv cs.RO 

Apprentissage par renforcement neuromorphique pour la locomotion de robots quadrupèdes sur terrain accidenté

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv (réf. 2605.09595) un framework d'apprentissage par renforcement basé sur l'équilibrium propagation (EP) pour contrôler la locomotion d'un quadrupède Unitree A1 à 12 degrés de liberté sur terrain accidenté. Plutôt que la rétropropagation classique, ils substituent les gradients globaux par des règles d'apprentissage locales pilotées par les états neuronaux, compatibles avec les substrats neuromorphiques et de calcul en mémoire. Le contrôleur combine un générateur de motif central (CPG) bio-inspiré avec une politique d'ajustement postural résiduel, entraîné via une variante PPO (Proximal Policy Optimization) adaptée à l'EP avec un mécanisme de clipping bilatéral du ratio pour stabiliser les mises à jour lors de la relaxation. Les résultats montrent des performances comparables à une baseline PPO classique en taux de succès, suivi de vitesse, consommation des actionneurs et stabilité corporelle, tout en réduisant la mémoire GPU de 4,3× par rapport à la rétropropagation à travers le temps (BPTT). L'ensemble des expériences reste en simulation, aucun déploiement terrain n'est documenté dans la publication. L'enjeu structurel est clair : les politiques de locomotion RL actuelles sont entraînées hors-ligne en simulation massivement parallèle, puis figées au déploiement. Elles ne s'adaptent pas à l'usure des actionneurs, aux variations de charge utile, ou au drift mécanique sur robot réel, limites critiques pour une industrialisation. En remplaçant la rétropropagation par un apprentissage local compatible avec des puces neuromorphiques (type Intel Loihi), cette approche ouvre la voie à une adaptation continue on-robot à faible consommation, sans dépendance à un GPU externe. Le gain de 4,3× en mémoire est déjà tangible pour les équipes embarquées, même si la validation reste entièrement simulée. Ces travaux s'inscrivent dans l'intense activité autour de la locomotion quadrupède par RL, dominée par l'ETH Zurich sur ANYmal et les robots Unitree. L'équilibrium propagation, formalisé par Scellier et Bengio en 2017, reste peu exploré pour le contrôle continu haute dimension, c'est l'une des premières démonstrations sur un robot à 12 DOF. Les approches concurrentes pour l'adaptation en ligne incluent RMA (Rapid Motor Adaptation, UC Berkeley) et les politiques méta-adaptatives de type MAML. L'étape suivante critique serait de valider sur hardware réel avec une puce neuromorphique embarquée et de mesurer la consommation effective en watts, deux points absents de la publication actuelle.

RecherchePaper
1 source
Pretraining à l'apprentissage par renforcement acteur-critique pour la locomotion
3arXiv cs.RO 

Pretraining à l'apprentissage par renforcement acteur-critique pour la locomotion

Une équipe de recherche propose une méthode de pré-entraînement pour l'apprentissage par renforcement (RL) appliqué à la locomotion des robots, détaillée dans une nouvelle version d'un article déposé sur arXiv (2510.12363v4). Le constat de départ : dans la plupart des pipelines RL actuels, chaque compétence de marche ou de course est apprise depuis zéro, alors qu'une même architecture de robot partage probablement des connaissances générales d'un mouvement à l'autre. Les auteurs introduisent un Proprioceptive Inverse Dynamics Model (PIDM), entraîné par apprentissage supervisé sur des données de transition dynamiques collectées via une exploration indépendante de toute tâche spécifique. Les poids ainsi obtenus servent ensuite à initialiser à la fois l'acteur et le critique dans des algorithmes classiques comme Proximal Policy Optimization (PPO), au lieu de partir d'une initialisation aléatoire. La méthode a été validée sur neuf environnements de locomotion RL distincts, couvrant trois types de robots différents, avec des gains moyens de 36,2% en efficacité d'échantillonnage et 4,3% en performance de tâche par rapport à une initialisation classique. L'intérêt pratique tient au coût de l'apprentissage par renforcement pour la robotique : chaque politique entraînée depuis zéro consomme un temps de simulation et de calcul considérable, un frein direct pour les équipes qui doivent multiplier les comportements sur un même robot (marche, course, franchissement d'obstacles, terrains variés). En réutilisant un socle de connaissances proprioceptives commun à l'embodiment, cette approche promet d'accélérer l'entraînement de nouvelles compétences sans repartir de zéro à chaque fois, un enjeu direct pour les laboratoires et intégrateurs qui développent des politiques de locomotion pour humanoïdes ou quadrupèdes. Ce travail s'inscrit dans la tendance plus large du paradigme pré-entraînement puis fine-tuning, déjà dominant en vision et en langage, et de plus en plus recherché en robotique via les modèles fondation vision-langage-action (VLA) type Pi-0 ou GR00T N2. Contrairement à ces approches qui visent des politiques génériques multi-tâches à grande échelle, cette étude reste focalisée sur la locomotion bas niveau et propose des ablations détaillées pour isoler les mécanismes expliquant les gains observés, une contribution méthodologique plutôt qu'un produit ou un déploiement commercial.

RecherchePaper
1 source
Apprentissage par renforcement de bout en bout pour le saut d'un quadrupède en gravité lunaire
4arXiv cs.RO 

Apprentissage par renforcement de bout en bout pour le saut d'un quadrupède en gravité lunaire

Des chercheurs proposent une politique de contrôle unique, entraînée de bout en bout par apprentissage par renforcement multi-étapes, qui permet à un robot quadrupède d'exécuter des sauts point à point commandés sous gravité lunaire. L'architecture reste volontairement simple et s'appuie uniquement sur des capteurs compatibles avec une vraie mission spatiale. En simulation, les sauts atteignent une précision d'atterrissage inférieure à la taille du corps du robot. L'équipe a aussi mesuré les besoins en couple et en puissance du saut lunaire, puis évalué la dégradation des performances face à des événements extrêmes, dont des gels de la boucle de commande allant jusqu'à 1 seconde en plein vol. Sur le matériel, la politique réussit un saut vertical sous délestage simulant la gravité lunaire. Les profils de couple et de puissance mesurés concordent avec la simulation et restent dans les limites du robot. Le résumé publié sur arXiv ne donne ni masse, ni nombre de degrés de liberté, ni hauteur de saut, ni taux de réussite, ni nom de plateforme. L'intérêt tient à la manière dont le travail aborde le transfert simulation-réel (sim-to-real) dans un contexte où l'erreur coûte cher. Un robot lunaire ne se répare pas, et une chute peut mettre fin à la mission. Une politique unique, sans module de planification séparé et sans capteurs exotiques, est plus simple à qualifier et à embarquer sur du calcul spatial limité. Le test de robustesse aux gels de contrôle de 1 s répond à une contrainte réelle de ces systèmes, où la latence et les pertes de cycle sont plus fréquentes qu'au sol. La validation matérielle reste néanmoins partielle : un saut vertical sous délestage ne prouve ni les sauts point à point sur sol réel, ni la tenue de l'atterrissage sur régolithe meuble. Les chiffres de précision viennent de la simulation, et le papier est une préimpression non relue par les pairs. Il faut donc le lire comme une preuve de faisabilité, pas comme une capacité éprouvée en conditions réelles. Ce résultat s'inscrit dans l'intérêt croissant des agences pour les robots à pattes en exploration planétaire, là où les rovers à roues peinent sur les terrains accidentés, les cratères et les zones discontinues. L'apprentissage par renforcement est déjà devenu la méthode dominante pour la locomotion des quadrupèdes terrestres, avec des acrobaties démontrées sur Terre. Le défi spécifique ici est de l'adapter à une dynamique de vol bien plus longue, où une erreur d'impulsion au décollage se paie sur une trajectoire étirée. Les suites logiques seraient des essais sur sol meuble et des tests de bout en bout avec atterrissage complet. Aucun calendrier de mission n'est annoncé dans l'abstract.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source