Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Apprentissage par renforcement informé par la dynamique pour la locomotion agile et économe en énergie d'un quadricoptère sauteur monopode
RecherchearXiv cs.RO 

Apprentissage par renforcement informé par la dynamique pour la locomotion agile et économe en énergie d'un quadricoptère sauteur monopode

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche en robotique présente un cadre d'apprentissage par renforcement (RL) appliqué à un quadcopter monopode à sauts, un robot hybride combinant rotors et une jambe unique à ressort pour se déplacer par bonds plutôt que par vol stationnaire pur. Publié sur arXiv (2609.15399v1, article de recherche, pas d'annonce produit), le travail introduit une méthode dite "dynamics-informed" où une valeur cible d'énergie spécifique est intégrée directement dans la fonction de récompense, ce qui contraint l'optimisation à rester sur une trajectoire énergétique physiquement viable. Le système récompense aussi la cohérence de phase entre les appuis au sol, ce qui encourage un mouvement d'impulsion bio-inspiré pendant la phase de contact, et pénalise le gaspillage électromécanique pour que les moteurs génèrent une impulsion efficace sans recourir à des machines à états programmées à la main. Validé uniquement en simulation MuJoCo, et non sur un prototype physique, le contrôleur régule la hauteur de saut et suit une vitesse d'avancement jusqu'à 2,0 m/s malgré un fort couplage entre l'attitude du robot et les phases de contact au sol, tout en réduisant la consommation d'énergie de 82% par rapport à un vol stationnaire classique et de 73% par rapport à une politique RL non contrainte énergétiquement.

L'enjeu dépassе la simple performance: les auteurs ciblent explicitement le "reward hacking", un travers connu du RL où l'algorithme trouve des raccourcis qui maximisent la récompense sans produire un comportement physiquement sensé ou économe. En forçant l'optimisation à rester sur une enveloppe énergétique réaliste, l'étude propose une piste méthodologique transférable à d'autres robots hybrides ou legged, un sujet clé pour les intégrateurs qui cherchent à réduire l'autonomie limitée des drones et des robots à pattes. Elle illustre aussi les limites actuelles du secteur: la démonstration reste cantonnée au simulateur, ce qui laisse ouverte la question classique du transfert sim-to-real.

Les robots aériens à pattes forment une catégorie encore émergente, cherchant à combiner l'agilité du saut avec l'efficacité énergétique du vol, deux modes de locomotion habituellement traités séparément dans la littérature. L'article ne mentionne ni partenaire industriel ni calendrier de test matériel, ce qui situe cette contribution au stade de la recherche amont, avec un prototype physique et une validation réelle comme suites logiques attendues.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Apprentissage de l'exploitation de la dynamique passive pour un saut ciblé économe en énergie d'un quadricoptère à pattes ressorts
1arXiv cs.RO 

Apprentissage de l'exploitation de la dynamique passive pour un saut ciblé économe en énergie d'un quadricoptère à pattes ressorts

Le 15 septembre 2026, une équipe de recherche a publié sur arXiv (arXiv:2609.15447v1) une nouvelle méthode de contrôle pour un quadricoptère monopode à jambe ressort, un robot hybride qui combine poussée aérienne et rebond passif sur une jambe équipée d'un ressort pour se déplacer sur terrain accidenté. Les auteurs remplacent le réglage heuristique par PID, habituellement utilisé pour coordonner poussée active et dynamique de contact passive, par une politique entraînée par apprentissage par renforcement (Proximal Policy Optimization, PPO) qui commande directement les quatre moteurs à partir de l'état estimé du robot, sans machine à états de saut ni boucle PID d'attitude bas niveau. La fonction de récompense combine un module "Energy-Manifold Shaping", qui suit une trajectoire d'énergie verticale normalisée par la masse et ancre l'état au sommet de chaque saut, et un module "Efficiency Shaping", qui s'appuie sur un estimateur de puissance tenant compte de l'historique pour pénaliser la consommation générale, ajouter un coût spécifique à la puissance en phase aérienne, et limiter la quasi-immobilité en vol. Sur des essais matériels représentatifs, la politique PPO réduit la puissance électrique mesurée, moyennée sur le cycle, de 30,7%, et la poussée totale normalisée moyenne de 49,8% par rapport au contrôleur PID de référence, tout en conservant des sauts répétables à hauteur commandée et des atterrissages plus concentrés. Ce résultat s'adresse directement aux limites connues des robots hybrides sol-air: le PID, réglé à la main, sous-exploite la dynamique passive du ressort et gaspille de l'énergie en poussée continue pour compenser une coordination imparfaite. Montrer qu'une politique bout-en-bout, sans machine à états ni boucles imbriquées, réduit à la fois la consommation électrique et la poussée nécessaire tout en gardant la précision de saut, constitue un argument concret pour l'apprentissage par renforcement appliqué à des systèmes physiques à dynamiques de contact intermittentes, un cas plus difficile que la marche pure ou le vol pur. Pour les intégrateurs travaillant sur des robots de terrain autonomes sur batterie, ce type de gain énergétique conditionne directement l'autonomie de mission, un facteur souvent plus limitant que la puissance de calcul embarquée. Le papier s'inscrit dans une lignée de recherche qui cherche à combiner la rapidité de déplacement de l'aérien avec l'efficacité énergétique du contact au sol, une alternative aux quadrirotors purs ou aux robots à pattes classiques pour franchir des obstacles. Il s'agit ici d'un résultat de recherche publié en preprint, validé sur du matériel en conditions représentatives mais pas encore d'un produit commercial ni d'un déploiement opérationnel. Les auteurs ne précisent pas de prochaine étape chiffrée, mais la logique de l'article ouvre la voie à des essais sur terrains plus variés et à une généralisation au-delà du suivi de hauteur de saut.

RecherchePaper
1 source
Adaptation de la démarche économe en énergie par apprentissage par renforcement hiérarchique pour la locomotion quadrupède sur terrains variés
2arXiv cs.RO 

Adaptation de la démarche économe en énergie par apprentissage par renforcement hiérarchique pour la locomotion quadrupède sur terrains variés

Des chercheurs proposent un cadre d'apprentissage par renforcement hiérarchique (HRL) qui sépare deux niveaux de contrôle pour la locomotion des robots quadrupèdes. Une politique haute fréquence assure l'exécution stable et robuste du mouvement au niveau des articulations. Une politique basse fréquence adapte la démarche en minimisant explicitement le coût de transport (CoT), c'est-à-dire l'énergie dépensée par unité de poids et de distance parcourue. L'entraînement se fait en trois étapes sous Isaac, le simulateur de NVIDIA. Il permet un transfert direct de la simulation au réel (zero-shot, sans réglage supplémentaire). Les auteurs le valident sur un quadrupède Unitree AlienGo. En simulation, ils le comparent à des politiques monolithiques et à des architectures hiérarchiques de référence. Ils annoncent un CoT réduit sur une large plage de vitesses commandées, avec une locomotion qui reste robuste sur sol plat, sol irrégulier et pentes. Le résumé publié ne donne aucun chiffre précis, ni pourcentage de réduction, ni valeur de CoT, ni vitesse maximale. L'intérêt principal est de s'attaquer à un défaut connu des politiques entièrement apprises de bout en bout. Dans ces systèmes, la génération de la démarche, l'exécution du mouvement et l'optimisation énergétique sont étroitement imbriquées. Le résultat dépend alors fortement de la pondération des termes de récompense, ce qui rend les politiques fragiles et difficiles à ajuster. En isolant la minimisation du CoT dans un niveau dédié, l'approche rend l'efficacité énergétique plus contrôlable, sans dégrader le suivi de vitesse. La hiérarchie fait aussi émerger une adaptation automatique de la démarche : le robot passe de l'amble (pacing) à basse vitesse au trot à vitesse plus élevée. Cela rappelle les transitions de allures observées chez les animaux, sans qu'elles aient été programmées. Pour les intégrateurs, l'autonomie est un facteur limitant des quadrupèdes d'inspection industrielle. Un gain énergétique obtenu par la politique seule, sans changement matériel, serait donc précieux. Il faudra toutefois le confirmer par des mesures d'autonomie réelles. Cette publication s'inscrit dans une série de travaux sur la locomotion apprise, qui ont largement utilisé Isaac Gym et Isaac Lab pour entraîner des politiques déployées sur des plateformes Unitree. Les approches hiérarchiques existent déjà. Elles séparent en général un planificateur de démarche ou de pas d'un contrôleur bas niveau. Ici, la particularité tient à l'optimisation explicite du CoT au niveau supérieur. Les limites sont claires. Il s'agit d'un preprint arXiv (2610.10297v1) non évalué par les pairs. Le test matériel porte sur un seul robot, l'AlienGo, plateforme plus ancienne que les Go2 ou B2 actuels de Unitree. Les terrains testés restent relativement simples. La suite logique serait de valider sur des plateformes plus récentes, avec des mesures de consommation en conditions réelles. Il faudrait aussi tester des terrains plus difficiles comme les escaliers, et comparer avec les contrôleurs commerciaux.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Vers un apprentissage par renforcement piloté par couple pour la locomotion quadrupède
3arXiv cs.RO 

Vers un apprentissage par renforcement piloté par couple pour la locomotion quadrupède

Des chercheurs publient sur arXiv (référence 2607.18365v1) un nouveau cadre d'apprentissage par renforcement (RL) piloté par le couple moteur, plutôt que par la position, pour la locomotion de robots quadrupèdes. Contrairement aux approches RL classiques qui commandent les articulations en position et nécessitent une estimation d'état complexe (notamment la vitesse linéaire de l'engin), ce framework agit directement sur le couple et permet à un robot de suivre une vitesse cible sans connaître sa propre vitesse en temps réel. L'équipe a testé son approche en simulation sur Nvidia Isaac Sim et Isaac Lab, en utilisant le quadrupède Unitree B1, une plateforme lourde et à fort couple par rapport aux petits robots légers habituellement employés dans ce type de recherche. Résultat : le robot simulé atteint 3,5 m/s en vitesse linéaire et 1,5 rad/s en rotation, et parvient à monter et descendre des escaliers sans capteur extéroceptif (caméra ou lidar), en s'appuyant uniquement sur sa perception proprioceptive. L'enjeu dépasse la simple performance chiffrée : la plupart des frameworks RL actuels butent sur des robots légers, limités dès qu'il s'agit de tâches à forte exigence mécanique (charge utile, franchissement d'obstacles robustes). En démontrant qu'un contrôle par couple peut fonctionner sur une plateforme lourde et à haut couple sans état de vitesse explicite, ce travail ouvre la voie à des quadrupèdes RL capables d'opérations industrielles plus exigeantes, un axe clé pour les intégrateurs qui cherchent à sortir la locomotion apprise des laboratoires vers des usages réels (inspection, logistique en terrain difficile). Il faut toutefois noter que ces résultats restent purement issus de la simulation, sans validation sur robot physique à ce stade, ce qui laisse ouverte la question classique du transfert sim-to-real. Le choix du Unitree B1, une plateforme commerciale déjà répandue dans la recherche en robotique mobile, suggère une intention de test réel à venir, mais aucun calendrier n'est communiqué dans l'article.

RecherchePaper
1 source
Apprentissage par renforcement de bout en bout pour le saut d'un quadrupède en gravité lunaire
4arXiv cs.RO 

Apprentissage par renforcement de bout en bout pour le saut d'un quadrupède en gravité lunaire

Des chercheurs proposent une politique de contrôle unique, entraînée de bout en bout par apprentissage par renforcement multi-étapes, qui permet à un robot quadrupède d'exécuter des sauts point à point commandés sous gravité lunaire. L'architecture reste volontairement simple et s'appuie uniquement sur des capteurs compatibles avec une vraie mission spatiale. En simulation, les sauts atteignent une précision d'atterrissage inférieure à la taille du corps du robot. L'équipe a aussi mesuré les besoins en couple et en puissance du saut lunaire, puis évalué la dégradation des performances face à des événements extrêmes, dont des gels de la boucle de commande allant jusqu'à 1 seconde en plein vol. Sur le matériel, la politique réussit un saut vertical sous délestage simulant la gravité lunaire. Les profils de couple et de puissance mesurés concordent avec la simulation et restent dans les limites du robot. Le résumé publié sur arXiv ne donne ni masse, ni nombre de degrés de liberté, ni hauteur de saut, ni taux de réussite, ni nom de plateforme. L'intérêt tient à la manière dont le travail aborde le transfert simulation-réel (sim-to-real) dans un contexte où l'erreur coûte cher. Un robot lunaire ne se répare pas, et une chute peut mettre fin à la mission. Une politique unique, sans module de planification séparé et sans capteurs exotiques, est plus simple à qualifier et à embarquer sur du calcul spatial limité. Le test de robustesse aux gels de contrôle de 1 s répond à une contrainte réelle de ces systèmes, où la latence et les pertes de cycle sont plus fréquentes qu'au sol. La validation matérielle reste néanmoins partielle : un saut vertical sous délestage ne prouve ni les sauts point à point sur sol réel, ni la tenue de l'atterrissage sur régolithe meuble. Les chiffres de précision viennent de la simulation, et le papier est une préimpression non relue par les pairs. Il faut donc le lire comme une preuve de faisabilité, pas comme une capacité éprouvée en conditions réelles. Ce résultat s'inscrit dans l'intérêt croissant des agences pour les robots à pattes en exploration planétaire, là où les rovers à roues peinent sur les terrains accidentés, les cratères et les zones discontinues. L'apprentissage par renforcement est déjà devenu la méthode dominante pour la locomotion des quadrupèdes terrestres, avec des acrobaties démontrées sur Terre. Le défi spécifique ici est de l'adapter à une dynamique de vol bien plus longue, où une erreur d'impulsion au décollage se paie sur une trajectoire étirée. Les suites logiques seraient des essais sur sol meuble et des tests de bout en bout avec atterrissage complet. Aucun calendrier de mission n'est annoncé dans l'abstract.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source