RecherchearXiv cs.RO 15 septembre 2026

Apprentissage par renforcement informé par la dynamique pour la locomotion agile et économe en énergie d'un quadricoptère sauteur monopode

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche en robotique présente un cadre d'apprentissage par renforcement (RL) appliqué à un quadcopter monopode à sauts, un robot hybride combinant rotors et une jambe unique à ressort pour se déplacer par bonds plutôt que par vol stationnaire pur. Publié sur arXiv (2609.15399v1, article de recherche, pas d'annonce produit), le travail introduit une méthode dite "dynamics-informed" où une valeur cible d'énergie spécifique est intégrée directement dans la fonction de récompense, ce qui contraint l'optimisation à rester sur une trajectoire énergétique physiquement viable. Le système récompense aussi la cohérence de phase entre les appuis au sol, ce qui encourage un mouvement d'impulsion bio-inspiré pendant la phase de contact, et pénalise le gaspillage électromécanique pour que les moteurs génèrent une impulsion efficace sans recourir à des machines à états programmées à la main. Validé uniquement en simulation MuJoCo, et non sur un prototype physique, le contrôleur régule la hauteur de saut et suit une vitesse d'avancement jusqu'à 2,0 m/s malgré un fort couplage entre l'attitude du robot et les phases de contact au sol, tout en réduisant la consommation d'énergie de 82% par rapport à un vol stationnaire classique et de 73% par rapport à une politique RL non contrainte énergétiquement.

L'enjeu dépassе la simple performance: les auteurs ciblent explicitement le "reward hacking", un travers connu du RL où l'algorithme trouve des raccourcis qui maximisent la récompense sans produire un comportement physiquement sensé ou économe. En forçant l'optimisation à rester sur une enveloppe énergétique réaliste, l'étude propose une piste méthodologique transférable à d'autres robots hybrides ou legged, un sujet clé pour les intégrateurs qui cherchent à réduire l'autonomie limitée des drones et des robots à pattes. Elle illustre aussi les limites actuelles du secteur: la démonstration reste cantonnée au simulateur, ce qui laisse ouverte la question classique du transfert sim-to-real.

Les robots aériens à pattes forment une catégorie encore émergente, cherchant à combiner l'agilité du saut avec l'efficacité énergétique du vol, deux modes de locomotion habituellement traités séparément dans la littérature. L'article ne mentionne ni partenaire industriel ni calendrier de test matériel, ce qui situe cette contribution au stade de la recherche amont, avec un prototype physique et une validation réelle comme suites logiques attendues.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage de l'exploitation de la dynamique passive pour un saut ciblé économe en énergie d'un quadricoptère à pattes ressorts

Le 15 septembre 2026, une équipe de recherche a publié sur arXiv (arXiv:2609.15447v1) une nouvelle méthode de contrôle pour un quadricoptère monopode à jambe ressort, un robot hybride qui combine poussée aérienne et rebond passif sur une jambe équipée d'un ressort pour se déplacer sur terrain accidenté. Les auteurs remplacent le réglage heuristique par PID, habituellement utilisé pour coordonner poussée active et dynamique de contact passive, par une politique entraînée par apprentissage par renforcement (Proximal Policy Optimization, PPO) qui commande directement les quatre moteurs à partir de l'état estimé du robot, sans machine à états de saut ni boucle PID d'attitude bas niveau. La fonction de récompense combine un module "Energy-Manifold Shaping", qui suit une trajectoire d'énergie verticale normalisée par la masse et ancre l'état au sommet de chaque saut, et un module "Efficiency Shaping", qui s'appuie sur un estimateur de puissance tenant compte de l'historique pour pénaliser la consommation générale, ajouter un coût spécifique à la puissance en phase aérienne, et limiter la quasi-immobilité en vol. Sur des essais matériels représentatifs, la politique PPO réduit la puissance électrique mesurée, moyennée sur le cycle, de 30,7%, et la poussée totale normalisée moyenne de 49,8% par rapport au contrôleur PID de référence, tout en conservant des sauts répétables à hauteur commandée et des atterrissages plus concentrés. Ce résultat s'adresse directement aux limites connues des robots hybrides sol-air: le PID, réglé à la main, sous-exploite la dynamique passive du ressort et gaspille de l'énergie en poussée continue pour compenser une coordination imparfaite. Montrer qu'une politique bout-en-bout, sans machine à états ni boucles imbriquées, réduit à la fois la consommation électrique et la poussée nécessaire tout en gardant la précision de saut, constitue un argument concret pour l'apprentissage par renforcement appliqué à des systèmes physiques à dynamiques de contact intermittentes, un cas plus difficile que la marche pure ou le vol pur. Pour les intégrateurs travaillant sur des robots de terrain autonomes sur batterie, ce type de gain énergétique conditionne directement l'autonomie de mission, un facteur souvent plus limitant que la puissance de calcul embarquée. Le papier s'inscrit dans une lignée de recherche qui cherche à combiner la rapidité de déplacement de l'aérien avec l'efficacité énergétique du contact au sol, une alternative aux quadrirotors purs ou aux robots à pattes classiques pour franchir des obstacles. Il s'agit ici d'un résultat de recherche publié en preprint, validé sur du matériel en conditions représentatives mais pas encore d'un produit commercial ni d'un déploiement opérationnel. Les auteurs ne précisent pas de prochaine étape chiffrée, mais la logique de l'article ouvre la voie à des essais sur terrains plus variés et à une généralisation au-delà du suivi de hauteur de saut.

RecherchePaper

1 source

2arXiv cs.RO

Vers un apprentissage par renforcement piloté par couple pour la locomotion quadrupède

Des chercheurs publient sur arXiv (référence 2607.18365v1) un nouveau cadre d'apprentissage par renforcement (RL) piloté par le couple moteur, plutôt que par la position, pour la locomotion de robots quadrupèdes. Contrairement aux approches RL classiques qui commandent les articulations en position et nécessitent une estimation d'état complexe (notamment la vitesse linéaire de l'engin), ce framework agit directement sur le couple et permet à un robot de suivre une vitesse cible sans connaître sa propre vitesse en temps réel. L'équipe a testé son approche en simulation sur Nvidia Isaac Sim et Isaac Lab, en utilisant le quadrupède Unitree B1, une plateforme lourde et à fort couple par rapport aux petits robots légers habituellement employés dans ce type de recherche. Résultat : le robot simulé atteint 3,5 m/s en vitesse linéaire et 1,5 rad/s en rotation, et parvient à monter et descendre des escaliers sans capteur extéroceptif (caméra ou lidar), en s'appuyant uniquement sur sa perception proprioceptive. L'enjeu dépasse la simple performance chiffrée : la plupart des frameworks RL actuels butent sur des robots légers, limités dès qu'il s'agit de tâches à forte exigence mécanique (charge utile, franchissement d'obstacles robustes). En démontrant qu'un contrôle par couple peut fonctionner sur une plateforme lourde et à haut couple sans état de vitesse explicite, ce travail ouvre la voie à des quadrupèdes RL capables d'opérations industrielles plus exigeantes, un axe clé pour les intégrateurs qui cherchent à sortir la locomotion apprise des laboratoires vers des usages réels (inspection, logistique en terrain difficile). Il faut toutefois noter que ces résultats restent purement issus de la simulation, sans validation sur robot physique à ce stade, ce qui laisse ouverte la question classique du transfert sim-to-real. Le choix du Unitree B1, une plateforme commerciale déjà répandue dans la recherche en robotique mobile, suggère une intention de test réel à venir, mais aucun calendrier n'est communiqué dans l'article.

RecherchePaper

1 source

3arXiv cs.RO

Pretraining à l'apprentissage par renforcement acteur-critique pour la locomotion

Une équipe de recherche propose une méthode de pré-entraînement pour l'apprentissage par renforcement (RL) appliqué à la locomotion des robots, détaillée dans une nouvelle version d'un article déposé sur arXiv (2510.12363v4). Le constat de départ : dans la plupart des pipelines RL actuels, chaque compétence de marche ou de course est apprise depuis zéro, alors qu'une même architecture de robot partage probablement des connaissances générales d'un mouvement à l'autre. Les auteurs introduisent un Proprioceptive Inverse Dynamics Model (PIDM), entraîné par apprentissage supervisé sur des données de transition dynamiques collectées via une exploration indépendante de toute tâche spécifique. Les poids ainsi obtenus servent ensuite à initialiser à la fois l'acteur et le critique dans des algorithmes classiques comme Proximal Policy Optimization (PPO), au lieu de partir d'une initialisation aléatoire. La méthode a été validée sur neuf environnements de locomotion RL distincts, couvrant trois types de robots différents, avec des gains moyens de 36,2% en efficacité d'échantillonnage et 4,3% en performance de tâche par rapport à une initialisation classique. L'intérêt pratique tient au coût de l'apprentissage par renforcement pour la robotique : chaque politique entraînée depuis zéro consomme un temps de simulation et de calcul considérable, un frein direct pour les équipes qui doivent multiplier les comportements sur un même robot (marche, course, franchissement d'obstacles, terrains variés). En réutilisant un socle de connaissances proprioceptives commun à l'embodiment, cette approche promet d'accélérer l'entraînement de nouvelles compétences sans repartir de zéro à chaque fois, un enjeu direct pour les laboratoires et intégrateurs qui développent des politiques de locomotion pour humanoïdes ou quadrupèdes. Ce travail s'inscrit dans la tendance plus large du paradigme pré-entraînement puis fine-tuning, déjà dominant en vision et en langage, et de plus en plus recherché en robotique via les modèles fondation vision-langage-action (VLA) type Pi-0 ou GR00T N2. Contrairement à ces approches qui visent des politiques génériques multi-tâches à grande échelle, cette étude reste focalisée sur la locomotion bas niveau et propose des ablations détaillées pour isoler les mécanismes expliquant les gains observés, une contribution méthodologique plutôt qu'un produit ou un déploiement commercial.

RecherchePaper

1 source

4arXiv cs.RO

SRL : modèle SLIP et apprentissage par renforcement pour des sauts robotiques agiles

Des chercheurs ont publié en juin 2026 sur arXiv (arXiv:2606.18625) un framework hybride baptisé SRL (Spring-loaded Reinforcement Learning), conçu pour améliorer la capacité de saut des robots mobiles sur terrains variés. L'approche fusionne les signaux de contrôle feedforward issus du modèle SLIP (Spring-Loaded Inverted Pendulum, pendule à masse-ressort inversé) avec une boucle de rétroaction en temps réel pilotée par apprentissage par renforcement. Les résultats expérimentaux, obtenus en simulation sur robots bipèdes et quadrupèdes, font état d'une erreur de suivi de position inférieure à 0,1 m et d'une erreur de suivi de vitesse contenue dans un intervalle de ±3 % par rapport aux valeurs cibles. Les auteurs annoncent également une réduction significative du temps d'entraînement par rapport à la méthode RL pure utilisée comme baseline. Des validations sim-to-sim et sim-to-real sont présentées sur des scénarios de saut au sol et en escalier. L'intérêt industriel du saut robotique est réel dans les domaines de la logistique entrepôt et de la recherche et sauvetage, où franchir des obstacles sans infrastructure dédiée représente un avantage opérationnel concret. Le verrou que SRL cherche à lever est connu : le modèle SLIP fournit une dynamique physiquement cohérente mais se dégrade sur terrain irrégulier, faute de modéliser correctement les contacts et la compliance articulaire ; l'RL seul compense cette limitation mais au prix d'une exploration non guidée et coûteuse en données. La combinaison des deux réduit ce coût d'exploration tout en conservant la robustesse adaptative. Il convient toutefois de noter que l'article est une prépublication non encore évaluée par les pairs, et que les métriques de performance sont issues de simulations, la validation sim-to-real reposant sur des environnements de test dont l'amplitude n'est pas précisée dans le résumé. Le modèle SLIP est un outil analytique classique en biomécanique locomotrice, largement exploité depuis les travaux de Raibert des années 1980 pour modéliser la course et le saut des mammifères. Côté concurrents, Boston Dynamics (Spot, Atlas), Unitree Robotics (Go2, H1) et Agility Robotics (Digit) développent des capacités de franchissement d'obstacles, mais leurs approches combinent généralement MPC (Model Predictive Control) et apprentissage sans revendiquer explicitement l'intégration SLIP-RL. SRL se positionne donc sur un créneau de recherche fondamentale qui devra encore démontrer sa transposabilité à des plateformes hardware commerciales avant d'intéresser des intégrateurs industriels.

RecherchePaper

1 source