RecherchearXiv cs.RO 17 septembre 2026

Politiques harmoniques modulées par retour d'information pour la locomotion des robots quadrupèdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs décrivent dans un nouvel article publié sur arXiv (identifiant 2609.17946v1, catégorie "new") une architecture de contrôle pour la locomotion de robots quadrupèdes qui remplace le mapping direct observation-vers-action habituel des politiques apprises par une représentation explicite en série de Fourier, conditionnée par la commande de vitesse. Un réseau de contexte génère les coefficients de Fourier ainsi que les poids d'un second réseau de feedback exécuté à chaque pas de temps, qui ajuste en ligne, à partir de l'état du robot, les décalages d'articulation, les gains harmoniques, la fréquence et la phase de chaque trajectoire articulaire. En simulation, les auteurs comparent cette structure fréquentielle explicite aux activations internes d'une politique classique de type MLP produisant directement les cibles articulaires, et montrent que les formes d'onde harmoniques changent de fréquence et de forme selon la vitesse commandée. Une décomposition en modes dynamiques appliquée à des trajectoires MLP sélectionnées révèle par ailleurs des modes d'activation dominants proches de la fréquence d'oscillation de la hauteur du pied et de son second harmonique. Sur un robot quadrupède Unitree Go2, le contrôleur harmonique entraîné en simulation atteint une vitesse de pointe provisoire de 3,67 mètres par seconde, estimée par les capteurs embarqués, et transporte des charges additionnelles jusqu'à 5,883 kilogrammes lors d'essais séparés.

L'intérêt de ces travaux tient moins à la performance brute, chiffre provisoire obtenu en conditions non détaillées, qu'à la démonstration que la structure périodique de la marche, généralement laissée implicite dans les réseaux de neurones des politiques de renforcement, peut être rendue explicite sans perte de capacité d'adaptation à la vitesse commandée ni aux charges transportées. Pour les équipes qui conçoivent des contrôleurs de locomotion pour quadrupèdes industriels ou de service, cela ouvre une piste d'interprétabilité: un contrôleur dont les paramètres (fréquence, phase, gains harmoniques) sont directement lisibles est plus facile à diagnostiquer, régler ou certifier qu'une boîte noire MLP. La mise en évidence de modes fréquentiels similaires dans les activations cachées d'un MLP standard, via décomposition en modes dynamiques, suggère aussi que les deux approches convergent vers une même solution physique, ce qui relativise l'idée qu'une architecture harmonique serait indispensable pour obtenir une marche stable.

Ce travail s'inscrit dans la lignée de la locomotion quadrupède par apprentissage par renforcement en simulation puis transfert au réel, domaine où Unitree, dont le Go2 sert ici de plateforme d'essai, ANYbotics avec l'ANYmal ou Boston Dynamics avec Spot occupent des positions de référence côté matériel. L'article ne présente ni pilote commercial ni déploiement en flotte: il s'agit d'un résultat de recherche fraîchement publié, avec des mesures qualifiées par les auteurs eux-mêmes de provisoires, sur un seul robot et des essais de charge menés séparément des essais de vitesse. Les prochaines étapes attendues, non détaillées dans le résumé, porteraient logiquement sur une validation plus systématique en conditions réelles et une comparaison directe et chiffrée avec des politiques MLP de référence.

Dans nos dossiers

Boston Dynamics Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

Adaptation Rapide de l'Incarnation pour la Locomotion Quadrupède

Des chercheurs présentent, dans un article publié en août 2026 sur arXiv (2608.01506), un système d'adaptation d'embodiment en ligne pour la locomotion des robots quadrupèdes. La méthode combine une politique généraliste entraînée avec randomisation d'embodiment et un module d'adaptation léger capable d'identifier un changement physique du robot en moins d'une demi-seconde à partir d'un court historique d'interaction. Deux types de variations ont été testés : des contraintes d'amplitude articulaire (dégradation cinématique au niveau des joints) et des changements de masse du tronc (variation dynamique au niveau du corps). En simulation, le module estime précisément ces changements et permet un contrôle en boucle fermée nettement supérieur aux approches qui se contentent de conditionner la politique directement sur l'historique brut d'interaction. Sur un robot réel Unitree Go2, le système conserve une locomotion stable même dans des cas extrêmes, une patte totalement bloquée ou une charge utile de 5 kg, là où les méthodes non adaptatives échouent purement et simplement. L'intérêt pratique tient au problème classique des politiques apprises en robotique : entraînées sur un matériel fixe, elles cassent dès que ses propriétés changent, par usure, dommage ou charge ajoutée. Plutôt que de miser uniquement sur la robustesse passive obtenue par randomisation de domaine, cette approche identifie explicitement les paramètres physiques du robot en temps réel avant d'ajuster le contrôle, une distinction technique importante pour des déploiements industriels où les pattes de robots quadrupèdes subissent usure et charges variables. Les résultats sur des cas extrêmes plutôt que des démonstrations contrôlées renforcent la crédibilité, mais l'évaluation reste limitée à deux types de variation sur une seule plateforme, sans preuve de généralisation à des embodiments plus complexes comme des bras ou des humanoïdes. Le Unitree Go2, plateforme quadrupède low-cost très répandue dans la recherche académique, sert ici de banc d'essai, sans qu'aucun industriel autre que le fournisseur du robot ne soit impliqué. Ce travail s'inscrit dans la lignée des recherches sur l'adaptation rapide en locomotion légère, dans la continuité d'approches antérieures comme la Rapid Motor Adaptation. Les auteurs indiquent vouloir étendre leur méthode à des formes plus larges de dégradation ou d'incertitude matérielle, sans donner de calendrier précis pour de futurs essais.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage par renforcement neuromorphique pour la locomotion de robots quadrupèdes sur terrain accidenté

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv (réf. 2605.09595) un framework d'apprentissage par renforcement basé sur l'équilibrium propagation (EP) pour contrôler la locomotion d'un quadrupède Unitree A1 à 12 degrés de liberté sur terrain accidenté. Plutôt que la rétropropagation classique, ils substituent les gradients globaux par des règles d'apprentissage locales pilotées par les états neuronaux, compatibles avec les substrats neuromorphiques et de calcul en mémoire. Le contrôleur combine un générateur de motif central (CPG) bio-inspiré avec une politique d'ajustement postural résiduel, entraîné via une variante PPO (Proximal Policy Optimization) adaptée à l'EP avec un mécanisme de clipping bilatéral du ratio pour stabiliser les mises à jour lors de la relaxation. Les résultats montrent des performances comparables à une baseline PPO classique en taux de succès, suivi de vitesse, consommation des actionneurs et stabilité corporelle, tout en réduisant la mémoire GPU de 4,3× par rapport à la rétropropagation à travers le temps (BPTT). L'ensemble des expériences reste en simulation, aucun déploiement terrain n'est documenté dans la publication. L'enjeu structurel est clair : les politiques de locomotion RL actuelles sont entraînées hors-ligne en simulation massivement parallèle, puis figées au déploiement. Elles ne s'adaptent pas à l'usure des actionneurs, aux variations de charge utile, ou au drift mécanique sur robot réel, limites critiques pour une industrialisation. En remplaçant la rétropropagation par un apprentissage local compatible avec des puces neuromorphiques (type Intel Loihi), cette approche ouvre la voie à une adaptation continue on-robot à faible consommation, sans dépendance à un GPU externe. Le gain de 4,3× en mémoire est déjà tangible pour les équipes embarquées, même si la validation reste entièrement simulée. Ces travaux s'inscrivent dans l'intense activité autour de la locomotion quadrupède par RL, dominée par l'ETH Zurich sur ANYmal et les robots Unitree. L'équilibrium propagation, formalisé par Scellier et Bengio en 2017, reste peu exploré pour le contrôle continu haute dimension, c'est l'une des premières démonstrations sur un robot à 12 DOF. Les approches concurrentes pour l'adaptation en ligne incluent RMA (Rapid Motor Adaptation, UC Berkeley) et les politiques méta-adaptatives de type MAML. L'étape suivante critique serait de valider sur hardware réel avec une puce neuromorphique embarquée et de mesurer la consommation effective en watts, deux points absents de la publication actuelle.

RecherchePaper

1 source

3arXiv cs.RO

Modèle du monde conditionné par la morphologie pour la locomotion quadrupède multi-morphologie

Une équipe de chercheurs présente le Quadrupedal World Model (QWM) dans une version révisée d'un article disponible sur arXiv (2604.08780v2). Le travail cible un verrou connu des modèles du monde en robotique légée : un modèle de dynamique entraîné sur un quadrupède ANYmal-D, conçu par l'entreprise suisse ANYbotics, échoue une fois transféré sur un Unitree Go1, car il surapprend la morphologie précise du robot d'origine plutôt que la dynamique de locomotion partagée entre plateformes. Le moindre changement d'actionneur ou de longueur de membre oblige alors à tout réentraîner. QWM contourne ce problème en formalisant les traits physiques de chaque robot dans une spécification de morphologie invariante à l'échelle, injectée dans un modèle génératif unique via un encodeur de morphologie, un normaliseur de récompense adaptatif et un conditionnement de morphologie dans la dynamique latente, les politiques de contrôle étant entraînées entièrement en imagination. À information de morphologie égale, une politique sans modèle obtient des résultats comparables à QWM sur les robots vus à l'entraînement, mais se dégrade sur des morphologies inédites, alors que QWM transfère en zero-shot, sans réglage fin ni adaptation. Pour les intégrateurs de robotique légée, cela suggère qu'un seul modèle du monde pourrait à terme piloter toute une famille de robots de gabarits différents sans réentraînement coûteux par machine, un frein connu au déploiement de flottes hétérogènes. Les auteurs revendiquent la première démonstration d'un transfert zero-shot cross-embodiment par modèle du monde au sein de la famille des quadrupèdes, un résultat encore limité à ce type de morphologie. Ce travail s'inscrit dans la lignée des modèles du monde, un paradigme visant à faire apprendre à un agent la physique de son environnement une seule fois pour en dériver des comportements efficacement, plutôt que de multiplier les interactions par tâche. Les deux plateformes testées, l'ANYmal-D suisse et le Go1 chinois de Unitree, comptent parmi les références les plus utilisées en recherche académique sur la locomotion quadrupède. La mention "replace" sur arXiv signale une version révisée sans détail public sur les changements apportés. À ce stade, QWM reste un résultat de recherche en preprint, sans annonce de déploiement industriel ni de partenariat constructeur ; une extension à d'autres familles de robots ou une validation sur matériel réel n'est pas précisée dans cet article.

RecherchePaper

1 source

4arXiv cs.RO

Stratégies d'échantillonnage pour des politiques de locomotion quadrupède robustes et universelles

Des chercheurs ont publié sur arXiv (2510.07094) une étude comparant trois stratégies d'échantillonnage de paramètres pour entraîner une politique de locomotion universelle applicable à plusieurs robots quadrupèdes sans re-entraînement. L'enjeu : former un seul agent par apprentissage par renforcement capable de s'adapter à des configurations physiques variées, masses différentes, géométries de pattes, gains de contrôleur articulaire PD (proportionnel-dérivateur) distincts. Les trois approches comparées sont des mappings linéaires et polynomiaux reliant masse aux gains PD, un filtrage adaptatif basé sur les performances, et un échantillonnage aléatoire uniforme. L'entraînement s'est déroulé dans le simulateur RaiSim, avec validation sur une gamme de quadrupèdes virtuels, puis déploiement zéro-shot sur le robot physique ANYmal d'ANYbotics. Résultat central : l'échantillonnage uniforme des gains articulaires, combiné à des priors nominaux pour biaiser les configurations, offre la meilleure robustesse au passage simulation-réalité. La démonstration qu'une randomisation forte des gains PD est nécessaire, et non optionnelle, pour fermer le sim-to-real gap est un résultat directement actionnable. Calibrer précisément les gains dans le simulateur ne suffit pas ; il faut au contraire introduire volontairement de la variance pour couvrir les incertitudes du monde réel : usure, imprécisions mécaniques, variations de charge utile. Le déploiement zéro-shot validé sur ANYmal, sans fine-tuning hardware, réduit concrètement les cycles d'adaptation pour les intégrateurs qui déploient des quadrupèdes sur terrains variés. Pour un COO industriel, cela se traduit par moins de recalibrations coûteuses entre sites ou lors de changements de configuration. ANYmal est le quadrupède phare d'ANYbotics, spin-off de l'ETH Zurich déployé dans l'inspection industrielle sur centrales électriques et sites pétroliers. Ces travaux s'inscrivent dans la compétition entre approches de sim-to-real : domain randomization classique dont relève cet article, modèles du monde appris comme DreamerV3 ou TD-MPC2, et adaptation en ligne telle que RMA (Rapid Motor Adaptation, Berkeley). Les publications concurrentes en politique universelle quadrupède émanent principalement de DeepMind, CMU et Google DeepMind. La suite naturelle serait d'étendre l'approche à des morphologies plus diverses ou à la loco-manipulation, robots à bras embarqué pour l'inspection et la manipulation industrielle autonome, un segment en forte croissance.

UEANYbotics (spin-off de l'ETH Zurich, ANYmal déployé dans l'inspection industrielle européenne) peut réduire ses cycles de recalibration sur sites EU variés grâce au déploiement zéro-shot validé par cette étude.

RecherchePaper

1 source