Apprentissage par renforcement multi-agent d'un contrôle d'exosquelette de hanche co-adaptatif (MARL-Exo) pour réduire la dépense énergétique
Des chercheurs présentent MARL-Exo, un cadre d'apprentissage par renforcement multi-agents qui entraîne en simulation un contrôleur d'exosquelette de hanche bilatéral. Deux agents sont entraînés simultanément, en deux étapes: un modèle musculo-squelettique du corps entier (304 actionneurs musculaires, anatomie, allure et vitesse randomisées) et la politique de l'exosquelette. Cette dernière n'observe que la cinématique de hanche retardée et ses propres commandes passées. Sa récompense repose sur la puissance métabolique musculaire issue d'un modèle énergétique physiologique, seule (variante Metabolic) ou combinée à une pénalisation de la puissance mécanique (Metabolic + Power). En simulation, la première réduit la puissance métabolique modélisée de 13,8 % par rapport à la marche sans dispositif, contre 8,8 % pour la seconde. La politique Metabolic a ensuite été déployée sans réentraînement sur huit adultes sains marchant à 1,25 m/s, avec mesure par calorimétrie indirecte. Le taux métabolique net baisse de 18,3 ± 6,6 % par rapport à l'exosquelette porté en mode passif, chez les huit participants.
Le résultat est plus nuancé face à la marche sans exosquelette: la réduction moyenne n'est que de 7,4 ± 10,0 %, l'écart-type dépassant presque la moyenne. Porter le dispositif coûte déjà 13,1 % d'énergie en plus. Six participants compensent cette pénalité et marchent jusqu'à 24,2 % sous leur coût de référence, tandis que deux restent au-dessus. Les gains annoncés sont donc réels mais hétérogènes, et l'échantillon est petit, sur une seule vitesse et sur des sujets sains.
L'intérêt tient à la méthode. Les approches dominantes d'optimisation « human-in-the-loop » ajustent les paramètres pour chaque utilisateur, ce qui demande de longues séances en laboratoire et freine l'industrialisation. Ici, un contrôleur unique, appris à l'échelle d'une population simulée, se transfère au matériel sans réglage individuel: c'est un indice que le transfert sim-to-real fonctionne pour l'assistance à la marche. Le résultat secondaire compte aussi: la contrainte explicite sur la puissance mécanique dégrade le bénéfice simulé, ce qui montre qu'on peut comparer des objectifs d'assistance en simulation avant tout essai sur humains. Pour les fabricants d'exosquelettes, y compris européens comme Wandercraft, cela pourrait réduire les coûts de validation.
Ce travail prolonge les contrôleurs appris en simulation pour l'exosquelette, souvent fondés sur des modèles musculo-squelettiques et des politiques de type apprentissage par renforcement, et s'oppose aux méthodes d'optimisation en ligne des paramètres. Il s'agit d'un preprint arXiv, sans mention d'évaluation par les pairs ni de produit commercial. Les prochaines étapes logiques sont des essais sur davantage de participants, plusieurs vitesses et terrains, et des populations cliniques ou âgées, pour lesquelles le bénéfice net reste à démontrer.
Une validation en simulation pourrait réduire les coûts d'essais des fabricants européens d'exosquelettes comme Wandercraft, mais le travail reste un preprint sans lien direct avec la France.
Dans nos dossiers




