RecherchearXiv cs.RO 5 novembre 2026

H²MARL : apprentissage par renforcement multi-agents hiérarchique et hétérogène pour le contrôle de robots humanoïdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent H^2MARL, un cadre d'apprentissage par renforcement multi-agent hiérarchique et hétérogène pour le contrôle du corps entier des robots humanoïdes. Le travail, déposé sur arXiv sous la référence 2611.06523v1, s'attaque à un problème connu: la dynamique couplée en haute dimension et la forte hétérogénéité physique entre les degrés de liberté articulaires (JDoF). Les méthodes multi-agents existantes recourent soit à des partitions grossières des agents, soit à des algorithmes génériques pour agents hétérogènes appliqués tels quels. Les contrôleurs hiérarchiques, eux, optimisent en général séparément la planification de haut niveau et l'exécution de bas niveau. H^2MARL introduit deux mécanismes: une factorisation de la politique au niveau de chaque JDoF, où chaque articulation actionnée en couple reçoit un descripteur explicite de ses propriétés d'actionnement, cinématiques et dynamiques, et une co-optimisation en boucle fermée du planificateur de poses et de l'exécuteur articulaire à partir de trajectoires d'interaction partagées. Les expériences ont été menées dans MuJoCo et Isaac Gym.

L'intérêt tient à la manière dont le travail traite deux causes classiques d'échec du transfert d'une politique apprise vers un mouvement coordonné: le découpage des agents et le décalage entre ce que le planificateur demande et ce que l'exécuteur sait réaliser. Faire dépendre chaque articulation d'un descripteur physique, plutôt que de la traiter comme un agent interchangeable, va dans le sens d'un contrôle qui tient compte du fait qu'une hanche, un genou et une cheville n'ont ni le même couple ni la même inertie. Les auteurs affirment une amélioration constante de la stabilité de locomotion, de la coordination de la marche et de la qualité du mouvement face aux variantes homogènes, à gros grain ou optimisées indépendamment. Ces résultats restent toutefois obtenus uniquement en simulation. Le résumé ne donne ni chiffres, ni robot cible, ni test de transfert sim-to-real, et rien n'indique un déploiement sur matériel. Il s'agit donc d'un résultat de recherche préliminaire, pas d'un produit ni d'un pilote industriel.

Ce travail s'inscrit dans le courant qui cherche à dépasser les politiques monolithiques et les pipelines hiérarchiques à étages découplés pour le contrôle humanoïde. Les approches concurrentes vont des grands modèles vision-langage-action (VLA) généralistes comme Pi-0, GR00T N2 ou Helix, qui visent la manipulation et la tâche de haut niveau, aux contrôleurs d'apprentissage par renforcement entraînés en simulation pour la locomotion. H^2MARL se place sur la couche de contrôle bas et moyen niveau, complémentaire de ces modèles plutôt que concurrente. La suite logique sera de publier des métriques chiffrées, de comparer l'approche à des références établies sur des plateformes réelles et de démontrer le transfert vers du matériel. Tant que ces éléments manquent, la portée pratique pour les intégrateurs et les industriels reste à établir.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Contrôle de formation haute précision pour systèmes multi-robots hétérogènes via apprentissage par renforcement profond hiérarchique et hybride, informé par la physique

Des chercheurs proposent un nouveau cadre de contrôle pour la formation de flottes de robots hétérogènes, baptisé HHy-PIDRL (hierarchical hybrid physics-informed deep reinforcement learning), publié sur arXiv début juillet 2026. L'architecture repose sur deux couches. La couche supérieure gère la navigation autonome d'un robot leader à direction Ackermann via un algorithme Soft Actor-Critic (SAC), une méthode de deep reinforcement learning reconnue pour sa stabilité d'entraînement. La couche inférieure combine trois briques pour les robots suiveurs omnidirectionnels : un contrôleur physique feed-forward haute-fidélité, un correcteur proportionnel-dérivé (PD) classique, et un contrôleur résiduel adaptatif par apprentissage par renforcement, l'ensemble formant une politique hybride baptisée HM-DRL. Une fonction de récompense hiérarchique spécifique a été conçue pour guider l'apprentissage des suiveurs vers une politique de contrôle stable et affinée. Selon les auteurs, les taux de réussite atteignent 100% aussi bien pour la navigation du leader que pour le maintien de formation des suiveurs, des résultats validés par des expériences d'ablation. Ce travail s'attaque à un problème concret pour l'industrie robotique multi-agents : les méthodes de contrôle classiques exigent des modèles physiques précis et tiennent mal face aux incertitudes de modélisation et aux perturbations externes, tandis que les approches de reinforcement learning bout-en-bout souffrent traditionnellement d'une faible efficacité d'échantillonnage et de convergences instables. En hybridant modèle physique et apprentissage résiduel, l'équipe cherche à concilier la robustesse théorique du contrôle classique avec l'adaptabilité du RL, un enjeu direct pour les opérateurs de flottes de robots mobiles autonomes (AMR) en entrepôt ou en logistique, où l'hétérogénéité des plateformes (Ackermann versus omnidirectionnel) complique la coordination de formation. Cette publication s'inscrit dans une lignée de recherches visant à combiner physics-informed learning et RL pour dépasser les limites respectives des approches purement analytiques ou purement data-driven, une tendance déjà explorée pour la locomotion de robots humanoïdes et le contrôle de bras manipulateurs. Les auteurs annoncent des expériences d'ablation pour isoler la contribution de chaque module, mais les résultats à 100% de réussite, obtenus en simulation selon toute vraisemblance, restent à confirmer en conditions réelles avant tout déploiement industriel.

RecherchePaper

1 source

2arXiv cs.RO

MARCH : apprentissage par renforcement assisté par modèle pour le contrôle perceptif de robots humanoïdes sur appuis rares

Des chercheurs ont publié sur arXiv (2606.10288) MARCH, un cadre d'apprentissage par renforcement assisté par modèles pour la locomotion bipedale sur appuis épars. La méthode repose sur trois étapes : générer une trajectoire de référence sûre à partir de modèles dynamiques simplifiés, entraîner une politique "enseignante" guidée par un reward basé sur une Control Lyapunov Function (CLF), puis distiller cette politique dans une politique "étudiante" visuelle déployable sur robot réel. L'ensemble a été validé en simulation et déployé sur un Unitree G1, humanoïde commercialisé autour de 16 000 dollars, naviguant sur des appuis épars avec contraintes latérales. L'enjeu est de réconcilier deux familles de méthodes historiquement opposées : les approches basées modèle (MPC, optimisation de contact) sont précises mais fragiles face à l'incertitude de terrain, tandis que le RL pur est robuste mais peine à découvrir les mouvements finement contraints nécessaires à la locomotion safety-critical, où une erreur de quelques centimètres peut provoquer une chute. Le reward CLF injecte une connaissance physique dans la boucle d'apprentissage sans curriculum d'entraînement complexe, améliorant l'efficacité d'échantillonnage et produisant une locomotion plus fluide. Les performances sur stepping stones sont déclarées comparables aux baselines RL purs, ce qui suggère que l'hybridation modèle/apprentissage est viable à coût computationnel comparable. Ce travail s'inscrit dans l'axe locomotion perceptive porté par ETH Zurich (parkour RL, 2023), Carnegie Mellon et Berkeley. La distillation teacher-student, popularisée par Agility Robotics et ANYbotics dans leurs pipelines de développement, est ici enrichie d'une contrainte CLF théoriquement fondée. Le Unitree G1 est devenu une plateforme quasi-standard dans les labos de locomotion pour sa documentation et son prix accessible. Il s'agit d'un preprint arXiv non évalué par les pairs, sans déploiement industriel ni timeline commerciale annoncés. Les prochaines étapes naturelles seraient une validation sur terrain extérieur non structuré et une comparaison directe avec les approches MPC de nouvelle génération.

UEImpact marginal : ETH Zurich (Suisse, hors UE) est cité en travaux connexes, mais aucun labo ou industriel européen n'est directement impliqué dans ce preprint.

RecherchePaper

1 source

3arXiv cs.RO

ForgetMimic : désapprentissage de mouvements pour le contrôle par apprentissage par renforcement d'humanoïdes

ForgetMimic, une méthode de désapprentissage au niveau du mouvement pour les politiques de contrôle de robots humanoïdes entraînées par apprentissage par renforcement à partir de démonstrations humaines, a été décrite dans un preprint arXiv (2609.28378) et testée sur les robots Unitree G1 et H2, sur douze mouvements incluant danse, combat et saut (flip). Le principe : à partir d'une politique entraînée sur N mouvements, la méthode dégrade sélectivement la performance sur un sous-ensemble ciblé de K mouvements tout en préservant les N-K mouvements restants. Les auteurs indiquent avoir identifié et corrigé deux mécanismes d'entraînement responsables des échecs de désapprentissage observés dans les approches naïves, et montrent expérimentalement que la mémoire des mouvements visés est effacée sans dégrader les autres comportements appris. L'enjeu dépasse la prouesse technique : les politiques RL pour humanoïdes s'appuient sur des bibliothèques de démonstrations pouvant contenir des mouvements malveillants, corrompus, sous-optimaux ou protégés par le droit d'auteur, et la seule parade jusqu'ici consistait à réentraîner la politique entière à partir d'un jeu de données expurgé, une opération coûteuse en calcul. Pour les intégrateurs et fabricants, retirer un mouvement précis sans tout reprendre représente un gain opérationnel direct, notamment face à des obligations comme le droit à l'oubli du RGPD européen appliqué aux données de capture de mouvement humain. ForgetMimic ouvre ainsi une voie technique concrète pour la gouvernance des données de mouvement en robotique, même si l'étude reste un travail académique mené sur deux plateformes et ne constitue pas un produit déployé. Le contrôle humanoïde par imitation de démonstrations via le RL s'est imposé ces dernières années comme un paradigme dominant pour obtenir des locomotions agiles et naturelles, porté par des plateformes comme les Unitree G1 et H2, souvent choisies en recherche académique pour leur coût accessible face aux humanoïdes de Boston Dynamics, Figure ou Tesla. ForgetMimic se présente, selon ses auteurs, comme la première méthode de désapprentissage conçue spécifiquement pour le contrôle humanoïde en monde physique, un champ distinct de l'oubli sélectif déjà étudié pour les grands modèles de langage. Le papier ne mentionne aucun pilote industriel ni calendrier de déploiement : il s'agit d'une contribution de recherche tout juste publiée, dont la portée reste circonscrite aux douze mouvements testés en laboratoire, avec pour suites attendues l'extension à des répertoires plus larges et la validation sur d'autres plateformes.

UELa méthode pourrait offrir une réponse technique aux obligations de droit à l'oubli du RGPD appliquées aux données de capture de mouvement humain, sans lien avec une entreprise ou institution française identifiée.

RecherchePaper

1 source

4arXiv cs.RO

REACH : un cadre hiérarchique à base d'apprentissage par renforcement pour le déplacement à quatre pattes d'humanoïdes en espaces confinés

Des chercheurs de l'AIS Lab de la SUSTech (Shenzhen) publient sur arXiv REACH, un cadre hiérarchique fondé sur l'apprentissage par renforcement. Il permet à un humanoïde Unitree G1 de franchir des environnements à hauteur limitée en alternant marche bipède à hauteur variable et quadrupédie rampante. Les politiques apprises régulent la hauteur du corps sur deux plages de commande complémentaires : de 1,27 à 0,50 m en locomotion bipède, puis de 0,50 à 0,20 m en rampement. Le passage à quatre appuis dépasse ainsi la limite de la marche accroupie. Pour gérer la dynamique du rampement, riche en contacts, l'équipe utilise une représentation latente conditionnée par l'historique des observations proprioceptives, qui encode le terrain et le contexte d'interaction sans caméra dédiée. Une politique de transition bidirectionnelle relie la marche accroupie et le rampement malgré de fortes discontinuités cinématiques. L'ensemble est piloté par un planificateur basé sur LiDAR, qui convertit les nuages de points en chemins 3D sans collision et en commandes de locomotion, dont des hauteurs cibles anticipées. Les expériences sur robot réel annoncent un suivi précis de la hauteur et de la vitesse, une traversée robuste de terrains variés et des transitions fiables. Le code et les vidéos sont publiés. L'intérêt tient à ce que la majorité des travaux sur humanoïdes en espace confiné s'arrête à la marche bipède à hauteur ajustable, ce qui limite l'accès aux zones basses : sous des convoyeurs, dans des gaines techniques, des vides sanitaires ou des décombres. Descendre à 0,20 m de hauteur de corps élargit nettement l'enveloppe d'accès d'un humanoïde, un argument en faveur de la polyvalence du format face aux robots à roues ou à chenilles, pour l'inspection, la maintenance ou la recherche et le sauvetage. Le résultat illustre aussi la maturité de l'apprentissage par renforcement avec transfert simulation-réel sur des tâches riches en contacts, bien au-delà de la marche. Les réserves habituelles restent de mise : il s'agit d'un résultat académique sur une plateforme unique, sans chiffres publiés dans le résumé sur le taux de réussite, la répétabilité ou la robustesse hors laboratoire. Le résumé ne fournit pas non plus de comparaison quantitative avec des méthodes concurrentes. Le G1 de Unitree, proposé à un prix de l'ordre de quelques dizaines de milliers de dollars, est devenu la plateforme de référence des laboratoires pour la locomotion et la manipulation, ce qui facilite la reproduction des résultats. Les travaux précédents sur la marche accroupie, la locomotion acrobatique ou l'escalade d'obstacles ont été menés souvent séparément, sans enchaîner les modes. REACH vise cette intégration, de la perception à la planification et au contrôle bas niveau. Les limites probables concernent la charge utile, l'autonomie lors de postures au sol et l'usure des articulations, que le résumé n'aborde pas. Les suites naturelles seraient l'ajout de manipulation en position rampante, la validation sur d'autres morphologies d'humanoïdes et des essais en environnements non structurés. Aucun pilote industriel n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source