RecherchearXiv cs.RO 11 novembre 2026

À la poursuite de la stabilité : course d'un robot humanoïde par apprentissage par renforcement guidé par une fonction de Lyapunov de contrôle

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient, dans la version 2 d'un preprint arXiv (2509.19573), une méthode baptisée CLF-RL qui permet à un humanoïde Unitree G1 de courir avec une vraie phase de vol, c'est-à-dire avec les deux pieds simultanément décollés du sol. L'approche intègre des fonctions de Lyapunov de commande (CLF, un outil de la théorie du contrôle non linéaire qui certifie la stabilité d'un système) directement dans la fonction de récompense de l'apprentissage par renforcement (RL), en s'appuyant sur des trajectoires de référence optimisées pour la dynamique hybride du robot. Ces références, multi-domaines et dynamiquement faisables, sont produites par une routine d'optimisation de trajectoire qui utilise la dynamique complète du robot plutôt qu'une approximation cinématique, ce qui améliore le suivi de position jusqu'à 1,7 fois. La politique obtenue fonctionne de façon fiable dans des espaces étroits comme un tapis de course, ainsi qu'en extérieur, et résiste à des perturbations appliquées au torse et aux pieds. Elle réalise un suivi global de référence précis en n'utilisant que des capteurs embarqués. Il s'agit de résultats de recherche académique sur un robot du commerce, sans déploiement industriel ni produit associé, et l'abstract ne fournit ni vitesse de course maximale ni taux de réussite chiffré.

L'intérêt pratique tient au problème que cette méthode vise à résoudre : l'apprentissage par renforcement sait gérer les dynamiques non linéaires et hybrides de la course, mais exige généralement un long réglage manuel de termes de récompense heuristiques, difficile à reproduire d'un robot à l'autre. Remplacer ces termes par des récompenses « informées par la stabilité », plus simples à régler, réduit ce coût d'ingénierie et rapproche le RL des garanties que recherche la commande classique. Pour les intégrateurs et les équipes R&D, c'est un signal que la locomotion dynamique des humanoïdes peut devenir moins artisanale, ce qui compte si ces plateformes doivent un jour dépasser la marche lente. Le suivi global avec capteurs embarqués seuls est aussi un point notable : il suggère que ces mouvements peuvent s'insérer dans une pile d'autonomie complète, sans dépendre d'un système de capture de mouvement externe. Il faut toutefois rester prudent : la course reste ici une démonstration de laboratoire sur un robot de taille réduite, et rien n'indique encore une transposition à des machines plus lourdes, à des charges utiles réelles ou à des cadences de production.

Ce travail s'inscrit dans une course où la locomotion dynamique est devenue un terrain de démonstration entre acteurs comme Boston Dynamics, Unitree, Agility Robotics ou Figure, tandis que la recherche académique oppose depuis des années les approches de commande modèle, héritées de la marche hybride bipède, et les politiques apprises en simulation puis transférées au réel. CLF-RL se place à l'intersection des deux, en reprenant des outils de la commande des systèmes hybrides pour guider l'apprentissage. L'Unitree G1, plateforme relativement abordable, sert de banc d'essai courant dans les laboratoires, ce qui facilite la reproduction. La suite logique, que le résumé ne détaille pas, serait de combiner ces compétences de course avec la perception et la planification pour une autonomie complète, puis de tester la méthode sur d'autres morphologies d'humanoïdes. Cette version 2 du preprint indique que les travaux continuent d'être affinés, sans que l'on sache à ce stade si une publication en revue ou un code ouvert est prévu.

Dans nos dossiers

Boston Dynamics Unitree Agility Robotics — Digit arXiv cs.RO

À lire aussi

1arXiv cs.RO

ForgetMimic : désapprentissage de mouvements pour le contrôle par apprentissage par renforcement d'humanoïdes

ForgetMimic, une méthode de désapprentissage au niveau du mouvement pour les politiques de contrôle de robots humanoïdes entraînées par apprentissage par renforcement à partir de démonstrations humaines, a été décrite dans un preprint arXiv (2609.28378) et testée sur les robots Unitree G1 et H2, sur douze mouvements incluant danse, combat et saut (flip). Le principe : à partir d'une politique entraînée sur N mouvements, la méthode dégrade sélectivement la performance sur un sous-ensemble ciblé de K mouvements tout en préservant les N-K mouvements restants. Les auteurs indiquent avoir identifié et corrigé deux mécanismes d'entraînement responsables des échecs de désapprentissage observés dans les approches naïves, et montrent expérimentalement que la mémoire des mouvements visés est effacée sans dégrader les autres comportements appris. L'enjeu dépasse la prouesse technique : les politiques RL pour humanoïdes s'appuient sur des bibliothèques de démonstrations pouvant contenir des mouvements malveillants, corrompus, sous-optimaux ou protégés par le droit d'auteur, et la seule parade jusqu'ici consistait à réentraîner la politique entière à partir d'un jeu de données expurgé, une opération coûteuse en calcul. Pour les intégrateurs et fabricants, retirer un mouvement précis sans tout reprendre représente un gain opérationnel direct, notamment face à des obligations comme le droit à l'oubli du RGPD européen appliqué aux données de capture de mouvement humain. ForgetMimic ouvre ainsi une voie technique concrète pour la gouvernance des données de mouvement en robotique, même si l'étude reste un travail académique mené sur deux plateformes et ne constitue pas un produit déployé. Le contrôle humanoïde par imitation de démonstrations via le RL s'est imposé ces dernières années comme un paradigme dominant pour obtenir des locomotions agiles et naturelles, porté par des plateformes comme les Unitree G1 et H2, souvent choisies en recherche académique pour leur coût accessible face aux humanoïdes de Boston Dynamics, Figure ou Tesla. ForgetMimic se présente, selon ses auteurs, comme la première méthode de désapprentissage conçue spécifiquement pour le contrôle humanoïde en monde physique, un champ distinct de l'oubli sélectif déjà étudié pour les grands modèles de langage. Le papier ne mentionne aucun pilote industriel ni calendrier de déploiement : il s'agit d'une contribution de recherche tout juste publiée, dont la portée reste circonscrite aux douze mouvements testés en laboratoire, avec pour suites attendues l'extension à des répertoires plus larges et la validation sur d'autres plateformes.

UELa méthode pourrait offrir une réponse technique aux obligations de droit à l'oubli du RGPD appliquées aux données de capture de mouvement humain, sans lien avec une entreprise ou institution française identifiée.

RecherchePaper

1 source

2arXiv cs.RO

MARCH : apprentissage par renforcement assisté par modèle pour le contrôle perceptif de robots humanoïdes sur appuis rares

Des chercheurs ont publié sur arXiv (2606.10288) MARCH, un cadre d'apprentissage par renforcement assisté par modèles pour la locomotion bipedale sur appuis épars. La méthode repose sur trois étapes : générer une trajectoire de référence sûre à partir de modèles dynamiques simplifiés, entraîner une politique "enseignante" guidée par un reward basé sur une Control Lyapunov Function (CLF), puis distiller cette politique dans une politique "étudiante" visuelle déployable sur robot réel. L'ensemble a été validé en simulation et déployé sur un Unitree G1, humanoïde commercialisé autour de 16 000 dollars, naviguant sur des appuis épars avec contraintes latérales. L'enjeu est de réconcilier deux familles de méthodes historiquement opposées : les approches basées modèle (MPC, optimisation de contact) sont précises mais fragiles face à l'incertitude de terrain, tandis que le RL pur est robuste mais peine à découvrir les mouvements finement contraints nécessaires à la locomotion safety-critical, où une erreur de quelques centimètres peut provoquer une chute. Le reward CLF injecte une connaissance physique dans la boucle d'apprentissage sans curriculum d'entraînement complexe, améliorant l'efficacité d'échantillonnage et produisant une locomotion plus fluide. Les performances sur stepping stones sont déclarées comparables aux baselines RL purs, ce qui suggère que l'hybridation modèle/apprentissage est viable à coût computationnel comparable. Ce travail s'inscrit dans l'axe locomotion perceptive porté par ETH Zurich (parkour RL, 2023), Carnegie Mellon et Berkeley. La distillation teacher-student, popularisée par Agility Robotics et ANYbotics dans leurs pipelines de développement, est ici enrichie d'une contrainte CLF théoriquement fondée. Le Unitree G1 est devenu une plateforme quasi-standard dans les labos de locomotion pour sa documentation et son prix accessible. Il s'agit d'un preprint arXiv non évalué par les pairs, sans déploiement industriel ni timeline commerciale annoncés. Les prochaines étapes naturelles seraient une validation sur terrain extérieur non structuré et une comparaison directe avec les approches MPC de nouvelle génération.

UEImpact marginal : ETH Zurich (Suisse, hors UE) est cité en travaux connexes, mais aucun labo ou industriel européen n'est directement impliqué dans ce preprint.

RecherchePaper

1 source

3arXiv cs.RO

Brachiation robuste sur un robot bibras taille humaine grâce à l'apprentissage par renforcement guidé par points de passage

Une prépublication arXiv (2608.17320), publiée mi-août 2026, décrit une méthode d'apprentissage par renforcement permettant à un robot bipède à deux bras de taille humaine de pratiquer la brachiation, le déplacement par les bras seuls comme chez les primates sur des barres suspendues. Baptisée Waypoint-Guided Reinforcement Learning (WGRL), la technique ne spécifie que quelques points de passage épars pour la trajectoire de l'effecteur terminal; le mouvement complet du corps est ensuite généré par renforcement, guidé par une récompense mêlant respect des points de passage, réussite de la tâche et efficacité énergétique. Conçu pour le transfert sim-to-real, l'entraînement a été validé par des essais sim-to-sim sur des parcours de barres à géométrie variable, puis par des tests sur le robot physique, confirmant une brachiation robuste avec récupération après échec de prise. Le résultat s'attaque à un verrou resté ouvert sur les plateformes grandeur nature: la coordination fine et le timing précis pour saisir et relâcher un appui, sans données de démonstration humaine disponibles, la tâche étant trop spécifique pour un jeu d'apprentissage par imitation. En s'appuyant sur de simples points de passage plutôt que sur des trajectoires complètes annotées, la méthode contourne ce manque de données, un frein courant à l'apprentissage par renforcement en robotique réelle. Pour les chercheurs en locomotion et les intégrateurs travaillant sur des humanoïdes, elle élargit les modes de déplacement envisageables au-delà de la marche bipède, qui concentre l'essentiel des efforts du secteur, vers des structures, échafaudages ou sites industriels sans appui continu au sol. La brachiation robotique est étudiée depuis plusieurs décennies, mais les démonstrations concluantes restaient jusqu'ici cantonnées à des simulateurs ou à des robots miniatures et légers, la coordination bras-corps se compliquant nettement à l'échelle humaine entre inertie et contraintes de couple. Ce travail prolonge un courant de recherche qui combine apprentissage par renforcement et transfert sim-to-real pour la locomotion dynamique, déjà exploité pour la marche et la course des humanoïdes bipèdes. L'article ne précise ni le laboratoire d'origine ni le nom commercial de la plateforme testée, et présente ses résultats comme des lignes directrices méthodologiques réutilisables plutôt que comme un produit finalisé, sans calendrier de déploiement ni partenariat industriel annoncé.

RecherchePaper

1 source

4arXiv cs.RO

FlashSAC : un apprentissage par renforcement hors-politique rapide et stable pour le contrôle robotique haute dimension

Des chercheurs ont publié FlashSAC, un algorithme d'apprentissage par renforcement (RL) hors-politique conçu pour le contrôle robotique en haute dimension. Basé sur Soft Actor-Critic (SAC), FlashSAC réduit drastiquement le nombre de mises à jour de gradient tout en compensant par des modèles plus grands et un débit de données plus élevé. Pour stabiliser l'entraînement à cette échelle, l'algorithme impose des bornes explicites sur les normes de poids, de features et de gradients, limitant ainsi l'accumulation d'erreurs du critique par bootstrapping. Testé sur plus de 60 tâches dans 10 simulateurs différents, il surpasse systématiquement PPO et les baselines hors-politique standards, aussi bien en performance finale qu'en efficacité d'entraînement. Le gain le plus marqué est observé sur des tâches à haute dimensionnalité comme la manipulation dextre. En locomotion humanoïde avec transfert sim-to-real, FlashSAC réduit le temps d'entraînement de plusieurs heures à quelques minutes. Ce résultat est significatif parce qu'il attaque directement le principal frein des méthodes hors-politique en robotique : leur instabilité sur des espaces d'états et d'actions complexes. Les méthodes sur-politique comme PPO dominent aujourd'hui les benchmarks robotiques précisément parce qu'elles sont stables, malgré leur inefficacité en données. FlashSAC propose un chemin pour inverser ce compromis sans sacrifier la convergence, ce qui est particulièrement pertinent pour la manipulation dextre et la locomotion humanoïde, où l'espace d'action peut dépasser plusieurs dizaines de degrés de liberté. La réduction du temps d'entraînement sim-to-real de quelques heures à quelques minutes change l'équation économique des cycles de développement pour les équipes robotique. L'algorithme s'inscrit dans une tendance plus large d'application des lois de scaling, jusqu'ici observées en apprentissage supervisé, aux algorithmes RL, une hypothèse activement explorée par des laboratoires comme Google DeepMind, Meta AI et des startups humanoïdes telles que Figure, Apptronik ou 1X Technologies. Ces acteurs cherchent tous à accélérer le sim-to-real pour leurs plateformes humanoïdes, où le coût d'entraînement en conditions réelles reste prohibitif. FlashSAC n'est pas encore associé à un déploiement industriel annoncé, mais la démonstration de locomotion humanoïde en simulation suggère une applicabilité directe aux robots à deux jambes actuellement en phase de pilote chez plusieurs intégrateurs. La prochaine étape naturelle serait une validation sur hardware réel à grande échelle.

RecherchePaper

1 source