RecherchearXiv cs.RO 28 octobre 2026

REACH : un cadre hiérarchique à base d'apprentissage par renforcement pour le déplacement à quatre pattes d'humanoïdes en espaces confinés

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'AIS Lab de la SUSTech (Shenzhen) publient sur arXiv REACH, un cadre hiérarchique fondé sur l'apprentissage par renforcement. Il permet à un humanoïde Unitree G1 de franchir des environnements à hauteur limitée en alternant marche bipède à hauteur variable et quadrupédie rampante. Les politiques apprises régulent la hauteur du corps sur deux plages de commande complémentaires : de 1,27 à 0,50 m en locomotion bipède, puis de 0,50 à 0,20 m en rampement. Le passage à quatre appuis dépasse ainsi la limite de la marche accroupie. Pour gérer la dynamique du rampement, riche en contacts, l'équipe utilise une représentation latente conditionnée par l'historique des observations proprioceptives, qui encode le terrain et le contexte d'interaction sans caméra dédiée. Une politique de transition bidirectionnelle relie la marche accroupie et le rampement malgré de fortes discontinuités cinématiques. L'ensemble est piloté par un planificateur basé sur LiDAR, qui convertit les nuages de points en chemins 3D sans collision et en commandes de locomotion, dont des hauteurs cibles anticipées. Les expériences sur robot réel annoncent un suivi précis de la hauteur et de la vitesse, une traversée robuste de terrains variés et des transitions fiables. Le code et les vidéos sont publiés.

L'intérêt tient à ce que la majorité des travaux sur humanoïdes en espace confiné s'arrête à la marche bipède à hauteur ajustable, ce qui limite l'accès aux zones basses : sous des convoyeurs, dans des gaines techniques, des vides sanitaires ou des décombres. Descendre à 0,20 m de hauteur de corps élargit nettement l'enveloppe d'accès d'un humanoïde, un argument en faveur de la polyvalence du format face aux robots à roues ou à chenilles, pour l'inspection, la maintenance ou la recherche et le sauvetage. Le résultat illustre aussi la maturité de l'apprentissage par renforcement avec transfert simulation-réel sur des tâches riches en contacts, bien au-delà de la marche. Les réserves habituelles restent de mise : il s'agit d'un résultat académique sur une plateforme unique, sans chiffres publiés dans le résumé sur le taux de réussite, la répétabilité ou la robustesse hors laboratoire. Le résumé ne fournit pas non plus de comparaison quantitative avec des méthodes concurrentes.

Le G1 de Unitree, proposé à un prix de l'ordre de quelques dizaines de milliers de dollars, est devenu la plateforme de référence des laboratoires pour la locomotion et la manipulation, ce qui facilite la reproduction des résultats. Les travaux précédents sur la marche accroupie, la locomotion acrobatique ou l'escalade d'obstacles ont été menés souvent séparément, sans enchaîner les modes. REACH vise cette intégration, de la perception à la planification et au contrôle bas niveau. Les limites probables concernent la charge utile, l'autonomie lors de postures au sol et l'usure des articulations, que le résumé n'aborde pas. Les suites naturelles seraient l'ajout de manipulation en position rampante, la validation sur d'autres morphologies d'humanoïdes et des essais en environnements non structurés. Aucun pilote industriel n'est annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

HARBOR : un cadre d'apprentissage par renforcement pour robots à base d'agents

Des chercheurs ont publié en juin 2026 sur arXiv (arXiv:2606.08610) HARBOR, un framework agentique conçu pour automatiser les pipelines d'apprentissage par renforcement (RL) appliqués à la robotique. Partant d'une spécification de tâche et d'une base de code simulateur, le système prend en charge l'ensemble du workflow : configuration de l'environnement, conception des fonctions de récompense, entraînement de la politique et tuning des hyperparamètres. HARBOR décompose ces objectifs de haut niveau en étapes bornées confiées à des agents spécialisés, coordonnés via des commandes standardisées, des artefacts persistants et des portes d'exécution vérifiables. Il scale l'itération par essais parallèles décentralisés et capitalise sur l'expérience accumulée entre les runs. Le framework a été évalué sur 6 benchmarks couvrant 16 tâches de manipulation, locomotion et contrôle bimanuel dextère. Les politiques entraînées en simulation ont ensuite été transférées sur de vrais robots. L'intérêt principal de HARBOR tient à ce qu'il attaque directement le principal frein à l'adoption du RL en robotique industrielle : la charge d'ingénierie experte requise pour chaque nouvelle tâche. Reward shaping, sélection d'algorithmes, tuning fin des hyperparamètres représentent aujourd'hui des semaines de travail spécialisé avant d'obtenir une politique viable. En automatisant ce cycle de bout en bout à un coût pratique en tokens et en temps de calcul, HARBOR abaisse concrètement la barrière d'entrée pour les intégrateurs et les équipes R&D industrielles. Le fait que les politiques se transfèrent au robot réel adresse le "sim-to-real gap", un verrou persistant du secteur. Les résultats publiés indiquent que le framework égale ou surpasse les configurations par défaut sur les benchmarks testés, bien que les conditions exactes d'évaluation méritent d'être examinées dans le papier complet avant d'en tirer des conclusions généralisées. HARBOR s'inscrit dans une tendance émergente qui consiste à utiliser des LLMs comme orchestrateurs de pipelines ML complexes, dans la lignée de travaux comme Eureka (NVIDIA, 2023), qui utilisait GPT-4 pour générer automatiquement des reward functions via evolutionary search, ou des approches AutoRL de Berkeley et Google DeepMind. HARBOR semble aller plus loin en couvrant l'intégralité du workflow plutôt que le seul reward design. Les auteurs ne sont pas identifiés dans l'abstract disponible, et aucune affiliation institutionnelle ni application industrielle spécifique n'est mentionnée : il s'agit d'un preprint de recherche, pas d'un produit commercialisé. Les prochaines étapes naturelles concerneront l'intégration avec des simulateurs standards (Isaac Sim, MuJoCo), des validations sur des plateformes humanoïdes complexes, et une éventuelle ouverture du code.

RecherchePaper

1 source

2arXiv cs.RO

ForgetMimic : désapprentissage de mouvements pour le contrôle par apprentissage par renforcement d'humanoïdes

ForgetMimic, une méthode de désapprentissage au niveau du mouvement pour les politiques de contrôle de robots humanoïdes entraînées par apprentissage par renforcement à partir de démonstrations humaines, a été décrite dans un preprint arXiv (2609.28378) et testée sur les robots Unitree G1 et H2, sur douze mouvements incluant danse, combat et saut (flip). Le principe : à partir d'une politique entraînée sur N mouvements, la méthode dégrade sélectivement la performance sur un sous-ensemble ciblé de K mouvements tout en préservant les N-K mouvements restants. Les auteurs indiquent avoir identifié et corrigé deux mécanismes d'entraînement responsables des échecs de désapprentissage observés dans les approches naïves, et montrent expérimentalement que la mémoire des mouvements visés est effacée sans dégrader les autres comportements appris. L'enjeu dépasse la prouesse technique : les politiques RL pour humanoïdes s'appuient sur des bibliothèques de démonstrations pouvant contenir des mouvements malveillants, corrompus, sous-optimaux ou protégés par le droit d'auteur, et la seule parade jusqu'ici consistait à réentraîner la politique entière à partir d'un jeu de données expurgé, une opération coûteuse en calcul. Pour les intégrateurs et fabricants, retirer un mouvement précis sans tout reprendre représente un gain opérationnel direct, notamment face à des obligations comme le droit à l'oubli du RGPD européen appliqué aux données de capture de mouvement humain. ForgetMimic ouvre ainsi une voie technique concrète pour la gouvernance des données de mouvement en robotique, même si l'étude reste un travail académique mené sur deux plateformes et ne constitue pas un produit déployé. Le contrôle humanoïde par imitation de démonstrations via le RL s'est imposé ces dernières années comme un paradigme dominant pour obtenir des locomotions agiles et naturelles, porté par des plateformes comme les Unitree G1 et H2, souvent choisies en recherche académique pour leur coût accessible face aux humanoïdes de Boston Dynamics, Figure ou Tesla. ForgetMimic se présente, selon ses auteurs, comme la première méthode de désapprentissage conçue spécifiquement pour le contrôle humanoïde en monde physique, un champ distinct de l'oubli sélectif déjà étudié pour les grands modèles de langage. Le papier ne mentionne aucun pilote industriel ni calendrier de déploiement : il s'agit d'une contribution de recherche tout juste publiée, dont la portée reste circonscrite aux douze mouvements testés en laboratoire, avec pour suites attendues l'extension à des répertoires plus larges et la validation sur d'autres plateformes.

UELa méthode pourrait offrir une réponse technique aux obligations de droit à l'oubli du RGPD appliquées aux données de capture de mouvement humain, sans lien avec une entreprise ou institution française identifiée.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage par renforcement de bout en bout pour le saut d'un quadrupède en gravité lunaire

Des chercheurs proposent une politique de contrôle unique, entraînée de bout en bout par apprentissage par renforcement multi-étapes, qui permet à un robot quadrupède d'exécuter des sauts point à point commandés sous gravité lunaire. L'architecture reste volontairement simple et s'appuie uniquement sur des capteurs compatibles avec une vraie mission spatiale. En simulation, les sauts atteignent une précision d'atterrissage inférieure à la taille du corps du robot. L'équipe a aussi mesuré les besoins en couple et en puissance du saut lunaire, puis évalué la dégradation des performances face à des événements extrêmes, dont des gels de la boucle de commande allant jusqu'à 1 seconde en plein vol. Sur le matériel, la politique réussit un saut vertical sous délestage simulant la gravité lunaire. Les profils de couple et de puissance mesurés concordent avec la simulation et restent dans les limites du robot. Le résumé publié sur arXiv ne donne ni masse, ni nombre de degrés de liberté, ni hauteur de saut, ni taux de réussite, ni nom de plateforme. L'intérêt tient à la manière dont le travail aborde le transfert simulation-réel (sim-to-real) dans un contexte où l'erreur coûte cher. Un robot lunaire ne se répare pas, et une chute peut mettre fin à la mission. Une politique unique, sans module de planification séparé et sans capteurs exotiques, est plus simple à qualifier et à embarquer sur du calcul spatial limité. Le test de robustesse aux gels de contrôle de 1 s répond à une contrainte réelle de ces systèmes, où la latence et les pertes de cycle sont plus fréquentes qu'au sol. La validation matérielle reste néanmoins partielle : un saut vertical sous délestage ne prouve ni les sauts point à point sur sol réel, ni la tenue de l'atterrissage sur régolithe meuble. Les chiffres de précision viennent de la simulation, et le papier est une préimpression non relue par les pairs. Il faut donc le lire comme une preuve de faisabilité, pas comme une capacité éprouvée en conditions réelles. Ce résultat s'inscrit dans l'intérêt croissant des agences pour les robots à pattes en exploration planétaire, là où les rovers à roues peinent sur les terrains accidentés, les cratères et les zones discontinues. L'apprentissage par renforcement est déjà devenu la méthode dominante pour la locomotion des quadrupèdes terrestres, avec des acrobaties démontrées sur Terre. Le défi spécifique ici est de l'adapter à une dynamique de vol bien plus longue, où une erreur d'impulsion au décollage se paie sur une trajectoire étirée. Les suites logiques seraient des essais sur sol meuble et des tests de bout en bout avec atterrissage complet. Aucun calendrier de mission n'est annoncé dans l'abstract.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

RGB : MPPI corps entier pour humanoïdes guidé par apprentissage par renforcement

Une équipe de recherche a publié sur arXiv (référence 2606.25123) une architecture de contrôle hybride baptisée RGB, pour "RL Guided whole-body MPPI", destinée aux robots humanoïdes évoluant dans des environnements à contacts complexes. Le framework a été évalué en simulation MuJoCo sur un Unitree G1 à 29 degrés de liberté, avec une fréquence de contrôle moyenne de 280 Hz. Le principe : au lieu d'utiliser une politique d'apprentissage par renforcement (RL) comme contrôleur final, RGB l'emploie comme prior d'échantillonnage pour guider les rollouts d'un algorithme MPPI (Model Predictive Path Integral). Les objectifs de tâche sont définis via des termes de coût modulaires MPPI, qui corrigent en ligne la politique RL pour satisfaire ces objectifs sans nécessiter de réentraînement. Les tests montrent une réduction de la dérive systématique en marche rectiligne et une meilleure capacité à suivre des signaux de référence corps entier supplémentaires, comparé à une politique RL pure sous la même interface de commande. L'intérêt industriel de cette approche réside dans la rigidité structurelle des politiques RL actuelles : une fois entraînée, une politique couple fortement son comportement à l'objectif d'entraînement et à l'interface de commande. Ajouter un nouvel objectif de feedback (correction de trajectoire, contrainte de contact, suivi d'un membre spécifique) exige généralement un réentraînement complet, coûteux et long. RGB court-circuite cette contrainte en déléguant la précision et la modularité au MPPI, qui opère en boucle fermée à haute fréquence. Pour un intégrateur industriel ou un COO qui doit adapter un humanoïde à plusieurs lignes de production, la possibilité de spécifier de nouveaux comportements via des termes de coût, sans retouch au modèle RL sous-jacent, représente un gain de flexibilité concret. La fréquence de 280 Hz en simulation est encourageante, mais les auteurs ne démontrent pas encore le transfert sim-to-real, ce qui reste le saut critique pour toute validation industrielle. Le cadre MPPI est une technique de contrôle prédictif par échantillonnage bien établie en robotique mobile et manipulation, mais son couplage avec une politique RL comme prior pour les humanoïdes corps entier est une direction récente. Unitree, dont le G1 est devenu une plateforme de recherche courante grâce à son accessibilité commerciale (autour de 16 000 dollars), est au coeur de nombreux travaux académiques concurrents, notamment autour des architectures VLA (Vision-Language-Action) de type GR00T N2 de NVIDIA ou Pi-0 de Physical Intelligence. RGB se positionne dans un créneau distinct : il ne vise pas la généralisation via des données de démonstration, mais l'optimisation en ligne de politiques existantes. La prochaine étape logique sera une validation sur hardware réel, déterminante pour établir si les 280 Hz de simulation se maintiennent face aux incertitudes mécaniques et aux latences capteurs d'un vrai G1.

RecherchePaper

1 source