PACE : augmentation physique pour un…

1arXiv cs.RO

Apprentissage par renforcement résiduel guidé par la physique pour la traversée de chemins étroits par humanoïdes

Une équipe de recherche a publié une nouvelle version (v5) d'un article arXiv (2508.20661) décrivant une méthode d'apprentissage par renforcement en deux étapes pour la traversée de chemins étroits par des robots humanoïdes, terrain où les approches purement basées sur des templates physiques ou purement par renforcement échouent généralement. La première étape combine un planificateur d'appuis au sol issu d'un template physique avec un contrôleur bas niveau de suivi de trajectoire ; la seconde ajoute un module léger de correction des appuis assisté par perception, entraîné selon un curriculum progressif allant du sol plat aux chemins étroits. Testée sur un robot humanoïde Unitree G1, la méthode a permis de franchir sans échec, à 20 reprises consécutives, une poutre de 0,2 mètre de large et 3 mètres de long. Le résultat s'attaque à un problème concret pour l'industrie robotique : le placement précis des pieds sur des appuis rares et critiques pour la sécurité, comme des passerelles ou poutrelles de chantier, reste un point faible connu des humanoïdes malgré des démonstrations vidéo souvent flatteuses. En associant l'interprétabilité d'un planificateur physique classique à la capacité de généralisation du renforcement, les auteurs revendiquent un meilleur taux de réussite, une meilleure adhérence à la trajectoire centrale et de meilleures marges de sécurité que les approches purement template ou purement RL, avec un transfert simulateur-vers-réel facilité, obstacle récurrent pour le secteur. Pour les intégrateurs évaluant des humanoïdes sur chantiers ou sites industriels contraints, ces résultats restent une preuve de concept en laboratoire, limitée à une seule configuration de poutre testée 20 fois, loin d'une validation en déploiement réel. Ces travaux s'inscrivent dans un effort de recherche plus large visant à réduire l'écart entre les démonstrations soignées de locomotion humanoïde, qu'il s'agisse de Figure 03, d'Optimus chez Tesla ou des modèles Unitree, et une robustesse réellement transférable sur terrain contraint. Le choix du G1 d'Unitree, humanoïde compact et abordable très utilisé par les laboratoires académiques, confirme son rôle de plateforme de référence pour la recherche sur la locomotion, face à des systèmes plus coûteux comme l'Atlas de Boston Dynamics. Aucun acteur français ou européen n'intervient dans cette publication, qui reste à ce stade une contribution académique en preprint sur arXiv, sans calendrier de transfert industriel ni partenariat commercial annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Robo-ValueRL : une estimation fiable de la valeur pour l'apprentissage par renforcement hors ligne vers en ligne

Des chercheurs publient Robo-ValueRL, un framework d'apprentissage par renforcement offline-to-online pour la manipulation robotique, décrit dans un article arXiv (2607.09866v1) diffusé cette semaine. Le système entraîne un estimateur de valeur conditionné par l'historique des actions, dont la fiabilité est mesurée via deux métriques, la progression globale et la préférence locale. Ces estimations de valeur alimentent ensuite deux étapes : un pré-entraînement de politique par cohérence conditionnée à la qualité des données, puis un module d'adaptation résiduelle appliqué lors des déploiements en ligne. Les expériences s'appuient sur un volume conséquent, 240 heures de démonstrations hors ligne et plus de 3 000 trajectoires de rollout en ligne. Sur deux tâches de précision, l'insertion de puces électroniques au millimètre près et le désassemblage générique de blocs, le système atteint respectivement 86% et 84% de taux de réussite. L'apport principal ne se situe pas dans un nouveau record de performance mais dans la démonstration d'un lien direct entre la fiabilité de la fonction de valeur et la qualité de la politique finale. Concrètement, un estimateur de valeur fiable permet de prioriser les données de meilleure qualité parmi un ensemble hétérogène de démonstrations, ce qui bat le clonage comportemental classique, indifférent à la qualité des données, et stabilise la phase d'amélioration en ligne. Pour les équipes qui construisent des pipelines de RL robotique à partir de données de téléopération ou de simulation de qualité inégale, ce résultat justifie d'investir dans le diagnostic de la fonction de valeur plutôt que de simplement augmenter le volume de données ou la taille des modèles de politique. Le travail s'inscrit dans la tendance actuelle du secteur à combiner pré-entraînement hors ligne sur de larges jeux de démonstrations et affinage en ligne par rollouts réels, une approche jugée prometteuse pour la manipulation robotique généralisable mais dont la complexité technique rend la reproduction et le diagnostic difficiles, un point que les auteurs soulignent explicitement comme motivation de leur étude. Robo-ValueRL se positionne comme un banc d'essai unifié plutôt qu'un produit fini, destiné à isoler l'effet de la fiabilité de l'estimation de valeur des autres composants du pipeline. L'article ne précise pas de suite industrielle ni de partenaire de déploiement identifié à ce stade, le travail restant à un niveau de recherche académique.

RecherchePaper

1 source

3arXiv cs.RO

REACH : un cadre hiérarchique à base d'apprentissage par renforcement pour le déplacement à quatre pattes d'humanoïdes en espaces confinés

Des chercheurs de l'AIS Lab de la SUSTech (Shenzhen) publient sur arXiv REACH, un cadre hiérarchique fondé sur l'apprentissage par renforcement. Il permet à un humanoïde Unitree G1 de franchir des environnements à hauteur limitée en alternant marche bipède à hauteur variable et quadrupédie rampante. Les politiques apprises régulent la hauteur du corps sur deux plages de commande complémentaires : de 1,27 à 0,50 m en locomotion bipède, puis de 0,50 à 0,20 m en rampement. Le passage à quatre appuis dépasse ainsi la limite de la marche accroupie. Pour gérer la dynamique du rampement, riche en contacts, l'équipe utilise une représentation latente conditionnée par l'historique des observations proprioceptives, qui encode le terrain et le contexte d'interaction sans caméra dédiée. Une politique de transition bidirectionnelle relie la marche accroupie et le rampement malgré de fortes discontinuités cinématiques. L'ensemble est piloté par un planificateur basé sur LiDAR, qui convertit les nuages de points en chemins 3D sans collision et en commandes de locomotion, dont des hauteurs cibles anticipées. Les expériences sur robot réel annoncent un suivi précis de la hauteur et de la vitesse, une traversée robuste de terrains variés et des transitions fiables. Le code et les vidéos sont publiés. L'intérêt tient à ce que la majorité des travaux sur humanoïdes en espace confiné s'arrête à la marche bipède à hauteur ajustable, ce qui limite l'accès aux zones basses : sous des convoyeurs, dans des gaines techniques, des vides sanitaires ou des décombres. Descendre à 0,20 m de hauteur de corps élargit nettement l'enveloppe d'accès d'un humanoïde, un argument en faveur de la polyvalence du format face aux robots à roues ou à chenilles, pour l'inspection, la maintenance ou la recherche et le sauvetage. Le résultat illustre aussi la maturité de l'apprentissage par renforcement avec transfert simulation-réel sur des tâches riches en contacts, bien au-delà de la marche. Les réserves habituelles restent de mise : il s'agit d'un résultat académique sur une plateforme unique, sans chiffres publiés dans le résumé sur le taux de réussite, la répétabilité ou la robustesse hors laboratoire. Le résumé ne fournit pas non plus de comparaison quantitative avec des méthodes concurrentes. Le G1 de Unitree, proposé à un prix de l'ordre de quelques dizaines de milliers de dollars, est devenu la plateforme de référence des laboratoires pour la locomotion et la manipulation, ce qui facilite la reproduction des résultats. Les travaux précédents sur la marche accroupie, la locomotion acrobatique ou l'escalade d'obstacles ont été menés souvent séparément, sans enchaîner les modes. REACH vise cette intégration, de la perception à la planification et au contrôle bas niveau. Les limites probables concernent la charge utile, l'autonomie lors de postures au sol et l'usure des articulations, que le résumé n'aborde pas. Les suites naturelles seraient l'ajout de manipulation en position rampante, la validation sur d'autres morphologies d'humanoïdes et des essais en environnements non structurés. Aucun pilote industriel n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

BeJEPA : un modèle du monde du comportement humanoïde conditionné par un objectif, via l'apprentissage par renforcement non supervisé

BeJEPA est un modèle de monde comportemental conditionné par un objectif, présenté dans un preprint arXiv (2610.23127v1) et destiné à la commande de robots humanoïdes. Il est appris par apprentissage par renforcement non supervisé, à partir de modèles de mouvement humain (a priori issus de données de capture) et d'interactions du robot. Le système repose sur une architecture prédictive à plongement conjoint (JEPA) qui apprend une représentation commune de la configuration du corps et de son placement dans le repère monde. Un « Dynamic Predictor » prédit l'embedding de l'état suivant selon l'action, tandis qu'un « Successor Predictor » résume en un seul vecteur les embeddings d'états futurs attendus et actualisés d'une politique conditionnée par l'objectif. Sur des tâches de suivi de mouvement de 20 secondes, la variante avec raffinement d'action en ligne réduit l'erreur de position globale du corps de 61,7 % sur AMASS par rapport à BFM-Zero avec poses monde en entrée, et de 58,7 % par rapport à SONIC. Un déploiement physique sur Unitree G1 est rapporté. L'enjeu tient à un défaut connu des contrôleurs dominants. Ceux-ci imitent des trajectoires dans le repère de la racine (le bassin du robot) et peinent à retrouver la pose monde visée après un déplacement ou une perturbation. Pour un intégrateur, la différence est concrète : un humanoïde qui se fait pousser, tombe ou voit sa consigne changer doit savoir où il se trouve et dans quelle direction il regarde, pas seulement reproduire un geste. Les démonstrations sur le G1 couvrent l'atteinte simultanée de la posture, de la position et du cap, le relevé depuis le sol et le retour en boucle fermée après perturbation ou changement d'objectif. Le fait de remplacer de longs déroulés imaginés par une seule prédiction physique et un seul résumé comportemental simplifie aussi le calcul, ce qui compte pour l'embarqué. Les réserves habituelles s'appliquent toutefois : il s'agit de résultats académiques, sans chiffres publiés ici sur le taux de réussite des essais réels, la robustesse sur la durée ou le nombre de répétitions. Les gains sont mesurés en simulation sur un seul critère, l'erreur de position globale. Ce travail s'inscrit dans la course aux modèles de fondation de comportement pour humanoïdes, où BFM-Zero (apprentissage non supervisé de comportements) et SONIC (suivi de mouvement à grande échelle) servent de références, et où l'Unitree G1, plateforme peu coûteuse et répandue, fait office de banc d'essai commun. L'approche JEPA, popularisée par Yann LeCun et le laboratoire FAIR de Meta, est ici transposée de la perception vers la commande corps entier. Les prochaines étapes probables sont des validations sur des tâches de locomotion et de manipulation plus longues, avec davantage de matériel et en environnement non contrôlé. Aucun calendrier de pilote ni intégration commerciale n'est annoncé, et le projet reste au stade de la recherche, avec une page de projet publique.

RecherchePaper

1 source

PACE : augmentation physique pour un apprentissage par renforcement coordonné de bout en bout, vers un tennis de table humanoïde polyvalent

À lire aussi

Apprentissage par renforcement résiduel guidé par la physique pour la traversée de chemins étroits par humanoïdes

Robo-ValueRL : une estimation fiable de la valeur pour l'apprentissage par renforcement hors ligne vers en ligne

REACH : un cadre hiérarchique à base d'apprentissage par renforcement pour le déplacement à quatre pattes d'humanoïdes en espaces confinés

BeJEPA : un modèle du monde du comportement humanoïde conditionné par un objectif, via l'apprentissage par renforcement non supervisé