RecherchearXiv cs.RO 23 septembre 2026

Enseigner l'apprentissage par renforcement et la robotique humanoïde aux lycéens : un programme validé par des experts sur une plateforme ouverte à faible coût

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article de recherche publié sur arXiv (référence 2609.25674v1) propose un cadre pédagogique complet pour enseigner la robotique humanoïde et l'apprentissage par renforcement (RL) à des lycéens, en s'appuyant sur une plateforme robotique open source à faible coût. Le curriculum organise en parallèle plusieurs volets disciplinaires, séquencés selon leurs dépendances techniques, avec une intégration progressive entre simulation et matériel réel, des jalons de performance à chaque étape, et un équilibre entre travail en équipe et responsabilité individuelle. Concrètement, des binômes d'élèves assemblent eux-mêmes un robot humanoïde open source, entraînent en simulation une politique de marche par apprentissage par renforcement, puis la déploient sur la plateforme physique. Le cadre a été affiné par un processus de conception itératif incluant une évaluation formative menée par cinq experts issus de la recherche en robotique, de l'ingénierie, de l'enseignement scientifique secondaire et de la conception de curriculum.

Ce travail s'attaque à un problème concret pour la filière robotique et l'éducation technique : le fossé entre un workflow de recherche complet, assemblage mécanique, câblage électrique, simulation, apprentissage de politique, identification de système et déploiement physique, et un format enseignable à des novices sans expérience préalable. En démontrant qu'un tel parcours peut être rendu accessible dès le lycée grâce à du matériel open source bon marché, l'étude ouvre une voie pour démocratiser plus tôt les compétences en RL et en robotique humaine, des compétences aujourd'hui rares et recherchées par les intégrateurs et les industriels du secteur. Elle constitue aussi un cas d'usage pédagogique concret pour la vague actuelle de plateformes humanoïdes open source à bas coût, dont l'intérêt dépasse le seul laboratoire de recherche.

L'analyse des experts a fait émerger trois tensions de conception centrales : l'authenticité du travail de recherche face à la charge cognitive imposée aux élèves, l'intégration système complexe face au besoin de progrès visibles et rapides pour maintenir la motivation, et la constitution d'équipes de travail face à l'exigence de responsabilité individuelle dans l'évaluation. Ces arbitrages ont directement façonné la version finale du cadre présenté dans l'article. Les auteurs précisent que ce travail reste une proposition de conception validée par des experts, et non une évaluation en conditions réelles : des études de terrain en classe sont désormais nécessaires pour mesurer l'implémentation effective du curriculum et les apprentissages réels des élèves.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

L'Open Ant, une plateforme robotique pour la recherche en apprentissage par renforcement

Une équipe de recherche présente l'Open Ant, une plateforme robotique physique conçue pour la recherche en apprentissage par renforcement (RL), dans un article publié sur arXiv (2607.18488v1). Il s'agit d'une déclinaison matérielle de l'environnement Gymnasium Ant, un benchmark de simulation largement utilisé dans la communauté RL, accompagnée de sa propre simulation. Les chercheurs démontrent que des politiques de marche compétentes peuvent être apprises directement à partir de l'expérience du robot physique, sans passer par la simulation, en environ une heure seulement. Ce résultat a été obtenu avec deux algorithmes très différents dans leur approche, SARSA(λ) et Soft Actor-Critic (SAC), ce qui suggère une certaine robustesse de la plateforme face à des méthodes d'apprentissage variées. Les auteurs montrent également que des politiques entraînées en simulation se transfèrent avec succès vers le robot réel. L'ensemble, conception matérielle et logiciel, est publié en open source sur GitHub. Cette publication s'attaque à un problème structurel du champ du RL: la grande majorité des travaux restent cantonnés à la simulation, ce qui rend incertaine leur transposition à des systèmes physiques réels, tant pour les algorithmes que pour les chercheurs qui manquent souvent d'accès à du matériel adapté. En apportant la preuve qu'un apprentissage from scratch sur robot réel est possible en une heure, et que le transfert sim-to-real fonctionne sur cette plateforme, les auteurs fournissent un argument concret contre l'idée que le RL physique serait nécessairement lent, coûteux ou peu fiable. Pour les laboratoires académiques et les équipes industrielles travaillant sur des systèmes de locomotion ou de contrôle appris, cela abaisse la barrière à l'expérimentation matérielle. Le choix de dériver la plateforme de l'environnement Gymnasium Ant, très utilisé comme référence en simulation, vise explicitement à faciliter l'adoption par des chercheurs déjà familiers de cet environnement virtuel. Les auteurs ont aussi évalué l'accessibilité du système pour des utilisateurs novices issus de formations diverses, ainsi que la facilité de réparation et de mise à jour du matériel en cas de panne, deux critères rarement documentés dans les publications robotiques mais déterminants pour une adoption réelle en laboratoire.

RecherchePaper

1 source

2arXiv cs.RO

Cartographie de terrain à faible coût pour la locomotion humanoïde par apprentissage par renforcement : Loco-Loco-RL

Un article de recherche publié sur arXiv (2609.19041v1) en septembre 2026, intitulé "Loco-Loco-RL: Low-Cost Terrain Mapping for Humanoid Locomotion with Reinforcement Learning", propose une méthode de perception de terrain low-cost pour la locomotion humanoïde. Plutôt que les caméras de profondeur ou LiDAR habituels, coûteux et gourmands en calcul, les auteurs utilisent un simple capteur time-of-flight bon marché pour construire une représentation 3D locale du terrain. Pour exploiter ce signal épars, ils introduisent une politique transformer temporelle à compression de tokens: les observations proprioceptives et de terrain sont tokenisées, traitées par un transformer à self-attention multi-tête, compressées via un module MLP en espace latent, puis stockées dans un historique glissant de 15 pas de temps qu'un second transformer à cross-attention exploite pour la politique de renforcement. La méthode a été validée par transfert sim-to-real sur un robot humanoïde physique, sur un benchmark de locomotion en terrain accidenté, avec une marche jugée robuste malgré la faible résolution du capteur. Aucun partenaire industriel ni déploiement commercial n'est mentionné: c'est un travail de recherche, pas une annonce produit, et aucune plateforme humanoïde n'est nommée. L'intérêt pour les intégrateurs reste néanmoins direct, car le coût et la consommation des capteurs de perception pèsent lourd dans le bill of materials des humanoïdes et freinent leur déploiement en volume. En montrant qu'un capteur ToF bon marché et basse résolution suffit à une locomotion robuste sur terrain accidenté grâce à une architecture transformer compressée, le travail apporte un contre-exemple concret à l'idée qu'une perception haute résolution est indispensable au franchissement d'obstacles, une piste pour réduire les coûts de production à l'échelle. L'approche s'inscrit dans une lignée de travaux en apprentissage par renforcement pour la locomotion de robots à pattes, où la perception extéroceptive du terrain reste coûteuse à traiter face à la simple proprioception. Elle se positionne face aux approches concurrentes misant sur des caméras de profondeur ou LiDAR embarqués, plus riches mais plus chers et plus lourds à calculer en temps réel. L'article ne précise ni le robot utilisé pour les essais ni de calendrier de déploiement industriel: à ce stade, c'est un preprint validant un principe en laboratoire, sans partenaire ni pilote annoncés. La suite logique, non détaillée par les auteurs, serait une extension à des terrains plus variés et une comparaison directe des coûts et performances face aux stacks LiDAR ou caméra de profondeur standards du secteur.

RecherchePaper

1 source

3arXiv cs.RO

RobotDancing : l'apprentissage par renforcement à action résiduelle permet un suivi robuste des mouvements humanoïdes sur le long terme

Des chercheurs présentent RobotDancing, une méthode d'apprentissage par renforcement en une seule étape pour faire exécuter à des robots humanoïdes des mouvements de danse longs et dynamiquement exigeants, avec une robustesse accrue face aux erreurs d'accumulation. Le principe : plutôt que de demander à la politique de recréer entièrement un mouvement de référence retargeté (transposé depuis une capture humaine vers la cinématique du robot), RobotDancing prédit des corrections résiduelles sur les cibles articulaires. La politique se concentre ainsi sur la compensation des écarts dynamiques entre la référence et le robot réel (limites d'actionneurs, latence, friction, inertie) plutôt que sur la resynthèse complète du geste. Une politique est entraînée par séquence de référence, avec une recette d'entraînement et de déploiement commune réutilisée entre mouvements et plateformes. L'équipe a évalué la méthode sur huit chorégraphies issues du jeu de données LAFAN1, exécutées sur le robot Unitree G1, avec des expériences complémentaires de transfert inter-plateforme sur les Unitree H1 et H1-2. Le problème ciblé est central dans la robotique humanoïde actuelle : les mouvements retargetés depuis des captures humaines sont cinématiquement plausibles mais dynamiquement incohérents avec le robot réel, ce qui fait dériver le suivi de trajectoire sur les séquences longues et finit par déstabiliser le contrôleur. En montrant des politiques G1 capables d'exécuter des comportements longs et énergétiques directement sur matériel, sans ajustement au moment du test, RobotDancing apporte un signal concret sur la viabilité du transfert simulation-vers-réel pour du contrôle whole-body à haute dynamique, un point souvent démontré en vidéo mais rarement quantifié avec rigueur dans la littérature. Le travail s'inscrit dans la lignée des méthodes de motion tracking par RL pour humanoïdes, où LAFAN1 sert de banc d'essai de référence pour les mouvements complexes. La publication, une version révisée sur arXiv (2509.20717v2), inclut des clips qualitatifs sur H1 et H1-2 pour illustrer la généralisation inter-plateforme, sans toutefois fournir de métriques chiffrées équivalentes à celles obtenues sur le G1, ce qui invite à la prudence sur l'ampleur réelle du transfert démontré.

RecherchePaper

1 source

4arXiv cs.RO

RoboNaldo : tirs précis, stables et puissants pour humanoïdes via apprentissage par renforcement à programme progressif guidé par le mouvement

Des chercheurs d'OpenDriveLab ont publié le 13 juin 2026 RoboNaldo (arXiv:2606.11092), un framework d'apprentissage par renforcement en curriculum à trois étapes conçu pour entraîner un humanoïde à tirer au football avec précision et puissance. Déployé sur un Unitree G1 avec perception embarquée, le système atteint une erreur de tir moyenne de 0,73 m depuis 3 m en situation de coup franc (balle stationnaire), et 0,86 m sur balle en mouvement. La vitesse post-contact de la balle atteint 13,10 m/s, soit 59 à 71 % de la vitesse mesurée chez des joueurs professionnels en match ouvert. En simulation, RoboNaldo réduit l'erreur de tir de 48,6 % et multiplie la vélocité de frappe par 2,96 par rapport aux baselines de référence antérieures. L'intérêt technique réside dans la combinaison de deux approches qui s'avèrent complémentaires plutôt qu'opposées : le motion tracking-driven RL (stable mais rigide face à des positions de balle variables) et le task reward-driven RL (flexible mais inefficace à explorer des kicks valides de zéro). RoboNaldo hybride les deux via un curriculum progressif : le robot apprend d'abord un prior de coup de pied corps entier stable à partir d'une seule référence humaine, puis l'adapte à des positions de balle aléatoires, puis à une balle en mouvement via une interface locomotion-commande/kick-trigger. Un planificateur heuristique haut niveau pilote l'entraînement, mais le même policy bas niveau peut être conduit par n'importe quel contrôleur alternatif à l'inférence, ce qui est une propriété utile pour l'intégration dans des systèmes plus larges. Il reste que les résultats présentés s'appuient sur des vidéos et métriques de laboratoire contrôlé, sans terrain irrégulier ni adversaires dynamiques. OpenDriveLab, lab de recherche en autonomie embodied associé à Shanghai AI Lab, se positionne ici dans un espace de plus en plus disputé. Boston Dynamics, Agility Robotics (Figure, Tesla Optimus) concentrent leurs démonstrations sur la manipulation industrielle et la locomotion bipède en entrepôt, tandis que des travaux comme DribbleBot (CMU, 2023) ou les robots footballeurs de l'équipe NimbRo avaient déjà exploré le jeu avec ballon, mais sur des plateformes quadrupèdes ou plus légères. RoboNaldo est présenté comme une démonstration de recherche (preprint non peer-reviewed à ce stade) : aucun pilote industriel ni timeline de commercialisation n'est annoncé. La prochaine étape logique serait l'évaluation en conditions non structurées et l'intégration d'un contrôleur haut niveau appris plutôt qu'heuristique.

RecherchePaper

1 source