RecherchearXiv cs.RO 17 septembre 2026

Cartographie de terrain à faible coût pour la locomotion humanoïde par apprentissage par renforcement : Loco-Loco-RL

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article de recherche publié sur arXiv (2609.19041v1) en septembre 2026, intitulé "Loco-Loco-RL: Low-Cost Terrain Mapping for Humanoid Locomotion with Reinforcement Learning", propose une méthode de perception de terrain low-cost pour la locomotion humanoïde. Plutôt que les caméras de profondeur ou LiDAR habituels, coûteux et gourmands en calcul, les auteurs utilisent un simple capteur time-of-flight bon marché pour construire une représentation 3D locale du terrain. Pour exploiter ce signal épars, ils introduisent une politique transformer temporelle à compression de tokens: les observations proprioceptives et de terrain sont tokenisées, traitées par un transformer à self-attention multi-tête, compressées via un module MLP en espace latent, puis stockées dans un historique glissant de 15 pas de temps qu'un second transformer à cross-attention exploite pour la politique de renforcement. La méthode a été validée par transfert sim-to-real sur un robot humanoïde physique, sur un benchmark de locomotion en terrain accidenté, avec une marche jugée robuste malgré la faible résolution du capteur.

Aucun partenaire industriel ni déploiement commercial n'est mentionné: c'est un travail de recherche, pas une annonce produit, et aucune plateforme humanoïde n'est nommée. L'intérêt pour les intégrateurs reste néanmoins direct, car le coût et la consommation des capteurs de perception pèsent lourd dans le bill of materials des humanoïdes et freinent leur déploiement en volume. En montrant qu'un capteur ToF bon marché et basse résolution suffit à une locomotion robuste sur terrain accidenté grâce à une architecture transformer compressée, le travail apporte un contre-exemple concret à l'idée qu'une perception haute résolution est indispensable au franchissement d'obstacles, une piste pour réduire les coûts de production à l'échelle.

L'approche s'inscrit dans une lignée de travaux en apprentissage par renforcement pour la locomotion de robots à pattes, où la perception extéroceptive du terrain reste coûteuse à traiter face à la simple proprioception. Elle se positionne face aux approches concurrentes misant sur des caméras de profondeur ou LiDAR embarqués, plus riches mais plus chers et plus lourds à calculer en temps réel. L'article ne précise ni le robot utilisé pour les essais ni de calendrier de déploiement industriel: à ce stade, c'est un preprint validant un principe en laboratoire, sans partenaire ni pilote annoncés. La suite logique, non détaillée par les auteurs, serait une extension à des terrains plus variés et une comparaison directe des coûts et performances face aux stacks LiDAR ou caméra de profondeur standards du secteur.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Pretraining à l'apprentissage par renforcement acteur-critique pour la locomotion

Une équipe de recherche propose une méthode de pré-entraînement pour l'apprentissage par renforcement (RL) appliqué à la locomotion des robots, détaillée dans une nouvelle version d'un article déposé sur arXiv (2510.12363v4). Le constat de départ : dans la plupart des pipelines RL actuels, chaque compétence de marche ou de course est apprise depuis zéro, alors qu'une même architecture de robot partage probablement des connaissances générales d'un mouvement à l'autre. Les auteurs introduisent un Proprioceptive Inverse Dynamics Model (PIDM), entraîné par apprentissage supervisé sur des données de transition dynamiques collectées via une exploration indépendante de toute tâche spécifique. Les poids ainsi obtenus servent ensuite à initialiser à la fois l'acteur et le critique dans des algorithmes classiques comme Proximal Policy Optimization (PPO), au lieu de partir d'une initialisation aléatoire. La méthode a été validée sur neuf environnements de locomotion RL distincts, couvrant trois types de robots différents, avec des gains moyens de 36,2% en efficacité d'échantillonnage et 4,3% en performance de tâche par rapport à une initialisation classique. L'intérêt pratique tient au coût de l'apprentissage par renforcement pour la robotique : chaque politique entraînée depuis zéro consomme un temps de simulation et de calcul considérable, un frein direct pour les équipes qui doivent multiplier les comportements sur un même robot (marche, course, franchissement d'obstacles, terrains variés). En réutilisant un socle de connaissances proprioceptives commun à l'embodiment, cette approche promet d'accélérer l'entraînement de nouvelles compétences sans repartir de zéro à chaque fois, un enjeu direct pour les laboratoires et intégrateurs qui développent des politiques de locomotion pour humanoïdes ou quadrupèdes. Ce travail s'inscrit dans la tendance plus large du paradigme pré-entraînement puis fine-tuning, déjà dominant en vision et en langage, et de plus en plus recherché en robotique via les modèles fondation vision-langage-action (VLA) type Pi-0 ou GR00T N2. Contrairement à ces approches qui visent des politiques génériques multi-tâches à grande échelle, cette étude reste focalisée sur la locomotion bas niveau et propose des ablations détaillées pour isoler les mécanismes expliquant les gains observés, une contribution méthodologique plutôt qu'un produit ou un déploiement commercial.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage par renforcement sur graphe adapté à la morphologie pour la locomotion de robots tenségrité

Des chercheurs ont publié sur arXiv (référence 2510.26067, version 2, octobre 2025) un framework d'apprentissage par renforcement intégrant un réseau de neurones à graphes (GNN) dans l'algorithme Soft Actor-Critic (SAC) pour contrôler la locomotion de robots tenségrité. Le système représente la topologie physique du robot sous forme de graphe, où chaque nœud correspond à un composant structurel (tige rigide ou câble élastique) et chaque arête encode les couplages mécaniques. Validé sur un robot tenségrité à 3 barres, le framework maîtrise trois primitives de déplacement : suivi de trajectoire en ligne droite et virage bidirectionnel. Aucun réglage supplémentaire n'a été nécessaire pour le passage simulation-vers-matériel, et les politiques apprises s'exécutent directement sur le robot physique avec une locomotion stable. Le résultat le plus significatif pour les intégrateurs et concepteurs de robots est le transfert sim-to-real sans fine-tuning : c'est précisément le point d'échec habituel des méthodes RL appliquées aux structures à dynamique fortement couplée. Les robots tenségrité combinent tiges rigides et câbles élastiques en tension permanente, ce qui rend leur dynamique sous-actionnée et difficile à modéliser fidèlement, un écart classique entre simulation et réalité. Le fait que le GNN encode explicitement les contraintes topologiques du robot explique en partie cette robustesse : la politique apprend la physique structurelle, pas seulement une carte entrée-sortie. Les résultats montrent également une meilleure efficacité d'échantillonnage et une tolérance accrue aux variations de bruit et de raideur des câbles, deux paramètres qui fluctuent inévitablement sur matériel réel. Les robots tenségrité ont émergé comme plateforme de recherche sérieuse notamment via les travaux de la NASA (robot SUPERball) et des universités comme UC Berkeley, en raison de leur légèreté et de leur résilience aux chocs, des atouts pour l'exploration spatiale ou la recherche et le sauvetage. Jusqu'ici, leur contrôle reposait essentiellement sur des politiques MLP standard ou des méthodes de contrôle classique, peu adaptées à la complexité des couplages internes. Ce travail s'inscrit dans une tendance plus large d'architectures GNN pour robots morphologiquement complexes, en compétition avec des approches comme les transformers de morphologie ou le contrôle basé modèle avec apprentissage des paramètres. Les prochaines étapes naturelles incluent l'extension à des structures plus complexes (6 barres, tenségrités sphériques) et des environnements non structurés, domaines où aucun déploiement industriel n'est encore annoncé à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage par renforcement neuromorphique pour la locomotion de robots quadrupèdes sur terrain accidenté

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv (réf. 2605.09595) un framework d'apprentissage par renforcement basé sur l'équilibrium propagation (EP) pour contrôler la locomotion d'un quadrupède Unitree A1 à 12 degrés de liberté sur terrain accidenté. Plutôt que la rétropropagation classique, ils substituent les gradients globaux par des règles d'apprentissage locales pilotées par les états neuronaux, compatibles avec les substrats neuromorphiques et de calcul en mémoire. Le contrôleur combine un générateur de motif central (CPG) bio-inspiré avec une politique d'ajustement postural résiduel, entraîné via une variante PPO (Proximal Policy Optimization) adaptée à l'EP avec un mécanisme de clipping bilatéral du ratio pour stabiliser les mises à jour lors de la relaxation. Les résultats montrent des performances comparables à une baseline PPO classique en taux de succès, suivi de vitesse, consommation des actionneurs et stabilité corporelle, tout en réduisant la mémoire GPU de 4,3× par rapport à la rétropropagation à travers le temps (BPTT). L'ensemble des expériences reste en simulation, aucun déploiement terrain n'est documenté dans la publication. L'enjeu structurel est clair : les politiques de locomotion RL actuelles sont entraînées hors-ligne en simulation massivement parallèle, puis figées au déploiement. Elles ne s'adaptent pas à l'usure des actionneurs, aux variations de charge utile, ou au drift mécanique sur robot réel, limites critiques pour une industrialisation. En remplaçant la rétropropagation par un apprentissage local compatible avec des puces neuromorphiques (type Intel Loihi), cette approche ouvre la voie à une adaptation continue on-robot à faible consommation, sans dépendance à un GPU externe. Le gain de 4,3× en mémoire est déjà tangible pour les équipes embarquées, même si la validation reste entièrement simulée. Ces travaux s'inscrivent dans l'intense activité autour de la locomotion quadrupède par RL, dominée par l'ETH Zurich sur ANYmal et les robots Unitree. L'équilibrium propagation, formalisé par Scellier et Bengio en 2017, reste peu exploré pour le contrôle continu haute dimension, c'est l'une des premières démonstrations sur un robot à 12 DOF. Les approches concurrentes pour l'adaptation en ligne incluent RMA (Rapid Motor Adaptation, UC Berkeley) et les politiques méta-adaptatives de type MAML. L'étape suivante critique serait de valider sur hardware réel avec une puce neuromorphique embarquée et de mesurer la consommation effective en watts, deux points absents de la publication actuelle.

RecherchePaper

1 source

4arXiv cs.RO

Vers un apprentissage par renforcement piloté par couple pour la locomotion quadrupède

Des chercheurs publient sur arXiv (référence 2607.18365v1) un nouveau cadre d'apprentissage par renforcement (RL) piloté par le couple moteur, plutôt que par la position, pour la locomotion de robots quadrupèdes. Contrairement aux approches RL classiques qui commandent les articulations en position et nécessitent une estimation d'état complexe (notamment la vitesse linéaire de l'engin), ce framework agit directement sur le couple et permet à un robot de suivre une vitesse cible sans connaître sa propre vitesse en temps réel. L'équipe a testé son approche en simulation sur Nvidia Isaac Sim et Isaac Lab, en utilisant le quadrupède Unitree B1, une plateforme lourde et à fort couple par rapport aux petits robots légers habituellement employés dans ce type de recherche. Résultat : le robot simulé atteint 3,5 m/s en vitesse linéaire et 1,5 rad/s en rotation, et parvient à monter et descendre des escaliers sans capteur extéroceptif (caméra ou lidar), en s'appuyant uniquement sur sa perception proprioceptive. L'enjeu dépasse la simple performance chiffrée : la plupart des frameworks RL actuels butent sur des robots légers, limités dès qu'il s'agit de tâches à forte exigence mécanique (charge utile, franchissement d'obstacles robustes). En démontrant qu'un contrôle par couple peut fonctionner sur une plateforme lourde et à haut couple sans état de vitesse explicite, ce travail ouvre la voie à des quadrupèdes RL capables d'opérations industrielles plus exigeantes, un axe clé pour les intégrateurs qui cherchent à sortir la locomotion apprise des laboratoires vers des usages réels (inspection, logistique en terrain difficile). Il faut toutefois noter que ces résultats restent purement issus de la simulation, sans validation sur robot physique à ce stade, ce qui laisse ouverte la question classique du transfert sim-to-real. Le choix du Unitree B1, une plateforme commerciale déjà répandue dans la recherche en robotique mobile, suggère une intention de test réel à venir, mais aucun calendrier n'est communiqué dans l'article.

RecherchePaper

1 source