Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

STRIDE : apprendre la locomotion humanoïde en quelques minutes grâce à des récompenses basées sur l'accélération

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2611.08857) STRIDE, une méthode d'apprentissage par renforcement (RL) de la marche humanoïde qui n'exige que la centrale inertielle (IMU) embarquée. Les récompenses de locomotion classiques suivent la vitesse de la base. À bord, cette vitesse ne se mesure pas sans capture de mouvement externe ni estimateur d'état bien calibré. STRIDE récompense donc le robot lorsqu'il suit un profil d'accélération commandé. Pour apprendre vite avec ce signal, les auteurs utilisent XQC, un algorithme off-policy (qui réutilise les échantillons passés), avec deux ajouts: des gains élevés sur les contrôleurs de position des articulations, et une augmentation de données par symétrie gauche-droite. En simulation, la marche est acquise sur l'Unitree G1 et le Booster T1 en 14 minutes d'échantillons. Sans ces deux composants, il faut plus d'une heure, et le nombre de chutes pendant l'entraînement est 81 % plus élevé.

L'intérêt tient à la suppression d'une dépendance d'infrastructure. Apprendre directement sur le robot évite l'écart simulation-réalité, mais cela suppose de pouvoir mesurer la récompense sur le terrain. Une récompense calculée à partir de l'IMU seule rend ce scénario envisageable sans banc de capture de mouvement. La réduction des chutes compte aussi, car chaque chute use le matériel et immobilise le robot. Une marche apprise en quelques minutes ouvrirait la voie à un réglage ou une adaptation rapide chez l'intégrateur, par exemple après un changement de charge, de semelle ou de sol. Il faut toutefois rester prudent: les résultats annoncés viennent de la simulation, et le résumé ne mentionne ni validation sur robot physique, ni terrains variés, ni robustesse aux perturbations. Le chiffre de 14 minutes désigne du temps d'échantillons, pas forcément du temps réel de bout en bout.

Le courant dominant en locomotion humanoïde reste l'entraînement en simulation massivement parallèle, souvent avec des méthodes on-policy, suivi d'un transfert vers le robot. STRIDE s'inscrit dans l'approche inverse, plus économe en échantillons, où des algorithmes off-policy récents comme XQC servent à apprendre en conditions réelles. Le choix du G1 et du T1 reflète les plateformes de recherche les plus accessibles. La suite logique est un test sur ces robots physiques, étape qui décidera si la méthode dépasse le stade de la preuve de concept.

Dans nos dossiers

UnitreearXiv cs.RO

À lire aussi

Accélérer et étendre l'apprentissage par renforcement guidé par MPC pour la locomotion et la manipulation humanoïdes
1arXiv cs.RO 

Accélérer et étendre l'apprentissage par renforcement guidé par MPC pour la locomotion et la manipulation humanoïdes

Une équipe de recherche publie sur arXiv (arXiv:2606.05687v1) une méthode hybride MPC-RL pour le contrôle moteur des robots humanoïdes, baptisée MPC-RL. Le principe : intégrer un contrôleur prédictif par modèle (MPC) directement dans la boucle d'entraînement par renforcement (RL), en utilisant les trajectoires générées par le MPC comme signal de récompense basé sur la dynamique centroïdale du robot. La contribution technique centrale est un solveur GPU appelé pi-n-MPC, parallélisé à la fois sur l'horizon temporel et sur les instances de simulation, sans nécessiter de précompilation ni de construction explicite du problème à chaque pas. Les auteurs reportent des validations sur hardware réel, sans préciser les plateformes matérielles ni les cycles de tests. Le code est disponible en open source sur GitHub. L'enjeu industriel derrière ce travail est réel : le RL massif en simulation parallèle (Isaac Gym, Mujoco MJX) est devenu le standard pour entraîner des compétences de locomotion et de manipulation humanoïde, mais y injecter un MPC est historiquement coûteux en temps de construction et en mémoire GPU. Pi-n-MPC contourne ces deux goulots d'étranglement en opérant directement sur des dynamiques variables dans le temps, sans accumuler de mémoire excessive. Si les gains revendiqués se confirment à l'échelle, cela ouvre la voie à des politiques hybrides MPC/RL entraînables sur des clusters GPU standard, sans infrastructure spécialisée. Attention toutefois : le papier s'appuie sur des études comparatives internes et des validations hardware dont les conditions exactes (charges, cycles, environnements) ne sont pas détaillées dans le résumé disponible, ce qui limite l'évaluation externe des performances annoncées. La combinaison MPC-RL n'est pas nouvelle dans la recherche en locomotion : des travaux comme ceux de DeepMind sur le contrôle de quadrupèdes ou les approches whole-body de CMU et ETH Zurich ont exploré des directions similaires. La spécificité ici réside dans l'accent mis sur la scalabilité GPU et l'absence de précompilation, deux verrous pratiques qui freinent l'adoption dans les pipelines d'entraînement industriels. Les acteurs qui déploient activement des humanoïdes en environnement réel, comme Figure AI, Apptronik ou Agility Robotics, travaillent tous à réduire le sim-to-real gap sur la manipulation dextre : une infrastructure d'entraînement MPC-RL plus légère pourrait accélérer leurs cycles d'itération. La prochaine étape naturelle serait une validation sur des plateformes nommées et des tâches de manipulation avec contraintes de contact.

RecherchePaper
1 source
HULK : apprendre la locomanipulation de force du corps entier pour les robots humanoïdes
2arXiv cs.RO 

HULK : apprendre la locomanipulation de force du corps entier pour les robots humanoïdes

Des chercheurs ont publié sur arXiv (octobre 2026) HULK, un cadre de contrôle du corps entier destiné à la manipulation locomotrice « avec force » sur robots humanoïdes, c'est-à-dire le transport d'objets volumineux et lourds. Le principe repose sur une commande prédictive (MPC) qui guide l'apprentissage par renforcement grâce à des prédictions de la dynamique en charge. Deux politiques « enseignantes » sont entraînées : l'une suit des mouvements de bras sous forces appliquées aux poignets, l'autre marche en tenant un grand objet plaqué contre le corps. Une fonction barrière de contrôle fondée sur le « capture point » vient renforcer l'enseignante des poignets pendant l'entraînement pour préserver l'équilibre sous charge. Les deux enseignantes sont ensuite distillées en une seule politique. L'évaluation couvre la simulation et le Unitree G1. En simulation, l'enseignante dotée de la barrière affiche les erreurs de suivi de vitesse avant et latérale les plus faibles parmi les contrôleurs comparés, à 10 kg par bras, et réduit de 35,7 % l'excursion agrégée du mouvement divergent (DCM) par rapport au seul apprentissage guidé par MPC. Elle résiste à des poussées sur le torse allant jusqu'à 130 N. L'intérêt tient au problème ciblé. La plupart des politiques de locomotion apprises pour humanoïdes sont entraînées à vide ou avec des charges légères, alors que les usages logistiques et industriels impliquent des caisses, bacs ou cartons qui déplacent le centre de masse et imposent un effort soutenu sur tout le haut du corps. En injectant la dynamique chargée dans l'entraînement, HULK s'attaque à l'un des écarts entre démonstrations et exploitation réelle. Le chiffre de 10 kg par bras reste toutefois à relativiser : il est obtenu en simulation, sur une plateforme G1 de taille et de puissance modestes, et l'article ne fournit, dans ce résumé, ni temps de cycle, ni taux de réussite sur matériel, ni durée de port. La réduction de 35,7 % du DCM est un gain relatif entre variantes de la même méthode, pas une performance absolue. La preuve d'une robustesse en conditions réelles, avec des objets variés et des sols imparfaits, reste à faire. HULK s'inscrit dans la vague des approches « teacher-student » et de contrôle du corps entier par apprentissage, déjà largement testées sur le G1 pour la marche, le saut ou les mouvements expressifs, et dans la recherche de bases communes entre MPC, qui apporte des garanties physiques, et RL, qui apporte la robustesse. Les acteurs industriels, dont Figure, Tesla avec Optimus et Agility, visent des charges utiles plus élevées sur des machines propriétaires, sans publier leurs méthodes de contrôle. Ici, il s'agit d'une contribution académique, sans produit ni pilote annoncé. La suite logique serait un transfert sur des humanoïdes plus grands et des charges réelles plus lourdes, avec des mesures publiées sur matériel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
InterEvolve : évolution à l'inférence des programmes de récompense pour la loco-manipulation humanoïde
3arXiv cs.RO 

InterEvolve : évolution à l'inférence des programmes de récompense pour la loco-manipulation humanoïde

Des chercheurs publient sur arXiv (2610.02196) InterEvolve, une méthode qui permet à un humanoïde de résoudre des tâches de locomanipulation pour lesquelles son contrôleur n'a jamais été entraîné, sans réentraînement. Le système repose sur un modèle fondation comportemental « forward-backward » (FB) sensible aux objets. Des résidus d'objet, ajoutés à un modèle de corps gelé, convertissent au moment du test une nouvelle récompense, portant sur le corps ou sur les objets, en comportement de locomanipulation. Les tâches sont décrites par des « programmes de récompense » : des récompenses par étapes, avec conditions d'achèvement et constantes ajustables. Un agent LLM révise la structure du programme en contexte, à partir des retours d'exécution et d'une bibliothèque de programmes vérifiés. Un optimiseur numérique règle les constantes. Chaque candidat est validé dans plusieurs scénarios de simulation parallèles. Les compétences évoluées ont été exécutées de façon autonome sur un Unitree G1 physique, à partir de la perception égocentrique embarquée. Le résumé ne donne ni taux de réussite, ni temps de cycle, ni nombre d'itérations. L'intérêt est de déplacer l'effort d'ingénierie. Au lieu de collecter des démonstrations ou de relancer un entraînement par renforcement pour chaque nouvelle tâche, on suppose qu'un contrôleur généraliste contient déjà l'essentiel de la compétence motrice, et on la rend accessible par une interface de planification expressive, exécutable et mesurable. Les auteurs affirment que les récompenses conçues à la main laissent inexploitée une grande part des capacités du modèle FB, et que les programmes évolués les libèrent, parfois par des stratégies inédites. Pour un intégrateur, la promesse est une adaptation à de nouvelles tâches sans nouveau cycle d'entraînement. Les limites sont nettes : la validation est surtout en simulation, la démonstration physique se limite à une plateforme, le G1, et aucune comparaison chiffrée n'est donnée dans le résumé. L'écart entre simulation et réalité reste donc à mesurer sur des tâches industrielles. Ce travail s'inscrit dans deux courants. Le premier est celui des modèles fondation comportementaux et des contrôleurs généralistes pour humanoïdes, qui visent un contrôle du corps entier réutilisable. Le second est la conception de récompenses par LLM, déjà explorée avec des approches comme Eureka. InterEvolve y ajoute une mémoire sous forme de bibliothèque de compétences vérifiées, ainsi qu'une vérification parallèle en simulation. Il se distingue des approches VLA (vision-langage-action) comme Pi-0, Helix ou GR00T, qui apprennent directement une politique à partir de données. Ici, le LLM fait de la planification et de l'optimisation, et le contrôle bas niveau reste figé. Le G1, très répandu en recherche, est la plateforme de démonstration habituelle. Les prochaines étapes à surveiller sont la publication du code, des évaluations sur d'autres robots et des tâches plus longues en conditions réelles.

RecherchePaper
1 source
Locomotion humanoïde grâce à un contrôleur récurrent inspiré de la mouche
4arXiv cs.RO 

Locomotion humanoïde grâce à un contrôleur récurrent inspiré de la mouche

Une étude arXiv publiée sous la référence 2609.27001v1 ("Humanoid Locomotion with a Fly-Inspired Recurrent Controller") détaille un contrôleur récurrent inspiré du circuit neuronal de la mouche, testé exclusivement en simulation sur un robot humanoïde Unitree G1. Le système relie 3 609 états neuronaux continus au corps du robot via des projections d'observation corporelle, une couche de lecture étiquetée par neurones moteurs, et les servomoteurs articulaires. Un unique checkpoint figé a été évalué sur 7 types de terrain, 3 vitesses et 3 décalages de lacet initiaux, soit 63 configurations : le contrôleur réussit 61 d'entre elles selon un critère de survie et de progression vers l'avant, contre 62/63 pour une référence dite "privilégiée" disposant d'informations supplémentaires. Une expérience clé révèle la dépendance du système à sa mémoire interne : réinitialiser l'état moteur récurrent avant chaque appel de la politique, à lacet nominal, fait chuter le taux de réussite de 19/21 à 0/21. À l'inverse, substituer la perception de profondeur et les états en amont sur 252 états enregistrés ne modifie pas les actions produites, avec une sortie descendante nulle mesurée sur l'ensemble des trajectoires intactes. Ce résultat intéresse la robotique humanoïde à un moment où l'industrie mise majoritairement sur des modèles vision-langage-action de type Pi-0, GR00T N2 ou Helix, entraînés sur de vastes corpus de démonstrations. L'approche testée ici emprunt une voie différente : un contrôleur récurrent de taille modeste, structuré d'après une architecture neuronale biologique plutôt qu'un transformeur massif, dont la robustesse tient à un état moteur porté dans le temps plutôt qu'à une réactivité purement sensorielle. Pour les intégrateurs et chercheurs, l'enseignement principal est méthodologique : démontrer que retirer la mémoire récurrente fait s'effondrer la marche (0/21) alors que perturber les entrées sensorielles ne change rien aux actions isole précisément quelle partie du circuit porte le comportement. Le travail reste néanmoins cantonné à la simulation, sans validation sur robot physique, sur un jeu de terrains limité, ce qui borne la portée de ses conclusions à ce stade de recherche. La démarche s'inscrit dans un courant qui s'appuie sur la connectomique, la cartographie détaillée des circuits neuronaux d'insectes comme la drosophile, pour concevoir des architectures de contrôle alternatives aux réseaux appris de bout en bout. Contrairement aux humanoïdes commerciaux tels Figure 03 ou Optimus Gen 3, dont les annonces mettent en avant cycles de production et déploiements en usine, cette étude ne vise pas un produit mais la compréhension des mécanismes internes d'un contrôleur, avec un Unitree G1 simulé comme plateforme d'essai standard en recherche académique. Les auteurs présentent leurs résultats comme une base pour de futures comparaisons de structures de circuits et de ressources de contrôle, sans annoncer de calendrier de transfert vers du matériel réel ni de partenariat industriel. Aucun acteur français ou européen n'apparaît dans cette publication.

RecherchePaper
1 source