RecherchePandaily 23 octobre 2026

L'USTB utilise l'apprentissage par renforcement profond pour repenser les ailes d'un papillon robotisé

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'University of Science and Technology Beijing (USTB) et de laboratoires partenaires ont publié dans npj Robotics (groupe Nature) une méthode où une boucle d'apprentissage par renforcement profond, alimentée par des vols réels et non par la seule simulation, redessine les ailes d'un robot battant biomimétique. La plateforme, USTButterfly-II, pèse 48,3 g, mesure 57,5 cm d'envergure et bat à 5 Hz nominal avec une amplitude de 84 degrés. Un seul moteur et un mécanisme à double manivelle et double balancier animent les deux ailes en synchronie. Des nervures en fibre de carbone et en fibre de verre portent une membrane CPE de 0,03 mm qui se déforme passivement. Après plusieurs itérations en vol captif, l'équipe a fait voler le robot sans attache, en commande sans fil, dans une salle suivie par 14 caméras Optitrack. Chaque aile est décrite par trois paramètres morphologiques, et 19 paires de formes ont été construites dans la plage naturelle de 172 spécimens de papillons porte-queue mesurés, dont plusieurs espèces de Parides. Chaque paire a volé cinq fois, soit 95 vols, évalués par cinq métriques dont l'angle de montée et la vitesse. Les bouts d'aile pointus favorisent la portance, les formes plus arrondies et plus déportées vers l'extérieur la poussée, et des ailes antérieures plus longues aident à grimper.

Un modèle de substitution neuronal apprend d'abord à relier paramètres d'aile et métriques, avec des coefficients de corrélation de 0,97 à l'entraînement et 0,9 sur des vols tenus à l'écart. Un deep Q-network explore ensuite l'espace de formes à trois dimensions. Une mémoire multi-étapes et un tampon de bordure évitent que l'agent ne reste bloqué aux limites du domaine, et les ablations leur attribuent respectivement 33 % et 11 % de mieux en optimisation de la portance et de la poussée. La conception orientée portance fait passer le paramètre de portance de l'article de 2,23 à 9,8 (+339 %) et donne un angle de montée moyen de 32,7 degrés sur le robot réel. La conception orientée poussée gagne 46 % sur son paramètre et fait passer la vitesse moyenne de 1,98 à 2,92 m/s. Les vérifications physiques restent à environ 7 % des prédictions du modèle.

L'intérêt tient à la boucle fermée : quatre-vingt-quinze vols réels suffisent à produire et valider une aile nouvelle, ce qui réduit le fossé simulation-réalité, particulièrement pénible en aérodynamique instationnaire à faible nombre de Reynolds, où les ailes souples se déforment de façon difficile à modéliser. Pour les concepteurs de micro-drones à ailes battantes, c'est un outil de conception concret selon que la mission exige de la montée et de la charge utile ou de la vitesse. Les limites sont explicites : les chiffres sont des paramètres de performance propres à ce robot, pas une preuve que de vrais papillons gagneraient autant de portance, l'essai ne fait varier qu'un facteur à la fois et laisse les interactions entre paramètres à étudier, et l'espace de recherche à trois paramètres reste modeste. Il s'agit de résultats de laboratoire en salle instrumentée, sans aucun déploiement.

Côté contexte, USTB poursuit une lignée de robots papillons dont USTButterfly-II est la seconde génération, dans un champ où se côtoient le RoboBee de Harvard, les robots-colibris et libellules d'autres laboratoires chinois et européens, et les projets de micro-drones à ailes battantes de l'industrie. La prochaine étape logique est l'optimisation multi-paramètres, avec davantage de variables d'aile, de la charge utile embarquée et des vols hors d'un espace motion capture. Aucune échéance de commercialisation ou de pilote n'est annoncée.

Impact France/UE

Pas d\'impact direct sur la France/UE

À lire aussi

1arXiv cs.RO

Analyse de l'apprentissage par renforcement profond en continu pour l'apprentissage adaptatif en robotique

Des chercheurs publient sur arXiv (référence 2609.28807, soumission nouvelle) une étude qui livre la première analyse de l'apprentissage par renforcement profond en flux comme cadre d'apprentissage continu adaptatif pour la robotique. Contrairement à l'approche dominante, qui consiste à réentraîner hors ligne un modèle sur un jeu de données élargi après une phase de pré-entraînement, la méthode testée met à jour la politique neuronale en continu, à partir de chaque nouvelle expérience, en s'inspirant du fonctionnement de l'apprentissage biologique. Les expériences principales portent sur la locomotion d'un robot quadrupède : avec certains optimiseurs et des techniques de limitation de la perte de plasticité, la politique s'adapte rapidement en ligne à des changements imprévus touchant le robot lui-même, son environnement ou ses objectifs. Elle surpasse les méthodes batch on-policy classiques et améliore le taux de réussite des tâches jusqu'à 90% par rapport à la politique simplement pré-entraînée. Des évaluations complémentaires sur des tâches de manipulation robotique, menées sur une morphologie différente, montrent que ces gains se retrouvent partiellement, avec des limites de stabilité et de performance. Pour l'industrie robotique, ce travail apporte une première preuve empirique qu'un apprentissage en flux, sans réentraînement batch hors ligne massif, peut permettre à un robot déjà déployé de s'adapter à des situations non anticipées lors de la collecte de données initiale, un scénario courant pour les intégrateurs confrontés à des changements d'environnement, à l'usure matérielle ou à des objectifs de mission évolutifs. Cela remet en question l'hypothèse dominante du secteur selon laquelle la robustesse passe nécessairement par l'élargissement continu des jeux de données d'entraînement hors ligne, et suggère une voie alternative pour réduire le coût et la latence de mise à jour des politiques embarquées, un enjeu clé alors que les acteurs des humanoïdes et des robots mobiles autonomes cherchent à généraliser leurs modèles au-delà des scénarios démontrés en laboratoire. Le fait que les gains observés en locomotion quadrupède ne se transposent que partiellement à la manipulation souligne toutefois que la généralisation entre morphologies reste un problème ouvert, ce qui tempère tout enthousiasme prématuré côté commercialisation. Le papier s'inscrit dans un courant de recherche récent ayant démontré la faisabilité technique du deep RL en flux, où chaque mise à jour du réseau utilise uniquement la dernière expérience collectée plutôt qu'un lot de données rejouées, sans qu'aucun travail antérieur n'ait validé cette approche comme cadre viable d'apprentissage continu pour adapter des politiques robotiques à des changements non vus. Les auteurs positionnent explicitement leur contribution comme la première étude de ce type appliquée à la robotique, en s'appuyant sur une phase de pré-entraînement suivie d'une adaptation en ligne. L'étude se conclut par une discussion des limites, notamment les problèmes de stabilité observés en manipulation, et par des pistes pour les futurs systèmes de robot learning continu, sans annoncer de calendrier de déploiement ni de partenariat industriel.

RecherchePaper

1 source

2arXiv cs.RO

HARBOR : un cadre d'apprentissage par renforcement pour robots à base d'agents

Des chercheurs ont publié en juin 2026 sur arXiv (arXiv:2606.08610) HARBOR, un framework agentique conçu pour automatiser les pipelines d'apprentissage par renforcement (RL) appliqués à la robotique. Partant d'une spécification de tâche et d'une base de code simulateur, le système prend en charge l'ensemble du workflow : configuration de l'environnement, conception des fonctions de récompense, entraînement de la politique et tuning des hyperparamètres. HARBOR décompose ces objectifs de haut niveau en étapes bornées confiées à des agents spécialisés, coordonnés via des commandes standardisées, des artefacts persistants et des portes d'exécution vérifiables. Il scale l'itération par essais parallèles décentralisés et capitalise sur l'expérience accumulée entre les runs. Le framework a été évalué sur 6 benchmarks couvrant 16 tâches de manipulation, locomotion et contrôle bimanuel dextère. Les politiques entraînées en simulation ont ensuite été transférées sur de vrais robots. L'intérêt principal de HARBOR tient à ce qu'il attaque directement le principal frein à l'adoption du RL en robotique industrielle : la charge d'ingénierie experte requise pour chaque nouvelle tâche. Reward shaping, sélection d'algorithmes, tuning fin des hyperparamètres représentent aujourd'hui des semaines de travail spécialisé avant d'obtenir une politique viable. En automatisant ce cycle de bout en bout à un coût pratique en tokens et en temps de calcul, HARBOR abaisse concrètement la barrière d'entrée pour les intégrateurs et les équipes R&D industrielles. Le fait que les politiques se transfèrent au robot réel adresse le "sim-to-real gap", un verrou persistant du secteur. Les résultats publiés indiquent que le framework égale ou surpasse les configurations par défaut sur les benchmarks testés, bien que les conditions exactes d'évaluation méritent d'être examinées dans le papier complet avant d'en tirer des conclusions généralisées. HARBOR s'inscrit dans une tendance émergente qui consiste à utiliser des LLMs comme orchestrateurs de pipelines ML complexes, dans la lignée de travaux comme Eureka (NVIDIA, 2023), qui utilisait GPT-4 pour générer automatiquement des reward functions via evolutionary search, ou des approches AutoRL de Berkeley et Google DeepMind. HARBOR semble aller plus loin en couvrant l'intégralité du workflow plutôt que le seul reward design. Les auteurs ne sont pas identifiés dans l'abstract disponible, et aucune affiliation institutionnelle ni application industrielle spécifique n'est mentionnée : il s'agit d'un preprint de recherche, pas d'un produit commercialisé. Les prochaines étapes naturelles concerneront l'intégration avec des simulateurs standards (Isaac Sim, MuJoCo), des validations sur des plateformes humanoïdes complexes, et une éventuelle ouverture du code.

RecherchePaper

1 source

3arXiv cs.RO

Composition de compétences pour l'apprentissage par renforcement des robots à pattes

Un article de recherche publié sur arXiv (référence 2609.14647v1, soumission de type "new") intitulé "Skill Composition for Legged Robot Reinforcement Learning" pose un constat simple sur l'état de l'art en robotique humanoïde : les robots à pattes, et les humanoïdes en particulier, maîtrisent de mieux en mieux des comportements isolés, chacun obtenu par l'entraînement d'un contrôleur spécialisé par apprentissage par renforcement. Ces politiques spécialisées s'entraînent vite, convergent de façon fiable puisqu'elles ne traitent qu'un problème restreint, et peuvent être validées indépendamment les unes des autres, trois propriétés qu'une politique unique de bout en bout censée tout couvrir ne possède pas. Le point faible identifié par les auteurs n'est pas l'acquisition des compétences elles-mêmes, mais la transition entre elles : le passage de contrôle d'une politique à une autre reste fragile et mal maîtrisé. L'argument central du papier est que la composition de sous-politiques indépendantes mérite d'être traitée comme un problème de recherche à part entière, et non comme un détail d'implémentation confié au premier mécanisme disponible. Une composition fiable est ce qui transforme une collection de compétences isolées en un répertoire réellement exploitable, extensible et partageable, un enjeu direct pour les intégrateurs qui cherchent à assembler des bibliothèques de comportements réutilisables plutôt que de réentraîner un modèle monolithique à chaque nouvelle tâche. Plus fondamentalement, si le contrôle peut être transféré entre politiques spécialisées de façon sûre et à tout moment, le choix de l'action suivante peut être délégué à un composant de nature différente, comme un planificateur, un automate ou un contrôleur symbolique, dont le comportement est inspectable à l'avance. Les politiques n'auraient alors plus qu'à agir, tandis que ce que le robot est autorisé à faire deviendrait vérifiable, un argument qui va à contre-courant de la course actuelle aux politiques VLA de bout en bout, à l'image de Pi-0, GR00T N2 ou Helix, et qui remet en avant l'intérêt de l'architecture modulaire pour la certification et la sécurité en environnement industriel. Il s'agit d'un article de position et de méthode, sans résultats chiffrés, démonstration matérielle ni annonce de déploiement dans le résumé disponible : aucun robot, aucune entreprise ni aucun site de test n'y sont cités, ce qui le distingue nettement des communiqués produits du secteur. Il s'inscrit dans un débat plus large qui oppose, d'un côté, les laboratoires misant sur des politiques vision-langage-action entraînées de bout en bout pour couvrir un maximum de tâches avec un seul réseau, et de l'autre, une tradition de robotique plus classique fondée sur la planification hiérarchique et les automates symboliques. En proposant de faire de la composition de compétences un objet de recherche autonome, les auteurs ouvrent une voie intermédiaire entre ces deux approches, sans préciser dans l'abstract de calendrier, de prototype ou de partenariat industriel concret pour la suite des travaux.

RecherchePaper

1 source

4arXiv cs.RO

LineRides : apprentissage par renforcement guidé par trajectoire pour les cascades d'un robot vélo

Des chercheurs ont publié le 7 mai 2026 sur arXiv (identifiant 2605.05110) un cadre d'apprentissage par renforcement baptisé LineRides, conçu pour permettre à un robot-vélo custom baptisé Ultra Mobility Vehicle (UMV) d'exécuter des cascades acrobatiques commandables sans recours à des démonstrations humaines ni à des séquences de référence prédéfinies. LineRides s'appuie sur une ligne spatiale fournie par l'utilisateur, complétée par de rares orientations-clés positionnelles ou séquentielles : le système apprend seul à réaliser cinq manœuvres distinctes sur commande, à savoir le MiniHop (petit saut), le LargeHop (grand saut), le ThreePointTurn (demi-tour en trois points), le Backflip (saut arrière complet) et le DriftTurn (virage en dérapage). Pour gérer les guides spatialement infaisables, c'est-à-dire les lignes que le robot ne peut pas suivre à la lettre, le cadre introduit un "tracking margin", une tolérance de déviation contrôlée qui évite l'échec de la politique sans relâcher l'objectif global. La progression le long de la ligne est mesurée en distance parcourue plutôt qu'en temps, ce qui résout l'ambiguïté temporelle inhérente aux trajectoires acrobatiques complexes. L'apport principal est méthodologique : LineRides supprime la dépendance aux motion captures et aux trajectoires de référence, deux obstacles majeurs pour les plateformes non-standard ou pour les manœuvres extrêmes pour lesquelles aucune démonstration préalable n'existe. Pour les laboratoires travaillant sur la robotique agile et les concepteurs de véhicules à équilibre dynamique (monoroues, bicycles, exosquelettes), cette approche ouvre la voie à l'apprentissage de comportements complexes sur des engins dont la dynamique est difficile à capturer en MoCap. La transition fluide démontrée entre conduite normale et exécution de cascade sur l'UMV suggère une politique suffisamment robuste pour une intégration dans un système de contrôle réel. Il convient toutefois de noter que les performances en conditions non contrôlées, hors environnement de laboratoire, restent à valider de manière indépendante. LineRides s'inscrit dans un courant de travaux sur l'apprentissage par renforcement pour la locomotion agile, aux côtés de méthodes comme AMP (Adversarial Motion Priors) ou CALM, qui s'appuient sur des données de référence pour guider l'exploration. L'abandon explicite de ces références au profit de contraintes géométriques légères constitue le marqueur distinctif de l'approche. L'UMV reste une plateforme custom dont les caractéristiques exactes (masse, empattement, actionneurs) ne sont pas détaillées dans l'article, ce qui limite la comparaison directe avec d'autres travaux sur les robots à deux roues. Dans l'écosystème de la robotique agile, ETH Zurich, Stanford et le MIT progressent sur des plateformes quadrupèdes et aériennes, mais le champ des robots bicycles dynamiquement équilibrés reste peu peuplé, ce qui place LineRides en position de précurseur. Les étapes suivantes naturelles incluent une validation sur terrain non structuré, une extension à d'autres plateformes sous-actionnées, et une comparaison quantitative avec les méthodes de l'état de l'art.

RecherchePaper

1 source