RecherchearXiv cs.RO 17 août 2026

AgilePE : poursuite-évasion de drones autonomes par apprentissage par renforcement en auto-jeu

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un preprint publié en août 2026 sur arXiv (2608.14135) présente AgilePE, un système complet de poursuite-évasion autonome entre drones fondé sur l'apprentissage par renforcement en auto-jeu. La politique convertit directement les observations d'état embarquées en commandes de poussée collective et de vitesses angulaires du corps (CTBR), sans planificateur de trajectoire intermédiaire ni contrôleur de points de passage. L'entraînement combine auto-jeu compétitif via Prioritized Fictitious Self-Play (PFSP) et un pool d'adversaires diversifié pour stabiliser l'apprentissage face aux versions historiques de la politique. Le transfert vers le réel repose sur un pipeline de simulation modélisant la dynamique des actionneurs, la latence de communication et une randomisation de domaine, permettant un transfert zero-shot sur de vrais quadricoptères sans réglage spécifique ; les essais réels reproduisent esquives rapides et manoeuvres de flanquement observées en simulation, jusqu'à une démonstration interactive à deux agents en temps réel.

Ce résultat s'attaque à une limite connue des approches classiques, règles fixes ou théorie des jeux différentiels, qui peinent face à des interactions aériennes complexes et rapides. AgilePE montre que l'auto-jeu compétitif peut faire émerger des stratégies tactiques sans les coder à la main, et que le transfert simulation-vers-réel peut réussir en zero-shot pour des manoeuvres très dynamiques dès lors que le matériel réel, actionneurs et latence compris, est fidèlement modélisé en amont. Pour les intégrateurs de robotique aérienne, c'est un argument en faveur des politiques de contrôle bout-en-bout face aux piles classiques de planification puis suivi de trajectoire, et un cas d'usage pertinent pour la détection et la neutralisation de drones, où la poursuite-évasion est un scénario directement opérationnel.

La poursuite-évasion aérienne prolonge une tradition de recherche en théorie des jeux différentiels remontant à Rufus Isaacs, longtemps limitée à des dynamiques simplifiées et de faible dimension. AgilePE reprend des techniques d'auto-jeu popularisées par les systèmes de jeu de stratégie, dont PFSP, déjà utilisé dans d'autres environnements multi-agents compétitifs, et les applique au contrôle de vol agile en boucle fermée. Le résumé ne cite aucune institution ni entreprise, et le travail reste au stade de la recherche : les démonstrations portent sur des quadricoptères réels en conditions de laboratoire, pas sur un produit ou un déploiement commercial. Aucun calendrier de suite n'est précisé, mais l'approche s'inscrit dans une tendance plus large vers des contrôles de vol agile appris de bout en bout, en concurrence avec les méthodes de planification classique utilisées pour le vol de course ou l'évitement d'obstacles.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

SRL : modèle SLIP et apprentissage par renforcement pour des sauts robotiques agiles

Des chercheurs ont publié en juin 2026 sur arXiv (arXiv:2606.18625) un framework hybride baptisé SRL (Spring-loaded Reinforcement Learning), conçu pour améliorer la capacité de saut des robots mobiles sur terrains variés. L'approche fusionne les signaux de contrôle feedforward issus du modèle SLIP (Spring-Loaded Inverted Pendulum, pendule à masse-ressort inversé) avec une boucle de rétroaction en temps réel pilotée par apprentissage par renforcement. Les résultats expérimentaux, obtenus en simulation sur robots bipèdes et quadrupèdes, font état d'une erreur de suivi de position inférieure à 0,1 m et d'une erreur de suivi de vitesse contenue dans un intervalle de ±3 % par rapport aux valeurs cibles. Les auteurs annoncent également une réduction significative du temps d'entraînement par rapport à la méthode RL pure utilisée comme baseline. Des validations sim-to-sim et sim-to-real sont présentées sur des scénarios de saut au sol et en escalier. L'intérêt industriel du saut robotique est réel dans les domaines de la logistique entrepôt et de la recherche et sauvetage, où franchir des obstacles sans infrastructure dédiée représente un avantage opérationnel concret. Le verrou que SRL cherche à lever est connu : le modèle SLIP fournit une dynamique physiquement cohérente mais se dégrade sur terrain irrégulier, faute de modéliser correctement les contacts et la compliance articulaire ; l'RL seul compense cette limitation mais au prix d'une exploration non guidée et coûteuse en données. La combinaison des deux réduit ce coût d'exploration tout en conservant la robustesse adaptative. Il convient toutefois de noter que l'article est une prépublication non encore évaluée par les pairs, et que les métriques de performance sont issues de simulations, la validation sim-to-real reposant sur des environnements de test dont l'amplitude n'est pas précisée dans le résumé. Le modèle SLIP est un outil analytique classique en biomécanique locomotrice, largement exploité depuis les travaux de Raibert des années 1980 pour modéliser la course et le saut des mammifères. Côté concurrents, Boston Dynamics (Spot, Atlas), Unitree Robotics (Go2, H1) et Agility Robotics (Digit) développent des capacités de franchissement d'obstacles, mais leurs approches combinent généralement MPC (Model Predictive Control) et apprentissage sans revendiquer explicitement l'intégration SLIP-RL. SRL se positionne donc sur un créneau de recherche fondamentale qui devra encore démontrer sa transposabilité à des plateformes hardware commerciales avant d'intéresser des intégrateurs industriels.

RecherchePaper

1 source

2arXiv cs.RO

Interceptor une cible agile avec des drones porteurs de filet par apprentissage par renforcement multi-agent compétitif

Une équipe de chercheurs a développé une méthode pour intercepter un drone agile évasif à l'aide de plusieurs drones poursuivants équipés de filets de capture, en formulant le problème comme une tâche d'apprentissage par renforcement multi-agents compétitif (MARL). Les chercheurs entraînent simultanément les poursuivants et le drone évadé grâce à l'algorithme MAPPO (Multi-Agent Proximal Policy Optimization) combiné à une technique de "self-play fictif priorisé" (PFSP), conçue pour éviter que les agents ne s'adaptent excessivement à une seule stratégie adverse et n'oublient les tactiques précédentes. L'entraînement se déroule dans un simulateur haute fidélité utilisant des commandes de contrôle bas niveau, poussée collective et vitesses angulaires du corps (CTBR), permettant des vols agiles réalistes pour tous les drones impliqués. Les politiques obtenues sont comparées à des stratégies heuristiques de référence sur trois critères: taux de capture, temps nécessaire pour intercepter la cible, et taux de collision, avec des résultats supérieurs aux méthodes classiques. Ce travail illustre un progrès notable pour les systèmes de défense anti-drone et les applications de sécurité aérienne, où intercepter physiquement un engin volant agile sans arme létale reste un défi technique majeur. Les études d'ablation menées par les auteurs montrent que le PFSP produit des politiques plus robustes, capables de s'adapter à des stratégies d'évasion variées, et que l'usage de commandes bas niveau (plutôt que des commandes de haut niveau simplifiées) est déterminant pour obtenir des comportements de vol réellement performants. Fait notable, l'analyse qualitative des comportements appris révèle l'émergence spontanée de tactiques coopératives entre les drones poursuivants, sans que cette coordination ait été explicitement programmée. Cette recherche s'inscrit dans la lignée des travaux sur les jeux de poursuite-évasion multi-agents et le self-play compétitif, technique popularisée par des systèmes comme AlphaStar ou OpenAI Five pour contourner l'instabilité de l'entraînement face à un adversaire en constante évolution. Elle ouvre la voie à des essais en conditions réelles pour valider le transfert simulation-vers-réel de ces stratégies de capture collaborative.

RecherchePaper

1 source

3arXiv cs.RO

Bicyclette Acrobatique : l'Apprentissage par Renforcement en Action

Des chercheurs ont entraîné par apprentissage par renforcement (RL) un robot en forme de vélo, l'Ultra Mobility Vehicle (UMV), une plateforme bicyclette construite sur mesure, à exécuter tout un répertoire de figures acrobatiques dynamiques. Décrite dans la prépublication arXiv:2608.00880v1, l'équipe combine plusieurs formulations de RL (suivi de points de passage, atteinte de pose, suivi de vitesse angulaire, suivi guidé et imitation de mouvement) pour apprendre au robot à sauter en avant et sur le côté, en solo ou par-dessus plusieurs tables, à orienter ses sauts, à enchaîner front flips, kip-ups et kip-downs, ainsi qu'à rouler, faire des wheelies, des bunny hops et des demi-tours en trois points. Un orchestrateur gère les transitions entre ces politiques grâce à des déclencheurs conditionnés à l'état du robot, ce qui permet d'enchaîner des séquences longues sans intervention humaine. En simulation comme sur le matériel réel, l'UMV franchit répétitivement des tables allant jusqu'à 1 mètre de haut, réalise plus de 15 sauts autonomes consécutifs en suivant des points de passage, s'adapte à des configurations de tables inédites, enchaîne kip-ups, sauts, flips et kip-downs sur plus de 20 essais consécutifs, et exécute plus de 10 répertoires consécutifs de wheelies, sauts latéraux et descentes sur une roue en configuration orientable. Ce résultat déplace une frontière jusqu'ici associée presque exclusivement aux robots à pattes : la capacité à composer des figures acrobatiques complexes et robustes dans la durée. Un robot à roues, sous-actionné et soumis à des contraintes non-holonomes réputées difficiles à contrôler, atteint ici un niveau d'agilité comparable tout en conservant la vitesse et l'efficacité énergétique propres à la locomotion à roues. Pour les équipes de recherche en robotique mobile, cela confirme que le RL peut s'étendre à des morphologies non conventionnelles au-delà des humanoïdes et quadrupèdes, avec un intérêt potentiel pour la logistique ou les usages tout-terrain rapides. Le travail s'inscrit dans la lignée des démonstrations d'agilité par RL popularisées par les robots à pattes (Boston Dynamics, Unitree), mais l'applique à une plateforme bicyclette peu explorée jusqu'ici en raison de sa dynamique d'équilibre complexe. Il s'agit pour l'instant d'une publication de recherche, pas d'un produit commercialisé : les auteurs présentent ces résultats comme une base pour de futurs travaux sur l'acrobatie à vélo, sans calendrier de déploiement industriel annoncé.

RecherchePaper

1 source

4arXiv cs.RO

RDGen : génération de démonstrations pour l'apprentissage robotique par renforcement

Une équipe de chercheurs a publié le 30 mai 2026 sur arXiv (référence 2605.30957) un framework appelé RDGen, pour "Reinforcement Learning Demonstration Generation", destiné à automatiser la collecte de données d'entraînement pour les modèles Vision-Language-Action (VLA). Le système combine trois composants : un module d'analyse de tâches basé sur un modèle de langage visuel (VLM), un localisateur d'objets fondé sur Grounding DINO, et une politique de contrôle entraînée par apprentissage par renforcement (RL) en simulation puis transférée sur un robot réel. Testé sur une tâche de saisie et de dépose, RDGen atteint un taux de succès élevé après transfert sim-to-real, sans que les auteurs ne publient de chiffre précis dans le résumé disponible. Les trajectoires générées sont ensuite réutilisées directement comme données d'entraînement pour affiner des politiques VLA en aval. L'enjeu central est celui du goulot d'étranglement dans la chaîne d'entraînement des robots généralistes : la télé-opération humaine, méthode dominante pour collecter des démonstrations, est lente, coûteuse, et produit des trajectoires variables selon l'opérateur. RDGen propose de substituer cet effort humain par une politique RL, qui génère des trajectoires mécaniquement cohérentes et reproductibles, plus lisses selon les auteurs que ce que produit un opérateur humain, et avec un coût marginal quasi nul en simulation. Cela renforce l'hypothèse que le problème sim-to-real pour des tâches de manipulation simples est largement résolu, et déplace la question vers la scalabilité de la diversité des tâches plutôt que la qualité individuelle des démos. RDGen s'inscrit dans un débat actif sur la meilleure façon d'alimenter les VLA, dont les architectures de référence actuelles incluent pi0 (Physical Intelligence), OpenVLA et les travaux de RT-2/RT-X chez Google DeepMind. La collecte de données reste le principal frein industriel à leur déploiement, ce que tentent aussi d'adresser des approches concurrentes comme la génération vidéo synthétique (ex. travaux UniSim, Genie) ou l'augmentation par world models. La contribution de RDGen est plus modeste et ciblée : un pipeline sim-to-real structuré pour des tâches de manipulation définies, avec réutilisation des rollouts réussis. Il s'agit d'un preprint non encore peer-reviewed ; les expériences restent limitées à pick-and-place, et l'absence de métriques quantitatives précises dans le résumé invite à attendre la version complète avant d'en tirer des conclusions générales sur la scalabilité.

RechercheOpinion

1 source