Aller au contenu principal
AgilePE : poursuite-évasion de drones autonomes par apprentissage par renforcement en auto-jeuIllustration générée par IA
RecherchearXiv cs.RO 

AgilePE : poursuite-évasion de drones autonomes par apprentissage par renforcement en auto-jeu

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Un preprint publié en août 2026 sur arXiv (2608.14135) présente AgilePE, un système complet de poursuite-évasion autonome entre drones fondé sur l'apprentissage par renforcement en auto-jeu. La politique convertit directement les observations d'état embarquées en commandes de poussée collective et de vitesses angulaires du corps (CTBR), sans planificateur de trajectoire intermédiaire ni contrôleur de points de passage. L'entraînement combine auto-jeu compétitif via Prioritized Fictitious Self-Play (PFSP) et un pool d'adversaires diversifié pour stabiliser l'apprentissage face aux versions historiques de la politique. Le transfert vers le réel repose sur un pipeline de simulation modélisant la dynamique des actionneurs, la latence de communication et une randomisation de domaine, permettant un transfert zero-shot sur de vrais quadricoptères sans réglage spécifique ; les essais réels reproduisent esquives rapides et manoeuvres de flanquement observées en simulation, jusqu'à une démonstration interactive à deux agents en temps réel.

Ce résultat s'attaque à une limite connue des approches classiques, règles fixes ou théorie des jeux différentiels, qui peinent face à des interactions aériennes complexes et rapides. AgilePE montre que l'auto-jeu compétitif peut faire émerger des stratégies tactiques sans les coder à la main, et que le transfert simulation-vers-réel peut réussir en zero-shot pour des manoeuvres très dynamiques dès lors que le matériel réel, actionneurs et latence compris, est fidèlement modélisé en amont. Pour les intégrateurs de robotique aérienne, c'est un argument en faveur des politiques de contrôle bout-en-bout face aux piles classiques de planification puis suivi de trajectoire, et un cas d'usage pertinent pour la détection et la neutralisation de drones, où la poursuite-évasion est un scénario directement opérationnel.

La poursuite-évasion aérienne prolonge une tradition de recherche en théorie des jeux différentiels remontant à Rufus Isaacs, longtemps limitée à des dynamiques simplifiées et de faible dimension. AgilePE reprend des techniques d'auto-jeu popularisées par les systèmes de jeu de stratégie, dont PFSP, déjà utilisé dans d'autres environnements multi-agents compétitifs, et les applique au contrôle de vol agile en boucle fermée. Le résumé ne cite aucune institution ni entreprise, et le travail reste au stade de la recherche : les démonstrations portent sur des quadricoptères réels en conditions de laboratoire, pas sur un produit ou un déploiement commercial. Aucun calendrier de suite n'est précisé, mais l'approche s'inscrit dans une tendance plus large vers des contrôles de vol agile appris de bout en bout, en concurrence avec les méthodes de planification classique utilisées pour le vol de course ou l'évitement d'obstacles.

Dans nos dossiers

À lire aussi

SRL : modèle SLIP et apprentissage par renforcement pour des sauts robotiques agiles
Illustration générée par IA
1arXiv cs.RO 

SRL : modèle SLIP et apprentissage par renforcement pour des sauts robotiques agiles

Des chercheurs ont publié en juin 2026 sur arXiv (arXiv:2606.18625) un framework hybride baptisé SRL (Spring-loaded Reinforcement Learning), conçu pour améliorer la capacité de saut des robots mobiles sur terrains variés. L'approche fusionne les signaux de contrôle feedforward issus du modèle SLIP (Spring-Loaded Inverted Pendulum, pendule à masse-ressort inversé) avec une boucle de rétroaction en temps réel pilotée par apprentissage par renforcement. Les résultats expérimentaux, obtenus en simulation sur robots bipèdes et quadrupèdes, font état d'une erreur de suivi de position inférieure à 0,1 m et d'une erreur de suivi de vitesse contenue dans un intervalle de ±3 % par rapport aux valeurs cibles. Les auteurs annoncent également une réduction significative du temps d'entraînement par rapport à la méthode RL pure utilisée comme baseline. Des validations sim-to-sim et sim-to-real sont présentées sur des scénarios de saut au sol et en escalier. L'intérêt industriel du saut robotique est réel dans les domaines de la logistique entrepôt et de la recherche et sauvetage, où franchir des obstacles sans infrastructure dédiée représente un avantage opérationnel concret. Le verrou que SRL cherche à lever est connu : le modèle SLIP fournit une dynamique physiquement cohérente mais se dégrade sur terrain irrégulier, faute de modéliser correctement les contacts et la compliance articulaire ; l'RL seul compense cette limitation mais au prix d'une exploration non guidée et coûteuse en données. La combinaison des deux réduit ce coût d'exploration tout en conservant la robustesse adaptative. Il convient toutefois de noter que l'article est une prépublication non encore évaluée par les pairs, et que les métriques de performance sont issues de simulations, la validation sim-to-real reposant sur des environnements de test dont l'amplitude n'est pas précisée dans le résumé. Le modèle SLIP est un outil analytique classique en biomécanique locomotrice, largement exploité depuis les travaux de Raibert des années 1980 pour modéliser la course et le saut des mammifères. Côté concurrents, Boston Dynamics (Spot, Atlas), Unitree Robotics (Go2, H1) et Agility Robotics (Digit) développent des capacités de franchissement d'obstacles, mais leurs approches combinent généralement MPC (Model Predictive Control) et apprentissage sans revendiquer explicitement l'intégration SLIP-RL. SRL se positionne donc sur un créneau de recherche fondamentale qui devra encore démontrer sa transposabilité à des plateformes hardware commerciales avant d'intéresser des intégrateurs industriels.

RecherchePaper
1 source
Simulation de trames d'événements sans rendu pour accélérer l'apprentissage par renforcement de la navigation de robots autonomes
Illustration générée par IA
2arXiv cs.RO 

Simulation de trames d'événements sans rendu pour accélérer l'apprentissage par renforcement de la navigation de robots autonomes

Des chercheurs de l'Université de technologie de Delft (TU Delft) publient sur arXiv un simulateur analytique de caméra événementielle qui produit des observations sans aucun rendu visuel, et l'utilisent pour entraîner par apprentissage par renforcement un pilote de navigation autonome pour nano-drone. Le simulateur génère directement les flux d'événements à partir de la géométrie de la scène et du mouvement propre du robot, en exploitant ce que mesure réellement ce type de capteur : les arêtes de contraste en mouvement. Une observation d'événements de 64x64 pixels est produite en 17 microsecondes sur un seul GPU, soit plus de 400 fois plus vite qu'une chaîne de rendu de référence. L'entraînement pour l'évitement d'obstacles vers un but converge en moins de 30 minutes, trois ordres de grandeur de moins qu'avec des événements rendus. En simulation, la politique atteint 83 % de réussite sur des parcours encombrés inédits (difficulté intermédiaire, probabilité de traversabilité d'environ 0,57) à 2,4 m/s de vitesse moyenne vers le but, et 70 % dans un hall intérieur riche en textures. Elle se transfère sans réglage vers des simulations physiquement réalistes par lancer de rayons (Isaac Sim). Le réseau a ensuite été quantifié en int8 (1,2 Mo) et exécuté entièrement à bord d'un Crazyflie de 56 grammes, équipé d'une caméra événementielle Prophesee GenX320 et d'une carte microcontrôleur OpenMV N6. Sans réglage fin, traitement externe ni système de positionnement, il réussit 82 % des vols sur trois parcours réels de difficulté croissante (5/5, 5/6 et 4/6). Ces chiffres reposent sur très peu d'essais, soit 17 vols au total, et sur des parcours dont les caractéristiques restent propres au laboratoire. L'intérêt tient à un goulot bien connu : les caméras événementielles, à faible latence, grande plage dynamique et consommation de l'ordre du milliwatt, conviennent aux petits robots agiles, mais les simulateurs existants génèrent des images photoréalistes avant de les convertir en événements, ce qui rend l'apprentissage par renforcement à grande échelle trop lent. Passer à des itérations de quelques minutes change la boucle de développement et suggère que la fidélité photoréaliste n'est pas toujours nécessaire pour un transfert sim-to-real réussi, dès lors que la physique du capteur est bien modélisée. Le fait que toute la pile tienne sur un microcontrôleur avec un modèle de 1,2 Mo est aussi un signal pour les intégrateurs de drones miniatures à budget énergétique et massique très contraint, notamment en inspection d'espaces confinés ou en logistique intérieure. La limite reste la simplicité de la scène géométrique modélisée et l'absence de validation en environnements très texturés ou dynamiques. Le travail s'inscrit dans la lignée des recherches de TU Delft sur le vol autonome embarqué à très faible puissance et sur la vision neuromorphique, avec Crazyflie comme plateforme habituelle. Il prolonge les simulateurs d'événements fondés sur le rendu, et le code est publié en open source sur GitHub (tudelft/rendering-free-évent-nav). Il s'agit d'un résultat de recherche, sans produit ni pilote commercial annoncé. Les prochaines étapes naturelles seraient des environnements plus riches, des vitesses plus élevées et des essais plus nombreux pour consolider les taux de réussite.

UERésultat d'une université européenne (TU Delft, Pays-Bas) avec code ouvert, exploitable par les intégrateurs et laboratoires de drones miniatures de l'UE, sans impact réglementaire direct sur la France.

RecherchePaper
1 source
Apprentissage par renforcement sim-vers-réel pour véhicules de surface autonomes avec identification de système
Illustration générée par IA
3arXiv cs.RO 

Apprentissage par renforcement sim-vers-réel pour véhicules de surface autonomes avec identification de système

Des chercheurs proposent un simulateur et une chaîne d'entraînement destinés aux navires de surface autonomes (ASV), publiés sur arXiv (2610.12202). Le travail vise à entraîner par apprentissage par renforcement (RL) des politiques de contrôle pour le suivi de trajectoire et le maintien de position (station keeping), en partant d'une dynamique de véhicule inconnue. La méthode n'exige qu'un modèle CAD et un court jeu de trajectoires relevées en eau libre. Ces données servent à approximer puis à affiner les paramètres hydrodynamiques et ceux des propulseurs, par identification de système (SysID). Les auteurs rapportent un transfert zéro-shot du simulateur vers le réel sur un ASV BlueBoat, sur les deux tâches, sans connaissance préalable de l'hydrodynamique ni des hélices. L'abstract ne donne ni taux de réussite, ni erreurs de suivi, ni durée des essais, ni nombre de trajectoires nécessaires à l'identification. L'intérêt tient à la barrière que ce travail cherche à lever. Les simulateurs d'ASV existants gèrent rarement les environnements parallèles, indispensables pour entraîner des politiques RL à grande échelle. Ils réclament aussi des paramètres hydrodynamiques précis, issus de solveurs de mécanique des fluides numérique (CFD) ou d'essais en bassin de traction, deux étapes coûteuses et longues. Si le résultat se confirme, un intégrateur pourrait déployer un contrôleur appris sur une coque nouvelle ou modifiée après quelques sorties en mer, sans campagne de caractérisation. Cela renforcerait l'idée que le sim-to-real passe par une identification légère plutôt que par une modélisation exacte. Les réserves sont nettes: la validation semble porter sur une seule plateforme, la BlueBoat, petite et de recherche, et l'abstract ne mentionne aucun test sous vent, vagues ou courants marqués. Ces conditions sont pourtant le cœur des « environnements marins dynamiques » invoqués. Sans métriques chiffrées ni comparaison annoncée avec un contrôleur classique de type PID, l'avantage du RL reste à démontrer. Ce travail s'inscrit dans la tendance du RL massivement parallèle, popularisée en robotique terrestre par des simulateurs GPU, qui a peu atteint le domaine maritime faute d'outils adaptés. La BlueBoat, plateforme compacte de Blue Robotics, est répandue dans la recherche et l'inspection, ce qui facilite la reproduction. L'approche rejoint les travaux de calibration de simulateurs à partir de données réelles, déjà courants pour les drones et les robots à pattes. La suite logique serait un test sur des coques plus grandes, en conditions de mer difficiles, et une publication du code ou du simulateur. L'abstract n'annonce ni pilote industriel ni calendrier. Il s'agit donc d'un résultat de recherche et non d'un produit disponible.

RecherchePaper
1 source
Composition de compétences pour l'apprentissage par renforcement des robots à pattes
Illustration générée par IA
4arXiv cs.RO 

Composition de compétences pour l'apprentissage par renforcement des robots à pattes

Un article de recherche publié sur arXiv (référence 2609.14647v1, soumission de type "new") intitulé "Skill Composition for Legged Robot Reinforcement Learning" pose un constat simple sur l'état de l'art en robotique humanoïde : les robots à pattes, et les humanoïdes en particulier, maîtrisent de mieux en mieux des comportements isolés, chacun obtenu par l'entraînement d'un contrôleur spécialisé par apprentissage par renforcement. Ces politiques spécialisées s'entraînent vite, convergent de façon fiable puisqu'elles ne traitent qu'un problème restreint, et peuvent être validées indépendamment les unes des autres, trois propriétés qu'une politique unique de bout en bout censée tout couvrir ne possède pas. Le point faible identifié par les auteurs n'est pas l'acquisition des compétences elles-mêmes, mais la transition entre elles : le passage de contrôle d'une politique à une autre reste fragile et mal maîtrisé. L'argument central du papier est que la composition de sous-politiques indépendantes mérite d'être traitée comme un problème de recherche à part entière, et non comme un détail d'implémentation confié au premier mécanisme disponible. Une composition fiable est ce qui transforme une collection de compétences isolées en un répertoire réellement exploitable, extensible et partageable, un enjeu direct pour les intégrateurs qui cherchent à assembler des bibliothèques de comportements réutilisables plutôt que de réentraîner un modèle monolithique à chaque nouvelle tâche. Plus fondamentalement, si le contrôle peut être transféré entre politiques spécialisées de façon sûre et à tout moment, le choix de l'action suivante peut être délégué à un composant de nature différente, comme un planificateur, un automate ou un contrôleur symbolique, dont le comportement est inspectable à l'avance. Les politiques n'auraient alors plus qu'à agir, tandis que ce que le robot est autorisé à faire deviendrait vérifiable, un argument qui va à contre-courant de la course actuelle aux politiques VLA de bout en bout, à l'image de Pi-0, GR00T N2 ou Helix, et qui remet en avant l'intérêt de l'architecture modulaire pour la certification et la sécurité en environnement industriel. Il s'agit d'un article de position et de méthode, sans résultats chiffrés, démonstration matérielle ni annonce de déploiement dans le résumé disponible : aucun robot, aucune entreprise ni aucun site de test n'y sont cités, ce qui le distingue nettement des communiqués produits du secteur. Il s'inscrit dans un débat plus large qui oppose, d'un côté, les laboratoires misant sur des politiques vision-langage-action entraînées de bout en bout pour couvrir un maximum de tâches avec un seul réseau, et de l'autre, une tradition de robotique plus classique fondée sur la planification hiérarchique et les automates symboliques. En proposant de faire de la composition de compétences un objet de recherche autonome, les auteurs ouvrent une voie intermédiaire entre ces deux approches, sans préciser dans l'abstract de calendrier, de prototype ou de partenariat industriel concret pour la suite des travaux.

RecherchePaper
1 source