OmniRisk : apprentissage omnidirectionnel du…

1arXiv cs.RO

Apprentissage d'un contrôle de bout en bout pour le vol omnidirectionnel de quadrirotors à rotors inclinables suractionnés

La communauté robotique aérienne franchit une étape avec un article publié sur arXiv (référence 2602.21583, version 2), qui propose un cadre d'apprentissage par renforcement (RL) de bout en bout pour le contrôle omnidirectionnel de quadrirotors surdimensionnés à rotors orientables. Ces plateformes combinent une actionnement hybride, rotors sans balais et articulations rotatives, ce qui leur confère plus de degrés de liberté qu'un quadrirotor classique mais complique fortement le transfert simulation-réel. Le système associe une simulation au niveau actionneur à une architecture acteur-critique asymétrique pour atteindre des poses cibles en 6D, en transformant directement une pose visée en commandes de rotors et d'articulations. Pour fiabiliser le passage du simulateur au matériel réel, les chercheurs combinent identification du système et randomisation de domaine limitée mais physiquement ancrée. La politique entraînée est déployée en zero-shot sur un drone physique et testée en vol stationnaire par points de passage, sous perturbations externes, avec charge utile variable et en suivi de trajectoire, complétée par des essais simulés de configurations singulières d'allocation. Comparée à une base de référence NMPC (commande prédictive non linéaire), état de l'art pour ce type d'actionnement couplé, la politique RL n'égale pas sa précision de position en régime stationnaire, mais affiche une erreur d'orientation plus homogène, des transitions de pose plus rapides et une charge de calcul embarquée réduite. Pour les intégrateurs et ingénieurs du secteur, ce résultat répond à une question ouverte: le RL au niveau actionneur, déjà validé sur des quadrirotors conventionnels pour un vol agile et robuste, peut aussi fonctionner sur des architectures à rotors orientables plus complexes, réputées plus difficiles à transférer du simulateur au réel. Le compromis observé, moins de précision statique contre moins de calcul embarqué et plus de réactivité, ouvre des pistes concrètes pour des drones à bas coût de calcul destinés à l'inspection ou à la manipulation aérienne. Le travail s'inscrit dans la continuité des succès du RL sur les quadrirotors standards, où cette approche a déjà démontré sa robustesse face aux méthodes classiques de contrôle. La question du RL sur les rotors orientables restait ouverte en raison du couplage hybride rotors-articulations, jugé plus délicat à modéliser fidèlement en simulation. Cette version 2 de l'article, republiée après une première soumission, suggère un travail de consolidation méthodologique. Les auteurs positionnent explicitement leur approche face au NMPC plutôt que de la présenter comme son remplacement, et les essais de configurations singulières restant cantonnés à la simulation laissent entrevoir une validation matérielle future comme prochaine étape logique.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage du vol visuomoteur d'un quadrirotor à travers des ouvertures étroites dynamiques par simulation différentiable

Des chercheurs publient sur arXiv (identifiant 2610.37557) une méthode permettant à un quadrirotor de traverser une ouverture étroite en mouvement, en s'appuyant uniquement sur ses capteurs embarqués. La politique de contrôle prend en entrée des mesures visuelles et inertielles et produit directement une poussée collective et des vitesses angulaires (body rates). Elle est entraînée en une seule étape, depuis une initialisation aléatoire, sans enseignant, sans planificateur ni distillation. L'approche repose sur une formulation différentiable de la fente mobile : les termes de centrage, d'alignement et de collision lissée sont pondérés par la distance signée au plan variable de l'ouverture. Un événement de franchissement rare devient ainsi un objectif dense, dérivable le long de la trajectoire. En simulation, les gradients « pathwise » atteignent 99,3 % de réussite après quelques minutes d'entraînement sur un seul GPU, et surpassent nettement les gradients de type score-function sur cette tâche de précision. En conditions réelles, la politique est transférée sans réglage supplémentaire sur un vrai quadrirotor, qui franchit l'ouverture dynamique depuis diverses conditions initiales avec 80 % de réussite sur 10 essais. Ce travail compte parce que la tâche laisse très peu de marge : il faut un alignement de l'ordre du centimètre et un timing précis, et la moindre erreur de position, d'attitude ou de visibilité provoque une collision. Les approches antérieures s'appuient sur l'état privilégié (position exacte de l'ouverture), sur des enseignants, des planificateurs ou de la distillation. Une politique apprise directement en pixels-vers-commandes, sans cet échafaudage, simplifie la chaîne d'entraînement et ouvre la voie à des systèmes plus légers à développer. La vitesse d'apprentissage, de l'ordre de quelques minutes sur un GPU, est aussi un argument pour les équipes qui itèrent sur du matériel. Il faut toutefois relativiser : 10 essais réels ne donnent qu'un intervalle de confiance très large, et l'écart entre 99,3 % en simulation et 80 % sur le terrain montre qu'un résidu de sim-to-real subsiste. L'article ne précise pas la vitesse de l'ouverture, ni la variété des scènes testées. Ce résultat s'inscrit dans la lignée des travaux de vol agile des laboratoires comme celui de Davide Scaramuzza (Zurich), qui avait montré le franchissement de fentes avec planification et état privilégié, puis des politiques apprises par renforcement et distillées depuis un expert. L'apprentissage par simulation différentiable, qui exploite la dérivabilité du modèle physique plutôt que des estimateurs de gradient à forte variance, gagne du terrain en robotique. La suite logique serait de tester des ouvertures plus rapides, des environnements moins contrôlés et des campagnes d'essais plus larges. Il s'agit ici d'une publication préliminaire (v1), non évaluée par les pairs, et aucun déploiement industriel n'est annoncé.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage du contrôle direct à partir de l'optimisation pour le suivi de cibles dynamiques

LECO, un cadre d'apprentissage décrit dans un preprint arXiv (2610.34929v1), vise le suivi dynamique de cible par un robot mobile: garder la cible visible tout en évitant les obstacles, avec des commandes lisses et réalisables. Plutôt que de prédire des waypoints à faire suivre par un contrôleur, le réseau prédit directement des séquences de commandes. Celles-ci sont converties en trajectoires par un modèle cinématique différentiable, ce qui permet d'appliquer les objectifs de l'optimisation de trajectoire (visibilité, évitement, régularité) comme fonction de perte. Un curriculum à guidage expert décroissant initialise le comportement de suivi, puis déplace progressivement l'apprentissage vers ces objectifs. Au déploiement, un « verrou de sécurité prédictif » vérifie la distance aux obstacles sur un horizon court et bascule sur un planificateur et un contrôleur classiques si le mouvement prédit est dangereux ou si la prédiction de cible est invalide. Dans trois densités d'obstacles simulées, LECO réduit le jerk linéaire RMS de 14,1 à 31,2 % par rapport au meilleur concurrent sur cette métrique, atteint le meilleur taux de succès de suivi, et calcule en 4,25 à 5,63 ms par cycle. Des essais sur deux plateformes robotiques couvrent des passages étroits en intérieur et des forêts en extérieur. L'intérêt tient à l'arbitrage visé entre deux familles. L'optimisation de trajectoire en ligne encode bien les contraintes mais exige une résolution numérique à chaque cycle, coûteuse en calcul embarqué et sensible aux temps de convergence. Les politiques neuronales à waypoints sont rapides mais séparent la prédiction géométrique de l'exécution, ce qui dégrade la régularité des mouvements. Déplacer le coût de l'optimisation vers l'entraînement hors ligne tout en conservant un filet de sécurité classique est une architecture pragmatique, transposable à des AMR, drones ou robots de service qui doivent suivre une personne ou un véhicule. Les réserves sont claires: les chiffres de jerk sont comparés au meilleur concurrent sur cette seule métrique, non sur l'ensemble des critères. Les résultats chiffrés viennent de la simulation, et les essais réels ne sont décrits que qualitativement dans le résumé. Le taux de déclenchement du repli classique, décisif pour juger la part réellement apprise de la performance, n'est pas communiqué. Ce travail s'inscrit dans la tendance qui consiste à distiller des planificateurs optimisants dans des politiques apprises, par apprentissage par imitation, par différentiation à travers la dynamique ou par couches d'optimisation différentiables, avec des garde-fous de sécurité en aval. Les concurrents directs sont les méthodes d'optimisation en ligne pour le suivi de cible et les politiques à waypoints évoquées plus haut, ainsi que les approches d'apprentissage de bout en bout. Il s'agit d'un preprint non évalué par les pairs, sans produit ni déploiement commercial annoncé. Les prochaines étapes logiques sont la publication du code, des tests à plus grande échelle avec cibles imprévisibles et capteurs bruités, et la mesure du coût de la bascule vers le mode de repli.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Robot poisson agile : l'apprentissage par renforcement différentiable pour suivre une trajectoire

Une équipe de recherche présente une nouvelle méthode de contrôle par apprentissage par renforcement pour un robot poisson bio-inspiré agile, capable de suivre des trajectoires précises malgré la dynamique fluide-structure difficile à modéliser. Le problème central tenait à l'absence d'environnement de simulation suffisamment rapide et précis pour ce type de robot sous-actionné et non linéaire, contrairement aux robots terrestres ou aériens qui ont largement bénéficié du reinforcement learning ces dernières années. Les chercheurs ont d'abord développé une plateforme de simulation approximant efficacement le mouvement de leur robot poisson. Le contrôle de trajectoire repose ensuite sur un correcteur PID dont les gains, variables dans le temps, sont appris par rétropropagation à travers le temps (backpropagation through time), avec un entraînement organisé selon un curriculum progressif. Une fois la politique de contrôle apprise en simulation, elle a été transférée directement sur la plateforme physique, où les chercheurs rapportent une correspondance excellente entre comportement simulé et comportement réel. Ce résultat s'inscrit dans un enjeu plus large pour la robotique bio-inspirée aquatique: le transfert simulation-vers-réel (sim-to-real), déjà largement résolu pour les robots terrestres et les drones, restait un point de blocage pour les robots nageurs à cause du coût de calcul des simulations fluides réalistes. En démontrant qu'une simulation approximative mais rapide suffit à entraîner un contrôleur transférable sans écart majeur de performance, les auteurs ouvrent la voie à un usage plus systématique de l'apprentissage par renforcement pour ce type de plateforme, jusqu'ici largement dépendant de techniques de contrôle classiques peu adaptées aux irrégularités du milieu aquatique. Pour les concepteurs de robots sous-marins ou de véhicules bio-inspirés, cela suggère une méthode reproductible pour accélérer le développement de contrôleurs sans dépendre de simulateurs de mécanique des fluides coûteux. Le travail s'inscrit dans une lignée de recherche de plusieurs décennies sur les robots poissons, motivée par l'efficacité énergétique et la manœuvrabilité des nageurs biologiques, un domaine où des dizaines, voire des centaines de plateformes ont déjà été conçues. Contrairement aux approches classiques de contrôle non linéaire pour ces systèmes sous-actionnés, l'apport ici est méthodologique: combiner curriculum d'entraînement et gains PID appris plutôt que fixes. L'article ne précise pas encore de calendrier de déploiement à plus grande échelle, mais pose une base technique réutilisable pour d'autres plateformes de nage bio-inspirée.

RecherchePaper

1 source

OmniRisk : apprentissage omnidirectionnel du risque de trajectoire pour l'évitement dynamique agile de quadrirotors

À lire aussi

Apprentissage d'un contrôle de bout en bout pour le vol omnidirectionnel de quadrirotors à rotors inclinables suractionnés

Apprentissage du vol visuomoteur d'un quadrirotor à travers des ouvertures étroites dynamiques par simulation différentiable

Apprentissage du contrôle direct à partir de l'optimisation pour le suivi de cibles dynamiques

Robot poisson agile : l'apprentissage par renforcement différentiable pour suivre une trajectoire