Aller au contenu principal
NavRL++ : un cadre système pour améliorer le transfert simulation-réel dans la navigation robotique par apprentissage par renforcementIllustration générée par IA
RecherchearXiv cs.RO 

NavRL++ : un cadre système pour améliorer le transfert simulation-réel dans la navigation robotique par apprentissage par renforcement

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs a publié NavRL++, un cadre de navigation autonome par apprentissage par renforcement (RL) conçu spécifiquement pour réduire l'écart entre simulation et déploiement réel. Présenté sur arXiv (2605.15559), le système propose à la fois un nouveau pipeline d'entraînement et de déploiement et une étude empirique systématique qui isole les facteurs dégradant les performances en conditions réelles : bruit de capteurs, échecs de perception, latence système et réponse du contrôleur. Les auteurs ont validé leur approche sur plusieurs plateformes physiques, dont des robots aériens et quadrupèdes, sur des tâches de navigation comme l'exploration et l'inspection, en obtenant un transfert zéro-shot depuis la simulation.

Le problème que NavRL++ cherche à résoudre est structurel : la quasi-totalité des travaux récents en navigation par RL se concentre sur la conception du framework d'apprentissage (représentations d'entrée, espaces d'actions, fonctions de récompense), sans analyser rigoureusement pourquoi les politiques entraînées en sim échouent en réel. NavRL++ répond à cela avec deux contributions techniques. La première est le perturbation-aware fine-tuning, une stratégie post-entraînement qui injecte explicitement les perturbations identifiées lors de l'étude empirique pour rendre la politique plus robuste. La seconde est une politique à raisonnement temporel basée sur un Transformer, qui exploite une fenêtre d'observation courte pour lisser le contrôle et compenser la dégradation perceptuelle typique du monde réel. Les résultats quantitatifs montrent des performances supérieures aux baselines RL dans des environnements statiques et dynamiques, et comparables aux planificateurs classiques à optimisation en contexte statique.

Le défi du sim-to-real reste l'un des verrous majeurs à la commercialisation de la navigation autonome par RL, notamment pour les robots mobiles en environnements industriels non structurés. La plupart des approches existantes, comme les travaux issus de Berkeley (BADGR, RECON) ou les pipelines de navigation d'Agility Robotics et Boston Dynamics, contournent partiellement le problème via de la simulation photo-réaliste ou du domain randomization intensif. NavRL++ adopte une approche complémentaire : diagnostiquer empiriquement les sources d'écart plutôt que de les masquer. La prochaine étape naturelle sera de tester cette méthodologie sur des flottes de robots en déploiement continu, notamment dans des scénarios entrepôt ou inspection d'infrastructures où la latence et la fiabilité des capteurs sont des contraintes opérationnelles dures.

À lire aussi

L'apprentissage par renforcement régularisé améliore le transfert simulation-réel
Illustration générée par IA
1arXiv cs.RO 

L'apprentissage par renforcement régularisé améliore le transfert simulation-réel

Des chercheurs proposent Soft MellowMax Actor-Critic (SMM-AC), un algorithme d'apprentissage par renforcement (RL) régularisé fondé sur la fonction de valeur « soft mellowmax ». Ils l'ont conçu pour mesurer ce que la régularisation apporte au transfert de la simulation vers le robot réel (sim-to-real). Sur les benchmarks de contrôle continu MuJoCo, SMM-AC reste compétitif face à des références comme Soft Actor-Critic (SAC). Sur robots physiques, il obtient un meilleur retour cumulé que les algorithmes de comparaison. Il se montre aussi plus robuste aux perturbations des observations, de l'environnement et de la dynamique. Le résumé de l'étude, publiée sur arXiv en version 1, ne donne ni chiffres précis, ni plateformes robotiques testées, ni nombre d'essais. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel associé. L'intérêt tient à un décalage persistant entre théorie et pratique. Les méthodes de RL régularisé offrent des garanties de robustesse démontrées, qui devraient faciliter le passage au réel. Pourtant, la plupart des pipelines sim-to-real restent construits sur PPO (Proximal Policy Optimisation), faiblement régularisé, sans preuve claire que la régularisation paie sur du matériel réel. Si ces résultats se confirment, ils donneraient aux équipes de locomotion et de manipulation un argument empirique pour revoir ce choix par défaut, surtout quand les conditions de terrain varient (usure, charge, bruit capteur). Pour un intégrateur, la robustesse aux écarts de dynamique pèse souvent plus que la performance maximale en simulation. Le manque de détails quantitatifs impose toutefois de la prudence : sans robots, tâches et marges d'écart précisés, l'ampleur du gain reste invérifiable. Le contexte est celui d'une course où les politiques apprises en simulation, souvent par PPO à grande échelle sur GPU, pilotent la locomotion des humanoïdes et des quadrupèdes. SAC et ses variantes dominent l'alternative « off-policy », plus économe en données, mais sont moins employés pour le transfert. SMM-AC se place entre ces deux familles en cherchant à combiner performance et garanties de robustesse. La suite logique serait une validation sur des plateformes complexes, comme des humanoïdes à nombreux degrés de liberté, et une comparaison directe avec les pipelines industriels actuels. Aucun calendrier ni partenariat n'est annoncé.

RecherchePaper
1 source
Améliorer le transfert sim-vers-réel des robots à commande de couple via l'estimation dynamique réel-vers-sim et l'apprentissage par renforcement
Illustration générée par IA
2arXiv cs.RO 

Améliorer le transfert sim-vers-réel des robots à commande de couple via l'estimation dynamique réel-vers-sim et l'apprentissage par renforcement

Une équipe de recherche a publié en août 2026 sur arXiv (2608.22629) un pipeline nommé Real2Sim2Real pour améliorer le transfert simulation-réel de politiques d'apprentissage par renforcement sur des bras robotiques pilotés en couple. Testé sur le Franka Emika Panda, bras à 7 degrés de liberté du fabricant allemand Franka Emika, le système identifie d'abord les paramètres réels de friction, d'inertie et de compensation de gravité en minimisant l'écart entre trajectoires articulaires réelles et simulées, les optimise par algorithme génétique, puis entraîne en simulation un agent TQC (Truncated Quantile Critics) avec randomisation de domaine. La politique est validée dans les simulateurs Gazebo et MuJoCo avant déploiement sur le robot physique pour des tâches d'atteinte de cible. Les auteurs rapportent une nette amélioration de la précision de suivi et de la robustesse une fois les paramètres calibrés, avec un transfert jugé fluide vers le monde réel. Le contrôle en couple reste l'un des points durs du sim-to-real : une erreur de modélisation dynamique, même mineure, peut rendre un bras réel instable ou dangereux, contrairement au contrôle en position. En calibrant le simulateur sur des données physiques mesurées avant l'entraînement, plutôt qu'en misant sur une randomisation aveugle des paramètres, cette approche real2sim intéresse directement les intégrateurs travaillant sur des tâches de préhension fine ou d'assemblage sous contrôle de force, et appuie l'idée que le fossé simulation-réalité se réduit surtout par une modélisation physique rigoureuse. Les résultats portent cependant sur des tâches d'atteinte de cible simples et un seul bras : une preuve de concept académique, pas un déploiement industriel validé. Le Franka Emika Panda, dérivé des travaux du centre aérospatial allemand DLR et commercialisé depuis 2017, s'est imposé en recherche robotique grâce à sa mesure native de couple articulaire, rare à ce niveau de prix. Le pipeline real2sim2real prolonge une lignée de travaux qui, depuis les premières démonstrations de manipulation par randomisation de domaine à la fin des années 2010, cherchent à réduire la dépendance à un volume massif de simulations en misant sur la fidélité du modèle physique. L'article, publié en preprint non relu par les pairs, ne précise ni calendrier de suivi ni extension annoncée à d'autres plateformes.

UELe bras utilisé, le Franka Emika Panda, est fabriqué par l'allemand Franka Emika et largement déployé dans les laboratoires de robotique européens, ce qui rend ce pipeline directement testable par les équipes de recherche et d'intégration en France et en UE.

RecherchePaper
1 source
Ce qui compte pour le transfert de l'apprentissage par renforcement en simulation vers l'apprentissage en ligne sur des robots réels
Illustration générée par IA
3arXiv cs.RO 

Ce qui compte pour le transfert de l'apprentissage par renforcement en simulation vers l'apprentissage en ligne sur des robots réels

Une étude empirique menée sur trois plateformes robotiques distinctes a testé l'apprentissage par renforcement (RL) en ligne directement sur des robots physiques, à travers 100 sessions d'entraînement réelles. Les chercheurs ont systématiquement isolé les choix de conception algorithmiques, matériels et expérimentaux habituellement laissés implicites dans les travaux précédents sur le sujet. Résultat principal : certains réglages par défaut largement utilisés dans la pratique du RL se révèlent contre-productifs sur du matériel réel, tandis qu'un ensemble restreint de choix de conception robustes, faciles à adopter dans le cadre standard du RL, permet d'obtenir un apprentissage stable sur différentes tâches et différents types de robots. Il s'agit, selon les auteurs, de la première étude empirique à grande échelle de ce type portant sur ces choix de conception. Cette cartographie répond à un point de friction bien identifié chez les intégrateurs et équipes de recherche robotique : le RL en ligne sur robot réel reste réputé fragile, coûteux en ingénierie et peu reproductible d'une plateforme à l'autre, ce qui pousse la majorité des équipes vers l'apprentissage en simulation (sim-to-real) ou l'imitation à partir de démonstrations. En identifiant quels réglages par défaut nuisent réellement à l'apprentissage et lesquels le stabilisent, ce travail réduit potentiellement l'effort d'ingénierie nécessaire pour déployer du RL en ligne directement sur du hardware, sans passer par un simulateur intermédiaire. C'est un signal utile pour évaluer si le RL en ligne peut devenir une option pratique face aux architectures VLA (vision-langage-action) qui dominent actuellement la communication du secteur, en offrant une alternative plus frugale en données de démonstration. Le papier s'inscrit dans une lignée de travaux cherchant à combler l'écart entre les promesses du RL en robotique, démontrées depuis longtemps en simulation, et sa fiabilité en conditions réelles, où le coût d'échantillonnage et les risques matériels limitent les expérimentations à grande échelle. Contrairement aux annonces de plateformes humanoïdes commerciales, ce travail relève de la recherche fondamentale reproductible, avec des ablations systématiques plutôt qu'une démonstration ponctuelle. Publié sur arXiv en tant que version révisée ("replace"), il ouvre la voie à des protocoles standardisés que d'autres laboratoires pourront reprendre et à des comparaisons futures avec des approches sim-to-real ou par imitation sur les mêmes tâches.

RecherchePaper
1 source
Simulation de trames d'événements sans rendu pour accélérer l'apprentissage par renforcement de la navigation de robots autonomes
Illustration générée par IA
4arXiv cs.RO 

Simulation de trames d'événements sans rendu pour accélérer l'apprentissage par renforcement de la navigation de robots autonomes

Des chercheurs de l'Université de technologie de Delft (TU Delft) publient sur arXiv un simulateur analytique de caméra événementielle qui produit des observations sans aucun rendu visuel, et l'utilisent pour entraîner par apprentissage par renforcement un pilote de navigation autonome pour nano-drone. Le simulateur génère directement les flux d'événements à partir de la géométrie de la scène et du mouvement propre du robot, en exploitant ce que mesure réellement ce type de capteur : les arêtes de contraste en mouvement. Une observation d'événements de 64x64 pixels est produite en 17 microsecondes sur un seul GPU, soit plus de 400 fois plus vite qu'une chaîne de rendu de référence. L'entraînement pour l'évitement d'obstacles vers un but converge en moins de 30 minutes, trois ordres de grandeur de moins qu'avec des événements rendus. En simulation, la politique atteint 83 % de réussite sur des parcours encombrés inédits (difficulté intermédiaire, probabilité de traversabilité d'environ 0,57) à 2,4 m/s de vitesse moyenne vers le but, et 70 % dans un hall intérieur riche en textures. Elle se transfère sans réglage vers des simulations physiquement réalistes par lancer de rayons (Isaac Sim). Le réseau a ensuite été quantifié en int8 (1,2 Mo) et exécuté entièrement à bord d'un Crazyflie de 56 grammes, équipé d'une caméra événementielle Prophesee GenX320 et d'une carte microcontrôleur OpenMV N6. Sans réglage fin, traitement externe ni système de positionnement, il réussit 82 % des vols sur trois parcours réels de difficulté croissante (5/5, 5/6 et 4/6). Ces chiffres reposent sur très peu d'essais, soit 17 vols au total, et sur des parcours dont les caractéristiques restent propres au laboratoire. L'intérêt tient à un goulot bien connu : les caméras événementielles, à faible latence, grande plage dynamique et consommation de l'ordre du milliwatt, conviennent aux petits robots agiles, mais les simulateurs existants génèrent des images photoréalistes avant de les convertir en événements, ce qui rend l'apprentissage par renforcement à grande échelle trop lent. Passer à des itérations de quelques minutes change la boucle de développement et suggère que la fidélité photoréaliste n'est pas toujours nécessaire pour un transfert sim-to-real réussi, dès lors que la physique du capteur est bien modélisée. Le fait que toute la pile tienne sur un microcontrôleur avec un modèle de 1,2 Mo est aussi un signal pour les intégrateurs de drones miniatures à budget énergétique et massique très contraint, notamment en inspection d'espaces confinés ou en logistique intérieure. La limite reste la simplicité de la scène géométrique modélisée et l'absence de validation en environnements très texturés ou dynamiques. Le travail s'inscrit dans la lignée des recherches de TU Delft sur le vol autonome embarqué à très faible puissance et sur la vision neuromorphique, avec Crazyflie comme plateforme habituelle. Il prolonge les simulateurs d'événements fondés sur le rendu, et le code est publié en open source sur GitHub (tudelft/rendering-free-évent-nav). Il s'agit d'un résultat de recherche, sans produit ni pilote commercial annoncé. Les prochaines étapes naturelles seraient des environnements plus riches, des vitesses plus élevées et des essais plus nombreux pour consolider les taux de réussite.

UERésultat d'une université européenne (TU Delft, Pays-Bas) avec code ouvert, exploitable par les intégrateurs et laboratoires de drones miniatures de l'UE, sans impact réglementaire direct sur la France.

RecherchePaper
1 source