Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Introduction aux représentations d'actions SO(3) en apprentissage par renforcement profond
RecherchearXiv cs.RO 

Introduction aux représentations d'actions SO(3) en apprentissage par renforcement profond

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (référence 2510.11103, troisième révision) analyse systématiquement comment les différentes représentations mathématiques du groupe SO(3), l'espace des rotations 3D, influencent l'apprentissage par renforcement appliqué au contrôle robotique. Les chercheurs ont comparé quatre familles de représentations courantes : angles d'Euler, quaternions, matrices de rotation et coordonnées d'algèbre de Lie, en les évaluant sur trois algorithmes d'RL continus de référence (PPO, SAC et TD3), sous deux régimes de récompenses (dense et sparse), et sur une suite de benchmarks robotiques standardisés. Le résultat central : représenter les actions comme des vecteurs tangents dans le repère local donne les résultats les plus fiables et les plus stables, quel que soit l'algorithme utilisé. Le code et la page projet sont disponibles à amacati.github.io/so3_primer.

Ce résultat a une portée directe pour les ingénieurs qui développent des politiques de contrôle pour la manipulation ou la locomotion humanoïde. Le choix de représentation n'est pas neutre : la géométrie induite par chaque paramétrisation conditionne la manière dont l'agent explore l'espace des actions, interagit avec la régularisation entropique (notamment dans SAC), et converge, ou échoue à converger, lors de l'entraînement. Les angles d'Euler souffrent de singularités connues (gimbal lock), les quaternions imposent une contrainte de norme unitaire difficile à respecter en sortie de réseau neuronal, et les matrices de rotation introduisent des redondances qui compliquent la projection sur SO(3) valide. L'étude fournit des recommandations directement applicables, ce qui est rare dans la littérature RL sur la rotation.

La problématique SO(3) est bien documentée pour l'apprentissage supervisé, notamment dans les pipelines d'estimation de pose, mais ses implications pour les actions en RL restaient peu explorées. Ce travail comble ce manque à un moment où les politiques d'entrée-sortie continues (VLA, diffusion policies, flux-matching) deviennent centrales dans les robots manipulateurs commerciaux. Les équipes qui développent des politiques pour des plateformes comme Figure 03, Unitree H1 ou des manipulateurs industriels s'appuient de plus en plus sur SAC et TD3 ; savoir que la représentation en vecteur tangent surpasse systématiquement les alternatives simplifie un choix d'architecture souvent fait de manière empirique. Les auteurs publient le code en open source, ce qui permettra à la communauté de valider ces résultats sur d'autres benchmarks et accélérera potentiellement l'adoption de cette convention dans les frameworks d'RL robotique.

Dans nos dossiers

FigureUnitreearXiv cs.RO

À lire aussi

Introduction à l'apprentissage par renforcement profond et par imitation
1arXiv cs.RO 

Introduction à l'apprentissage par renforcement profond et par imitation

Un document de référence publié sur arXiv (identifiant 2512.08052, troisième version) propose une introduction structurée et autosuffisante au Deep Reinforcement Learning (DRL) et au Deep Imitation Learning (DIL) appliqués aux agents incarnés, c'est-à-dire aux robots et personnages virtuels capables d'agir dans un environnement physique ou simulé. L'ouvrage couvre le spectre complet, des fondations mathématiques (processus de décision markoviens) jusqu'aux algorithmes avancés : côté DRL, REINFORCE puis Proximal Policy Optimization (PPO) ; côté DIL, le Behavioral Cloning, Dataset Aggregation (DAgger) et Generative Adversarial Imitation Learning (GAIL). L'approche retenue est délibérément "depth-first" : un petit nombre d'algorithmes fondateurs traités en profondeur, plutôt qu'un panorama exhaustif du champ. Ce type de ressource pédagogique répond à un besoin concret dans l'industrie robotique : les équipes d'intégration et les laboratoires qui cherchent à embarquer des politiques de contrôle apprises se heurtent souvent à une littérature fragmentée, supposant des prérequis hétérogènes. La distinction que l'auteur opère entre DRL (apprentissage par signal de récompense, adapté aux environnements où la démonstration experte est coûteuse) et DIL (apprentissage par imitation sur des trajectoires expertes, plus direct mais plus sensible à la distribution shift) est précisément le choix d'architecture sur lequel butent aujourd'hui les équipes qui déploient des bras manipulateurs ou des robots mobiles en environnement industriel. Des algorithmes comme PPO sont devenus des briques standard dans des pipelines tels que ceux d'OpenAI, IsaacLab (NVIDIA) ou MuJoCo ; DAgger, lui, est au coeur de nombreuses approches Vision-Language-Action (VLA) récentes. Le contexte de publication est significatif : l'arXiv connaît depuis 2023 une explosion des travaux sur les agents incarnés, portée par les avancées en sim-to-real (IsaacSim, Genesis) et par les déploiements humanoïdes annoncés chez Figure AI, Physical Intelligence (pi0) ou Boston Dynamics. Ce document n'est pas un papier de recherche original mais un outil pédagogique structuré, comparable dans sa vocation aux cours de Sergey Levine (UC Berkeley) ou aux notes de David Silver (DeepMind). Sa valeur est d'offrir un accès cohérent et autonome à des méthodes dont la maîtrise conditionne directement la capacité des équipes à itérer sur des politiques de contrôle pour robots réels.

RecherchePaper
1 source
GzDRL : apprentissage par renforcement profond reproductible et évolutif avec Gazebo
2arXiv cs.RO 

GzDRL : apprentissage par renforcement profond reproductible et évolutif avec Gazebo

Des chercheurs ont publié le 15 septembre 2026 sur arXiv (référence 2609.13243v1) GzDRL, un framework d'apprentissage par renforcement (RL) en un seul processus conçu pour le simulateur robotique Gazebo. Contrairement aux intégrations RL-Gazebo classiques qui passent par des couches middleware et souffrent de non-déterminisme et de résultats difficilement reproductibles, GzDRL synchronise directement les actions de l'agent avec les mises à jour physiques, sans intergiciel intermédiaire. Cette architecture permet, selon les auteurs, une collecte de données à haut débit et déterministe, une vectorisation efficace des environnements, ainsi qu'un entraînement et une évaluation reproductibles d'une exécution à l'autre. Leurs benchmarks montrent que GzDRL atteint le débit le plus élevé parmi les frameworks testés sur station de travail, tout en restant compétitif face à des simulateurs accélérés par GPU lorsqu'il tourne sur un simple ordinateur portable, avec une synchronisation agent-environnement précise et une scalabilité multi-agents. Les chercheurs ont aussi validé le transfert sim-to-real en déployant directement, sans réglage fin, une politique apprise en simulation sur un quadrirotor physique. Cette publication s'attaque à un problème récurrent en robotique: le fossé entre résultats simulés et leur reproductibilité, un frein connu à la comparaison rigoureuse des algorithmes RL et à leur transfert vers du matériel réel. En supprimant les couches middleware sources d'aléas temporels, GzDRL vise à rendre les expériences vérifiables d'un run à l'autre, un enjeu central pour les laboratoires et les équipes d'intégration qui doivent auditer les performances annoncées avant d'investir dans un pipeline sim-to-real. La démonstration sur quadrirotor physique sans réentraînement post-simulation va dans le sens des travaux récents suggérant que l'écart sim-to-real se réduit davantage par une meilleure fidélité de simulation que par du fine-tuning sur le matériel. Pour les équipes R&D travaillant avec Gazebo, socle largement utilisé dans l'écosystème ROS, un outil gratuit et reproductible facilite le prototypage de politiques RL sans dépendre exclusivement de simulateurs propriétaires accélérés par GPU. Ce travail répond aux limites connues des ponts logiciels entre moteurs physiques et frameworks RL, où la latence des couches de communication complique depuis des années la reproductibilité des expériences en robotique simulée. Gazebo, simulateur open source associé à l'écosystème ROS, cohabite avec une génération plus récente de simulateurs accélérés par GPU qui dominent l'entraînement RL à grande échelle; GzDRL se positionne comme une alternative accessible sur du matériel standard plutôt que sur des clusters GPU dédiés. Il s'agit pour l'instant d'une publication arXiv en première version, non encore validée par relecture par les pairs, ce qui correspond à une étape de recherche plutôt qu'à un produit finalisé ou un déploiement industriel, sans calendrier annoncé pour une diffusion plus large du code ou de nouvelles plateformes robotiques.

RecherchePaper
1 source
Représentation d'action par champ de potentiel pour l'apprentissage par renforcement en manipulation à contacts riches
3arXiv cs.RO 

Représentation d'action par champ de potentiel pour l'apprentissage par renforcement en manipulation à contacts riches

Des chercheurs décrivent, dans un préprint publié sur arXiv fin septembre 2026 (arXiv:2609.21609v1), PA-RL, un framework de reinforcement learning qui remplace les commandes cartésiennes directes par des champs de potentiel artificiels comme représentation d'action: la politique ajuste les paramètres d'un champ de potentiel énergétique, qui génère une direction de guidage exécutée par un contrôleur d'impédance cartésien. Testé en simulation sur l'insertion de cheville dans un trou (peg-in-hole), tâche de référence à contacts riches et transitions discontinues, PA-RL bat, avec le même algorithme RL, trois espaces d'action concurrents (vitesse cartésienne, pose cartésienne, impédance variable): 100% de réussite contre 92,6% pour la meilleure référence, avec 55,4% de variation de couple articulaire en moins et 70,8% de variation d'accélération cartésienne en moins. Transférée sans réentraînement, la politique entraînée uniquement en simulation réussit 9 insertions sur 9 sur robot réel. Ce résultat s'attaque à deux limites connues du RL appliqué à la manipulation industrielle: le couplage entre stratégie de tâche et génération de mouvement bas niveau, et l'écart persistant entre simulation et réel. En faisant agir la politique sur les paramètres d'un champ de potentiel plutôt que sur des commandes de trajectoire brutes, PA-RL allège l'apprentissage et produit des mouvements mécaniquement plus doux, un point concret pour les intégrateurs soucieux de limiter l'usure des actionneurs sur les lignes d'assemblage. Le transfert vers le réel sans fine-tuning est la donnée la plus significative pour les décideurs B2B: elle suggère qu'une représentation d'action mieux choisie peut réduire le besoin de réentraînement coûteux sur matériel physique, même si l'échantillon réel reste modeste, neuf essais sur une seule tâche, ce qui appelle à la prudence avant toute généralisation. Ce travail s'inscrit dans l'effort de recherche visant à rendre le RL exploitable pour l'assemblage industriel, où l'insertion de pièces sert de cas d'école face à des interfaces d'action plus directes déjà étudiées, comme la commande cartésienne en vitesse ou en pose et l'impédance variable. En s'appuyant sur les champs de potentiel artificiels, une technique historiquement utilisée en planification de mouvement classique plutôt qu'en apprentissage de bout en bout, les auteurs proposent une voie intermédiaire entre contrôle réactif et apprentissage profond. L'article ne mentionne ni partenaire industriel ni pilote de déploiement annoncé; les suites attendues porteraient sur l'extension à d'autres tâches de contact et sur une validation à plus grande échelle en conditions réelles, afin de confirmer la généralisation au-delà du seul scénario peg-in-hole testé ici.

RecherchePaper
1 source
Vers des stratégies d'interaction adaptatives pour robots compagnons via l'apprentissage par renforcement profond
4arXiv cs.RO 

Vers des stratégies d'interaction adaptatives pour robots compagnons via l'apprentissage par renforcement profond

Une équipe de recherche a publié en septembre 2026 sur arXiv (référence 2609.25031) une nouvelle méthode de suivi humain-robot fondée sur l'apprentissage par renforcement profond (DRL), qui rompt avec les approches classiques imposant une position fixe au robot par rapport à la personne accompagnée, derrière, devant ou à ses côtés. Le système modélise un "espace d'interaction" liant humain, robot et environnement, utilisé comme espace d'état pour l'agent DRL, et s'appuie sur un contrôleur combinant Model Predictive Path Integral (MPPI) et Control Barrier Functions (CBF) pour suivre précisément la position et l'orientation de la cible tout en évitant les obstacles. Testé en conditions réelles, en intérieur comme en extérieur, et comparé à des méthodes existantes, le robot accompagne une personne marchant jusqu'à 1,7 m/s en ajustant dynamiquement sa stratégie de positionnement, avec un taux de réussite amélioré d'au moins 24% et une précision de suivi améliorée d'au moins 47%, tout en respectant l'espace intime de la personne pour garantir sécurité et confort. L'intérêt dépasse la démonstration technique: la plupart des robots d'accompagnement actuels, en logistique, en assistance ou en robotique de service, reposent sur des règles de positionnement figées, peu robustes face aux changements de vitesse, aux couloirs étroits ou à la densité de foule. Un positionnement adaptatif piloté par apprentissage, capable de basculer entre suivi latéral, frontal ou arrière selon le contexte, répond à une limite connue de la navigation sociale robotique, le compromis entre sécurité, fluidité de déplacement et acceptabilité sociale. Pour les intégrateurs travaillant sur des robots mobiles autonomes (AMR) destinés à l'accompagnement de personnes en environnement industriel ou de santé, cette approche laisse entrevoir des systèmes moins rigides et potentiellement plus sûrs en cohabitation avec des humains. Le travail s'inscrit dans un courant de recherche en interaction humain-robot (HRI) qui cherche à dépasser les schémas de suivi rigides documentés dans la littérature existante, et les auteurs comparent directement leurs résultats à ceux d'études antérieures. Comme souvent pour ce type de publication académique, les métriques de réussite et de confort restent définies et mesurées par les auteurs eux-mêmes sur un nombre limité de scénarios, ce qui appelle une validation indépendante avant toute généralisation. Aucune affiliation industrielle ni calendrier de transfert commercial n'est mentionné: il s'agit à ce stade d'une contribution de recherche, sans pilote ni déploiement annoncé, dont la suite logique serait une extension à des scénarios multi-personnes et une validation sur d'autres plateformes robotiques.

RecherchePaper
1 source