Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
CuPIQP : un solveur QP par lots et différentiable sur GPU pour l'apprentissage et la commande des robots
RecherchearXiv cs.RO 

CuPIQP : un solveur QP par lots et différentiable sur GPU pour l'apprentissage et la commande des robots

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Cette équipe publie cuPIQP, un solveur de programmation quadratique (QP) par lots et différentiable, exécuté sur GPU. Il repose sur une méthode de points intérieurs proximale et prend en charge, dans une interface unifiée, les problèmes denses, creux et multi-étages. Les QP servent de brique de base à la cinématique inverse, au contrôle du corps entier (whole-body control) et à la commande prédictive (MPC). Le solveur résout de nombreux QP indépendants en parallèle et exploite leur structure interne. Chaque problème garde ses propres mises à jour numériques et son propre critère d'arrêt, donc un cas difficile ne contraint pas les autres du lot. Les benchmarks portent sur des lots allant jusqu'à 16 384 QP. Le temps de résolution est jusqu'à 18,8 fois plus court que celui de Moreau et 4,26 fois plus court que PIQP sur huit coeurs CPU. Sur une tâche d'apprentissage de bout en bout, l'entraînement est 4,6 fois plus rapide qu'avec QPAX et 7,8 fois plus rapide qu'avec Moreau.

L'intérêt dépasse le seul gain de vitesse. L'apprentissage par renforcement massivement parallèle (milliers d'environnements simulés sur GPU) s'est largement passé des contrôleurs classiques, car ceux-ci obligent à repasser par le CPU. Disposer d'un solveur QP qui reste sur GPU permet d'insérer dans la boucle d'entraînement des couches d'optimisation, comme un contrôleur de corps entier ou un MPC, et de les différencier. Pour un intégrateur ou une équipe de contrôle, cela rend plus accessible l'hybridation entre méthodes à base de modèle, qui offrent des garanties de contraintes, et politiques apprises. Les chiffres viennent toutefois des auteurs, sur leurs propres benchmarks. Le gain face à PIQP est plus modeste que face à Moreau, et il dépend de la taille des problèmes et du matériel testé. Aucune démonstration sur robot réel n'est mentionnée dans le résumé.

Ce travail s'inscrit dans l'essor des solveurs d'optimisation accélérés par GPU et différentiables, héritiers de couches comme OptNet et de bibliothèques plus récentes telles que QPAX et Moreau, que cuPIQP prend ici comme références. Il prolonge PIQP, solveur CPU à points intérieurs proximal déjà utilisé en robotique. La concurrence se joue donc moins entre robots qu'entre briques logicielles, au moment où les fabricants de humanoïdes cherchent à combiner contrôle de bas niveau et politiques apprises de type VLA. La suite probable tient à la publication du code, à une intégration dans des simulateurs GPU et à des tests de MPC ou de contrôle du corps entier sur matériel réel, qui diront si ces gains d'entraînement se traduisent en performances de déploiement.

À lire aussi

Dynamique différentiable de corps rigides en batch sur GPU avec PyTorch pour l'apprentissage robotique
1arXiv cs.RO 

Dynamique différentiable de corps rigides en batch sur GPU avec PyTorch pour l'apprentissage robotique

Une équipe de chercheurs publie BARD (Batched Articulated Rigid-body Dynamics), une implémentation PyTorch des algorithmes de dynamique corps rigides de Featherstone, conçue pour l'évaluation GPU en batch et la différentiation automatique. Sur cinq modèles de robots allant de 7 à 23 degrés de liberté, BARD atteint un débit jusqu'à 64 fois supérieur à Pinocchio pour la cinématique directe et 63 fois supérieur pour les jacobiens, à une taille de batch de 4096 sur un NVIDIA H200. La bibliothèque repose sur trois choix d'architecture : un cache à évaluation paresseuse par niveaux qui évite les traversées redondantes de l'arbre cinématique, des transformées de joints sans multiplication matricielle grâce à des constantes de Rodrigues précalculées, et une propagation parallèle par niveaux qui ramène les opérations séquentielles à des étapes batchées proportionnelles à la profondeur de l'arbre. La précision numérique est validée par identification de système sur un manipulateur 7-DOF, avec une erreur moyenne de 1,24 % sur les masses des segments sous 5 % de bruit sur les couples. Intégré dans le pipeline d'entraînement Isaac Lab AMP pour un quadrupède à colonne vertébrale de 11 DOF avec 4096 environnements parallèles, BARD est 8,5 fois plus rapide que Pinocchio et 2 fois plus rapide qu'ADAM pour le calcul de dynamique en boucle d'entraînement. Le code est disponible en open source sur GitHub. L'enjeu est structurel : à mesure que le contrôle robotique migre vers le reinforcement learning à grande échelle avec calcul de dynamique en boucle (in-loop), les librairies CPU comme Pinocchio deviennent un goulot d'étranglement dans les pipelines GPU. BARD élimine ce découplage CPU/GPU sans sacrifier la précision ni la différentiabilité, deux propriétés critiques pour l'optimisation par gradient. Pour les équipes qui entraînent des politiques de locomotion ou de manipulation sur des milliers d'environnements parallèles, ce gain de débit se traduit directement en temps de calcul réduit et en capacité à itérer plus vite sur l'architecture des récompenses et des politiques. Pinocchio reste la référence académique et industrielle pour la dynamique articulée depuis plus de dix ans, mais son architecture CPU-first n'a pas été pensée pour les pipelines d'apprentissage modernes sur GPU. ADAM, autre alternative GPU, est ici surpassé d'un facteur 2 en contexte in-loop. BARD se positionne donc entre les simulateurs physiques complets comme Isaac Sim ou MuJoCo MJX et les librairies de dynamique symbolique, en ciblant explicitement l'usage comme composant différentiable dans une boucle d'entraînement. L'article est une prépublication arXiv (2605.31481), non encore soumise à révision par les pairs, et les benchmarks présentés portent sur des scénarios contrôlés : des tests en conditions de déploiement réel, notamment sur des robots industriels ou des plateformes commerciales, restent à venir.

UEBARD surpasse directement Pinocchio, bibliothèque de dynamique articulée développée et maintenue par LAAS-CNRS et INRIA, ce qui constitue un signal fort pour les équipes de recherche robotique françaises qui l'utilisent comme référence dans leurs pipelines d'apprentissage par renforcement.

RecherchePaper
1 source
Robot poisson agile : l'apprentissage par renforcement différentiable pour suivre une trajectoire
2arXiv cs.RO 

Robot poisson agile : l'apprentissage par renforcement différentiable pour suivre une trajectoire

Une équipe de recherche présente une nouvelle méthode de contrôle par apprentissage par renforcement pour un robot poisson bio-inspiré agile, capable de suivre des trajectoires précises malgré la dynamique fluide-structure difficile à modéliser. Le problème central tenait à l'absence d'environnement de simulation suffisamment rapide et précis pour ce type de robot sous-actionné et non linéaire, contrairement aux robots terrestres ou aériens qui ont largement bénéficié du reinforcement learning ces dernières années. Les chercheurs ont d'abord développé une plateforme de simulation approximant efficacement le mouvement de leur robot poisson. Le contrôle de trajectoire repose ensuite sur un correcteur PID dont les gains, variables dans le temps, sont appris par rétropropagation à travers le temps (backpropagation through time), avec un entraînement organisé selon un curriculum progressif. Une fois la politique de contrôle apprise en simulation, elle a été transférée directement sur la plateforme physique, où les chercheurs rapportent une correspondance excellente entre comportement simulé et comportement réel. Ce résultat s'inscrit dans un enjeu plus large pour la robotique bio-inspirée aquatique: le transfert simulation-vers-réel (sim-to-real), déjà largement résolu pour les robots terrestres et les drones, restait un point de blocage pour les robots nageurs à cause du coût de calcul des simulations fluides réalistes. En démontrant qu'une simulation approximative mais rapide suffit à entraîner un contrôleur transférable sans écart majeur de performance, les auteurs ouvrent la voie à un usage plus systématique de l'apprentissage par renforcement pour ce type de plateforme, jusqu'ici largement dépendant de techniques de contrôle classiques peu adaptées aux irrégularités du milieu aquatique. Pour les concepteurs de robots sous-marins ou de véhicules bio-inspirés, cela suggère une méthode reproductible pour accélérer le développement de contrôleurs sans dépendre de simulateurs de mécanique des fluides coûteux. Le travail s'inscrit dans une lignée de recherche de plusieurs décennies sur les robots poissons, motivée par l'efficacité énergétique et la manœuvrabilité des nageurs biologiques, un domaine où des dizaines, voire des centaines de plateformes ont déjà été conçues. Contrairement aux approches classiques de contrôle non linéaire pour ces systèmes sous-actionnés, l'apport ici est méthodologique: combiner curriculum d'entraînement et gains PID appris plutôt que fixes. L'article ne précise pas encore de calendrier de déploiement à plus grande échelle, mais pose une base technique réutilisable pour d'autres plateformes de nage bio-inspirée.

RecherchePaper
1 source
E2DRL : apprentissage par renforcement différentiable de bout en bout pour l'évitement d'obstacles 3D chez les robots quadrupèdes
3arXiv cs.RO 

E2DRL : apprentissage par renforcement différentiable de bout en bout pour l'évitement d'obstacles 3D chez les robots quadrupèdes

E2DRL est un cadre d'apprentissage par renforcement différentiable de bout en bout, présenté sur arXiv (2610.19627v1), qui permet à un robot quadrupède d'éviter des obstacles 3D à partir de la vision seule. Les auteurs l'ont validé en conditions réelles sur un Unitree Go2, dans des environnements statiques et dynamiques. Le système repose sur un enseignant privilégié, entraîné avec Soft Analytic Policy Optimization (SAPO) dans un simulateur différentiable. Cet enseignant est distillé par DAgger vers un étudiant récurrent qui exploite des images de profondeur. L'étudiant est ensuite fusionné avec une politique de locomotion de base par un module de gating sensible au terrain. En simulation, E2DRL est plus efficace en échantillons que PPO. Il offre aussi un meilleur suivi de vitesse et une meilleure capacité d'évitement 3D que PPO et qu'un NMPC à DCBF par dualité. Le résumé ne fournit aucun chiffre sur ces écarts, ni sur les taux de réussite ou les temps de cycle. L'enjeu est technique mais concret. Le RL différentiable exploite les gradients du simulateur pour apprendre plus vite que le RL classique, mais il restait cantonné à la marche aveugle ou à des tâches 2D simulées. Les contraintes de collision dures et l'arrêt anticipé de l'épisode au contact corrompent les gradients de premier ordre et enferment l'optimiseur dans des minima locaux. Les auteurs contournent ce blocage avec une formulation « molle » : des pénalités de pénétration sur plusieurs points clés du corps, combinées à un façonnage par stop-gradient conditionné à la vitesse. Si ces résultats se confirment, la méthode réduit le coût d'entraînement des politiques de perception-locomotion, un poste lourd pour les intégrateurs de robots à pattes en inspection ou en logistique. Elle propose aussi une alternative apprise aux contrôleurs prédictifs, plus coûteux à calibrer. La validation se limite toutefois à un Go2, une plateforme de recherche peu chère, dans des scénarios probablement contrôlés. Rien n'indique une robustesse en environnement industriel non structuré. Ce travail prolonge deux courants. Le premier est le RL massivement parallèle avec PPO, devenu la référence pour la locomotion à pattes. Le second est l'essor des simulateurs différentiables, dont les méthodes analytiques de type SAPO sont des variantes récentes. Les approches d'évitement d'obstacles par optimisation, comme le NMPC avec barrières de contrôle (DCBF), servent ici de base de comparaison. Aucune suite commerciale n'est annoncée, car il s'agit d'un préprint non évalué par des pairs. Les prochaines étapes naturelles seraient des tests sur d'autres morphologies, des obstacles dynamiques plus rapides et des terrains plus variés. Un code ouvert permettrait aussi de vérifier les gains annoncés.

RecherchePaper
1 source
Elastic ODYN : optimisation différentiable pour le contrôle et l'apprentissage en robotique
4arXiv cs.RO 

Elastic ODYN : optimisation différentiable pour le contrôle et l'apprentissage en robotique

Une équipe de chercheurs publie sur arXiv en juin 2026 (arXiv:2606.16564) Elastic ODYN, un solveur de programmes quadratiques (QP) pour le contrôle robotique sous infaisabilité. Les contrôleurs de robots, humanoïdes comme quadrupèdes, formulent leurs commandes comme des QP soumis à des contraintes de forces de contact, de limites articulaires et d'objectifs de tâche. Lorsque ces contraintes se contredisent, par erreur de modèle ou contact dégénéré, les solveurs classiques échouent ou génèrent des gradients instables. Elastic ODYN adopte une relaxation élastique ℓ₂ dans un cadre primal-dual sans point intérieur : le problème reste bien posé en toute condition, le solveur converge vers la solution la plus proche du faisable et supporte le démarrage à chaud. Deux extensions complètent le noyau : Elastic OdynLayer, une couche QP différentiable à gradients stables, et Elastic OdynSQP, une méthode SQP gérant les sous-problèmes inconsistants en contrôle optimal. Les benchmarks couvrent des QP standards, la mécanique de contact singulière, l'identification paramétrique différentiable, et l'optimisation de trajectoires sur quadrupèdes et humanoïdes. L'enjeu est direct pour les intégrateurs de contrôle temps réel et les équipes qui entraînent des politiques par apprentissage. L'infaisabilité n'est pas un cas marginal : un humanoïde sur surface irrégulière, un manipulateur recevant des consignes conflictuelles, ou un algorithme model-based en transition de contact y sont régulièrement confrontés. Jusqu'ici, les développeurs recouraient à des relaxations manuelles ad hoc ou acceptaient des crashs de simulation. La couche différentiable d'Elastic ODYN permet d'entraîner des politiques de contrôle de bout en bout sans que l'infaisabilité intermittente interrompe la descente de gradient, un avantage direct pour les architectures VLA (Vision-Language-Action) et les pipelines sim-to-real. Les solveurs courants comme OSQP, ProxQP et ECOS intègrent déjà des mécanismes de relaxation, mais leurs formulations présentent des discontinuités de gradient incompatibles avec la différentiation automatique. Les couches QP différentiables existantes, cvxpylayers et qpth, supposent la faisabilité et dégénèrent hors de cette hypothèse. Elastic ODYN couvre donc un créneau à l'intersection des deux. Ce preprint arXiv n'a pas encore passé la révision par les pairs, aucun partenariat industriel ni calendrier de déploiement n'est mentionné, et les performances revendiquées restent à confirmer sur des benchmarks industriels indépendants.

RecherchePaper
1 source