Rainbow Deep Q-Learning intégrant la cinématique pour l'insertion coopérative de robots parallèles Delta et 3-RRS

Des chercheurs présentent dans un preprint arXiv (arXiv:2605.11697) un cadre combinant un robot parallèle Delta et un manipulateur 3-RRS (liaisons Rotoïde-Rotoïde-Sphérique) pour réaliser coopérativement une tâche d'insertion cheville-dans-trou (peg-in-hole), étalon classique de l'assemblage de précision. L'espace contrôlable couvre 6 degrés de liberté : trois translations assurées par le Delta, deux rotations et une translation verticale par le 3-RRS, pour un espace de tâche effectivement pentadimensionnel (l'insertion étant invariante à la rotation axiale). Le problème est formulé comme un processus de décision markovien à vecteur d'état de dimension 12 et 12 actions discrètes. L'algorithme retenu est un Rainbow DQN -- intégrant double Q-learning, architecture duale, rejeu à priorité, retours multi-étapes, couches linéaires bruitées et tête de valeur distributionnelle -- entraîné selon un curriculum en deux phases. Les résultats, obtenus exclusivement en simulateur cinématique haute-fidélité, montrent une convergence stable et des insertions fiables, surpassant un DQN classique et un planificateur par échantillonnage.

La contribution centrale n'est pas algorithmique mais architecturale : une étape d'optimisation géométrique précède tout entraînement et ajuste la cinématique du 3-RRS pour maximiser l'espace de travail sans singularité et améliorer le conditionnement de la chaîne. Ce co-design élargit la région sûre d'exploration de la politique RL, réduit les violations de contraintes cinématiques et accélère la convergence. Ce principe -- optimiser la géométrie mécanique avant l'apprentissage plutôt que déléguer cette contrainte à la fonction de récompense -- est directement applicable aux intégrateurs travaillant avec des manipulateurs à espace de travail contraint ou à singularités critiques.

Les robots parallèles Delta, introduits par Reymond Clavel en 1985 et largement déployés en pick-and-place agroalimentaire et pharmaceutique, sont réputés pour leur rigidité mais pénalisés par un espace de travail réduit. Les architectures 3-RRS partagent ces caractéristiques. Le Rainbow DQN, proposé par DeepMind en 2017, agrège six améliorations du DQN original de 2015 ; son application aux architectures parallèles coopératives reste peu documentée dans la littérature. Ce travail demeure une contribution de recherche en simulation : le franchissement du fossé sim-to-réel n'est pas traité, aucun déploiement sur hardware physique n'est annoncé, et les auteurs n'indiquent pas d'affiliation industrielle.