RecherchearXiv cs.RO 17 septembre 2026

CANTABILE : un apprentissage de la dynamique expressive pour le piano robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un preprint publié le 17 septembre 2026 sur arXiv (2609.18213v1) présente CANTABILE, un framework qui ajoute la dimension expressive au jeu de piano robotique en simulation. Jusqu'ici, les systèmes évalués sur RoboPianist, le benchmark de référence pour la manipulation bimanuelle dextre, n'étaient jugés que sur la justesse des notes, à savoir quelle touche presser et à quel instant, sans tenir compte de l'intensité du toucher. CANTABILE conditionne sa politique sur des objectifs de vélocité à venir, convertit la vitesse angulaire de chaque touche au moment de l'impact en valeur MIDI, et combine une récompense de fidélité de vélocité à une récompense de couverture des notes jouées, pour empêcher le système de sauter les passages difficiles afin de préserver son score. Sur EXPRESSIVE-51, un sous-ensemble de 51 morceaux riches en nuances dynamiques, le score Velocity F1, qui mesure conjointement hauteur, timing et intensité avec une tolérance de plus ou moins 8 sur l'échelle MIDI, passe de 0,06 à 0,34 par rapport à la référence RoboPianist, avec une amélioration sur l'ensemble des 51 morceaux, une erreur de vélocité sur les notes correctement jouées divisée par plus de deux, et une distance log-mel à l'enregistrement de référence réduite de 8 %. Un raffinement additionnel, un résidu localisé aux doigts et pondéré par un coefficient alpha appliqué à une politique de base gelée, ainsi qu'un entraînement à intensité aléatoire, permet de régler l'intensité du jeu au moment de l'exécution sans réentraîner le modèle.

L'intérêt dépasse la seule musique: il révèle un angle mort des benchmarks de dextérité robotique, où mesurer uniquement précision temporelle et hauteur des notes laisse de côté l'intensité du geste et peut inciter un système à éviter les passages difficiles pour préserver son score. En couplant explicitement fidélité de vélocité et couverture des notes, CANTABILE ferme cette faille et propose une méthode transposable à d'autres tâches de manipulation fine où la force ou la vitesse du contact compte autant que sa localisation, un enjeu direct pour les politiques de type VLA et les architectures de contrôle bimanuel visées par la robotique humanoïde et les bras dextres industriels. Il ne s'agit toutefois pas d'une démonstration sur robot physique: RoboPianist et EXPRESSIVE-51 restent des benchmarks en simulation, et un F1 qui passe de 0,06 à 0,34 mesure un progrès relatif sur une tâche difficile plutôt qu'une performance musicale aboutie.

CANTABILE s'inscrit dans la continuité de RoboPianist, benchmark de simulation déjà établi pour évaluer la manipulation bimanuelle dextre de mains robotiques jouant du piano, jusqu'ici centré sur la seule justesse note par note. Le résumé ne mentionne ni acteur industriel, ni société commerciale associée, ni calendrier de portage sur matériel réel: il s'agit d'une contribution académique publiée en preprint. Elle s'ajoute à un ensemble de travaux cherchant à combler l'écart entre les démonstrations de dextérité en simulation et des critères d'évaluation plus complets, dans un contexte où la recherche en robotique pousse vers des politiques capables de généraliser des compétences motrices fines, du jeu d'instrument à la manipulation d'objets fragiles.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Eye, Robot : apprentissage de la dynamique expressive du regard par un Transformer-VAE guidé par un VLM

Des chercheurs proposent un système de contrôle du regard pour robot humanoïde, publié sur arXiv (2610.19635v1), qui sépare le choix de la cible du calcul du mouvement. Un modèle vision-langage (VLM) fonctionnant de manière asynchrone sélectionne un élément de la scène à regarder, un module de perception réactif maintient la fixation, et un « Realistic Gaze Transformer » (RGT) génère le mouvement conditionné par cette cible. Le RGT est un Transformer-VAE entraîné sur des enregistrements humains sans marqueurs, retargetés vers l'espace articulaire à 11 degrés de liberté (DOF) de la tête du robot. Le préentraînement auto-supervisé encode l'historique récent de la tête entière, puis un affinage autorégressif expose le modèle à ses propres prédictions pendant le déroulement. À l'inférence, une trajectoire binoculaire à quatre dimensions pilote de façon coordonnée le cou et les yeux, tandis qu'un prédicteur de clignements déclenche des gabarits de mouvement des paupières. Sur un banc d'essai de deux secondes où tous les contrôleurs reçoivent la même cible de référence, la variante RGT-Base obtient l'erreur quadratique moyenne la plus basse sur sept articulations. Des démonstrations physiques illustrent la chaîne complète de ciblage et de contrôle. Pour les intégrateurs et les équipes qui développent des robots d'accueil, d'assistance ou de service, le regard est un canal de communication non verbal qui conditionne l'acceptation du robot. Les règles de suivi fixes, courantes aujourd'hui, produisent des mouvements mécaniques et ignorent la structure temporelle du regard humain (saccades, coordination œil-tête, clignements). L'architecture proposée est modulaire : le VLM, lent, décide où regarder, tandis qu'un générateur léger tourne en temps réel. Cette séparation est un schéma réaliste pour les robots qui embarquent un grand modèle sans pouvoir l'exécuter à haute fréquence. Les limites sont toutefois claires et reconnues par les auteurs. Les résultats établissent la fidélité cinématique dans l'espace du robot et la faisabilité de l'inférence en temps réel, mais pas le caractère naturel perçu par des humains, ni la précision de sélection de cibles en vocabulaire ouvert. Le meilleur score MSE est mesuré dans un cadre où la cible est donnée, donc il ne dit rien de la qualité du choix fait par le VLM. Il s'agit d'un travail de recherche, sans produit ni déploiement commercial. Ce travail s'inscrit dans une lignée de recherches sur les têtes de robots expressives et la génération de gestes à partir de données humaines. Il adopte les mêmes briques que la robotique actuelle : modèles génératifs entraînés sur de la capture humaine, retargeting vers le robot, et VLM pour l'ancrage sémantique. Le résumé ne nomme ni plateforme matérielle, ni laboratoire, ni modèles concurrents comparés, ce qui limite la possibilité de situer précisément le résultat. La suite logique est une évaluation contrôlée avec des utilisateurs humains pour mesurer le naturel perçu, ainsi qu'un test systématique de la sélection de cibles en vocabulaire ouvert. Faute de ces éléments, l'avancée reste un résultat de laboratoire sur la qualité du mouvement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage rapide sur robot pour compétences de manipulation dynamique : le jonglage robotique

Un article publié sur arXiv (2608.26800v1) présente un cadre d'apprentissage en ligne permettant à un robot bimanuel d'apprendre à jongler directement sur du matériel physique, en moins de cinq minutes d'interaction réelle. Équipé de deux bras, de mains multi-doigts et d'une vision embarquée, le robot maîtrise cinq figures classiques de jonglage à trois balles : cascade, tennis, demi-douche, douche et boîte. La méthode, dite d'apprentissage régularisé par mémoire, combine un modèle local construit à partir de l'expérience accumulée sur le robot avec un modèle global préalable qui sert à extrapoler là où les données manquent. Un mécanisme de sécurité, appelé ensemble mutuellement atteignable, garantit que chaque transition entre lancer et rattrapage reste dans les limites articulaires et d'actionneurs des deux bras. Ce résultat s'attaque à l'écart persistant entre simulation et réalité en robotique : plutôt que de chercher à améliorer la fidélité du simulateur, les auteurs montrent qu'un modèle imparfait suffit comme socle à un apprentissage rapide directement sur le robot. Cela contredit l'hypothèse répandue selon laquelle un pré-entraînement massif ou une collecte de données prolongée est nécessaire pour des tâches de manipulation dynamique exigeant une coordination fine entre perception et action en temps réel. Pour les intégrateurs et décideurs industriels, l'approche suggère des robots capables de s'adapter en quelques minutes à une nouvelle tâche sur site plutôt qu'après des semaines de réentraînement hors ligne, ce qui réduirait le coût et les délais de déploiement de systèmes manipulateurs dextres. Le jonglage sert ici de banc d'essai à des compétences de manipulation dynamique et rapide, un registre distinct des tâches quasi statiques comme la préhension ou le tri qui dominent les démonstrations commerciales actuelles. L'abstract ne précise ni l'affiliation des auteurs ni la plateforme robotique utilisée, au-delà de sa description fonctionnelle. Ce travail s'inscrit dans une tendance de recherche visant à dépasser les politiques figées apprises hors ligne, au profit de robots capables d'affiner en continu leur comportement au contact du monde réel. Les auteurs présentent ce résultat comme une preuve de concept, une étape vers des systèmes qui exploitent des connaissances préalables imparfaites tout en s'améliorant continuellement par leur propre expérience physique.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage collectif pour une manipulation robotique unifiée par adaptation prédictive de la dynamique

Des chercheurs proposent PACE, un cadre d'apprentissage collectif en deux étapes pour entraîner une politique unique de manipulation cartésienne, pilotée par l'état (et non par la vision), sur des robots aux morphologies différentes. Dans la première étape, une couche de représentation est pré-entraînée sur des trajectoires hors ligne pour extraire le contexte de la tâche à partir des données agrégées de plusieurs robots. Dans la seconde, une couche de décision est dotée d'un adaptateur de dynamique prédictive: on force l'état latent à prédire les transitions futures, ce qui ancre la politique dans le comportement réel du robot qui exécute l'action. L'inférence reste en temps réel, sans planification en ligne. En simulation, PACE atteint plus de 93 % de succès global et 89 % sur des robots simulés hors distribution dynamique, évalués en zero-shot. Les références restent nettement derrière: 82 % pour un Transformer en clonage comportemental et 66 % pour une politique de diffusion. Un déploiement sur un robot KUKA physique valide la faisabilité de la chaîne complète en transfert sim-to-real zero-shot. Le problème visé est concret pour quiconque veut mutualiser des données entre plusieurs bras robotiques. Une même commande cartésienne se traduit par des comportements de transition différents selon l'embodiment (cinématique, inerties, limites d'actionneurs). Une agrégation naïve moyenne alors des modes d'action incompatibles, d'où une ambiguïté de stratégie et un effondrement des performances sur les robots dont la dynamique s'écarte de la norme. Les résultats suggèrent que séparer l'intention dans l'espace de la tâche de la dynamique propre au robot peut limiter ce phénomène, ce qui intéresserait les intégrateurs gérant des parcs hétérogènes et voulant éviter un réentraînement par machine. Il faut toutefois rester prudent: les chiffres viennent essentiellement de simulation, la validation physique se limite à un seul robot KUKA, et le résumé ne donne ni nombre de tâches, ni cadence, ni taux de réussite en conditions réelles. Ce travail s'inscrit dans la course aux politiques généralistes multi-embodiments, portée par les modèles vision-langage-action comme Pi-0 ou GR00T, et par les approches de diffusion et de Transformers utilisées ici comme références. PACE prend un angle différent: une politique légère, basée sur l'état, centrée sur la robustesse face aux dynamiques atypiques plutôt que sur la généralité sémantique. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, sans produit ni pilote industriel annoncé. Les suites logiques seraient des tests sur davantage de robots physiques, l'intégration de la perception et une comparaison directe avec les grands modèles de fondation robotiques.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Bibliothèque d'experts à mélange dynamique progressif pour l'apprentissage robotique continu

Des chercheurs proposent DMPEL (Dynamic Mixture of Progressive Parameter-Efficient Expert Library), une architecture publiée sur arXiv (2506.05985) pour l'apprentissage continu en robotique. L'objectif est de permettre à un agent généraliste d'acquérir séquentiellement de nouvelles compétences sans effacer les précédentes, phénomène dit d'oubli catastrophique. DMPEL construit progressivement une bibliothèque d'experts à rang réduit (low-rank, dans la famille PEFT), et utilise un routeur léger pour les combiner dynamiquement en une politique end-to-end. La technique centrale, l'« expert coefficient replay », guide ce routeur vers les experts gelés correspondant aux tâches passées sans rejouer l'intégralité de l'historique d'expériences. Évalué sur LIBERO, benchmark standard de l'apprentissage continu en robotique simulée, DMPEL surpasse l'état de l'art en taux de succès lors d'adaptations séquentielles, avec un nombre minimal de paramètres entraînables. Le verrou levé est pratiquement significatif : les méthodes PEFT existantes supposent un identifiant de tâche disponible à l'inférence, hypothèse irréaliste en déploiement réel où le robot doit lui-même inférer à quelle tâche il est confronté. En s'en affranchissant, DMPEL ouvre la voie à une adaptation incrémentale sans supervision externe. Le remplacement de l'expérience replay classique par l'expert coefficient replay réduit aussi sensiblement les besoins en stockage et en calcul, un argument concret pour l'embarqué industriel. Pour un intégrateur ou un décideur B2B, c'est le signal que spécialiser un robot à de nouveaux postes de travail en séquence devient techniquement plus accessible. L'apprentissage continu connaît un regain d'intérêt direct avec l'essor des politiques vision-langage-action (VLA) comme OpenVLA, RT-2 ou pi-zero, qui nécessitent une spécialisation post-entraînement par tâche. DMPEL s'inscrit dans la lignée des travaux sur les Mixture of Experts et les adaptateurs LoRA, appliqués ici à un cadre multi-tâches séquentiel. Ses concurrents directs sur LIBERO incluent EWC (Elastic Weight Consolidation), PackNet et L2P. La limite principale reste l'absence d'expériences sur robot physique : les gains mesurés en simulation ne garantissent pas le passage au déploiement terrain, un sim-to-real gap que les publications de ce type peinent encore à combler systématiquement.

RecherchePaper

1 source