RecherchearXiv cs.RO 25 juin 2026

Contrôle prédictif événementiel piloté par les données via apprentissage par renforcement profond pour un bras souple à câbles 3D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (arXiv:2606.26048v1) un framework de contrôle hybride baptisé RL-ET-DeePC, combinant apprentissage par renforcement (RL) sans modèle et contrôle prédictif basé sur les données (DeePC) avec déclenchement événementiel, appliqué à un bras souple câblé à trois dimensions. L'approche repose sur une politique RL entraînée à décider dynamiquement quand activer le solveur d'optimisation DeePC, plutôt que de le lancer à chaque pas d'échantillonnage comme le fait le DeePC périodique classique. En simulation, le framework réduit la fréquence d'appel au solveur jusqu'à 66 % sans dégradation mesurable de la précision de suivi de trajectoire. Sur le banc physique, le transfert s'effectue en zero-shot, c'est-à-dire sans réentraînement ni adaptation, avec une réduction de 34 % des appels d'optimisation, une précision de suivi comparable au DeePC périodique, et des performances plus régulières qu'un déclenchement événementiel à seuil statique.

L'enjeu est directement industriel : le DeePC standard, qui évite la modélisation explicite en exploitant les trajectoires entrée-sortie mesurées, bute sur le coût computationnel de son optimisation en horizon glissant à chaque cycle. Sur des plateformes embarquées à ressources limitées, ce verrou bloque le déploiement temps réel. En déléguant la décision de déclenchement à une politique RL légère, RL-ET-DeePC rend le contrôle prédictif viable sur matériel contraint, tout en validant un transfert sim-to-real zero-shot sur un système souple, dont les dynamiques non linéaires et variant dans le temps constituent précisément le défi classique du gap simulation-réalité. C'est un résultat notable : les robots souples sont réputés récalcitrants au sim-to-real, et une réduction de 34 % des appels solveur sur hardware sans recalibration ouvre la voie à des architectures plus légères.

Le DeePC, introduit autour de 2019 comme alternative data-driven aux MPC classiques, souffre depuis de son coût en ligne. Les travaux sur le déclenchement événementiel (event-triggered control) cherchent depuis plusieurs années à conditionner l'appel au solveur à des critères d'état système, mais les seuils statiques manquent d'adaptabilité. L'usage du RL pour apprendre ce critère de déclenchement constitue la nouveauté architecturale centrale de ce papier. Dans le paysage des robots souples, les approches concurrentes incluent les contrôleurs basés sur des réseaux de neurones récurrents (LSTM, Echo State Networks) et les méthodes Koopman pour la linéarisation. Ce travail positionne RL-ET-DeePC comme une alternative sans modèle et computationnellement frugale, avec des perspectives de déploiement sur des bras chirurgicaux, des grippers adaptatifs, ou des exosquelettes souples où la puissance de calcul embarquée reste contrainte.

Dans nos dossiers

Manipulation robotique Exosquelettes arXiv cs.RO

À lire aussi

1arXiv cs.RO

Méduse robotique actionnée par tendons à commande souple contrainte, avec contrôle de profondeur par apprentissage par renforcement

Une équipe de chercheurs présente un robot méduse sous-marin actionné par câbles (tendons), doté d'une actionnation souple contrainte combinant substrat flexible et contraintes discrètes. Chaque actionneur peut fléchir jusqu'à 150°, avec une relation quasi linéaire entre déplacement du câble et angle de flexion. Le robot embarque huit actionneurs pilotés par seulement quatre servomoteurs, ce qui lui permet de nager de façon stable, d'ajuster son attitude et de se retourner seul en cas de basculement (self-righting). Les chercheurs ont ensuite entraîné un contrôleur par apprentissage par renforcement pour réguler la profondeur en boucle fermée, validé à la fois en simulation et sur le prototype physique. Le travail a été publié sur arXiv (référence 2609.29132v1) le 25 septembre 2026 sous forme de preprint non encore relu par des pairs, sans précision sur les dimensions, le poids du robot, ni le lieu exact des essais physiques, vraisemblablement menés en bassin. L'enjeu technique visé est bien identifié dans la robotique souple sous-marine: les actionneurs mous permettent une grande déformation et une locomotion économe en énergie proche de celle des méduses réelles, mais leur comportement non linéaire les rend difficiles à contrôler précisément. En ajoutant des contraintes mécaniques discrètes au substrat flexible, les auteurs obtiennent une relation quasi linéaire entre commande et flexion, ce qui simplifie l'apprentissage d'un contrôleur par renforcement et transforme la régulation de profondeur en un comportement reproductible plutôt que purement qualitatif. Pour les concepteurs de robots sous-marins bio-inspirés et les équipes travaillant sur des véhicules autonomes compliants, la démonstration esquisse une voie intermédiaire entre actionneurs rigides faciles à piloter et actionneurs mous difficiles à modéliser, sans sacrifier la compliance qui fait l'intérêt biomimétique de la méduse. Ce travail s'inscrit dans un courant de recherche en robotique molle bio-inspirée qui explore depuis plusieurs années des robots méduses, poissons ou pieuvres actionnés par matériaux souples, pneumatique ou câbles, en concurrence avec des approches plus classiques d'AUV à hélices pour l'exploration sous-marine discrète et peu consommatrice d'énergie. Contrairement à de simples démonstrations mécaniques de nage, cette étude ajoute une couche de contrôle par renforcement, signe d'une volonté d'aller vers l'autonomie plutôt que la seule preuve de concept de mouvement. À ce stade, il s'agit d'un prototype de laboratoire et d'un preprint: aucun calendrier de test en mer, d'intégration dans une flotte ou de partenariat industriel n'est mentionné, et les auteurs présentent eux-mêmes leurs résultats comme une étape vers des robots méduses manœuvrables et autonomes, non comme un système finalisé.

RecherchePaper

1 source

2arXiv cs.RO

Vers un apprentissage par renforcement piloté par couple pour la locomotion quadrupède

Des chercheurs publient sur arXiv (référence 2607.18365v1) un nouveau cadre d'apprentissage par renforcement (RL) piloté par le couple moteur, plutôt que par la position, pour la locomotion de robots quadrupèdes. Contrairement aux approches RL classiques qui commandent les articulations en position et nécessitent une estimation d'état complexe (notamment la vitesse linéaire de l'engin), ce framework agit directement sur le couple et permet à un robot de suivre une vitesse cible sans connaître sa propre vitesse en temps réel. L'équipe a testé son approche en simulation sur Nvidia Isaac Sim et Isaac Lab, en utilisant le quadrupède Unitree B1, une plateforme lourde et à fort couple par rapport aux petits robots légers habituellement employés dans ce type de recherche. Résultat : le robot simulé atteint 3,5 m/s en vitesse linéaire et 1,5 rad/s en rotation, et parvient à monter et descendre des escaliers sans capteur extéroceptif (caméra ou lidar), en s'appuyant uniquement sur sa perception proprioceptive. L'enjeu dépasse la simple performance chiffrée : la plupart des frameworks RL actuels butent sur des robots légers, limités dès qu'il s'agit de tâches à forte exigence mécanique (charge utile, franchissement d'obstacles robustes). En démontrant qu'un contrôle par couple peut fonctionner sur une plateforme lourde et à haut couple sans état de vitesse explicite, ce travail ouvre la voie à des quadrupèdes RL capables d'opérations industrielles plus exigeantes, un axe clé pour les intégrateurs qui cherchent à sortir la locomotion apprise des laboratoires vers des usages réels (inspection, logistique en terrain difficile). Il faut toutefois noter que ces résultats restent purement issus de la simulation, sans validation sur robot physique à ce stade, ce qui laisse ouverte la question classique du transfert sim-to-real. Le choix du Unitree B1, une plateforme commerciale déjà répandue dans la recherche en robotique mobile, suggère une intention de test réel à venir, mais aucun calendrier n'est communiqué dans l'article.

RecherchePaper

1 source

3arXiv cs.RO

Analyse de l'apprentissage par renforcement profond en continu pour l'apprentissage adaptatif en robotique

Des chercheurs publient sur arXiv (référence 2609.28807, soumission nouvelle) une étude qui livre la première analyse de l'apprentissage par renforcement profond en flux comme cadre d'apprentissage continu adaptatif pour la robotique. Contrairement à l'approche dominante, qui consiste à réentraîner hors ligne un modèle sur un jeu de données élargi après une phase de pré-entraînement, la méthode testée met à jour la politique neuronale en continu, à partir de chaque nouvelle expérience, en s'inspirant du fonctionnement de l'apprentissage biologique. Les expériences principales portent sur la locomotion d'un robot quadrupède : avec certains optimiseurs et des techniques de limitation de la perte de plasticité, la politique s'adapte rapidement en ligne à des changements imprévus touchant le robot lui-même, son environnement ou ses objectifs. Elle surpasse les méthodes batch on-policy classiques et améliore le taux de réussite des tâches jusqu'à 90% par rapport à la politique simplement pré-entraînée. Des évaluations complémentaires sur des tâches de manipulation robotique, menées sur une morphologie différente, montrent que ces gains se retrouvent partiellement, avec des limites de stabilité et de performance. Pour l'industrie robotique, ce travail apporte une première preuve empirique qu'un apprentissage en flux, sans réentraînement batch hors ligne massif, peut permettre à un robot déjà déployé de s'adapter à des situations non anticipées lors de la collecte de données initiale, un scénario courant pour les intégrateurs confrontés à des changements d'environnement, à l'usure matérielle ou à des objectifs de mission évolutifs. Cela remet en question l'hypothèse dominante du secteur selon laquelle la robustesse passe nécessairement par l'élargissement continu des jeux de données d'entraînement hors ligne, et suggère une voie alternative pour réduire le coût et la latence de mise à jour des politiques embarquées, un enjeu clé alors que les acteurs des humanoïdes et des robots mobiles autonomes cherchent à généraliser leurs modèles au-delà des scénarios démontrés en laboratoire. Le fait que les gains observés en locomotion quadrupède ne se transposent que partiellement à la manipulation souligne toutefois que la généralisation entre morphologies reste un problème ouvert, ce qui tempère tout enthousiasme prématuré côté commercialisation. Le papier s'inscrit dans un courant de recherche récent ayant démontré la faisabilité technique du deep RL en flux, où chaque mise à jour du réseau utilise uniquement la dernière expérience collectée plutôt qu'un lot de données rejouées, sans qu'aucun travail antérieur n'ait validé cette approche comme cadre viable d'apprentissage continu pour adapter des politiques robotiques à des changements non vus. Les auteurs positionnent explicitement leur contribution comme la première étude de ce type appliquée à la robotique, en s'appuyant sur une phase de pré-entraînement suivie d'une adaptation en ligne. L'étude se conclut par une discussion des limites, notamment les problèmes de stabilité observés en manipulation, et par des pistes pour les futurs systèmes de robot learning continu, sans annoncer de calendrier de déploiement ni de partenariat industriel.

RecherchePaper

1 source

4arXiv cs.RO

Contrôle prédictif de pression basé sur l'apprentissage pour une queue robotique souple vertébrée

Une équipe de recherche présente, dans une publication mise en ligne sur arXiv le 30 septembre 2026, un système de contrôle par prédiction de pression (PPC, pressure prédictive control) pour une queue robotique molle segmentée de type vertébrale, destinée a etre montee sur un robot quadrupède. Le système s'appuie sur des réseaux de neurones récurrents LSTM et combine trois modules : un modèle de cinématique inverse (IK), un modèle de cinématique directe (FK) et un module de compensation de pression (P-comp), permettant de piloter la queue aussi bien en mouvement quasi statique qu'en mouvement dynamique non stationnaire. Compare a une approche fondée uniquement sur la cinématique inverse, le PPC réduit l'erreur quadratique moyenne (RMSE) des trajectoires simulées de 69,8 % lors de l'exécution de trajectoires cibles. Dans les mouvements coordonnes entre la queue et le torse du quadrupède, l'utilisation d'un jeu de données de prédiction pour entrainer le PPC permet d'anticiper l'action au pas de temps suivant et réduit le temps de calcul de 60,9 %, améliorant la réactivité de la queue face au rythme de déplacement du robot. Cette avancée s'attaque a un problème récurrent de la robotique molle : la modélisation cinématique des structures continues, dont le comportement matériel non linéaire complique fortement le contrôle, en particulier lors de mouvements non statiques ou l'inertie et les déformations dynamiques entrent en jeu. En montrant qu'un modèle appris remplace avantageusement une cinématique inverse purement analytique, a la fois sur la précision de trajectoire et sur le temps de calcul, les auteurs fournissent une preuve de concept utile aux équipes qui cherchent a doter des robots quadrupèdes d'un appendice mou capable d'apporter du contrôle d'équilibre dynamique ou une interaction physique avec l'environnement, sans recourir a des actionneurs rigides plus lourds et moins surs au contact. Le gain de 60,9 % sur le temps de calcul est particulièrement pertinent pour les applications temps réel, ou la latence de contrôle limite aujourd'hui l'adoption de structures molles complexes face a des actionneurs rigides plus prévisibles. Le travail s'inscrit dans le courant plus large de la robotique molle, ou la difficulté a modéliser précisément des structures déformables freine depuis des années le passage de prototypes de laboratoire a des systèmes déployés, contrairement aux bras et jambes rigides dont la cinématique est bien maîtrisée. L'ajout d'un appendice caudal a un robot quadrupède fait écho a des travaux antérieurs sur les queues robotiques utilisées pour la stabilisation dynamique et le contrôle d'équilibre, un axe également explore par des laboratoires travaillant sur des robots inspires du vivant. Publiee sous forme de preprint arXiv non encore revu par les pairs, l'étude ne précise ni calendrier de transfert vers un produit commercial ni partenaire industriel, mais constitue une brique méthodologique réutilisable par d'autres équipes pour entrainer des contrôleurs similaires sur d'autres structures molles articulées.

RecherchePaper

1 source