Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
DiSA-IQL : apprentissage par renforcement hors ligne pour un contrôle robuste des robots souples face aux changements de distribution
RecherchearXiv cs.RO 

DiSA-IQL : apprentissage par renforcement hors ligne pour un contrôle robuste des robots souples face aux changements de distribution

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Les robots serpents mous, capables de se faufiler et de se plier dans des environnements complexes grâce à leur structure flexible, restent difficiles à piloter car leur dynamique est fortement non linéaire et échappe aux modèles simplifiés utilisés par les contrôleurs classiques ou bio-inspirés. Une équipe de recherche propose DiSA-IQL (Distribution-Shift-Aware Implicit Q-Learning), une extension de l'algorithme d'apprentissage par renforcement hors ligne IQL, décrite dans une version révisée d'un article publié sur arXiv (identifiant 2510.00358v2). La méthode ajoute une pénalité sur les paires état-action jugées peu fiables afin de limiter la dégradation de performance causée par le décalage de distribution, un problème classique de l'apprentissage hors ligne où l'agent doit généraliser à partir d'un jeu de données figé sans pouvoir interagir en temps réel avec l'environnement. Les auteurs testent DiSA-IQL sur des tâches d'atteinte d'objectif, en distribution et hors distribution, uniquement en simulation, et rapportent des taux de réussite supérieurs, des trajectoires plus lisses et une robustesse accrue par rapport à trois références : le clonage comportemental (BC), Conservative Q-Learning (CQL) et l'IQL standard.

L'enjeu dépasse le seul cas des robots serpents. L'apprentissage en ligne sur du matériel réel est coûteux et risqué pour des structures souples fragiles, ce qui pousse la recherche vers des méthodes hors ligne capables d'exploiter des jeux de données pré-collectés sans dégrader leurs performances face à des situations inédites. Si les résultats se confirment au-delà de la simulation, ils renforceraient la viabilité de pipelines d'apprentissage hors ligne pour des classes de robots à dynamique difficile à modéliser, un enjeu direct pour les intégrateurs qui cherchent à déployer des systèmes souples sans multiplier les essais physiques coûteux.

Le travail s'inscrit dans la lignée directe d'IQL et de CQL, deux méthodes de référence en RL hors ligne conservateur, que les auteurs utilisent comme bases de comparaison plutôt que comme simples antécédents théoriques. Il reste à ce stade purement académique et simulé : aucune validation sur robot physique n'est rapportée, et l'article ne mentionne ni partenaire industriel ni calendrier de transfert vers du matériel réel.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Une approche hors ligne d'apprentissage par renforcement guidé par fNIRS pour le comportement des robots
1arXiv cs.RO 

Une approche hors ligne d'apprentissage par renforcement guidé par fNIRS pour le comportement des robots

Une nouvelle étude, publiée sur arXiv (2607.14393v1) mi-juillet 2026, explore la possibilité de piloter l'apprentissage par renforcement de robots à l'aide de signaux cérébraux captés par spectroscopie proche infrarouge fonctionnelle (fNIRS), une technique d'imagerie optique non invasive. Les chercheurs testent leur approche en simulation, en comparant des agents entraînés sur des tâches d'interaction passive (l'humain observe) et active (l'humain démontre l'action). Plusieurs méthodes d'intégration du signal neural dans l'algorithme de RL sont évaluées, avec un choix de conception clé : le signal cérébral vient augmenter les paramètres existants plutôt que les remplacer. L'équipe étudie aussi l'impact de la granularité du modèle et du bruit sur la qualité de l'apprentissage. Résultat principal, le signal fNIRS améliore les performances lorsqu'il sert à pondérer les priorités de trajectoire et les valeurs Q état-action, et le système fonctionne aussi à partir de données hors ligne, sans capture en temps réel. Ce dernier point est le plus significatif pour le secteur. L'apprentissage par renforcement avec humain dans la boucle est déjà largement utilisé pour aligner le comportement des robots sur les préférences des utilisateurs, généralement via des démonstrations, des retours explicites ou des comparaisons de trajectoires. Un signal cérébral direct promettrait un canal de préférence plus rapide et moins intrusif que les méthodes actuelles. Mais les interfaces cerveau-machine en temps réel restent lourdes à déployer hors laboratoire. En montrant que le cadre fonctionne aussi avec des données fNIRS collectées hors ligne, l'étude ouvre une voie plus réaliste pour intégrer ce type de signal sans exiger un dispositif BCI branché en continu, un obstacle pratique majeur pour toute application au-delà de la recherche. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par renforcement guidé par préférences humaines, déjà central dans l'entraînement des agents conversationnels et de plus en plus exploré pour la robotique physique. Il reste toutefois à un stade précoce : validation uniquement en simulation, pas de test sur robot réel, et l'abstract ne précise ni le nombre de participants ni l'institution porteuse. Les prochaines étapes attendues concernent vraisemblablement le passage à des environnements physiques et l'élargissement du panel de sujets testés.

RecherchePaper
1 source
Apprentissage par renforcement dans un espace d'embedding linéaire pour un contrôle généralisable sur différentes configurations de robots souples
2arXiv cs.RO 

Apprentissage par renforcement dans un espace d'embedding linéaire pour un contrôle généralisable sur différentes configurations de robots souples

Une équipe de chercheurs présente, dans un préprint arXiv déposé en juin 2026 (arXiv:2606.08104), un système de contrôle généraliste pour robots souples capables de s'adapter à 33 configurations mécaniques distinctes sans réentraînement complet. La méthode repose sur un espace d'embedding linéaire dit de Koopman, dans lequel la dynamique du robot est encodée indépendamment de sa morphologie. L'apprentissage par renforcement est appliqué dans cet espace partagé, ce qui permet au contrôleur de se transférer d'une configuration à une autre avec 75 fois moins d'échantillons de transfert que les approches conventionnelles. Le système maintient des performances robustes sous contraintes sévères : mouvements rapides, charges utiles élevées et pannes simultanées de plusieurs actionneurs. Le verrou que ce travail cherche à lever est structurel dans le domaine des robots souples : chaque changement de configuration (matériau, rigidité, morphologie) impose aujourd'hui une refonte du contrôleur spécifique, rendant la reconfiguration coûteuse en temps ingénieur et en données d'entraînement. En découplant la politique de contrôle de la morphologie via l'espace de Koopman, les auteurs ouvrent la voie à des robots souples reconfigurables à la demande, exploitables en production industrielle ou en milieu médical sans pipeline de réentraînement long. La réduction de 75x du coût de transfert est significative, mais le préprint ne précise pas les conditions opérationnelles exactes des 33 configurations testées ni si les évaluations couvrent des tâches réelles ou des benchmarks en simulation. Les robots souples, inspirés des pieuvres et des trompes d'éléphants, font l'objet d'une recherche matériaux intense depuis une décennie, mais leur contrôle restait l'obstacle principal à tout déploiement à l'échelle. Sur le front concurrent, les approches classiques par modèles (éléments finis, modèles de Cosserat) peinent à généraliser, tandis que les méthodes d'apprentissage profond nécessitent typiquement des jeux de données configuration-spécifiques massifs. L'opérateur de Koopman, déjà utilisé en robotique rigide pour linéariser des systèmes non linéaires, fait ici son entrée dans le contrôle de robots souples à grande échelle. Aucun partenariat industriel ni timeline de commercialisation n'est mentionné dans le préprint ; les suites naturelles seront la validation sur des tâches de manipulation réelle et l'extension à des configurations hybrides rigides-souples, segment sur lequel des spinoffs de laboratoires académiques européens et des acteurs comme Wandercraft cherchent à se positionner.

UEImpact indirect : des équipes académiques et spinoffs européens en robotique souple pourraient exploiter cette méthode Koopman pour réduire leur coût de réentraînement morphologique, mais aucun partenariat industriel ou déploiement européen n'est identifié à ce stade.

RecherchePaper
1 source
Apprentissage par renforcement basé sur un modèle pour le contrôle robotique via optimisation en ligne
3arXiv cs.RO 

Apprentissage par renforcement basé sur un modèle pour le contrôle robotique via optimisation en ligne

Des chercheurs ont publié sur arXiv (arXiv:2510.18518v2) un algorithme d'apprentissage par renforcement basé sur un modèle (MBRL) conçu pour contrôler des systèmes robotiques complexes directement dans le monde réel, sans passer par une phase de simulation intensive. L'approche construit un modèle de dynamique à partir des données d'interaction en temps réel, puis effectue des mises à jour de politique guidées par ce modèle appris. Les validations expérimentales ont été conduites sur deux plateformes distinctes : un bras d'excavatrice hydraulique et un bras robot souple. Dans les deux cas, l'algorithme atteint des performances comparables aux méthodes model-free en quelques heures d'entraînement, là où ces dernières réclament habituellement des millions d'interactions simulées. La robustesse de l'adaptation a également été évaluée sous conditions de charge utile (payload) aléatoire, avec des résultats stables malgré le changement de dynamique. L'enjeu principal est la réduction de ce que le secteur appelle le "sim-to-real gap" : l'écart entre les politiques apprises en simulation et leur comportement réel une fois déployées sur du matériel. Les pipelines dominants, adoptés aussi bien par des labos académiques que par des industriels comme Boston Dynamics ou Figure AI, reposent sur des millions de rollouts en simulation avant tout contact avec un robot physique, ce qui introduit un biais systématique difficile à corriger. Cet algorithme court-circuite cette étape en apprenant directement sur données réelles, avec une garantie formelle de progression : les auteurs démontrent des bornes de regret sous-linéaires (sublinear regret bounds) sous hypothèses d'optimisation stochastique en ligne, ce qui est rare dans la littérature MBRL appliquée à la robotique physique. Pour un intégrateur ou un industriel, cela se traduit par une réduction potentielle du temps de mise en service sur des tâches à dynamique variable (variation de charge, usure mécanique, changement de matériau). Ce travail s'inscrit dans un débat structurant du champ : model-based vs model-free RL pour la robotique physique. Les méthodes model-free comme PPO ou SAC dominent les benchmarks simulés mais peinent à s'adapter efficacement en production réelle. Des approches hybrides comme MBPO ou DreamerV3 ont tenté de combler cet écart, mais rarement validées sur des systèmes aussi hétérogènes qu'un bras hydraulique industriel et un manipulateur souple. La prochaine étape naturelle serait une validation sur des plateformes humanoïdes ou des AMR (autonomous mobile robots) à haute dimension, où les enjeux de sample efficiency sont directement liés aux coûts d'exploitation et à la durée de vie des actionneurs.

RecherchePaper
1 source
Comparaison quantitative du contrôle centralisé et distribué par apprentissage par renforcement pour bras robotiques souples
4arXiv cs.RO 

Comparaison quantitative du contrôle centralisé et distribué par apprentissage par renforcement pour bras robotiques souples

Une étude parue sur arXiv (2511.02192, version révisée) compare deux architectures d'apprentissage par renforcement multi-agent pour piloter un bras robotique souple, modélisé en simulation comme une tige de Cosserat via PyElastica et l'interface OpenAI Gym. Sous budget d'entraînement identique, les auteurs opposent un contrôleur centralisé global fondé sur Proximal Policy Optimisation (PPO) à une version distribuée multi-agent, MAPPO, le bras étant découpé en n sections contrôlées indépendamment. Trois scénarios sont testés en faisant varier n : atteinte d'une cible en conditions nominales, récupération après perturbation externe, et adaptation à une panne d'actionneur, évalués via amplitude d'action, distance finale à la cible, longueur d'épisode et taux de réussite. Les résultats révèlent un arbitrage net. Pour n≤4, la politique distribuée n'apporte aucun gain mesurable, et pour n≤2 la politique centralisée reste supérieure. Entre 4 et 12 sections, la version distribuée prend l'avantage : meilleur taux de réussite, meilleure résilience aux perturbations et aux pannes d'actionneurs, robustesse accrue en observabilité locale, convergence plus rapide à volume d'échantillons égal. La politique centralisée demeure toutefois bien plus rapide en temps de calcul réel pour entraîner un même volume d'échantillons. Pour la robotique souple, domaine où le contrôle reste un verrou faute de modèles dynamiques fiables, cette grille de décision (nombre de sections, budget de calcul disponible, besoin de tolérance aux pannes) aide à choisir une architecture avant un transfert sim-to-real, historiquement fragile pour ces manipulateurs continus de type tige. Le travail s'inscrit dans les efforts pour étendre l'apprentissage multi-agent, déjà éprouvé en robotique modulaire ou en essaims, au contrôle d'organes continus souples, un terrain moins documenté. La modélisation en tige de Cosserat, standard en simulation de robotique souple, capte la déformation continue du bras sans discrétisation rigide artificielle. En balayant systématiquement une plage de complexité de 2 à 12 sections plutôt qu'un cas unique, l'étude dépasse la démonstration ponctuelle pour proposer une méthode reproductible de dimensionnement des architectures de contrôle. Les auteurs présentent ces résultats comme un point de départ pour de futurs transferts sim-to-real sur bras souples, sans validation sur robot physique ni calendrier annoncé à ce stade : le travail reste pour l'instant purement en simulation.

RecherchePaper
1 source