RecherchearXiv cs.RO 26 mai 2026

Comment atténuer le problème de décalage de distribution dans le contrôle robotique : une approche robuste et adaptative par apprentissage par imitation hors ligne vers en ligne

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a déposé le 25 mai 2026 sur arXiv (réf. 2605.25414) un cadre d'apprentissage par imitation en deux phases pour traiter le décalage de distribution dans le contrôle robotique. Ce problème survient lorsqu'un agent entraîné sur des démonstrations expertes rencontre, au déploiement, des états non couverts pendant l'entraînement, sa couverture état-action étant structurellement limitée par la portée des démonstrations fournies. La méthode articule une phase hors ligne utilisant des démonstrations complémentaires filtrées par un discriminateur pour élargir cette couverture, et une phase en ligne qui détecte le décalage en temps réel et déclenche un apprentissage auto-supervisé à partir des expériences collectées. Les évaluations ont été conduites uniquement dans des environnements MuJoCo ; aucun test sur robot physique n'est rapporté.

L'intérêt réside dans la nature lifelong du mécanisme : au lieu d'une politique figée après entraînement, le système s'adapte en continu lorsqu'il dérive hors de sa distribution. Pour un ingénieur robotique ou un intégrateur industriel, cela ouvre la perspective d'un robot capable de se recalibrer automatiquement en production sans re-collecte manuelle de données ni réentraînement complet. L'utilisation d'un discriminateur évoque les architectures GAIL (Generative Adversarial Imitation Learning), mais la contribution revendiquée tient à la détection en ligne du shift couplée à l'auto-supervision. Les auteurs rapportent de meilleures performances que les baselines sur robustesse et adaptation, bien que les métriques issues de MuJoCo restent éloignées des contraintes du monde réel.

Le décalage de distribution est un problème structurel de l'apprentissage par imitation depuis DAgger (Ross et al., 2011) et GAIL (Ho & Ermon, 2016). Les approches concurrentes, comme l'offline RL à haute couverture de données, les politiques de diffusion de type pi-0 (Physical Intelligence) ou les VLA généralistes, traitent le problème principalement par la diversité des données d'entraînement, non par adaptation en ligne. Ce preprint n'a pas encore été soumis à évaluation par les pairs, et le vrai test restera le transfert sim-to-real : la validation sur robots physiques amplifierait précisément les écarts de distribution que ce cadre cherche à combler.

Dans nos dossiers

Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

GuidedAttention : attention visuelle interprétable et corrigeable pour une manipulation robotique robuste hors distribution par apprentissage par imitation

Une équipe de recherche présente GuidedAttention, un framework d'apprentissage par imitation visuomoteur qui rend l'attention visuelle d'une politique robotique interprétable et corrigible par l'utilisateur. Contrairement aux approches end-to-end classiques, où l'opérateur ne peut ni voir ni ajuster ce que le robot "regarde" pour agir, GuidedAttention introduit une représentation intermédiaire explicite : des points-clés d'attention pertinents pour la tâche sont prédits à partir des images caméra, puis conditionnent une politique d'action basée sur un modèle de diffusion. L'utilisateur peut inspecter ces points-clés et les corriger une seule fois, au début de l'exécution (rollout initialization) ; un module de suivi (tracking) propage ensuite automatiquement cette correction tout au long de la tâche. Les auteurs rapportent des expériences en simulation et en conditions réelles montrant des gains de performance en manipulation robotique, particulièrement marqués dans des scénarios hors distribution (OOD), qu'il s'agisse de changements de position des objets ou de leur apparence. L'enjeu dépasse la simple amélioration de score en benchmark. La fragilité face aux conditions hors distribution reste l'un des principaux obstacles au déploiement industriel de robots manipulateurs entraînés par imitation : une politique qui fonctionne en démonstration mais échoue dès qu'un objet change de couleur, de position ou d'éclairage a peu de valeur en usine ou en entrepôt. En rendant l'attention du modèle visible et modifiable par un humain, GuidedAttention s'attaque directement au problème de confiance et de débogage des politiques visuomotrices apprises par imitation, une boîte noire jusqu'ici difficile à corriger sans réentraînement complet. Pour les intégrateurs et ingénieurs robotique, cela ouvre la voie à un contrôle qualité plus fin des politiques déployées, avec une intervention humaine ciblée et peu coûteuse plutôt qu'une reprise de collecte de données. Ce travail s'inscrit dans la lignée des recherches récentes sur les architectures VLA (vision-language-action) et les politiques de diffusion, où l'un des débats centraux porte justement sur l'écart entre performance en démonstration et robustesse réelle en conditions variables. En intégrant un mécanisme de correction humaine explicite plutôt qu'une simple amélioration architecturale passive, GuidedAttention se positionne comme une alternative aux approches purement bout-en-bout. L'article, disponible sur arXiv (2607.21049v1), ouvre des pistes pour des évaluations plus poussées sur des tâches de manipulation plus complexes et des déploiements en conditions industrielles réelles.

RecherchePaper

1 source

2arXiv cs.RO

DiSA-IQL : apprentissage par renforcement hors ligne pour un contrôle robuste des robots souples face aux changements de distribution

Les robots serpents mous, capables de se faufiler et de se plier dans des environnements complexes grâce à leur structure flexible, restent difficiles à piloter car leur dynamique est fortement non linéaire et échappe aux modèles simplifiés utilisés par les contrôleurs classiques ou bio-inspirés. Une équipe de recherche propose DiSA-IQL (Distribution-Shift-Aware Implicit Q-Learning), une extension de l'algorithme d'apprentissage par renforcement hors ligne IQL, décrite dans une version révisée d'un article publié sur arXiv (identifiant 2510.00358v2). La méthode ajoute une pénalité sur les paires état-action jugées peu fiables afin de limiter la dégradation de performance causée par le décalage de distribution, un problème classique de l'apprentissage hors ligne où l'agent doit généraliser à partir d'un jeu de données figé sans pouvoir interagir en temps réel avec l'environnement. Les auteurs testent DiSA-IQL sur des tâches d'atteinte d'objectif, en distribution et hors distribution, uniquement en simulation, et rapportent des taux de réussite supérieurs, des trajectoires plus lisses et une robustesse accrue par rapport à trois références : le clonage comportemental (BC), Conservative Q-Learning (CQL) et l'IQL standard. L'enjeu dépasse le seul cas des robots serpents. L'apprentissage en ligne sur du matériel réel est coûteux et risqué pour des structures souples fragiles, ce qui pousse la recherche vers des méthodes hors ligne capables d'exploiter des jeux de données pré-collectés sans dégrader leurs performances face à des situations inédites. Si les résultats se confirment au-delà de la simulation, ils renforceraient la viabilité de pipelines d'apprentissage hors ligne pour des classes de robots à dynamique difficile à modéliser, un enjeu direct pour les intégrateurs qui cherchent à déployer des systèmes souples sans multiplier les essais physiques coûteux. Le travail s'inscrit dans la lignée directe d'IQL et de CQL, deux méthodes de référence en RL hors ligne conservateur, que les auteurs utilisent comme bases de comparaison plutôt que comme simples antécédents théoriques. Il reste à ce stade purement académique et simulé : aucune validation sur robot physique n'est rapportée, et l'article ne mentionne ni partenaire industriel ni calendrier de transfert vers du matériel réel.

RecherchePaper

1 source

3arXiv cs.RO

Cadre de politique adaptatif au contexte pour une manipulation robotique robuste et réactive via apprentissage par imitation sensible à l'incertitude

Une nouvelle version (v2) de l'article arXiv:2410.24035 propose un cadre de politique adaptatif au contexte pour la manipulation robotique, combinant robustesse et réactivité. Les auteurs s'appuient sur l'apprentissage par démonstration (Learning from Demonstration, LfD), et plus précisément sur les approches basées sur des systèmes dynamiques (DS), pour apprendre une politique conditionnée à la fois par l'état du robot et par des paramètres de tâche de basse dimension représentant le contexte environnant. Cette politique est ensuite combinée à des politiques additionnelles sensibles à l'incertitude via une formulation de type mélange d'experts (Mixture of Experts, MoE). Le système est validé sur le jeu de données de référence LASA handwriting, utilisé classiquement pour évaluer l'apprentissage de trajectoires, ainsi que sur un robot réel à 7 degrés de liberté (7-DoF), dans trois scénarios concrets : la saisie conditionnée par la force appliquée, la manipulation d'aliments déformables, et la saisie centrée sur l'objet. L'enjeu technique visé est précis : les approches DS de l'état de l'art excellent généralement en robustesse mais restent rigides face aux variations de contexte, car elles ne modulent pas leur comportement selon des variables dépendantes de la tâche. En articulant fusion de politiques et quantification d'incertitude, ce cadre cherche à améliorer le comportement hors distribution (out-of-distribution) et la convergence des trajectoires générées, deux propriétés critiques pour tout déploiement en environnement réel non contrôlé. Pour les intégrateurs robotiques, l'intérêt pratique tient surtout à la manipulation d'objets déformables, un cas d'usage encore mal résolu dans l'industrie (agroalimentaire, logistique), et à la promesse d'une politique réutilisable sans réentraînement complet à chaque changement de tâche ou d'environnement. Sur le plan du contexte scientifique, le LfD via systèmes dynamiques est un axe de recherche établi depuis plusieurs années pour produire des politiques de contrôle réactives en robotique. Ce travail se positionne comme une extension de recherches antérieures sur la fusion de politiques et l'estimation d'incertitude, plutôt que comme une rupture méthodologique. L'abstract ne mentionne ni laboratoire ni entreprise associée, et il s'agit d'une publication académique (statut « replace », donc une révision d'un article déjà soumis) sans indication de déploiement industriel à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par renforcement basé sur un modèle pour le contrôle robotique via optimisation en ligne

Des chercheurs ont publié sur arXiv (arXiv:2510.18518v2) un algorithme d'apprentissage par renforcement basé sur un modèle (MBRL) conçu pour contrôler des systèmes robotiques complexes directement dans le monde réel, sans passer par une phase de simulation intensive. L'approche construit un modèle de dynamique à partir des données d'interaction en temps réel, puis effectue des mises à jour de politique guidées par ce modèle appris. Les validations expérimentales ont été conduites sur deux plateformes distinctes : un bras d'excavatrice hydraulique et un bras robot souple. Dans les deux cas, l'algorithme atteint des performances comparables aux méthodes model-free en quelques heures d'entraînement, là où ces dernières réclament habituellement des millions d'interactions simulées. La robustesse de l'adaptation a également été évaluée sous conditions de charge utile (payload) aléatoire, avec des résultats stables malgré le changement de dynamique. L'enjeu principal est la réduction de ce que le secteur appelle le "sim-to-real gap" : l'écart entre les politiques apprises en simulation et leur comportement réel une fois déployées sur du matériel. Les pipelines dominants, adoptés aussi bien par des labos académiques que par des industriels comme Boston Dynamics ou Figure AI, reposent sur des millions de rollouts en simulation avant tout contact avec un robot physique, ce qui introduit un biais systématique difficile à corriger. Cet algorithme court-circuite cette étape en apprenant directement sur données réelles, avec une garantie formelle de progression : les auteurs démontrent des bornes de regret sous-linéaires (sublinear regret bounds) sous hypothèses d'optimisation stochastique en ligne, ce qui est rare dans la littérature MBRL appliquée à la robotique physique. Pour un intégrateur ou un industriel, cela se traduit par une réduction potentielle du temps de mise en service sur des tâches à dynamique variable (variation de charge, usure mécanique, changement de matériau). Ce travail s'inscrit dans un débat structurant du champ : model-based vs model-free RL pour la robotique physique. Les méthodes model-free comme PPO ou SAC dominent les benchmarks simulés mais peinent à s'adapter efficacement en production réelle. Des approches hybrides comme MBPO ou DreamerV3 ont tenté de combler cet écart, mais rarement validées sur des systèmes aussi hétérogènes qu'un bras hydraulique industriel et un manipulateur souple. La prochaine étape naturelle serait une validation sur des plateformes humanoïdes ou des AMR (autonomous mobile robots) à haute dimension, où les enjeux de sample efficiency sont directement liés aux coûts d'exploitation et à la durée de vie des actionneurs.

RecherchePaper

1 source