RecherchearXiv cs.RO 15 septembre 2026

Apprentissage par renforcement guidé par contraintes pour le contrôle en impédance variable dans l'insertion robotique à contacts multiples

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié en septembre 2026 sur arXiv (référence 2609.13516) CG-RL (Constraint-Grounded Reinforcement Learning), un contrôleur d'impédance variable pour l'insertion robotique en contact incertain, où la limite de force axiale tolérée et le gain adapté varient selon la tâche et imposent normalement un retuning manuel des contrôleurs classiques. La politique reçoit en entrée la limite de force et le retour de contact, produit un mouvement résiduel, un taux d'insertion et un gain demandé, que le contrôleur projette ensuite dans une plage admissible sans exposer cette plage à la politique elle-même. Testée en simulation sur une tâche d'insertion oblique, sur cinq graines d'entraînement, CG-RL atteint un taux de réussite de 85,8 % ± 7,7 % sans violation de la limite de force, contre seulement 50,1 % pour une référence à gain fixe réglée au point médian de la plage.

Pour les intégrateurs travaillant sur l'assemblage à contact riche (connecteurs, pièces mécaniques), l'intérêt tient à la suppression du réglage manuel des gains d'impédance à chaque changement de tâche : une seule politique généralise à des limites de force inédites, y compris plus permissives que celles vues à l'entraînement, sans réentraînement. Privée de l'information sur la limite de force, la même politique ne montre pas cette adaptation continue, ce qui isole clairement l'apport du conditionnement par contrainte. Le gain reste garanti dans la plage admissible par construction du contrôleur, mais le respect effectif de la limite de force n'est validé qu'empiriquement, sans garantie formelle, une limite explicitement assumée par les auteurs. Le travail reste cantonné à la simulation, sans transfert démontré vers un robot physique : il s'agit d'une preuve de concept méthodologique, pas d'une solution prête pour l'usine.

Le contrôle d'impédance reste depuis des décennies la référence pour la manipulation en contact, mais son réglage à gain fixe exige une expertise humaine propre à chaque tâche ; l'apprentissage par renforcement appliqué à l'impédance variable cherche depuis plusieurs années à automatiser ce réglage. CG-RL s'en distingue par une séparation explicite entre la politique apprise et la contrainte de sécurité, cette dernière étant appliquée par projection côté contrôleur plutôt qu'apprise par le réseau, ce qui garantit formellement l'admissibilité du gain sans garantir la satisfaction de la contrainte de force. L'article, classé comme nouvelle soumission arXiv sans partenaire industriel cité, appelle logiquement une validation sur robot réel et une extension à d'autres géométries d'insertion que le cas oblique testé ici.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Une seule démonstration suffit pour l'apprentissage par renforcement robotique en conditions réelles

Des chercheurs présentent AutoSERL, un framework d'apprentissage par renforcement (RL) pour robots qui n'a besoin que d'une seule démonstration humaine pour apprendre des tâches de manipulation complexes en conditions réelles, sans intervention humaine continue pendant l'entraînement. Le système repose sur trois mécanismes complémentaires : une fenêtre glissante d'intervention qui guide l'exploration pour éviter les minima locaux et les mouvements dangereux, un mécanisme de récupération de sécurité qui détecte les échecs et corrige la trajectoire via des points de reprise prédéfinis, et un critère d'arrêt automatique qui coupe le guidage dès que la politique apprise devient autonome. Les auteurs ont testé AutoSERL sur six tâches de manipulation à contact intensif (insertion, accrochage, tâches à charnière) réparties sur deux plateformes robotiques différentes. Le framework atteint 100% de réussite sur les tâches d'insertion et dépasse systématiquement SERL entraîné avec 20 démonstrations, l'apprentissage par imitation classique (behavior cloning) et MILES, une méthode dédiée à l'apprentissage en un coup, tout en égalant les performances de HIL-SERL qui nécessite lui une supervision humaine continue. L'intérêt pour l'industrie tient à la réduction drastique du coût de collecte de données, généralement le principal frein au déploiement de RL sur du matériel physique. La plupart des approches existantes exigent soit des dizaines de démonstrations, soit un opérateur qui intervient en permanence pendant l'entraînement, ce qui limite le passage à l'échelle en usine ou en intégration industrielle. En automatisant l'intervention à partir d'un seul exemple tout en conservant une robustesse aux variations de position des pièces, AutoSERL rapproche le RL réel de tâches d'assemblage fin, un terrain où les approches purement basées sur l'imitation ou les politiques VLA préentraînées peinent encore à garantir une fiabilité industrielle. Ce travail s'inscrit dans la lignée de SERL et HIL-SERL, frameworks de référence pour le RL avec intervention humaine sur robots physiques, en cherchant à supprimer leur principale contrainte opérationnelle. Le code et les vidéos de démonstration sont publiés par les auteurs sur un site dédié, mais le papier, déposé sur arXiv le 1er juillet 2026, reste à ce stade une contribution de recherche académique évaluée en laboratoire sur deux plateformes robotiques, sans indication de déploiement industriel ni de partenariat commercial annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage par renforcement basé sur un modèle pour le contrôle robotique via optimisation en ligne

Des chercheurs ont publié sur arXiv (arXiv:2510.18518v2) un algorithme d'apprentissage par renforcement basé sur un modèle (MBRL) conçu pour contrôler des systèmes robotiques complexes directement dans le monde réel, sans passer par une phase de simulation intensive. L'approche construit un modèle de dynamique à partir des données d'interaction en temps réel, puis effectue des mises à jour de politique guidées par ce modèle appris. Les validations expérimentales ont été conduites sur deux plateformes distinctes : un bras d'excavatrice hydraulique et un bras robot souple. Dans les deux cas, l'algorithme atteint des performances comparables aux méthodes model-free en quelques heures d'entraînement, là où ces dernières réclament habituellement des millions d'interactions simulées. La robustesse de l'adaptation a également été évaluée sous conditions de charge utile (payload) aléatoire, avec des résultats stables malgré le changement de dynamique. L'enjeu principal est la réduction de ce que le secteur appelle le "sim-to-real gap" : l'écart entre les politiques apprises en simulation et leur comportement réel une fois déployées sur du matériel. Les pipelines dominants, adoptés aussi bien par des labos académiques que par des industriels comme Boston Dynamics ou Figure AI, reposent sur des millions de rollouts en simulation avant tout contact avec un robot physique, ce qui introduit un biais systématique difficile à corriger. Cet algorithme court-circuite cette étape en apprenant directement sur données réelles, avec une garantie formelle de progression : les auteurs démontrent des bornes de regret sous-linéaires (sublinear regret bounds) sous hypothèses d'optimisation stochastique en ligne, ce qui est rare dans la littérature MBRL appliquée à la robotique physique. Pour un intégrateur ou un industriel, cela se traduit par une réduction potentielle du temps de mise en service sur des tâches à dynamique variable (variation de charge, usure mécanique, changement de matériau). Ce travail s'inscrit dans un débat structurant du champ : model-based vs model-free RL pour la robotique physique. Les méthodes model-free comme PPO ou SAC dominent les benchmarks simulés mais peinent à s'adapter efficacement en production réelle. Des approches hybrides comme MBPO ou DreamerV3 ont tenté de combler cet écart, mais rarement validées sur des systèmes aussi hétérogènes qu'un bras hydraulique industriel et un manipulateur souple. La prochaine étape naturelle serait une validation sur des plateformes humanoïdes ou des AMR (autonomous mobile robots) à haute dimension, où les enjeux de sample efficiency sont directement liés aux coûts d'exploitation et à la durée de vie des actionneurs.

RecherchePaper

1 source

3arXiv cs.RO

Ajustement précis de trajectoire par apprentissage résiduel DAgger sensible à la force pour l'insertion de précision avec contrôle d'impédance

Des chercheurs présentent TER-DAgger (Trajectory Editing Residual Dataset Aggregation), une méthode d'apprentissage par imitation conçue pour les tâches d'insertion de précision en robotique, où le contact physique rend l'apprentissage classique instable. Le système combine trois éléments : une édition de trajectoire par optimisation qui fusionne en douceur les trajectoires générées par la politique du robot avec les corrections humaines, un mécanisme d'anticipation des échecs basé sur la force qui ne déclenche une intervention humaine que lorsque la force mesurée à l'effecteur diverge de la force prédite, et une exécution sous contrôle en impédance cartésienne pour garantir un comportement souple et sûr lors des contacts. Dans des expériences en simulation et en conditions réelles sur des tâches d'insertion, TER-DAgger améliore le taux de réussite moyen de plus de 37 % par rapport aux méthodes de référence que sont le clonage comportemental simple, la correction guidée par un humain, le réentraînement complet et le fine-tuning. L'enjeu dépassé ici est le "covariate shift" : un robot entraîné par imitation dérive souvent des trajectoires démontrées dès qu'il rencontre un état légèrement différent, et sa récupération nécessite jusqu'ici la supervision continue d'un opérateur humain, ce qui limite fortement le passage à l'échelle. En ne sollicitant l'humain que lorsque l'écart de force le justifie, TER-DAgger réduit la charge de supervision tout en conservant la robustesse du DAgger classique. Pour les intégrateurs industriels visant l'assemblage fin, le montage de composants électroniques ou toute tâche à tolérance serrée, cela rapproche l'apprentissage par imitation d'un déploiement viable sans ingénieur dédié en permanence sur la boucle de correction. La méthode s'inscrit dans la lignée du DAgger original, qui corrige le décalage de distribution par interrogation active de l'expert, mais que son coût de supervision continue rendait peu pratique. TER-DAgger cible spécifiquement les tâches riches en contact, un terrain où les politiques de type VLA et les approches de clonage comportemental peinent encore à généraliser au-delà des démonstrations. L'article, publié sur arXiv, ne mentionne pas de partenariat industriel ni de déploiement en usine à ce stade ; il s'agit d'un résultat de recherche appelé à être testé sur des plateformes robotiques plus variées.

RecherchePaper

1 source

4arXiv cs.RO

Diffusion : un apprentissage de l'impédance pour la manipulation avec contacts multiples

Une équipe de chercheurs décrit sur arXiv (arXiv:2509.19696, quatrième version) Diffusion-Based Impedance Learning (DIL), un framework combinant un modèle de diffusion Transformer et un contrôle d'impédance classique pour la manipulation robotique en contact riche. Conditionne par cross-attention sur les forces et couples externes mesures, le modèle reconstruit des trajectoires simulées a force nulle (sZFT), complétées par un ordonnanceur de bruit quaternion SLERP pour les rotations. Un estimateur énergétique adapte ensuite en ligne la raideur et l'amortissement du bras. Entraine sur des démonstrations de franchissement d'obstacles et de robotique thérapeutique collectées via téléopération au casque Apple Vision Pro, avec seulement quelques dizaines de milliers d'échantillons, le modèle atteint une précision sous le millimètre et sous le degré. Deploye en temps réel sur un bras KUKA LBR iiwa, il obtient 100% de réussite sur une tache d'insertion peg-in-hole multi-géométries. La manipulation en contact riche (insertion, assemblage, interaction physique) reste un point faible des politiques robotiques purement apprises, qui peinent a garantir la sécurité lors du contact, tandis que le contrôle d'impédance classique exige un réglage manuel spécifique a chaque tache. En couplant les deux approches, ce travail vise a automatiser ce réglage tout en conservant les garanties de stabilité de l'impédance, un enjeu concret pour les intégrateurs qui déploient des bras collaboratifs sur des lignes d'assemblage ou en assistance thérapeutique. Les résultats restent toutefois ceux d'une démonstration de laboratoire, sur un seul bras et des taches contrôlées, et non d'un déploiement industriel a l'échelle. Le contrôle d'impédance, théorisé il y a plusieurs décennies, reste la référence pour l'interaction physique sure homme-robot, tandis que les modèles de diffusion se sont imposes plus récemment comme méthode d'apprentissage de politiques robotiques, a l'image des travaux sur les diffusion policies, sans toutefois bien couvrir les taches de contact face aux approches VLA généralistes comme Pi-0 ou GR00T N2. Le recours a l'Apple Vision Pro pour la téléopération illustre une tendance croissante a collecter des démonstrations via des casques de réalité mixte plutôt que des combinaisons de capture de mouvement dédiées. Le KUKA LBR iiwa, bras collaboratif a détection de couple du fabricant allemand KUKA, sert de plateforme d'essai. Code et vidéos sont publics, sans annonce de pilote industriel a ce stade.

UELe bras collaboratif utilise pour la demonstration est fabrique par l'entreprise allemande KUKA, mais aucune equipe de recherche europeenne ni pilote industriel europeen n'est mentionne.

RecherchePaper

1 source