RecherchearXiv cs.RO 24 juillet 2026

Ajustement précis de trajectoire par apprentissage résiduel DAgger sensible à la force pour l'insertion de précision avec contrôle d'impédance

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent TER-DAgger (Trajectory Editing Residual Dataset Aggregation), une méthode d'apprentissage par imitation conçue pour les tâches d'insertion de précision en robotique, où le contact physique rend l'apprentissage classique instable. Le système combine trois éléments : une édition de trajectoire par optimisation qui fusionne en douceur les trajectoires générées par la politique du robot avec les corrections humaines, un mécanisme d'anticipation des échecs basé sur la force qui ne déclenche une intervention humaine que lorsque la force mesurée à l'effecteur diverge de la force prédite, et une exécution sous contrôle en impédance cartésienne pour garantir un comportement souple et sûr lors des contacts. Dans des expériences en simulation et en conditions réelles sur des tâches d'insertion, TER-DAgger améliore le taux de réussite moyen de plus de 37 % par rapport aux méthodes de référence que sont le clonage comportemental simple, la correction guidée par un humain, le réentraînement complet et le fine-tuning.

L'enjeu dépassé ici est le "covariate shift" : un robot entraîné par imitation dérive souvent des trajectoires démontrées dès qu'il rencontre un état légèrement différent, et sa récupération nécessite jusqu'ici la supervision continue d'un opérateur humain, ce qui limite fortement le passage à l'échelle. En ne sollicitant l'humain que lorsque l'écart de force le justifie, TER-DAgger réduit la charge de supervision tout en conservant la robustesse du DAgger classique. Pour les intégrateurs industriels visant l'assemblage fin, le montage de composants électroniques ou toute tâche à tolérance serrée, cela rapproche l'apprentissage par imitation d'un déploiement viable sans ingénieur dédié en permanence sur la boucle de correction.

La méthode s'inscrit dans la lignée du DAgger original, qui corrige le décalage de distribution par interrogation active de l'expert, mais que son coût de supervision continue rendait peu pratique. TER-DAgger cible spécifiquement les tâches riches en contact, un terrain où les politiques de type VLA et les approches de clonage comportemental peinent encore à généraliser au-delà des démonstrations. L'article, publié sur arXiv, ne mentionne pas de partenariat industriel ni de déploiement en usine à ce stade ; il s'agit d'un résultat de recherche appelé à être testé sur des plateformes robotiques plus variées.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Utilisateur-guidé : apprentissage par démonstration de trajectoire et d'impédance

Des chercheurs publient sur arXiv (papier 2607.16998, juillet 2026) une nouvelle méthode d'apprentissage par démonstration (Learning from Demonstration, LfD) pilotée par l'utilisateur, validée sur un bras robotique KUKA LWR IV+ à 7 degrés de liberté (DOF). Le système combine un algorithme de "Fast Diffeomorphic Matching" (FDM) tridimensionnel avec un générateur de mouvement basé sur les systèmes dynamiques (DS), complété par un filtre de Kalman étendu (EKF) qui compense les erreurs de reproduction et permet au robot de récupérer après une perturbation externe. Une fonction de paramétrisation d'impédance apprend en temps réel les variations de raideur du bras à partir d'une unique démonstration, notamment pour maintenir un contact stable avec une surface. L'objectif affiché est d'éliminer le réenseignement répété d'une même tâche, en apprenant en une seule fois (single-shot) à la fois la trajectoire et la conformité mécanique nécessaires pour la reproduire avec précision. Pour les intégrateurs et les équipes de robotique industrielle, l'enjeu est la sécurité et l'efficacité de l'interaction homme-robot (HRI). Les trajectoires classiques indexées dans le temps, rigides par nature, posent un problème de sécurité dès qu'un opérateur interagit physiquement avec le bras ou qu'un obstacle imprévu survient, le robot suivant son chemin sans s'adapter. En apprenant simultanément la géométrie du mouvement et son impédance, la méthode cherche à combiner précision de reproduction et sécurité intrinsèque, sans complexifier la phase d'enseignement pour l'opérateur qui ne réalise la démonstration qu'une seule fois. C'est un signal, parmi d'autres travaux récents en LfD, que la communauté robotique cherche à sortir du dilemme précision contre compliance qui limite aujourd'hui le déploiement des bras collaboratifs sur des tâches de contact (polissage, assemblage, ébavurage) en environnement partagé avec des humains. Cette approche s'inscrit dans la lignée des méthodes de LfD basées sur les systèmes dynamiques (DS-GMM, DMP et variantes), déjà largement étudiées pour encoder des trajectoires robustes aux perturbations, mais qui peinent traditionnellement à intégrer une impédance variable sans multiplier les démonstrations ou les phases de réglage manuel. Le choix du KUKA LWR IV+, bras à sept degrés de liberté doté d'un contrôle en couple aux articulations, reste une plateforme de référence académique pour ce type d'expérimentation en contrôle d'impédance et en manipulation compliante. Déposé sur arXiv comme nouvelle soumission, le papier n'en est qu'au stade de la validation expérimentale en laboratoire: aucune indication d'industrialisation ni de partenariat n'est mentionnée, et des essais sur d'autres plateformes et des tâches d'usine réelles seront nécessaires pour juger de sa portée au-delà du cas d'étude KUKA.

RecherchePaper

1 source

2arXiv cs.RO

Contrôle de posture par apprentissage par renforcement profond pour robots à double direction Ackermann en conditions d'incertitude

Des chercheurs présentent une méthode de contrôle de pose complète pour robots mobiles à double direction Ackermann, basée sur l'apprentissage par renforcement profond (DRL), en ciblant directement l'un des obstacles centraux à l'industrialisation du DRL : l'écart de performance entre simulation et monde réel. Partant du cadre ManeuverNet, l'équipe étend son objectif initial (contrôle de position) vers un contrôle de pose complet, position et orientation combinées, ce qui constitue une tâche sensiblement plus exigeante. Les robots à double direction Ackermann, utilisés notamment en logistique lourde et inspection industrielle, imposent des contraintes non-holonomes strictes liées à la géométrie du châssis. Les résultats quantifient précisément le problème : une politique entraînée avec des modèles d'actionnement simplifiés atteint 100 % de succès dans PyBullet, mais chute à 25 % dans Gazebo sous des conditions d'évaluation plus strictes, une dégradation qui illustre le sim-to-real gap à un stade intermédiaire, avant même le passage sur robot physique. La contribution principale repose sur une approche "sim-to-sim-to-real" : les effets d'actionnement caractéristiques de Gazebo sont modélisés, puis réinjectés dans l'environnement d'entraînement PyBullet. Combinée à un entraînement multi-environnements via les algorithmes SAC (Soft Actor-Critic) et CrossQ, cette stratégie remonte le taux de succès à 92 % dans Gazebo (69 % sous seuils stricts) et permet un transfert direct sur robot réel sans réajustement supplémentaire. Ce résultat intéresse directement les intégrateurs d'AGV et AMR : il suggère que la modélisation fine de l'actionnement, davantage que la complexité architecturale du réseau, constitue le levier principal pour réduire l'écart sim-to-real sur des plateformes non-holonomes. Le problème de la double direction Ackermann reste moins étudié que les bases omnidirectionnelles ou les rovers différentiels, malgré sa pertinence pour les chariots élévateurs autonomes et les véhicules industriels de grande taille. SAC et CrossQ représentent l'état de l'art en DRL hors politique (off-policy) ; leur combinaison avec une approche sim-to-sim structurée sur ce type de plateforme constitue une contribution nouvelle. L'article est publié en preprint arXiv (2606.00313) et n'a pas encore été évalué par les pairs ; les conditions exactes du test sur robot réel, notamment la diversité des scénarios testés, restent à préciser avant toute conclusion définitive sur la robustesse industrielle de la méthode.

RecherchePaper

1 source

3arXiv cs.RO

RARM : modèle de récompenses de progression à seuil de confiance pour l'apprentissage par renforcement en manipulation

Des chercheurs ont publié sur arXiv (réf. 2606.22027) RARM, pour Reference-Anchored Reward Model, une approche visant à résoudre un verrou central de l'apprentissage par renforcement (RL) en manipulation robotique : la conception des fonctions de récompense. La méthode repose sur un comparateur visuel léger qui, à partir d'une seule démonstration réussie, génère automatiquement un signal de récompense dense et progressif. RARM est pré-entraîné une unique fois sur des vidéos généralistes via un objectif de contraste temporel, sans données robot-spécifiques ni étiquetage manuel. Au déploiement, il compare des extraits de la tentative courante à des clips de référence et ne délivre une récompense que lorsque la correspondance dépasse un seuil de confiance (d'où l'appellation confidence-gated). Évalué sur 9 tâches de manipulation simulées issues des benchmarks LIBERO et MetaWorld ainsi que sur 4 tâches réelles, RARM obtient les meilleurs taux de succès globaux en entraînement RL, avec des gains particulièrement marqués sur des tâches longue durée comme le pliage de tissu. Le verrou qu'attaque RARM est fondamental : les récompenses éparses (succès/échec en fin de séquence) produisent un signal trop faible pour les tâches longues, tandis que les récompenses denses codées manuellement exigent une ingénierie fastidieuse et se généralisent mal d'une tâche à l'autre. Les approches de progression existantes souffraient d'un biais critique : elles attribuaient des récompenses élevées à des états visuellement plausibles mais physiquement incorrects, ce que la porte de confiance de RARM réduit directement. L'implication concrète pour les intégrateurs est qu'une seule vidéo de démonstration humaine suffit désormais à bootstrapper l'entraînement RL sur une nouvelle tâche, sans ré-ingénierie de la fonction de récompense. RARM se positionne en concurrence directe avec EUREKA (OpenAI, génération de récompenses via LLM) et les méthodes d'imitation inverse (IRL), dont il se distingue par sa légèreté et l'absence de données robot-spécifiques. Son objectif de généralisation le rapproche des ambitions des modèles VLA comme pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La publication reste un preprint arXiv, pas encore un produit ni un déploiement industriel ; les prochaines étapes attendues incluent une validation sur des plateformes hardware diversifiées et une intégration dans des pipelines de fine-tuning de modèles fondationnels robotiques.

RecherchePaper

1 source

4arXiv cs.RO

Stabilité de la récompense par transition d'étapes pour l'apprentissage par renforcement

Une équipe de recherche présente STDR (Stage-Transition Dense Reward), un framework qui transforme des vidéos de démonstration non structurées en récompenses denses pour entraîner des agents d'apprentissage par renforcement (RL) sur des tâches de manipulation robotique à long horizon, sans design manuel de fonction de récompense. Le système infère automatiquement la structure en étapes d'une tâche à partir des démonstrations, puis fournit deux signaux complémentaires pendant l'entraînement en ligne : une récompense orientée objectif à chaque transition d'étape, et un signal de progression fine à l'intérieur de chaque étape. Un mécanisme de détection hors distribution (OOD) et un module de régulation de la préhension ont été ajoutés pour éviter le "reward hacking", ce biais classique où l'agent exploite des failles de la fonction de récompense plutôt que d'accomplir réellement la tâche. Les tests couvrent 14 tâches de manipulation réparties sur trois bancs d'essai standards du domaine, MetaWorld, ManiSkill et Franka Kitchen, avec des validations complémentaires sur robot réel. L'enjeu dépasse la seule performance académique. Concevoir des récompenses denses à la main reste l'un des goulots d'étranglement majeurs du RL appliqué à la robotique industrielle : chaque nouvelle tâche, chaque nouvelle configuration d'objets impose de retravailler manuellement le signal d'apprentissage, ce qui freine le déploiement à grande échelle chez les intégrateurs. En montrant que STDR égale voire dépasse les récompenses handcrafted sur plusieurs tâches complexes, tout en gagnant en efficacité d'échantillonnage, l'étude appuie l'hypothèse selon laquelle l'apprentissage par vidéos de démonstration peut remplacer l'ingénierie de récompense ad hoc, un argument déterminant pour accélérer l'entraînement de bras robotiques ou de mains manipulatrices en environnement réel plutôt qu'en simulation pure. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage de récompenses par vision (reward learning from video), un axe actif face aux limites du reward shaping manuel et aux coûts d'annotation. Les résultats sur robot réel, où STDR assigne des récompenses stables et bien calibrées sur les exécutions réussies tout en pénalisant correctement les échecs, suggèrent une robustesse au bruit visuel qui manquait souvent aux approches précédentes. Les prochaines étapes attendues porteront sur l'extension à des tâches encore plus longues et sur l'intégration avec des politiques de type VLA (vision-language-action) pour la généralisation multi-tâches.

RecherchePaper

1 source