Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
E²DT : Decision Transformer efficace avec échantillonnage guidé par l'expérience pour la manipulation robotique
RecherchearXiv cs.RO 

E²DT : Decision Transformer efficace avec échantillonnage guidé par l'expérience pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié en mai 2026 sur arXiv (référence 2605.00159) un nouveau cadre d'apprentissage par renforcement pour la manipulation robotique, baptisé E²DT (Efficient and Effective Decision Transformer). Le système s'appuie sur l'architecture Decision Transformer (DT), qui traite l'apprentissage par renforcement comme un problème de modélisation de séquences, et y intègre un mécanisme de sélection d'expériences fondé sur un k-Processus Ponctuel Déterminantal (k-DPP). Concrètement, E²DT remplace le replay uniforme standard par un échantillonnage guidé combinant trois critères : le retour cumulatif attendu (return-to-go, RTG), l'incertitude prédictive du modèle, et la représentativité des phases de la tâche via une fréquence inverse. La méthode est évaluée sur des benchmarks de manipulation robotique en simulation et sur robot réel, et surpasse systématiquement les approches antérieures, selon les auteurs.

Le problème adressé est concret et bien connu des équipes de R&D : le Decision Transformer standard tire ses trajectoires d'entraînement de façon uniforme depuis le replay buffer, ce qui aboutit à une mauvaise efficacité d'échantillonnage, une exploration limitée et une convergence sous-optimale, particulièrement pénalisant sur des tâches à long horizon où les transitions rares sont décisives. E²DT propose un noyau joint qualité-diversité qui force le modèle à sélectionner activement les expériences les plus informatives, en mesurant la diversité via les embeddings latents internes du DT lui-même. Pour les intégrateurs industriels travaillant sur des bras manipulateurs ou des cellules robotisées, cela ouvre un chemin vers des politiques robustes avec moins de données de démonstration, réduisant potentiellement les cycles de mise en production.

Le Decision Transformer, introduit par Chen et al. en 2021, a rapidement été adopté comme référence dans de nombreux travaux de manipulation. Ses faiblesses liées au replay passif ont déjà motivé des variantes comme l'Online Decision Transformer ou des approches à expérience replay prioritaire (PER). E²DT s'inscrit dans cette lignée en combinant diversité et qualité composite dans un unique cadre d'échantillonnage. Aucune affiliation industrielle ni timeline de déploiement n'est mentionnée dans le preprint : il s'agit d'une contribution académique, sans produit ni partenariat annoncé à ce stade.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

Res-HIL : apprentissage par renforcement résiduel guidé par l'humain pour la manipulation dextérique efficace en échantillons
1arXiv cs.RO 

Res-HIL : apprentissage par renforcement résiduel guidé par l'humain pour la manipulation dextérique efficace en échantillons

Res-HIL, un framework de reinforcement learning résiduel guidé par l'humain pour la manipulation robotique dextre, a été publié sur arXiv le 25 septembre 2026 sous la référence 2609.30023. La méthode combine une politique d'imitation pré-entraînée et gelée avec une politique résiduelle corrective, entraînée à partir d'interventions humaines en temps réel : chaque intervention fournit à la fois une supervision directe de la politique résiduelle et un signal de récompense pour le comportement autonome qui l'a précédée. La politique résiduelle démarre à zéro pour stabiliser l'apprentissage en ligne. Testée sur cinq tâches de manipulation à fort contact, mêlant haute précision et longs horizons temporels, Res-HIL surpasse, avec seulement 20 démonstrations initiales et dix minutes d'entraînement en ligne, les méthodes de référence de RL human-in-the-loop à politique complète et de fine-tuning résiduel sans guidage humain. Elle dépasse également des politiques d'imitation pure entraînées avec cinq fois plus de démonstrations. Le résultat cible le principal goulot d'étranglement du déploiement de manipulateurs dextres : le coût de collecte de démonstrations humaines, qui ne garantit pas la généralisation une fois la politique déployée hors distribution. En montrant qu'une correction résiduelle guidée par l'humain, appliquée seulement dix minutes, peut égaler des politiques entraînées sur cinq fois plus de données, Res-HIL suggère que l'effort humain est mieux investi dans la correction ciblée d'une politique existante que dans la multiplication des démonstrations complètes, une remise en cause pratique de l'hypothèse dominante en apprentissage par imitation selon laquelle la qualité dépend avant tout du volume de données. Pour les intégrateurs évaluant des tâches à fort contact comme l'assemblage ou l'insertion, cela ouvre une voie d'amélioration post-déploiement moins coûteuse qu'un ré-entraînement complet. L'approche s'inscrit entre deux courants existants : l'apprentissage par imitation, dont les politiques échouent typiquement hors de la distribution des démonstrations d'entraînement, et le RL human-in-the-loop, qui exploite des corrections en ligne mais réapprend généralement une politique complète plutôt que d'affiner un modèle déjà entraîné. Res-HIL se positionne explicitement contre ces deux références, qu'il surpasse systématiquement dans l'étude comparative. Une analyse d'ablation montre que la supervision directe de la politique résiduelle est le facteur critique de performance, tandis que le façonnage de récompense sensible aux interventions améliore surtout l'efficacité de l'entraînement. L'article ne mentionne ni déploiement industriel ni partenariat commercial : il s'agit d'un travail de recherche méthodologique dont la validation sur des plateformes robotiques réelles, au-delà des cinq tâches testées, reste l'étape suivante.

RecherchePaper
1 source
Combinaison d'échantillonnage contraint et d'apprentissage par renforcement pour la manipulation robotique
2arXiv cs.RO 

Combinaison d'échantillonnage contraint et d'apprentissage par renforcement pour la manipulation robotique

Manipulation robotique non préhensile : des chercheurs de la TU Berlin combinent échantillonnage contraint et apprentissage par renforcement Une équipe de la TU Berlin, associée au laboratoire de Marc Toussaint, publie une nouvelle version de ses travaux sur l'entraînement de politiques de manipulation robotique en environnement riche en contacts (arXiv:2602.08557v2). Le problème visé est la manipulation dite non préhensile, c'est à dire pousser, faire glisser ou réorienter un objet sans le saisir, une tâche où l'apprentissage par renforcement (RL) peine souvent à explorer suffisamment l'espace des stratégies possibles. La méthode proposée combine deux idées existantes mais rarement associées : d'une part des stratégies de réinitialisation qui contrôlent la distribution des états de départ de chaque épisode d'entraînement, et d'autre part un échantillonnage basé modèle sur des variétés contraintes, une technique reconnue pour son efficacité à générer des états physiquement valides. Le nouvel échantillonneur tient explicitement compte de la structure des contacts pour couvrir un large éventail de modes de contact, le tout combiné à une interpolation projetée et à un apprentissage curriculaire progressif. Sur le plan des résultats, l'équipe affirme surpasser à la fois le RL classique sans échantillonnage contraint et les méthodes alternatives de réinitialisation, en entraînant des politiques universelles, non préhensiles et dynamiques. L'intérêt pour le secteur tient moins à un produit qu'à une brique méthodologique : la manipulation en contact riche, aujourd'hui l'un des points durs de la robotique appliquée (tri industriel, réorientation d'objets sur convoyeur, préhension d'objets déformables), reste largement dominée par des politiques apprises en simulation qui échouent à généraliser sur des configurations de contact non vues à l'entraînement. Une méthode qui améliore la couverture des modes de contact pendant l'apprentissage adresse directement ce problème de généralisation, sans dépendre d'un matériel ou d'un actionneur particulier. Il s'agit ici d'une contribution académique, pas d'une annonce produit ni d'un déploiement industriel, du matériel supplémentaire étant disponible sur le site du laboratoire. Le travail s'inscrit dans la continuité des recherches de Toussaint sur la planification géométrico logique et les approches hybrides modèle/apprentissage, un courant de recherche européen qui contraste avec les approches purement data-driven (type VLA) privilégiées par les laboratoires américains sur les plateformes humanoïdes commerciales.

UEContribution de la TU Berlin (laboratoire de Marc Toussaint) qui renforce l'expertise européenne en manipulation robotique hybride modèle/apprentissage, une approche qui se distingue des méthodes VLA data-driven privilégiées par les laboratoires américains.

RecherchePaper
1 source
RESample : un cadre robuste d'augmentation de données par échantillonnage exploratoire pour la manipulation robotique
3arXiv cs.RO 

RESample : un cadre robuste d'augmentation de données par échantillonnage exploratoire pour la manipulation robotique

Les modèles Vision-Language-Action (VLA), entraînés par apprentissage par imitation sur de vastes jeux de démonstrations, pilotent aujourd'hui la plupart des systèmes de manipulation robotique avancés. Mais ces jeux de données ne contiennent presque exclusivement que des trajectoires réussies : dès qu'un robot déployé s'écarte légèrement du scénario appris, ce décalage de distribution le pousse vers des situations d'échec pour lesquelles il n'a jamais vu d'exemple de correction. Des chercheurs proposent RESample, un cadre d'augmentation de données guidé par la couverture, qui vient combler ce trou. La méthode entraîne une fonction de couverture conservatrice capable de repérer les modes d'échec plausibles dans le monde réel mais absents des démonstrations standard, puis génère par échantillonnage exploratoire des séquences où le robot s'écarte volontairement de la trajectoire avant d'exécuter une action de récupération. Ces trajectoires synthétiques enrichissent le jeu d'entraînement initial. Sur le benchmark LIBERO et sur des tâches réelles de manipulation, RESample améliore systématiquement le taux de réussite des politiques, avec un gain absolu allant jusqu'à 12 points, pour un surcoût de données limité à 20% du jeu de départ. L'enjeu dépasse la performance brute : c'est le problème classique du "reality gap" entre démonstrations et déploiement qui est directement attaqué. Un bras robotique piloté par un VLA finit toujours, en usage réel, par dévier légèrement de sa trajectoire d'apprentissage, à cause du bruit capteur, d'un objet mal positionné ou d'une variation de lumière. Sans exemples de récupération, ces déviations s'accumulent jusqu'à l'échec complet de la tâche. En automatisant la génération de ces scénarios correctifs, plutôt qu'en s'appuyant sur du télé-opérateur humain coûteux pour les enregistrer, RESample s'attaque à un vrai goulot d'étranglement pour l'industrialisation des VLA en environnement industriel ou logistique, où la fiabilité prime sur la démonstration en conditions idéales. Ce travail s'inscrit dans une lignée de recherches récentes sur la robustesse des politiques d'imitation, aux côtés d'approches comme les corrections DAgger ou les méthodes de fine-tuning par renforcement appliquées à des modèles de type Pi-0 ou GR00T N2. La publication, une version révisée (v4) d'un article arXiv d'octobre 2025, ne mentionne pas de partenariat industriel ni de déploiement commercial: il s'agit d'un résultat de laboratoire, validé en simulation (LIBERO) et sur un nombre limité de tâches réelles, dont l'ampleur exacte n'est pas précisée dans le résumé.

RecherchePaper
1 source
Apprentissage par l'expérience physique : adaptation dans l'espace de contexte pour la manipulation robotique
4arXiv cs.RO 

Apprentissage par l'expérience physique : adaptation dans l'espace de contexte pour la manipulation robotique

Des chercheurs proposent LEXP, un cadre logiciel qui permet à un modèle de fondation généraliste de s'améliorer en manipulation robotique à partir de l'expérience physique, sans toucher à ses poids ni à son interface d'action. L'étude, publiée sur arXiv, part d'un constat obtenu sur plusieurs tâches réelles de manipulation: ChatGPT-6-Astra, un modèle de raisonnement généraliste, peut servir de politique de manipulation directement exploitable, avec une manipulation fine et un raisonnement spatial corrects. LEXP associe une planification au niveau de la tâche à un module d'expérience. Celui-ci interprète les traces d'exécution, en tire des leçons assorties de conditions d'applicabilité, les conserve, puis les réinjecte sous forme de retours contextuels pour les actions suivantes. Sur 12 tâches réelles, avec 36 essais évalués, LEXP réussit 23 essais (63,9 %), contre 19 (52,8 %) pour une simple mémoire et 2 (5,6 %) pour Astra brut. Sur trois tâches (transfert de pain, tri de déchets et produits de toilette, récupération dans un tiroir), retirer la planification fait passer le succès de 7/9 à 4/9, et retirer l'expérience retenue le ramène à 3/9. L'intérêt tient à la méthode: l'adaptation se fait dans l'espace du contexte, pas dans celui des poids. Pour un intégrateur, cela évite le réentraînement ou le fine-tuning d'une politique VLA (vision-langage-action) pour chaque cellule ou variante de tâche. Le robot accumule des consignes réutilisables d'un épisode à l'autre, par exemple une stratégie d'inspection que les traces montrent réemployée. L'écart entre 5,6 % et 63,9 % suggère qu'un modèle généraliste capable sur le papier échoue souvent faute de retours structurés, et pas seulement faute de capacité brute. Les ablations indiquent aussi que la planification et la mémoire d'expérience contribuent chacune. Les limites sont nettes. Les échantillons sont petits: 36 essais sur 12 tâches, soit trois par tâche, et 9 essais par tâche pour les ablations, ce qui rend les écarts fragiles statistiquement. Un taux de 63,9 % reste loin du seuil industriel, et le papier ne donne pas, dans ce résumé, de temps de cycle, de plateforme matérielle ni de comparaison avec des politiques entraînées comme Pi-0 ou GR00T. Il s'agit d'un résultat de recherche, sans produit ni déploiement. Ce travail s'inscrit dans la tendance des agents à mémoire et des harnais autour de grands modèles, en concurrence avec l'approche dominante des VLA affinés sur données de téléopération. La suite logique sera de valider LEXP sur davantage d'essais, d'autres modèles et des tâches plus longues.

RecherchePaper
1 source