RecherchearXiv cs.RO 2 novembre 2026

ResMerge : apprentissage et fusion de politiques résiduelles pour l'adaptation continue de politiques robotiques pré-entraînées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent ResMerge, un cadre en deux étapes pour adapter en continu une politique robotique pré-entraînée à de nouvelles tâches, sans faire croître indéfiniment le nombre de paramètres stockés. La politique de base reste gelée. Pour chaque nouvelle tâche, un apprentissage par renforcement résiduel (residual RL) apprend une correction qui s'ajoute aux actions de la politique de base, sans démonstrations d'experts supplémentaires pendant l'adaptation. Dans un second temps, les résiduels jugés compatibles sont fusionnés dans l'espace des paramètres, ce qui réduit le volume stocké. Pour décider quels résiduels fusionner, les auteurs introduisent la Residual-Field Consistency (RFC), une métrique bornée qui compare la direction et l'amplitude des corrections dans l'espace des actions. Les tests portent sur le benchmark de simulation LIBERO avec deux architectures de base, puis sur un robot Franka réel. Les auteurs annoncent de meilleures performances d'apprentissage continu que des méthodes PECFT (Parameter-Efficient Continual Fine-Tuning) de référence, ainsi qu'une empreinte réduite grâce à la fusion sélective. Le résumé ne donne aucun chiffre : ni taux de réussite, ni taux de compression, ni nombre de tâches.

L'enjeu est celui du déploiement sur la durée. Une flotte de robots qui doit apprendre de nouvelles tâches sur site ne peut pas collecter de téléopérations à chaque changement de référence, ni empiler un adaptateur par tâche. En remplaçant les démonstrations par du RL résiduel, ResMerge vise le goulot de la collecte de données. En fusionnant les corrections compatibles, il vise la croissance linéaire de la mémoire. Reste à vérifier la généralisation : le RL en conditions réelles exige des signaux de récompense et des phases d'exploration que le résumé ne détaille pas. Les résultats réels sur un seul bras Franka ne disent pas non plus comment la méthode se comporte avec des dizaines de tâches ou sur des plateformes plus complexes.

Ce travail s'inscrit dans l'effort pour rendre les modèles vision-langage-action (VLA) et les politiques pré-entraînées réellement évolutifs après leur déploiement. Il se positionne contre les approches d'adaptateurs par tâche issues du fine-tuning continu, qui évitent l'oubli catastrophique mais restent dépendantes des démonstrations. Il s'agit d'une prépublication arXiv (v1), sans validation par les pairs, et aucun calendrier de transfert industriel n'est mentionné. Un site de projet accompagne l'article. La suite logique serait de tester la fusion sur des séquences de tâches plus longues, avec des politiques de base plus grandes et en dehors du cadre de LIBERO.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

La modélisation résiduelle comble l'écart entre politiques de régression et génératives en apprentissage robotique

Des chercheurs proposent une alternative à la diffusion et au flow matching pour entraîner des politiques robotiques à partir de démonstrations (arXiv:2610.12231). Baptisée HT-Policies (heteroscedastic Student-t action régression), la méthode reste une régression directe : elle prédit un « chunk » d'actions en une seule passe avant, sans les étapes itératives de débruitage des modèles génératifs. Les auteurs l'ont évaluée sur quatre benchmarks de simulation et lors de tests sur robot réel. Elle atteint des taux de réussite comparables aux politiques génératives (Flow-Policies), aussi bien entraînée de zéro qu'à partir de modèles vision-langage-action (VLA) et de world-action models préentraînés. L'entraînement et l'inférence sont plus rapides, et le réseau de neurones d'une politique flow matching préentraînée peut être réutilisé comme backbone. Les auteurs ne donnent pas, dans le résumé, de chiffres de vitesse ni de taux de succès précis, ce qui oblige à attendre le papier complet pour juger de l'ampleur réelle du gain. Le travail s'attaque à une explication largement admise : si les politiques de diffusion ou de flow matching surpassent la régression directe par erreur quadratique moyenne (MSE-Policies), ce serait parce que les démonstrations humaines sont multimodales, c'est-à-dire que plusieurs actions valides existent pour une même observation. L'analyse de données de démonstration réelles suggère une autre cause. Les résidus de prédiction d'action ont une échelle qui varie fortement selon l'état, et des queues plus lourdes qu'une gaussienne. Or la MSE alloue davantage de magnitude de gradient aux observations dont les résidus sont les plus grands, ce qui dégrade l'optimisation. Les politiques génératives ne seraient donc pas avantagées surtout par leur capacité à représenter plusieurs modes, mais par un comportement de gradient plus favorable. Si le résultat se confirme à grande échelle, il compte pour les intégrateurs et les équipes de déploiement : une politique mono-passe réduit la latence de contrôle et le coût de calcul embarqué, deux contraintes concrètes sur des robots à haute fréquence ou à ressources limitées. L'article s'inscrit dans le débat sur l'apprentissage par imitation, dominé depuis plusieurs années par Diffusion Policy et les approches flow matching, qui équipent désormais de nombreux VLA de fondation, tels que Pi-0. L'idée proposée reste simple : une loi de Student-t avec échelle prédite en fonction de l'entrée, qui limite l'influence des valeurs extrêmes. Plusieurs réserves s'imposent. Il s'agit d'un préprint non évalué par des pairs, les benchmarks précis ne sont pas détaillés dans le résumé, et « compétitif » ne signifie pas supérieur. Une vérification sur des tâches fortement multimodales ou à long horizon reste nécessaire. Les prochaines étapes dépendront de la reproduction des résultats par d'autres laboratoires et de l'éventuelle adoption de cet objectif dans des VLA de grande taille. Une page de projet est annoncée pour le code et les démonstrations.

RecherchePaper

1 source

2arXiv cs.RO

Analyse de l'apprentissage par renforcement profond en continu pour l'apprentissage adaptatif en robotique

Des chercheurs publient sur arXiv (référence 2609.28807, soumission nouvelle) une étude qui livre la première analyse de l'apprentissage par renforcement profond en flux comme cadre d'apprentissage continu adaptatif pour la robotique. Contrairement à l'approche dominante, qui consiste à réentraîner hors ligne un modèle sur un jeu de données élargi après une phase de pré-entraînement, la méthode testée met à jour la politique neuronale en continu, à partir de chaque nouvelle expérience, en s'inspirant du fonctionnement de l'apprentissage biologique. Les expériences principales portent sur la locomotion d'un robot quadrupède : avec certains optimiseurs et des techniques de limitation de la perte de plasticité, la politique s'adapte rapidement en ligne à des changements imprévus touchant le robot lui-même, son environnement ou ses objectifs. Elle surpasse les méthodes batch on-policy classiques et améliore le taux de réussite des tâches jusqu'à 90% par rapport à la politique simplement pré-entraînée. Des évaluations complémentaires sur des tâches de manipulation robotique, menées sur une morphologie différente, montrent que ces gains se retrouvent partiellement, avec des limites de stabilité et de performance. Pour l'industrie robotique, ce travail apporte une première preuve empirique qu'un apprentissage en flux, sans réentraînement batch hors ligne massif, peut permettre à un robot déjà déployé de s'adapter à des situations non anticipées lors de la collecte de données initiale, un scénario courant pour les intégrateurs confrontés à des changements d'environnement, à l'usure matérielle ou à des objectifs de mission évolutifs. Cela remet en question l'hypothèse dominante du secteur selon laquelle la robustesse passe nécessairement par l'élargissement continu des jeux de données d'entraînement hors ligne, et suggère une voie alternative pour réduire le coût et la latence de mise à jour des politiques embarquées, un enjeu clé alors que les acteurs des humanoïdes et des robots mobiles autonomes cherchent à généraliser leurs modèles au-delà des scénarios démontrés en laboratoire. Le fait que les gains observés en locomotion quadrupède ne se transposent que partiellement à la manipulation souligne toutefois que la généralisation entre morphologies reste un problème ouvert, ce qui tempère tout enthousiasme prématuré côté commercialisation. Le papier s'inscrit dans un courant de recherche récent ayant démontré la faisabilité technique du deep RL en flux, où chaque mise à jour du réseau utilise uniquement la dernière expérience collectée plutôt qu'un lot de données rejouées, sans qu'aucun travail antérieur n'ait validé cette approche comme cadre viable d'apprentissage continu pour adapter des politiques robotiques à des changements non vus. Les auteurs positionnent explicitement leur contribution comme la première étude de ce type appliquée à la robotique, en s'appuyant sur une phase de pré-entraînement suivie d'une adaptation en ligne. L'étude se conclut par une discussion des limites, notamment les problèmes de stabilité observés en manipulation, et par des pistes pour les futurs systèmes de robot learning continu, sans annoncer de calendrier de déploiement ni de partenariat industriel.

RecherchePaper

1 source

3arXiv cs.RO

Manipulation robotique dextérique à partir de démonstrations humaines : retargeting ancré sur les contacts et apprentissage de politique résiduelle

Un pipeline en trois étapes permet désormais d'entraîner des politiques de manipulation dextre pour robots à partir de simples enregistrements de capture de mouvement humain, sans aucune donnée d'entraînement collectée sur un robot réel, selon un article publié sur arXiv (2609.24093v1). La méthode combine un raffinement physique via une main MANO simulée pour reconstruire les contacts et les forces absents des captures humaines classiques, un retargeting ancré sur la structure de contact plutôt que sur le mouvement articulaire, et une politique résiduelle d'apprentissage par renforcement entraînée une seule fois pour corriger la faisabilité dynamique. Les résultats chiffrés sont substantiels : sur 25 454 trajectoires à une main, le taux de succès passe de 7,3% à 59,3% après application du pipeline ; sur 25 tâches bimanuelles, il grimpe de 16,0% à 62,4%. Le même jeu de données humain, transféré vers quatre mains robotiques de morphologies différentes, gagne 62,4 points de succès en moyenne. Quatre tâches bimanuelles impliquant des contacts complexes ont aussi été exécutées sur du matériel physique réel, toujours sans entraînement préalable sur robot. Pour l'industrie robotique, ce travail s'attaque frontalement au goulot d'étranglement le plus coûteux de la manipulation dextre : les données de téléopération réelle, jugées indispensables mais lentes et chères à collecter à l'échelle. En montrant qu'une seule politique résiduelle générique suffit à rendre exploitables des captures de mouvement humain bon marché et déjà disponibles en masse, l'étude suggère que le sim-to-real pour les mains multi-doigts pourrait devenir moins dépendant de pipelines spécifiques à chaque tâche, une promesse jusqu'ici tenue surtout par les modèles VLA génériques (GR00T, Pi-0, Helix) sur des tâches de préhension plus grossières. Le transfert réussi vers quatre morphologies de main différentes renforce l'idée que la structure de contact, plutôt que la cinématique brute, est la représentation qui généralise. Le constat de départ est que les sources de démonstrations humaines scalables, vidéos ou gants de capture de mouvement, ne capturent jamais les forces de contact qui déterminent la réussite d'une prise. Les approches concurrentes reposaient jusqu'ici sur du retargeting cinématique direct ou de l'apprentissage par renforcement spécifique à chaque tâche en simulation. Le papier reste à ce stade un preprint de recherche, sans partenaire industriel ni déploiement commercial annoncé ; les suites attendues concernent l'extension à davantage de morphologies de mains et de tâches réelles.

RecherchePaper

1 source

4arXiv cs.RO

ORPA : adaptation résiduelle en ligne des politiques pour le contrôle de manipulation robotique par retour humain

Publié le 19 août 2026 sur arXiv (2608.17323v1), un article de recherche présente ORPA (Online Residual Policy Adaptation), une méthode qui corrige en temps réel les erreurs d'un bras manipulateur sans réentraîner sa politique de contrôle. Le problème ciblé : les politiques entraînées par apprentissage par imitation, comme ACT (Action Chunking with Transformers), performent bien en conditions idéales mais deviennent fragiles face à de petites erreurs d'exécution ou des écarts de distribution. ORPA ajoute à une politique déjà entraînée un module léger, piloté par un retour humain, qui prédit des corrections résiduelles dans l'espace des articulations. Testé sur la plateforme bimanuelle ALOHA sur des tâches de précision, il améliore le taux de réussite et la récupération après perturbation par rapport aux politiques de base et aux corrections classiques par cinématique inverse. L'enjeu dépasse ce seul papier : corriger un échec de politique de manipulation exige normalement une agrégation de nouvelles données puis un réentraînement complet, coûteux et incompatible avec un usage en temps réel en production. En proposant une couche de correction légère activée au vol par un simple retour humain, ORPA s'attaque à l'écart persistant entre les démonstrations impressionnantes de l'apprentissage par imitation en laboratoire et sa robustesse réelle une fois déployée hors distribution. La question touche potentiellement les approches vision-langage-action actuelles, de Pi-0 à GR00T N2 en passant par Helix, qui partagent la même sensibilité aux erreurs cumulatives. Pour des intégrateurs cherchant à industrialiser des bras entraînés par imitation, cela esquisse une piste pour réduire le coût des cycles de correction, même si l'étude reste limitée à des tâches spécifiques sur une seule plateforme. ORPA prolonge une lignée de travaux qui cherchent à corriger les limites de l'apprentissage par imitation sans repasser par un cycle complet d'agrégation de données de type DAgger, une méthode efficace mais lourde à opérer en continu. La plateforme ALOHA, issue des travaux de Stanford et devenue un banc d'essai courant pour la manipulation bimanuelle à faible coût, sert ici de terrain d'évaluation. Il s'agit à ce stade d'une contribution académique déposée sur arXiv, sans lien avec un produit commercial ou un déploiement industriel, et sans calendrier de suite communiqué.

RecherchePaper

1 source