RecherchearXiv cs.RO 12 mai 2026

Apprentissage continu par démonstration : un modèle à dynamique stable généré par hyperréseau

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont présenté une méthode d'apprentissage continu par démonstration (LfD) stable et scalable pour robots, publiée sur arXiv (référence 2311.03600, version 3, indiquant un travail itératif). L'architecture centrale repose sur un hyperréseau qui génère dynamiquement les paramètres de deux réseaux neuronaux : un modèle de dynamique de trajectoire et une fonction de Lyapunov garantissant la stabilité asymptotique. Ces deux composants forment un solveur d'équations différentielles ordinaires stable augmenté par horloge, baptisé sNODE (stable Neural ODE). L'évaluation couvre des séquences de 7 à 26 tâches successives, des trajectoires de 2 à 32 dimensions, et des tâches réelles combinant position et orientation. Une régularisation stochastique de l'hyperréseau, via un seul embedding de tâche échantillonné uniformément, réduit la complexité d'entraînement de O(N²) à O(N) pour N tâches cumulées, sans dégradation des performances mesurée sur les benchmarks utilisés.

L'enjeu central est la persistance des compétences motrices sans réentraînement sur les démonstrations passées, un problème dit d'oubli catastrophique qui bloque concrètement le déploiement de robots industriels capables d'acquérir progressivement un répertoire de gestes. Le passage de O(N²) à O(N) rend viable l'accumulation de dizaines de compétences sur un même système sans explosion du coût computationnel, ce qui change la donne pour les intégrateurs soumis à des contraintes matérielles embarquées. Plus notable encore : les auteurs montrent empiriquement que la contrainte de stabilité imposée par la fonction de Lyapunov améliore directement les scores d'apprentissage continu, particulièrement dans les hyperréseaux compacts. Cela contredit l'hypothèse courante selon laquelle stabilité et plasticité seraient nécessairement antagonistes.

Le LfD stable s'inscrit dans une tradition remontant à SEDS (Khansari-Zadeh, 2011) et aux Dynamic Movement Primitives, qui garantissaient la stabilité au prix d'une expressivité limitée. Les approches récentes basées sur des ODE neuronales (NODE) avaient amélioré la précision de reproduction de trajectoire mais peinaient à combiner stabilité et apprentissage séquentiel sans réentraînement global. Les hyperréseaux, déjà exploités en apprentissage continu pour d'autres domaines, sont ici adaptés spécifiquement à la contrainte de stabilité dynamique. Des variantes haute dimension du dataset LASA (référence standard du domaine) sont introduites pour évaluer la scalabilité. Le code est disponible publiquement sur GitHub (sayantanauddy/clfd-snode) ; les prochaines étapes naturelles incluent la validation sur des plateformes à haute dimensionnalité (au-delà de 32 DOF) et l'intégration avec des politiques de type VLA pour des tâches de manipulation non structurée.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Les modèles d'action du monde permettent un apprentissage par imitation continu avec rejeu génératif récurrent

Publiés en juin 2026 sur arXiv (référence 2606.27374), des chercheurs présentent REGEN (Recurrent Generative Replay), un cadre d'apprentissage continu par imitation fondé sur les World Action Models (WAMs). Contrairement aux modèles de politique classiques qui se contentent de prédire les actions du robot, les WAMs génèrent également des observations visuelles futures, combinant ainsi deux capacités distinctes dans un seul modèle. REGEN exploite cette dualité en interrogeant récursivement le WAM pour synthétiser des trajectoires de pseudo-replay, conditionnées uniquement sur les instructions des tâches antérieures et les observations de la tâche courante. Testée en simulation et en manipulation réelle, l'approche réduit l'oubli catastrophique de 50 % en comparaison au fine-tuning séquentiel classique, tout en s'approchant des performances des méthodes dites "privileged" qui, elles, conservent l'accès aux démonstrations humaines originales. L'enjeu industriel est direct : l'oubli catastrophique constitue l'un des verrous majeurs au déploiement continu de robots en environnement réel. Dès qu'un système est refiné sur une nouvelle tâche, il dégrade ses capacités acquises précédemment. Les solutions actuelles imposent de conserver les démonstrations humaines originales, ce qui soulève des contraintes de stockage, de coût de collecte et parfois de confidentialité des données opérationnelles. REGEN casse cette dépendance : le robot répète mentalement ses tâches passées sans jamais avoir besoin des vidéos source. Cela ouvre la voie à des déploiements adaptatifs dans des cellules de production ou d'entrepôt où les tâches évoluent en continu. Le gain de 50 % reste cependant partiel, et les auteurs reconnaissent que leur méthode n'atteint pas encore le niveau des méthodes ayant accès aux données réelles. Le travail s'inscrit dans la dynamique des world models appliqués à la robotique, un axe de recherche en forte accélération depuis 2023 porté par des acteurs comme Physical Intelligence (avec π0), Google DeepMind, ou NVIDIA (GR00T N2). L'originalité de REGEN réside dans l'usage génératif du WAM pour l'apprentissage continu, plutôt que pour la planification ou le sim-to-real. Les auteurs identifient deux goulots d'étranglement principaux : la dégradation visuelle sur les horizons longs et l'incohérence entre actions générées et observations synthétisées, deux limites qui dessinent clairement l'agenda de recherche pour les prochaines itérations. Aucun partenaire industriel ni calendrier de commercialisation n'est mentionné ; il s'agit à ce stade d'une contribution académique, non d'un produit déployé.

RechercheOpinion

1 source

2arXiv cs.RO

DynaForge : apprentissage résiduel guidé par la planification pour la génération de démonstrations de manipulation dynamique

Des chercheurs ont publié le 23 septembre 2026 sur arXiv (2609.25631v1) DynaForge, un framework destiné à générer automatiquement des démonstrations de manipulation dynamique d'objets pour l'entraînement de politiques robotiques par apprentissage par imitation. Le système combine une planification globale à basse fréquence avec une cinématique inverse centrée sur l'objet à haute fréquence, puis applique une politique résiduelle pour corriger les actions au moment critique du contact. Un curriculum implicite regroupe les tentatives par conditions similaires et privilégie les lots à succès mixte, concentrant l'apprentissage par renforcement résiduel sur la frontière de compétence en évolution. Sur les tâches Can et Bottle, DynaForge nécessite 0,73 fois moins d'étapes d'optimisation que l'algorithme GRPO standard pour un budget d'étapes d'environnement identique, avec un taux de succès final supérieur. Sur neuf tâches de simulation, le taux moyen de génération de démonstrations réussies passe de 41,30% avec la seule planification a priori à 78,37% avec DynaForge. Avec 800 démonstrations par tâche, des politiques DP3 entraînées sur ces données atteignent 49,11% de succès moyen, contre 7,07% pour des données générées par la méthode concurrente DOMINO. Sur trois tâches dynamiques réelles, les politiques entraînées avec DynaForge obtiennent entre 30% et 60% de succès, contre 0% à 10% pour celles issues de DOMINO. La manipulation dynamique, lancer, attraper au vol, gestes exigeant une réaction rapide au contact, reste un point faible des pipelines d'apprentissage par imitation, car les démonstrations générées automatiquement échouent souvent près du contact ou simplifient excessivement l'interaction physique, comme le fait le rejeu à la DOMINO. En améliorant nettement le taux de génération de démonstrations exploitables tout en réduisant le coût de calcul par rapport à des méthodes de renforcement classiques comme GRPO, DynaForge s'attaque directement au goulot d'étranglement des données qui freine l'entraînement de politiques à grande échelle, qu'il s'agisse de politiques de diffusion comme DP3 ou de modèles vision-langage-action plus larges. L'écart de 20 à 50 points de succès observé en conditions réelles suggère que ces démonstrations reflètent mieux la dynamique physique que les méthodes précédentes, un enjeu central pour les intégrateurs qui cherchent à transférer des politiques entraînées en simulation vers du matériel réel sans réentraînement coûteux. DynaForge se positionne explicitement face à deux familles de méthodes existantes: les approches purement basées sur la planification, sujettes à l'échec au moment du contact, et DOMINO, qui simplifie les interactions dynamiques au prix du réalisme. Le recours à GRPO, algorithme d'optimisation de politique par groupe popularisé dans l'entraînement de modèles de langage, illustre la porosité croissante entre techniques de renforcement issues du traitement du langage et robotique. Le résumé ne précise ni affiliation institutionnelle ni disponibilité du code, et la validation réelle reste limitée à trois tâches sans détail sur le nombre d'essais, ce qui invite à la prudence avant toute extrapolation à un déploiement industriel.

RecherchePaper

1 source

3arXiv cs.RO

STT-LfD : apprentissage par démonstration pour robots à dynamique inconnue, via des tubes spatio-temporels

Des chercheurs présentent STT-LfD, un nouveau cadre d'apprentissage par démonstration (Learning from Demonstration) qui unifie l'apprentissage du mouvement et le contrôle pour des systèmes Euler-Lagrange dont la dynamique reste inconnue, c'est-à-dire la plupart des robots mobiles et manipulateurs industriels réels. Publié sur arXiv (2607.00534) début juillet 2026, l'article décrit une méthode qui s'appuie sur des processus gaussiens hétéroscédastiques pour apprendre des tubes spatio-temporels, une enveloppe qui encode les exigences de précision variables dans le temps d'une tâche démontrée. Un contrôleur en boucle fermée, à forme close, applique ensuite ces contraintes tout en respectant les limites physiques des actionneurs, sans passer par une identification explicite du système. Les auteurs valident l'approche sur deux plateformes matérielles : un robot mobile et un bras manipulateur à 7 degrés de liberté (DOF), et rapportent de meilleures performances que les méthodes de référence en robustesse face aux perturbations et en vitesse de calcul. L'enjeu dépasse la seule prouesse technique. Les approches classiques d'apprentissage par démonstration découplent généralement la planification de mouvement du contrôle : elles apprennent une trajectoire de référence fixe, puis la suivent avec un contrôleur classique, quitte à perdre en robustesse dès qu'une perturbation survient. STT-LfD renverse la logique en traitant la démonstration elle-même comme une spécification de sécurité pilotée par les données, plutôt que comme une cible rigide à reproduire. Pour les intégrateurs industriels, l'intérêt pratique est de pouvoir déployer un contrôleur performant sans phase coûteuse d'identification dynamique du système, un frein courant au déploiement rapide de bras manipulateurs ou de robots mobiles sur des lignes hétérogènes. Cela va dans le sens d'une tendance plus large en robotique : réduire la dépendance à des modèles physiques précis au profit de méthodes data-driven plus rapides à mettre en œuvre. Le travail s'inscrit dans la lignée des recherches sur les tubes de sécurité et le contrôle par barrières (funnel control), déjà explorées pour garantir des performances sous incertitude, mais appliquées ici spécifiquement au cadre de l'apprentissage par démonstration. Il reste à ce stade un résultat de recherche académique, publié en prépublication sans revue par les pairs, testé sur un nombre limité de plateformes matérielles en laboratoire. Les prochaines étapes attendues concernent l'extension à des tâches de manipulation plus complexes et la comparaison directe avec des architectures d'apprentissage de politiques plus récentes, du type transformeurs vision-langage-action, sur des benchmarks communs.

RecherchePaper

1 source

4arXiv cs.RO

R2BC : apprentissage par imitation multi-agents à partir de démonstrations d'un agent unique

Des chercheurs ont publié sur arXiv en octobre 2024 (arXiv:2510.18085v2) une méthode baptisée R2BC (Round-Robin Behavior Cloning), conçue pour entraîner des systèmes multi-robots à partir de démonstrations réalisées par un seul opérateur humain. Le principe : l'humain téléopère un robot à la fois, de façon séquentielle en "round-robin", sans jamais avoir à contrôler plusieurs agents simultanément ni à fournir des démonstrations dans l'espace d'action conjoint. La méthode a été évaluée sur quatre tâches simulées multi-agents, puis déployée sur deux tâches physiques avec des démonstrations humaines réelles. Résultat : R2BC atteint, voire dépasse dans certains cas, les performances d'une approche oracle de behavior cloning entraînée sur des démonstrations synchronisées privilégiées, c'est-à-dire des données idéales rarement disponibles en pratique. L'intérêt de R2BC tient à son approche de la collecte de données d'imitation learning. En robotique collaborative multi-bras ou en manipulation industrielle coordonnée, constituer des démonstrations synchronisées entre plusieurs agents représente un goulot d'étranglement logistique majeur : cela exige plusieurs opérateurs, une coordination temporelle précise, et multiplie les coûts d'instrumentation. R2BC supprime cette contrainte en permettant à un seul technicien de construire progressivement un dataset multi-agent, ce qui rend la méthode directement applicable aux déploiements à budget contraint. Que R2BC tienne la comparaison face à un oracle entraîné sur des données idéales constitue une validation empirique solide, même si les tâches physiques testées restent relativement simples et que les détails sur les configurations matérielles ne sont pas communiqués dans le préprint. L'imitation learning par clonage comportemental s'est imposé comme une voie centrale pour l'apprentissage robot depuis les travaux fondateurs de DAgger (Ross et al., 2011) et, plus récemment, avec les architectures VLA (Vision-Language-Action) portées notamment par Physical Intelligence (pi0) et Google DeepMind. Son extension au multi-agent reste néanmoins peu explorée : la plupart des travaux existants supposent des démonstrations conjointes ou une coordination centralisée, là où des méthodes de renforcement multi-agent comme MAPPO ou QMIX opèrent sans contrainte de collecte humaine. R2BC occupe ce blanc de la littérature avec une approche pragmatique. Les suites naturelles seraient de tester la méthode sur des équipes de robots plus nombreuses, dans des environnements dynamiques proches des standards industriels, et d'évaluer sa robustesse sur des tâches longue-horizon.

RecherchePaper

1 source