RecherchearXiv cs.RO 16 septembre 2026

Bi-MoDe : apprentissage par imitation à contrôle bilatéral via décodage conditionné par modificateur pour moduler vitesse d'exécution et intensité de contact

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Bi-MoDe (Bilateral Control-based Imitation Learning via Modifier-Conditioned Decoding) est un nouveau framework de recherche en robotique décrit dans une publication arXiv (2609.16040v1, mise en ligne mi-septembre 2026, texte intégral et matériel additionnel disponibles sur mertcookimg.github.io/bi-mode). Il s'appuie sur l'apprentissage par imitation à contrôle bilatéral, une méthode qui capture simultanément la position et la force appliquée pendant une démonstration, ce qui la rend adaptée à des tâches de manipulation impliquant un contact physique soutenu avec l'environnement. La contribution technique consiste à injecter un latent contraint dans chaque couche du décodeur Transformer générant les actions, via une technique de conditionnement appelée adaLN-Zero, afin qu'un opérateur puisse spécifier au moment de l'exécution comment une tâche apprise doit être réalisée, par exemple rapidement ou lentement, avec douceur ou fermeté. Les chercheurs ont testé la méthode sur une tâche réelle unique, l'essuyage d'un tableau blanc, en combinant des modificateurs temporels (vitesse) et physiques (intensité du contact).

L'enjeu dépasse la simple démonstration technique : la plupart des politiques d'imitation actuelles produisent un comportement figé, calé sur les démonstrations d'entraînement, sans possibilité de moduler finement la force ou le rythme sans réentraîner le modèle. Pour des intégrateurs industriels manipulant des pièces fragiles ou des opérations à cadence variable, pouvoir ajuster l'intensité de contact à la volée serait un vrai gain d'exploitabilité. Les résultats indiquent une amélioration du respect des consignes physiques par rapport à une base de référence par action-chunking, avec un contrôle temporel comparable, et une étude d'ablation montre que le conditionnement du décodeur et la composition dans l'espace latent doivent être combinés pour obtenir cette précision.

Le travail s'inscrit dans la lignée du contrôle bilatéral, technique de téléopération historiquement utilisée pour transmettre le retour de force dans l'apprentissage par imitation, un axe de recherche distinct des approches VLA généralistes comme GR00T N2 ou Pi-0. Il s'agit toutefois d'un preprint arXiv non encore évalué par les pairs, validé sur une seule tâche en laboratoire, sans acteur industriel ni feuille de route de déploiement annoncée à ce stade.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

BlenDAgger : contrôle partagé par mélange pour l'apprentissage par imitation interactif

Des chercheurs proposent Blended DAgger (BlenDAgger), une méthode de collecte de données pour l'apprentissage par imitation, décrite dans un preprint arXiv. Lors des interventions humaines, le système ne laisse pas l'opérateur prendre le contrôle total du robot. Il mélange en continu les actions de la politique et celles du démonstrateur, selon un principe de contrôle partagé. La méthode a été testée sur cinq tâches de manipulation, deux en conditions réelles et trois en simulation. Sur les deux tâches réelles, la politique finale atteint une performance autonome supérieure d'au moins 30 points de pourcentage à celle obtenue avec HG-DAgger, la référence où l'humain reprend la main de façon binaire. Les transitions entre politique et intervention humaine sont 57 % plus fluides, et les trajectoires corrigées sont 14 % plus proches des données d'entraînement. Une étude utilisateur (n=14) sur les deux tâches réelles montre une collecte plus rapide (facteur de Bayes de 13,32), sans différence perçue subjectivement par les opérateurs. L'enjeu est le coût de la donnée corrective, principal goulot d'étranglement des politiques de manipulation entraînées par imitation. La téléopération complète pour corriger un robot est fatigante, et les démonstrations humaines sont rarement optimales. Un opérateur qui ne fait que guider la politique produit des données plus cohérentes avec sa distribution. Cela réduit le décalage entre ce que le robot sait faire et ce qu'on lui enseigne, et pourrait diminuer le temps opérateur nécessaire pour affiner une politique, un poste de coût réel pour les intégrateurs. Les résultats restent toutefois ceux d'un laboratoire. Le résumé ne précise ni les tâches, ni le robot, ni les taux de réussite absolus, ni le nombre de démonstrations. Un écart de 30 points peut donc partir d'une base basse. L'échantillon de 14 participants reste modeste. Cette approche s'inscrit dans la lignée de DAgger (2011) et de HG-DAgger (2019), qui ont popularisé l'apprentissage par imitation interactif. Elle rejoint la vague actuelle du fine-tuning de politiques généralistes à partir de corrections humaines, comme les VLA de type Pi-0 ou GR00T. Le preprint n'annonce ni code, ni déploiement industriel, ni calendrier. Aucun acteur français ou européen n'est cité dans le résumé. La suite dépendra d'une validation sur d'autres robots, d'autres tâches et de plus gros modèles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

RoboSSM : apprentissage par imitation contextuel et extensible via les modèles à espace d'états

Des chercheurs ont publié sur arXiv (réf. 2509.19658v2) RoboSSM, une architecture d'apprentissage par imitation en contexte (ICIL, pour in-context imitation learning) qui remplace les Transformers par des modèles à espace d'état (SSM, state-space models), et plus précisément par Longhorn, un SSM récent présenté comme état de l'art. L'apprentissage par imitation en contexte permet à un robot d'apprendre une nouvelle tâche à partir d'une poignée de démonstrations fournies à l'inférence, sans aucune mise à jour des paramètres du modèle. Les expériences ont été conduites sur le benchmark LIBERO, référence standard pour l'évaluation des politiques robotiques multi-tâches, et montrent que RoboSSM dépasse les méthodes ICIL à base de Transformers sur les tâches non vues à l'entraînement ainsi que sur les tâches à horizon long. L'enjeu est architectural : les Transformers ont une complexité quadratique en fonction de la longueur du contexte, ce qui les pénalise dès que le prompt contient de nombreuses démonstrations ou des séquences longues. Les SSM, eux, offrent une inférence en temps linéaire et une capacité d'extrapolation à des contextes plus longs que ceux vus à l'entraînement, deux propriétés directement utiles pour l'ICIL en conditions réelles, où l'on peut vouloir fournir cinq ou dix démonstrations plutôt qu'une seule. Les auteurs affirment démontrer pour la première fois qu'un SSM peut servir de colonne vertébrale efficace et scalable pour l'ICIL. Les résultats restent toutefois confinés au simulateur LIBERO ; aucun transfert sim-to-real ni déploiement industriel n'est documenté dans ce travail. L'ICIL s'est imposée ces deux dernières années comme alternative aux politiques entraînées tâche par tâche, portée notamment par des travaux comme ICRT ou HPT, tous basés sur des Transformers. RoboSSM s'inscrit dans une tendance plus large de remplacement des Transformers par des SSM (famille Mamba, Longhorn) dans les pipelines séquentiels, tendance déjà observée en NLP et en vision. Le code est publié sur GitHub, ce qui ouvre la voie à une reproduction communautaire. Les prochaines étapes attendues sont une validation sur robot physique et une comparaison à l'échelle avec des VLA (vision-language-action) de plus grande taille.

RecherchePaper

1 source

3arXiv cs.RO

Cadre de politique adaptatif au contexte pour une manipulation robotique robuste et réactive via apprentissage par imitation sensible à l'incertitude

Une nouvelle version (v2) de l'article arXiv:2410.24035 propose un cadre de politique adaptatif au contexte pour la manipulation robotique, combinant robustesse et réactivité. Les auteurs s'appuient sur l'apprentissage par démonstration (Learning from Demonstration, LfD), et plus précisément sur les approches basées sur des systèmes dynamiques (DS), pour apprendre une politique conditionnée à la fois par l'état du robot et par des paramètres de tâche de basse dimension représentant le contexte environnant. Cette politique est ensuite combinée à des politiques additionnelles sensibles à l'incertitude via une formulation de type mélange d'experts (Mixture of Experts, MoE). Le système est validé sur le jeu de données de référence LASA handwriting, utilisé classiquement pour évaluer l'apprentissage de trajectoires, ainsi que sur un robot réel à 7 degrés de liberté (7-DoF), dans trois scénarios concrets : la saisie conditionnée par la force appliquée, la manipulation d'aliments déformables, et la saisie centrée sur l'objet. L'enjeu technique visé est précis : les approches DS de l'état de l'art excellent généralement en robustesse mais restent rigides face aux variations de contexte, car elles ne modulent pas leur comportement selon des variables dépendantes de la tâche. En articulant fusion de politiques et quantification d'incertitude, ce cadre cherche à améliorer le comportement hors distribution (out-of-distribution) et la convergence des trajectoires générées, deux propriétés critiques pour tout déploiement en environnement réel non contrôlé. Pour les intégrateurs robotiques, l'intérêt pratique tient surtout à la manipulation d'objets déformables, un cas d'usage encore mal résolu dans l'industrie (agroalimentaire, logistique), et à la promesse d'une politique réutilisable sans réentraînement complet à chaque changement de tâche ou d'environnement. Sur le plan du contexte scientifique, le LfD via systèmes dynamiques est un axe de recherche établi depuis plusieurs années pour produire des politiques de contrôle réactives en robotique. Ce travail se positionne comme une extension de recherches antérieures sur la fusion de politiques et l'estimation d'incertitude, plutôt que comme une rupture méthodologique. L'abstract ne mentionne ni laboratoire ni entreprise associée, et il s'agit d'une publication académique (statut « replace », donc une révision d'un article déjà soumis) sans indication de déploiement industriel à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Retargeting d'impédance par décomposition continue de variétés pour l'apprentissage par imitation à contacts riches

CMDIR (Continuous Manifold-Decomposed Impedance Retargeting), présentée dans un article publié le 15 septembre 2026 sur arXiv (2609.15716), transforme des démonstrations à impédance fixe en contrôleurs à impédance variable continue destinés à l'apprentissage par imitation dans des tâches manipulatives à contact riche. La méthode s'appuie sur une représentation continue appelée TMIR (Task-Manifold Impedance Representation), qui associe un repère de tâche évolutif à des instructions de contrôle, et sur un module nommé Quality-to-Fast qui compile automatiquement une structure de solveur à partir de trajectoires de développement dans un espace fini prédéfini, puis certifie chaque candidat par évaluation multi-résolution. Sur 225 essais de contrôleurs retargetés répartis sur trois tâches de contact réelles, CMDIR complet améliore la rétention moyenne d'une métrique proxy de tâche et réduit l'écart de pose, les fluctuations de force et la force de pointe par rapport à MDIR discret. Une variante d'optimisation, FastMPO, affiche une accélération de 5,8 à 9,4 fois par rapport à C-MPO pour des résultats en boucle fermée comparables. Pour l'industrie robotique, ce travail s'attaque à un problème concret: la plupart des politiques apprises par imitation peinent sur les tâches de contact où la rigidité du contrôleur doit varier en continu, comme l'insertion de pièces, l'assemblage ou la manipulation d'objets fragiles, faute de quoi les forces générées deviennent instables. En montrant que l'interface complète de supervision TMIR est apprenable, et que les exécutions réussies présentent moins de fluctuations de force et une force de pointe plus faible, l'étude renforce l'idée que le contrôle d'impédance variable peut être intégré nativement dans les pipelines VLA plutôt que traité comme un module ajouté après coup. Les auteurs tempèrent toutefois eux-mêmes leurs résultats: la fiabilité de complétion des tâches reste inégale selon les tâches et environnements testés, un aveu qui tranche avec le ton parfois promotionnel du secteur et rappelle que la robustesse à l'échelle industrielle n'est pas acquise. CMDIR prolonge MDIR (Manifold-Decomposed Impedance Retargeting), dont elle étend le principe des démonstrations discrètes vers un régime continu, une évolution classique en apprentissage par imitation où chaque génération cherche à lisser les contraintes de la précédente. Le résumé ne cite aucune entreprise ni laboratoire nommément et se positionne comme une contribution méthodologique plutôt qu'un produit commercial: il s'agit d'un travail de recherche testé sur des tâches de contact réelles en conditions de laboratoire, pas d'un système déployé en usine. Le gain de vitesse de FastMPO ouvre des pistes pour rendre ces méthodes de retargeting d'impédance praticables à plus grande échelle, mais les suites attendues portent sur l'élargissement des tâches testées, l'amélioration de la fiabilité de complétion et une validation sur des plateformes industrielles avant toute adoption par des intégrateurs.

RecherchePaper

1 source