RecherchearXiv cs.RO 5 novembre 2026

Adaptation en ligne aux propriétés physiques latentes pour l'apprentissage par démonstration

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'ISRI (AIST, Japon) proposent une méthode d'apprentissage par démonstration qui permet à un robot d'adapter ses gestes à des propriétés physiques invisibles à la caméra. Le travail, publié sur arXiv (2611.06118), cible des objets d'apparence identique mais de centre de masse différent. Le système apprend conjointement un modèle de dynamique et des représentations latentes propres à chaque objet, à partir de démonstrations qui incluent des comportements d'adaptation comme la reprise de prise ou le changement de point de contact. Ces représentations conditionnent ensuite une politique d'imitation. À l'exécution, les poids du modèle de dynamique et de la politique restent figés. Seule la variable latente est mise à jour en continu, en fonction de l'écart entre les observations prédites et celles réellement mesurées. Les essais, menés en simulation et sur robot réel, suggèrent que cette adaptation en ligne améliore le taux de réussite. En simulation, toutefois, le taux reste autour de 30 % pour des centres de masse absents des démonstrations.

L'intérêt tient à la méthode d'adaptation. Plutôt que de réentraîner ou d'affiner un réseau pendant la tâche, l'approche infère les propriétés cachées par interaction, ce qui est peu coûteux et compatible avec un contrôle temps réel. Cela répond à un problème fréquent en logistique et en manutention : des colis ou pièces indiscernables à l'œil mais dont la répartition de masse, le contenu ou le frottement diffèrent. Le résultat contredit aussi l'idée qu'une grande politique visuomotrice (VLA) suffirait à tout absorber. Les auteurs montrent qu'une information tactile ou dynamique acquise en cours d'action peut changer la décision. Le chiffre de 30 % est cependant un rappel utile : l'adaptation reste surtout une interpolation entre cas vus en démonstration. La généralisation à des propriétés inédites est limitée, et la preuve reste académique, sans métriques de déploiement ni échelle industrielle.

Ce travail s'inscrit dans les recherches sur l'estimation en ligne de paramètres latents, déjà explorées en apprentissage par renforcement avec des approches de type adaptation rapide de moteur ou méta-apprentissage, mais ici transposées à l'imitation à partir de peu de démonstrations. Il se situe en marge des grands modèles de fondation comme Pi-0, GR00T N2 ou Helix, qui privilégient l'échelle des données et la perception visuelle plutôt que l'inférence de dynamique par interaction. Aucun calendrier de pilote ou de produit n'est annoncé. Les prochaines étapes logiques seraient de tester des propriétés plus variées que le seul centre de masse (friction, raideur, masse), d'élargir la couverture des démonstrations pour franchir le plafond observé hors distribution, et d'intégrer ce mécanisme dans des politiques généralistes. Une page de projet est disponible côté ISRI-AIST.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage parcimonieux guidé par la physique et adaptation en ligne sélective pour la dynamique d'Euler-Lagrange

Un groupe de chercheurs publie sur arXiv (2606.09640v1, juin 2026) un framework d'apprentissage résiduel structuré pour corriger les modèles de dynamique robot basés sur le formalisme d'Euler-Lagrange. L'approche décompose l'écart entre le modèle nominal et la dynamique réelle en trois composantes : une correction d'inertie, le terme de Coriolis induit correspondant, et un résidu de force généralisée. La composante mécanique est apprise sous contraintes physiques explicites (symétrie, définie-positivité de la matrice d'inertie), tandis que la composante perturbatrice est représentée par un modèle d'interaction latent sparse dépendant de l'historique, adapté en ligne par régression linéaire bayésienne. Les validations couvrent trois types de plateformes : robots mobiles, systèmes aériens et bras manipulateurs, sur des scénarios de dynamique couplée et variable dans le temps. L'enjeu est structurel. La quasi-totalité des méthodes de correction par apprentissage résiduel introduisent un unique terme additif sans contraindre sa forme physique, ce qui dégrade les invariants mécaniques fondamentaux : symétrie de la matrice d'inertie, couplage cohérent entre termes inertiels et termes de vitesse. En pratique, un contrôleur modèle embarquant un tel résidu non contraint risque de produire des prédictions physiquement incohérentes aux limites de l'espace de travail ou sous charges variables. La séparation proposée contraint structurellement la partie mécanique et réserve l'adaptation bayésienne en ligne à la seule composante de perturbation, là où la plasticité est réellement nécessaire. Les auteurs rapportent une amélioration mesurable de la prédiction de dynamique et du suivi de trajectoire, mais les résultats restent au stade expérimental sur plateformes de laboratoire, sans données de déploiement industriel. Le contexte est celui d'une tension persistante dans la robotique à base de modèles : les formulations analytiques d'Euler-Lagrange sont précises en conditions nominales mais se dégradent sous variation de charge utile, friction non modélisée, effets aérodynamiques ou couplages imprévus. Ce travail s'inscrit dans un courant actif de physics-informed learning, aux côtés des Hamiltonian Neural Networks (Greydanus et al., 2019) et des approches par processus gaussiens à noyaux structurés. La différenciation réside dans l'adaptation online sélective via régression bayésienne, computationnellement plus légère que les GPs complets. Le preprint n'annonce ni partenariat industriel ni roadmap commerciale ; les extensions naturelles iraient vers les manipulateurs humanoïdes et la validation sous contraintes temps réel strictes.

RecherchePaper

1 source

2arXiv cs.RO

ELA : apprentissage de politique d'action latente de bout en bout à partir de démonstrations vidéo

ELA est un cadre d'apprentissage proposé dans un article arXiv (2611.05571, première version) qui vise à entraîner des politiques robotiques à partir de vidéos de démonstration dépourvues d'étiquettes d'actions. Le système entraîne conjointement trois modules : un modèle d'actions latentes, qui extrait une représentation de l'action à partir des transitions entre observations, une politique opérant dans cet espace latent, et un décodeur qui convertit ces actions latentes en commandes continues pour le robot. Seules quelques démonstrations robot annotées en actions suffisent pour calibrer le décodeur, le reste de l'apprentissage s'appuyant sur de la vidéo brute. Les auteurs rapportent des résultats supérieurs à ceux des méthodes d'actions latentes antérieures, en simulation comme sur des tâches de manipulation réelles. Le décodeur ne pèse que 4 millions de paramètres et se greffe sur des méthodes d'imitation existantes sans modifier l'architecture de la politique ni son objectif d'entraînement. Le résumé ne précise ni le nombre de démonstrations annotées, ni les benchmarks, ni les taux de réussite, ni le matériel utilisé. L'enjeu touche au principal goulot d'étranglement de l'apprentissage par imitation : les données annotées en actions, coûteuses à collecter par téléopération, sont rares, alors que les vidéos humaines ou robotiques abondent. Les approches d'actions latentes existantes tentent déjà d'exploiter ce gisement, mais elles apprennent leur représentation sans tenir compte de l'usage aval. Il en résulte des espaces latents difficiles à modéliser pour la politique et imprécis à décoder en gestes continus. En optimisant l'ensemble de bout en bout, ELA s'attaque à cette rupture entre représentation et contrôle. Pour un intégrateur ou une équipe R&D, l'aspect le plus exploitable est la compatibilité : un décodeur léger qui s'ajoute à une pile existante abaisse le coût d'adoption. Il faut toutefois rester prudent. Il s'agit d'un preprint sans revue par les pairs, les gains sont exprimés par rapport à d'autres méthodes latentes et non à des politiques entraînées à grande échelle, et rien ne démontre à ce stade une robustesse en conditions industrielles ni un passage à l'échelle de type VLA. Ce travail s'inscrit dans une lignée de méthodes d'actions latentes apprises sur vidéo, qui ont gagné en visibilité avec les modèles fondation robotiques cherchant à tirer parti de données sans annotations d'actions. Il se place en concurrence directe avec ces approches de pré-entraînement, plutôt qu'avec les produits commerciaux des acteurs de l'humanoïde. Aucun déploiement, partenaire industriel ni calendrier n'est mentionné. Les prochaines étapes à surveiller sont la publication du code et des supports annoncés sur la page du projet, les comparaisons chiffrées détaillées, et surtout des tests sur des données vidéo plus hétérogènes, notamment issues d'humains, ainsi que sur des plateformes et des tâches plus variées.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage en une démonstration pour la manipulation robotique à contacts riches, par identification des interactions physiques

Un preprint publié sur arXiv (arXiv:2608.24741v1, août 2026) présente une méthode de Learning from Demonstration (LfD) qui modélise explicitement les interactions physiques entre un robot et son environnement, notamment la création et la rupture de contact pendant une manipulation. Un contrôleur hybride position-force suit la trajectoire démontrée par un humain jusqu'à ce que les conditions de transition liées au contact, identifiées durant cette démonstration, soient atteintes. La méthode a été validée sur un robot réel via quatre tâches riches en contacts, ouverture de portes et de serrures, prise et vissage de boulons, dégagement d'objets coincés et suivi de contour de surface, chacune apprise à partir d'une seule démonstration et sans connaissance préalable de la tâche. Cette approche tranche avec la tendance dominante de la manipulation robotique, où les modèles vision-langage-action (VLA) à grande échelle exigent des milliers de démonstrations pour généraliser. En rendant explicite la physique du contact plutôt que de la confier à un réseau de neurones opaque, les auteurs visent une interprétabilité rare dans la littérature du LfD, où l'on sait précisément pourquoi et quand le robot change de comportement. Pour des intégrateurs industriels confrontés à des tâches d'assemblage ou de maintenance à forte variabilité géométrique, comme le boulonnage ou le verrouillage, l'intérêt tient à une programmation par démonstration unique, robuste aux variations imprévues et généralisable quand ces variations sont connues à l'avance, ce qui contredit l'idée que seule l'échelle des données garantit une manipulation fiable. Le travail s'inscrit dans un courant du LfD qui, selon les auteurs, néglige généralement la modélisation explicite du contact physique, alors que celui-ci est central dans la plupart des tâches de manipulation réelles. Ils présentent leur contribution comme un moyen de combler cette lacune d'interprétabilité en apprentissage à partir de très peu d'exemples, en détaillant comment robustesse, généralisation et adaptabilité peuvent être implémentées explicitement plutôt que laissées à l'apprentissage statistique. Publié comme preprint non encore évalué par les pairs, sans indication d'institution ni de calendrier de valorisation industrielle, il se positionne comme une contribution méthodologique plutôt qu'un produit, dans un paysage de la manipulation robotique dominé par des modèles fondationnels de type VLA entraînés sur de vastes corpus de démonstrations.

RecherchePaper

1 source

4arXiv cs.RO

Repenser le désapprentissage des démonstrations dans l'apprentissage par imitation pour la robotique

Un article publié sur arXiv (2608.20784v1) propose un cadre d'audit pour l'oubli de démonstrations en apprentissage par imitation robotique, quand des contributeurs demandent le retrait de leurs démonstrations d'une politique déjà entraînée. Plutôt qu'un réentraînement complet, coûteux à mesure que grandissent modèle et données, les auteurs évaluent des opérateurs d'édition appliqués directement à la politique existante. Leur audit croise deux axes: le comportement, mesuré par la divergence d'action face à des réentraînements de référence, et la preuve, mesurée par une attaque d'appartenance rapportant rang et niveau absolu de perte. Sur cinq conditions préenregistrées, trois politiques robotiques réelles et deux suites de simulation, un édit de type redirection sur l'architecture ACT restaure un taux de succès de 18 essais sur 20 en évaluation en aveugle. Ce travail répond à un problème concret pour l'industrie robotique: à mesure que les politiques génératives de type VLA s'entraînent sur des volumes croissants de démonstrations téléopérées, les demandes de retrait de données individuelles se heurteront au coût du réentraînement complet. Les métriques héritées du machine unlearning classique, comme la perte d'oubli ou une simple attaque d'appartenance, ne suffisent pas à garantir qu'une édition a réellement supprimé l'influence d'une démonstration en boucle fermée: un édit peut réparer le comportement sans effacer la trace détectable, ou au contraire réduire cette détectabilité tout en éloignant le comportement du réentraînement réel. Pour des intégrateurs tentés par l'édition post-hoc plutôt que le réentraînement complet, un simple test de réussite de tâche ne suffit donc pas à certifier qu'une démonstration a été effectivement oubliée. Cette recherche prolonge les travaux de machine unlearning menés sur les grands modèles de langage et de vision, transposés ici au contrôle robotique en boucle fermée, où c'est l'action, non la seule prédiction, qui doit être auditée. Elle survient alors que l'apprentissage par imitation à partir de démonstrations téléopérées s'impose comme méthode dominante pour entraîner des politiques robotiques générales, dans la lignée d'architectures comme ACT, popularisée par les plateformes de téléopération de type ALOHA. La question du retrait de données gagne en importance à mesure que ces jeux de données reposent sur des opérateurs identifiables, avec des implications de consentement et de conformité. Les auteurs ont préenregistré leurs cinq conditions expérimentales, une rigueur rare dans la littérature robotique, sans annoncer de calendrier de déploiement industriel.

UELes enjeux de retrait de données et de conformité soulevés touchent directement les industriels européens de la téléopération robotique soumis aux exigences de consentement et de suppression de données (type RGPD).

RecherchePaper

1 source