RecherchearXiv cs.RO 5 novembre 2026

ELA : apprentissage de politique d'action latente de bout en bout à partir de démonstrations vidéo

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

ELA est un cadre d'apprentissage proposé dans un article arXiv (2611.05571, première version) qui vise à entraîner des politiques robotiques à partir de vidéos de démonstration dépourvues d'étiquettes d'actions. Le système entraîne conjointement trois modules : un modèle d'actions latentes, qui extrait une représentation de l'action à partir des transitions entre observations, une politique opérant dans cet espace latent, et un décodeur qui convertit ces actions latentes en commandes continues pour le robot. Seules quelques démonstrations robot annotées en actions suffisent pour calibrer le décodeur, le reste de l'apprentissage s'appuyant sur de la vidéo brute. Les auteurs rapportent des résultats supérieurs à ceux des méthodes d'actions latentes antérieures, en simulation comme sur des tâches de manipulation réelles. Le décodeur ne pèse que 4 millions de paramètres et se greffe sur des méthodes d'imitation existantes sans modifier l'architecture de la politique ni son objectif d'entraînement. Le résumé ne précise ni le nombre de démonstrations annotées, ni les benchmarks, ni les taux de réussite, ni le matériel utilisé.

L'enjeu touche au principal goulot d'étranglement de l'apprentissage par imitation : les données annotées en actions, coûteuses à collecter par téléopération, sont rares, alors que les vidéos humaines ou robotiques abondent. Les approches d'actions latentes existantes tentent déjà d'exploiter ce gisement, mais elles apprennent leur représentation sans tenir compte de l'usage aval. Il en résulte des espaces latents difficiles à modéliser pour la politique et imprécis à décoder en gestes continus. En optimisant l'ensemble de bout en bout, ELA s'attaque à cette rupture entre représentation et contrôle. Pour un intégrateur ou une équipe R&D, l'aspect le plus exploitable est la compatibilité : un décodeur léger qui s'ajoute à une pile existante abaisse le coût d'adoption. Il faut toutefois rester prudent. Il s'agit d'un preprint sans revue par les pairs, les gains sont exprimés par rapport à d'autres méthodes latentes et non à des politiques entraînées à grande échelle, et rien ne démontre à ce stade une robustesse en conditions industrielles ni un passage à l'échelle de type VLA.

Ce travail s'inscrit dans une lignée de méthodes d'actions latentes apprises sur vidéo, qui ont gagné en visibilité avec les modèles fondation robotiques cherchant à tirer parti de données sans annotations d'actions. Il se place en concurrence directe avec ces approches de pré-entraînement, plutôt qu'avec les produits commerciaux des acteurs de l'humanoïde. Aucun déploiement, partenaire industriel ni calendrier n'est mentionné. Les prochaines étapes à surveiller sont la publication du code et des supports annoncés sur la page du projet, les comparaisons chiffrées détaillées, et surtout des tests sur des données vidéo plus hétérogènes, notamment issues d'humains, ainsi que sur des plateformes et des tâches plus variées.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

CLAM : modèles d'action latente continue pour l'apprentissage robotique à partir de démonstrations non étiquetées

Un nouveau papier arXiv (2505.04999v2, version révisée) présente CLAM, pour Continuous Latent Action Models, une méthode d'apprentissage de politiques de contrôle robotique qui se passe des démonstrations à actions étiquetées, coûteuses à collecter en téléopération. Le principe : à partir de simples séquences d'observations (sans étiquette d'action), un modèle infère des actions latentes continues entre deux images consécutives via une prédiction de dynamique auto-supervisée. Pour transformer ces actions latentes en commandes moteur réellement exécutables, les chercheurs entraînent conjointement un décodeur d'actions sur un petit volume de données dites "de jeu" (play data), c'est-à-dire des interactions non ciblées sur une tâche précise mais qui, elles, comportent des actions étiquetées. Les tests couvrent la locomotion sur DMControl, la manipulation sur MetaWorld, et des tâches réelles sur un bras robotique WidowX. Résultat annoncé : un taux de réussite moyen multiplié par 2 à 3 par rapport aux précédentes méthodes à actions latentes, avec des performances qui se rapprochent du behavior cloning entraîné sur des actions expertes complètes, la référence "privilégiée" du domaine. L'enjeu dépasse la seule performance technique : le goulot d'étranglement de l'apprentissage par imitation reste la collecte de démonstrations étiquetées, un processus lent et onéreux en téléopération. Si des politiques efficaces peuvent être apprises depuis de simples vidéos ou séquences d'observations, cela ouvre la voie à des jeux de données bien plus larges et moins chers à constituer, en combinant une masse de démonstrations non étiquetées avec un minimum de données annotées. Il faut toutefois noter que la validation reste majoritairement en simulation, avec un unique bras WidowX pour la partie matérielle réelle : il s'agit d'une preuve de concept académique, pas d'un déploiement industriel à l'échelle. CLAM s'inscrit dans la lignée des travaux sur les modèles d'action latente et de monde pour la robotique, qu'il cherche explicitement à surpasser en tant que base de comparaison. Il se distingue de l'approche dominante des modèles vision-langage-action comme Pi-0 ou GR00T N2, qui reposent sur de vastes corpus d'actions étiquetées. Code et vidéos sont publiés sur clamrobot.github.io, laissant la porte ouverte à des reproductions et extensions par la communauté.

RecherchePaper

1 source

2arXiv cs.RO

WALA : apprendre des actions latentes exécutables à partir de démonstrations étiquetées et de vidéos sans action

Des chercheurs présentent WALA (arXiv:2607.11397), un framework qui apprend des actions latentes exécutables à partir de deux types de données distincts : des démonstrations robotiques annotées d'actions et de simples vidéos sans annotation d'action. Le problème visé est bien connu du secteur : les démonstrations robotiques étiquetées coûtent cher à collecter et passent mal à l'échelle, alors que les vidéos humaines et robotiques disponibles en masse restent inexploitables faute d'étiquettes d'action exécutables. WALA fonctionne en deux temps. D'abord, un pré-entraînement d'un modèle d'action latente sémantique-géométrique sur des vidéos, en modélisant l'évolution entre l'observation courante et des observations futures échantillonnées de façon éparse. Plutôt que de reconstruire les pixels bruts, le système prédit les deltas futurs dans l'espace de features DINOv3 et dans l'espace de profondeur dense, ce qui conserve la structure sémantique et géométrique utile à la tâche tout en réduisant la sensibilité aux détails d'apparence. Lors de l'entraînement de la politique, l'encodeur pré-entraîné fournit des cibles d'action latente stables, et le décodeur sert de modèle du monde latent entraînable, avec une supervision conjointe par prédiction d'action robotique, correspondance de cible d'action latente et prédiction de dynamique future. Résultat annoncé : un nouveau record sur RoboCasa avec 75,2% de taux de réussite moyen, ainsi que de bonnes performances sur RoboTwin et en manipulation réelle. L'enjeu pour l'industrie robotique tient moins à la performance brute qu'à la promesse de découplage entre données d'entraînement et coût d'annotation. Si une politique VLA peut effectivement tirer une supervision de dynamique utile de vidéos non annotées, cela ouvre la voie à des jeux de données d'entraînement bien plus vastes sans multiplier les campagnes de téléopération robotique, un goulot d'étranglement connu pour tout intégrateur ou labo qui cherche à généraliser au-delà d'un jeu de tâches restreint. Cela dit, il s'agit d'un résultat de recherche publié sur arXiv, pas d'un produit déployé : les métriques de succès sur RoboCasa et RoboTwin sont des benchmarks de simulation ou semi-contrôlés, et la mention de "manipulation réelle" reste peu détaillée dans l'abstract, sans précision sur le nombre de tâches, le taux de réussite exact en conditions réelles ni le hardware utilisé. Le travail s'inscrit dans la lignée des architectures vision-langage-action (VLA) comme Pi-0 ou GR00T N2, qui cherchent à unifier perception, langage et contrôle moteur dans un même backbone, et dans la tendance plus large des "world models" latents pour la robotique, où l'usage de features pré-entraînées (ici DINOv3) remplace la reconstruction pixel pour la supervision. Aucun acteur français ou européen n'est mentionné dans cet abstract. Les suites logiques incluraient une publication complète avec code et poids, ainsi que des tests de généralisation croisée entre familles de robots, un point sur lequel l'abstract reste volontairement vague.

RechercheActu

1 source

3arXiv cs.RO

Apprentissage natif de prior d'action à partir de vidéos pour les modèles d'action du monde

Des chercheurs publient sur arXiv (2610.03391) NAVA-WAM, un « world action model » (WAM) qui apprend une politique d'action directement à partir de vidéos sans annotation d'actions. Un WAM combine la prédiction de la dynamique visuelle future et celle des actions du robot. Jusqu'ici, ces modèles dépendaient de trajectoires robotiques annotées avec les actions, rares et coûteuses à collecter. NAVA-WAM s'entraîne en deux étapes. Le pré-entraînement porte sur des vidéos d'observation seule : une supervision par flow matching sur les transitions visuelles futures est propagée, via une attention jointe structurée par transitions, jusqu'à l'Action-DiT, le module de diffusion qui produit les actions. Celui-ci acquiert ainsi des « priors » d'action. La seconde étape affine l'Action-DiT sur des démonstrations étiquetées par un flow matching conjoint vidéo-action. Une attention asymétrique découple la branche visuelle du débruitage itératif des actions, ce qui permet une inférence rapide, limitée aux actions. Les auteurs affirment de meilleurs résultats que les approches antérieures, en distribution comme hors distribution, une bonne efficacité en nombre d'étiquettes d'action et une généralisation sur robot réel. Le résumé ne fournit ni score chiffré, ni liste de tâches, ni nom de plateforme robotique. L'enjeu est celui du goulot d'étranglement des données. Les modèles vision-langage-action (VLA) et leurs variantes à modèle de monde se heurtent au coût de la téléopération. Les vidéos humaines ou robotiques sans étiquettes, elles, existent en grande quantité. Les méthodes actuelles les exploitent par deux voies indirectes : pré-entraîner des représentations visuelles qu'il faut ensuite adapter au contrôle, ou inférer des « actions latentes » à ancrer ensuite sur des commandes robot. NAVA-WAM supprime ces intermédiaires, ce qui limiterait les pertes de transfert et la complexité d'un modèle d'action latente séparé. Si le résultat tient à grande échelle, le volume de données robotiques annotées nécessaires pour une nouvelle tâche ou un nouvel embodiment pourrait baisser. Un intégrateur pourrait alors réutiliser des vidéos de ses propres lignes. Prudence toutefois : il s'agit d'un preprint non évalué par des pairs. Les gains annoncés restent à confirmer par des benchmarks indépendants, avec des détails sur la quantité de vidéos et la diversité des tâches réelles testées. Ce travail s'inscrit dans la course aux WAM et aux politiques apprises de vidéo, face aux VLA entraînés sur démonstrations (Pi-0, GR00T) et aux approches par actions latentes. Les prochaines étapes à surveiller sont la publication du code et des poids, des évaluations sur des corpus vidéo plus larges, et une comparaison directe avec les modèles de fondation industriels. Les auteurs ne signalent aucun partenaire industriel ni déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Pré-entraînement d'actions latentes multi-vues pour l'apprentissage robotique inter-morphologies à partir de vidéos

Des chercheurs du laboratoire LearnSysLab publient sur arXiv (2610.27794) une méthode de préentraînement par actions latentes multi-vues, destinée à apprendre des compétences robotiques à partir de vidéos sans étiquettes d'action. Les modèles d'actions latentes (LAM) déduisent des actions abstraites entre deux images pour transformer une vidéo brute en signal de supervision. Les LAM existants n'observent qu'une seule caméra, ce qui rend l'action 6D du robot ambiguë, avec des mouvements hors plan et des occlusions mal résolus. La nouvelle architecture ingère plusieurs caméras synchronisées et utilise l'attention croisée pour lever ces ambiguïtés de profondeur avant de compresser l'information en actions latentes. Celles-ci alimentent une politique où un expert latent et un expert d'action sont couplés par flow matching séquentiel autour d'un backbone VLM gelé. Avec deux vues, la décodabilité des actions 6D réelles progresse de 17 % par rapport à une seule vue. Le taux de réussite en aval gagne 13,5 % contre 6,2 % pour le LAM mono-vue. Pour les intégrateurs et les équipes qui financent de coûteuses collectes de données par téléopération, le résultat est pertinent : une seconde caméra coûte peu, et elle surpasse l'ajout de quatre embodiments supplémentaires. Multiplier par cent les données mono-vue ne suffit pas à retrouver les mouvements hors plan, ce qui indique qu'un goulot structurel d'observation ne se résout pas par l'échelle seule. Un seul embodiment croisé suffit au transfert de compétences, ce qui réduit la dépendance à des jeux de démonstrations propres à chaque robot. Sur matériel réel, des démonstrations issues d'une main humaine améliorent le taux de réussite de 20 % par rapport à des politiques entraînées sur les seules actions, sur 850 essais, un volume plus crédible que les démonstrations isolées. Les auteurs nuancent toutefois : vidéo et données robot sont complémentaires, et les bénéfices dépendent de la tâche. Il ne s'agit donc pas d'un remplacement de la téléopération. Ces gains restent mesurés en laboratoire, sans déploiement industriel ni cadence publiée. Ces travaux s'inscrivent dans la lignée des modèles d'actions latentes appliqués aux vidéos du web ou aux vidéos humaines, et des VLA (vision-langage-action) à base de flow matching comme Pi-0. Ils répondent à une limite de ces approches, qui reposent surtout sur une vue unique, alors que les cellules robotisées industrielles disposent souvent de plusieurs caméras. Les acteurs qui misent sur la vidéo humaine à grande échelle, dont Figure avec Helix, Tesla pour Optimus et NVIDIA avec GR00T, pourraient intégrer cette logique multi-vues dans leurs pipelines de préentraînement. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et plus variées, ainsi que la publication du code et des données via le site du projet. Aucun partenaire industriel ni calendrier de pilote n'est annoncé à ce stade.

RecherchePaper

1 source