RecherchearXiv cs.RO 14 juillet 2026

WALA : apprendre des actions latentes exécutables à partir de démonstrations étiquetées et de vidéos sans action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent WALA (arXiv:2607.11397), un framework qui apprend des actions latentes exécutables à partir de deux types de données distincts : des démonstrations robotiques annotées d'actions et de simples vidéos sans annotation d'action. Le problème visé est bien connu du secteur : les démonstrations robotiques étiquetées coûtent cher à collecter et passent mal à l'échelle, alors que les vidéos humaines et robotiques disponibles en masse restent inexploitables faute d'étiquettes d'action exécutables. WALA fonctionne en deux temps. D'abord, un pré-entraînement d'un modèle d'action latente sémantique-géométrique sur des vidéos, en modélisant l'évolution entre l'observation courante et des observations futures échantillonnées de façon éparse. Plutôt que de reconstruire les pixels bruts, le système prédit les deltas futurs dans l'espace de features DINOv3 et dans l'espace de profondeur dense, ce qui conserve la structure sémantique et géométrique utile à la tâche tout en réduisant la sensibilité aux détails d'apparence. Lors de l'entraînement de la politique, l'encodeur pré-entraîné fournit des cibles d'action latente stables, et le décodeur sert de modèle du monde latent entraînable, avec une supervision conjointe par prédiction d'action robotique, correspondance de cible d'action latente et prédiction de dynamique future. Résultat annoncé : un nouveau record sur RoboCasa avec 75,2% de taux de réussite moyen, ainsi que de bonnes performances sur RoboTwin et en manipulation réelle.

L'enjeu pour l'industrie robotique tient moins à la performance brute qu'à la promesse de découplage entre données d'entraînement et coût d'annotation. Si une politique VLA peut effectivement tirer une supervision de dynamique utile de vidéos non annotées, cela ouvre la voie à des jeux de données d'entraînement bien plus vastes sans multiplier les campagnes de téléopération robotique, un goulot d'étranglement connu pour tout intégrateur ou labo qui cherche à généraliser au-delà d'un jeu de tâches restreint. Cela dit, il s'agit d'un résultat de recherche publié sur arXiv, pas d'un produit déployé : les métriques de succès sur RoboCasa et RoboTwin sont des benchmarks de simulation ou semi-contrôlés, et la mention de "manipulation réelle" reste peu détaillée dans l'abstract, sans précision sur le nombre de tâches, le taux de réussite exact en conditions réelles ni le hardware utilisé.

Le travail s'inscrit dans la lignée des architectures vision-langage-action (VLA) comme Pi-0 ou GR00T N2, qui cherchent à unifier perception, langage et contrôle moteur dans un même backbone, et dans la tendance plus large des "world models" latents pour la robotique, où l'usage de features pré-entraînées (ici DINOv3) remplace la reconstruction pixel pour la supervision. Aucun acteur français ou européen n'est mentionné dans cet abstract. Les suites logiques incluraient une publication complète avec code et poids, ainsi que des tests de généralisation croisée entre familles de robots, un point sur lequel l'abstract reste volontairement vague.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

CLAM : modèles d'action latente continue pour l'apprentissage robotique à partir de démonstrations non étiquetées

Un nouveau papier arXiv (2505.04999v2, version révisée) présente CLAM, pour Continuous Latent Action Models, une méthode d'apprentissage de politiques de contrôle robotique qui se passe des démonstrations à actions étiquetées, coûteuses à collecter en téléopération. Le principe : à partir de simples séquences d'observations (sans étiquette d'action), un modèle infère des actions latentes continues entre deux images consécutives via une prédiction de dynamique auto-supervisée. Pour transformer ces actions latentes en commandes moteur réellement exécutables, les chercheurs entraînent conjointement un décodeur d'actions sur un petit volume de données dites "de jeu" (play data), c'est-à-dire des interactions non ciblées sur une tâche précise mais qui, elles, comportent des actions étiquetées. Les tests couvrent la locomotion sur DMControl, la manipulation sur MetaWorld, et des tâches réelles sur un bras robotique WidowX. Résultat annoncé : un taux de réussite moyen multiplié par 2 à 3 par rapport aux précédentes méthodes à actions latentes, avec des performances qui se rapprochent du behavior cloning entraîné sur des actions expertes complètes, la référence "privilégiée" du domaine. L'enjeu dépasse la seule performance technique : le goulot d'étranglement de l'apprentissage par imitation reste la collecte de démonstrations étiquetées, un processus lent et onéreux en téléopération. Si des politiques efficaces peuvent être apprises depuis de simples vidéos ou séquences d'observations, cela ouvre la voie à des jeux de données bien plus larges et moins chers à constituer, en combinant une masse de démonstrations non étiquetées avec un minimum de données annotées. Il faut toutefois noter que la validation reste majoritairement en simulation, avec un unique bras WidowX pour la partie matérielle réelle : il s'agit d'une preuve de concept académique, pas d'un déploiement industriel à l'échelle. CLAM s'inscrit dans la lignée des travaux sur les modèles d'action latente et de monde pour la robotique, qu'il cherche explicitement à surpasser en tant que base de comparaison. Il se distingue de l'approche dominante des modèles vision-langage-action comme Pi-0 ou GR00T N2, qui reposent sur de vastes corpus d'actions étiquetées. Code et vidéos sont publiés sur clamrobot.github.io, laissant la porte ouverte à des reproductions et extensions par la communauté.

RecherchePaper

1 source

2arXiv cs.RO

LD4WAM : apprendre les dynamiques latentes à partir de vidéos humaines pour des modèles d'action du monde

Des chercheurs ont publié en août 2026 sur arXiv un article présentant LD4WAM, une méthode pour entraîner des World Action Models à partir de vidéos humaines plutôt que de données de téléopération, coûteuses à collecter. Le système associe un Latent Dynamics Model, entraîné par reconstruction sémantique et alignement sur le mouvement réel, à un World Dynamics Action Model en mixture-of-transformers, qui génère des vidéos futures puis en extrait, via des requêtes apprenables, une dynamique latente conditionnant les actions du robot. Pré-entraîné sur un jeu de données unifié de plus de 5 000 heures de vidéos humaines et robotiques, le modèle affiche de bons résultats dans le simulateur RoboTwin et sur des robots réels équipés de pinces et de mains dexterisées, avec une généralisation à des objets et arrière-plans inédits. L'enjeu dépasse la prouesse technique. La vidéo humaine est bien plus abondante et moins chère à collecter que les démonstrations téléopérées, mais son exploitation butait sur un dilemme entre prédiction vidéo pixel par pixel, riche mais non actionnable, et retargeting du mouvement vers le squelette du robot, actionnable mais marqué par un fossé visuel entre corps humain et robot. En proposant une dynamique latente alignée sur le mouvement, agnostique à l'embodiment, LD4WAM cherche à combler ce fossé, ce qui pourrait réduire la dépendance des laboratoires aux campagnes de téléopération pour entraîner des politiques de manipulation, un des principaux goulots d'étranglement du passage à l'échelle des modèles vision-langage-action. Ce travail s'inscrit dans une vague de recherche plus large sur les modèles de monde en robotique, aux côtés d'efforts comme GR00T de NVIDIA, pi-0 de Physical Intelligence ou Helix de Figure, qui explorent aussi l'exploitation de données hétérogènes pour des politiques généralistes. LD4WAM se positionne explicitement contre les deux paradigmes qui l'ont précédé, prédiction vidéo pure et retargeting de mouvement. Il s'agit pour l'instant d'un article déposé sur arXiv, non encore relu par les pairs, sans code publié ni partenariat industriel annoncé, et les démonstrations réelles restent limitées au laboratoire, sans détail sur le taux de réussite.

RecherchePaper

1 source

3arXiv cs.RO

EgoReveal : apprendre la vision active et la manipulation d'objets sous occlusions partielles à partir de démonstrations égocentriques

EgoReveal est un cadre d'apprentissage par démonstration (LfD) publié sur arXiv (2610.12999, première version) qui apprend à un robot à déplacer son point de vue pour retrouver la visibilité d'un objet partiellement masqué, puis à le manipuler. Les démonstrations sont égocentriques: elles sont filmées du point de vue d'un humain, sans robot ni dispositif d'enseignement dédié. Le système repose sur deux politiques d'imitation. La première prédit la séquence future des poses caméra-bras à partir de la vue courante et de la pose caméra-bras actuelle. La seconde prédit les commandes de contrôle futures à partir de points clés de l'objet et de l'historique des commandes. Un mécanisme de commutation bascule de l'une à l'autre selon la visibilité de la cible. Dans les expériences, l'objet est partiellement occulté dès le départ. Le robot repositionne alors sa caméra et termine la tâche de façon plus fiable que des références à caméra fixe. Le résumé ne donne ni taux de réussite, ni nombre de démonstrations, ni plateforme robotique, ni temps de cycle. Il s'agit d'un résultat de laboratoire, sans produit ni déploiement. L'intérêt tient à un défaut courant des approches d'apprentissage à partir de vidéos humaines: elles supposent que la cible reste visible, alors que les objets sont souvent cachés dans les environnements réels (étagères, bacs, outils empilés). Ici, la vision active est apprise avec la manipulation, au lieu d'être codée à la main. Pour un intégrateur, cela réduit un mode d'échec typique des cellules à caméra fixe, mais seulement si les résultats tiennent hors du cadre expérimental. La commutation par visibilité est une architecture modulaire plutôt qu'un modèle fondation unique de type VLA. Elle est simple à auditer, mais peut aussi être fragile aux erreurs de détection de visibilité. Le contexte est la recherche de données moins coûteuses que la téléopération, qui demande des opérateurs et du matériel. Les démonstrations égocentriques offrent un passage à l'échelle plus facile, mais traitaient jusqu'ici l'occlusion de manière implicite. Aucun acteur européen n'est cité dans le résumé, et aucune suite (code, jeu de données, validation industrielle) n'est annoncée. Les prochaines étapes à surveiller sont des tests sur des scènes plus variées, des comparaisons chiffrées avec d'autres méthodes et une éventuelle intégration à des politiques généralistes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

TaRL : apprendre des récompenses générales et physiques à partir de démonstrations tactiles

Des chercheurs de l'équipe EmbodiedAI de la NTU (Nanyang Technological University) proposent TaRL (Tactile Reward Learning), un cadre qui apprend des fonctions de récompense à partir de démonstrations tactiles, pour l'apprentissage par renforcement (RL) de tâches de manipulation riches en contacts. Le système prend en entrée une séquence de cartes de déformation tactile et régresse un indice d'avancement de la tâche, en s'entraînant à la fois sur des démonstrations réussies et sur des échecs. Il a été évalué sur quatre tâches en simulation et deux en conditions réelles. Utilisé comme récompense de guidage (reward shaping), il améliore l'efficacité d'échantillonnage et le taux de succès final : sur l'enfilage d'écrou (nut threading), le succès passe de 34 % à 56 % en simulation, et sur le ramassage d'un cube, de 37 % à 97 % sur robot réel. Combiner récompenses tactiles et visuelles améliore encore les résultats. Un modèle entraîné sur le placement de boîtes a aussi été déployé directement sur le placement de canettes, avec un gain notable sur l'apprentissage de cette nouvelle tâche. L'intérêt tient à un verrou bien connu du RL : les récompenses éparses ralentissent l'apprentissage, et les récompenses denses sont difficiles à spécifier à la main. Les approches par récompense visuelle, apprises à partir de démonstrations sans actions, contournent le problème, mais elles ne voient que les objectifs visibles. Or beaucoup de tâches de manipulation dépendent de ce que la caméra ne capte pas : fermeté d'une prise, direction et intensité des forces appliquées. Le signal tactile décrit l'interaction locale entre robot et objet, ce qui le rend aussi robuste aux changements de disposition de la scène, comme la position de l'objet. Pour les intégrateurs, c'est une piste pour réduire l'ingénierie de récompenses sur des tâches d'assemblage ou d'insertion. Le saut de 37 % à 97 % est frappant, mais il porte sur une tâche simple, un seul cube, et ne dit rien de la tenue sur des pièces industrielles variées. Les résultats restent ceux d'un article préprint, sans validation indépendante ni test en cadence de production. Ce travail s'inscrit dans la montée des capteurs tactiles à base de déformation (type GelSight) et de l'apprentissage de récompenses à partir de vidéos, où la vision domine encore. Il complète les politiques vision-langage-action (VLA), majoritairement visuelles, qui peinent sur les tâches où la force compte. Le gain en généralisation d'un objet à l'autre reste à confirmer sur des catégories plus éloignées. Les prochaines étapes probables sont des tâches à plus fort contact, des capteurs différents et une intégration avec des modèles de fondation. Le code et la page projet sont annoncés, ce qui permettra à d'autres laboratoires de reproduire les chiffres.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source