RecherchearXiv cs.RO 18 juin 2026

L'action latente axée sur le mouvement permet l'entraînement VLA multi-morphologie depuis des vidéos subjectives humaines

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié un cadre d'entraînement basé sur des actions latentes permettant de former des modèles VLA (Vision-Language-Action) généralistes à partir de vidéos égocentriques humaines non annotées, sous l'identifiant arXiv:2606.18955. L'architecture centrale, baptisée Hybrid Disentangled VQ-VAE, décompose les dynamiques de mouvement des arrière-plans environnementaux via des masques physiques et construit un codebook d'actions multi-embodiment. Pré-entraîné exclusivement sur des vidéos humaines sans étiquettes d'action, le modèle ne requiert que 50 trajectoires robotiques annotées pour s'adapter à un embodiment cible, contre des milliers généralement exigés par les approches concurrentes. Les résultats, validés en simulation et en environnement réel, affichent des performances comparables aux meilleurs modèles VLA entraînés sur des jeux de données massifs et entièrement annotés. Une stratégie de découplage intention-perception complète l'architecture : le backbone VLM prédit l'intention d'action tandis qu'un encodeur visuel gelé distinct fournit les caractéristiques propres à l'état courant à un module expert d'action, réduisant ainsi les hallucinations d'action.

Ce travail s'attaque directement au principal goulot d'étranglement du domaine : la rareté des données robotiques avec annotations de haute fidélité. Les vidéos humaines égocentriques, abondantes sur internet et capturant une grande diversité environnementale, restaient jusqu'ici inexploitables dans les paradigmes d'entraînement classiques faute de labels d'action. Descendre à 50 trajectoires pour l'adaptation aval représente un changement d'ordre de grandeur pour les intégrateurs industriels qui n'ont ni la logistique ni le budget pour constituer des datasets robotiques à grande échelle. Le codebook cross-embodiment ouvre en outre la voie à des modèles fondamentaux transférables entre différentes morphologies de robots, ce qui répond à l'un des reproches récurrents faits aux approches VLA : leur faible généralisation inter-plateforme.

Le contexte concurrentiel est dense. Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et OpenVLA visent tous à former des modèles VLA généralistes, mais s'appuient principalement sur des datasets robotiques annotés comme OpenX-Embodiment ou des jeux propriétaires. Des travaux antérieurs comme UniSim ou des approches de pré-entraînement sur vidéo internet avaient déjà exploré cette direction sans atteindre ce niveau de frugalité en données. Ce preprint arXiv reste à ce stade une contribution de recherche : pas de déploiement industriel annoncé, pas de partenariat déclaré. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés comme LIBERO ou RoboSuite, et une validation sur une palette plus large de morphologies robotiques réelles.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

Pré-entraînement d'actions latentes multi-vues pour l'apprentissage robotique inter-morphologies à partir de vidéos

Des chercheurs du laboratoire LearnSysLab publient sur arXiv (2610.27794) une méthode de préentraînement par actions latentes multi-vues, destinée à apprendre des compétences robotiques à partir de vidéos sans étiquettes d'action. Les modèles d'actions latentes (LAM) déduisent des actions abstraites entre deux images pour transformer une vidéo brute en signal de supervision. Les LAM existants n'observent qu'une seule caméra, ce qui rend l'action 6D du robot ambiguë, avec des mouvements hors plan et des occlusions mal résolus. La nouvelle architecture ingère plusieurs caméras synchronisées et utilise l'attention croisée pour lever ces ambiguïtés de profondeur avant de compresser l'information en actions latentes. Celles-ci alimentent une politique où un expert latent et un expert d'action sont couplés par flow matching séquentiel autour d'un backbone VLM gelé. Avec deux vues, la décodabilité des actions 6D réelles progresse de 17 % par rapport à une seule vue. Le taux de réussite en aval gagne 13,5 % contre 6,2 % pour le LAM mono-vue. Pour les intégrateurs et les équipes qui financent de coûteuses collectes de données par téléopération, le résultat est pertinent : une seconde caméra coûte peu, et elle surpasse l'ajout de quatre embodiments supplémentaires. Multiplier par cent les données mono-vue ne suffit pas à retrouver les mouvements hors plan, ce qui indique qu'un goulot structurel d'observation ne se résout pas par l'échelle seule. Un seul embodiment croisé suffit au transfert de compétences, ce qui réduit la dépendance à des jeux de démonstrations propres à chaque robot. Sur matériel réel, des démonstrations issues d'une main humaine améliorent le taux de réussite de 20 % par rapport à des politiques entraînées sur les seules actions, sur 850 essais, un volume plus crédible que les démonstrations isolées. Les auteurs nuancent toutefois : vidéo et données robot sont complémentaires, et les bénéfices dépendent de la tâche. Il ne s'agit donc pas d'un remplacement de la téléopération. Ces gains restent mesurés en laboratoire, sans déploiement industriel ni cadence publiée. Ces travaux s'inscrivent dans la lignée des modèles d'actions latentes appliqués aux vidéos du web ou aux vidéos humaines, et des VLA (vision-langage-action) à base de flow matching comme Pi-0. Ils répondent à une limite de ces approches, qui reposent surtout sur une vue unique, alors que les cellules robotisées industrielles disposent souvent de plusieurs caméras. Les acteurs qui misent sur la vidéo humaine à grande échelle, dont Figure avec Helix, Tesla pour Optimus et NVIDIA avec GR00T, pourraient intégrer cette logique multi-vues dans leurs pipelines de préentraînement. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et plus variées, ainsi que la publication du code et des données via le site du projet. Aucun partenaire industriel ni calendrier de pilote n'est annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

LAPT-Scale : passage à l'échelle des politiques d'IA incarnée par préentraînement d'actions latentes sur des vidéos humaines

Des chercheurs publient sur arXiv LAPT-Scale, un cadre de pré-entraînement par actions latentes conçu pour entraîner des politiques robotiques généralistes à partir de vidéos humaines égocentriques, sans étiquettes d'actions robot. Il repose sur deux briques. LAPT-Scale-LAM est un modèle d'actions latentes (LAM) qui apprend des actions continues en expliquant les transitions visuelles image par image, et ces actions servent ensuite de supervision dérivée de l'humain. LAPT-Scale-Policy est une politique VLA (vision-langage-action) entraînée en trois temps: pré-entraînement sur les actions latentes issues de vidéos humaines, alignement sur l'embodiment du robot cible, puis post-entraînement spécifique à la tâche. Le LAM a été entraîné sur 23,3 k heures de vidéo égocentrique. Le résultat chiffré principal concerne le robot réel: le taux de succès passe de 63,3 % à 85,0 % lorsque le volume de vidéo humaine annotée passe de 1 k à 5 k heures. La politique généraliserait aussi à des conditions visuelles inédites. L'intérêt pour l'industrie tient au coût de la collecte de données. La téléopération et les démonstrations sur robot restent le principal goulot d'étranglement des modèles généralistes, alors que les vidéos égocentriques humaines sont abondantes mais sans étiquettes d'actions exploitables. Les méthodes d'annotation existantes sont bruitées dès que les scènes sont visuellement complexes ou que les dynamiques de manipulation varient. Une courbe de montée en charge régulière avec les heures de vidéo suggère que ce canal de données peut remplacer en partie la collecte robotique, ce qui change l'économie du pré-entraînement pour les intégrateurs et les développeurs de modèles. Il faut toutefois rester prudent: il s'agit d'un préprint non évalué par les pairs. Le gain mesuré porte sur un volume de vidéo annotée encore modeste face aux 23,3 k heures du LAM. Le résumé ne précise ni le nombre de tâches, ni le robot, ni le nombre d'essais, ni les benchmarks de comparaison. Le passage du laboratoire à la fiabilité exigée en production reste donc à démontrer. Sur le plan technique, les auteurs se distinguent des LAM précédents, qui utilisent des espaces latents quantifiés vectoriellement (VQ). Leur espace latent continu cherche à préserver les mouvements fins et les dynamiques d'interaction. Ils combinent aussi des signaux d'alignement perceptuel, sémantique et de flux optique pour que la supervision porte sur la transition elle-même plutôt que sur la seule reconstruction des pixels. Cette approche s'inscrit dans la lignée des travaux d'apprentissage à partir de vidéos humaines et d'actions latentes, que poursuivent de nombreux laboratoires et acteurs de la robotique humanoïde, soucieux d'exploiter les vidéos à grande échelle. Aucun déploiement industriel ni calendrier de pilote n'est annoncé. La suite probable est une validation sur davantage de plateformes et de tâches, ainsi qu'une réplication indépendante, avant toute intégration dans un produit.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

ActiveMimic : pré-entraînement sur vidéo égocentrique avec perception active

Des chercheurs ont publié ActiveMimic (arXiv:2606.06194, juin 2026), un framework de pré-entraînement robotique qui exploite des vidéos égocentrées humaines captées par une simple caméra RGB portée sur le corps. La contribution technique centrale : plutôt que de traiter les mouvements de caméra comme du bruit, comme le font les pipelines standards, ActiveMimic récupère des trajectoires synchronisées de la caméra et du poignet depuis ce seul flux vidéo, puis modélise le déplacement de la caméra comme une "action de point de vue" à part entière. Le framework apprend ainsi simultanément la perception active et la manipulation à partir de vidéos humaines capturées en conditions réelles, avant d'être adapté à un robot cible via fine-tuning. Sur plusieurs tâches de manipulation impliquant des degrés variés de perception active, les expériences en conditions réelles montrent qu'ActiveMimic surpasse les baselines pré-entraînées sur vidéo humaine classique et atteint les performances des modèles pré-entraînés sur données robotiques. Ce résultat est notable car la vidéo égocentrée humaine est disponible à grande échelle sans nécessiter de robot, mais les modèles qui en étaient issus sous-performaient systématiquement face à ceux entraînés sur données robotiques. ActiveMimic identifie le signal manquant : la perception active, soit le comportement naturel par lequel un humain repositionne continuellement son point de vue pendant une manipulation. Ce mécanisme, invisible pour les pipelines qui traitent la motion de caméra comme artefact, s'avère être le facteur clé pour extraire la valeur de ces vidéos. Les expériences indiquent en outre que la capacité de perception active émerge du pré-entraînement sur vidéo humaine et non du fine-tuning robot-spécifique, ce qui suggère une transférabilité potentielle à d'autres architectures et morphologies. Ce travail s'inscrit dans une compétition dense autour des modèles vision-action (VLA) pour la manipulation robotique généraliste. Physical Intelligence avec Pi-0, Google DeepMind avec RT-2, et les équipes de Figure AI exploitent des architectures VLA pré-entraînées, mais s'appuient majoritairement sur des données de téléopération robotique, coûteuses et lentes à collecter. Si l'approche d'ActiveMimic se confirme sur des benchmarks indépendants et des environnements non contrôlés, elle pourrait réduire significativement ce goulot d'étranglement en substituant une partie des données robotiques par de la vidéo humaine abondante. Les prochaines étapes naturelles incluent la validation industrielle, l'extension à des morphologies variées, et l'évaluation de la scalabilité avec des volumes de vidéo égocentrée plus importants.

RechercheOpinion

1 source

4arXiv cs.RO

ContactFlow : un conditionnement d'action vidéo transférable entre morphologies

Des chercheurs présentent Contact Flow, une représentation d'action indépendante de l'embodiment destinée aux modèles du monde en robotique. Le principe consiste à encoder une manipulation via la trajectoire des points de contact 3D entre un acteur (main humaine ou pince robotique) et l'objet cible, en écartant l'apparence et la cinématique propres à chaque acteur. Ce signal sert à conditionner un modèle génératif vidéo entraîné à la fois sur des démonstrations humaines et des vidéos d'interaction robotique, produisant un modèle du monde capable de prédire des issues de manipulation physiquement plausibles. L'équipe l'intègre dans un pipeline en quatre étapes (proposer, imaginer, vérifier, agir), où chaque scénario généré est évalué par un modèle vision-langage avant exécution réelle. Les expériences s'appuient sur le jeu de données DROID ainsi que sur des tâches de manipulation de table en conditions réelles, avec un transfert démontré entre démonstrations humaines et plusieurs embodiments robotiques différents. Le papier est publié sur arXiv (2607.26579v1). Cette approche cible deux limites connues des modèles du monde vidéo actuels : leur difficulté à capturer les contraintes physiques du contact, et un conditionnement d'action généralement figé sur un embodiment précis, souvent une pince parallèle. En généralisant le signal au contact plutôt qu'à la cinématique de l'acteur, Contact Flow permet de mutualiser l'entraînement entre données humaines, bien plus abondantes et faciles à collecter, et données robotiques, un enjeu central pour les modèles VLA qui peinent encore à passer à l'échelle faute de données d'interaction physique suffisantes. Pour les laboratoires et intégrateurs, c'est un argument de plus en faveur des architectures agnostiques à l'embodiment, une piste explorée aussi par GR00T N2 de NVIDIA ou Pi-0 de Physical Intelligence. La vérification par modèle vision-langage avant action traduit également une prudence croissante face au risque d'exécuter des rollouts imaginés mais physiquement irréalistes. Les modèles du monde vidéo pour la robotique se sont multipliés depuis 2024, portés par les progrès des générateurs vidéo et la promesse de planifier des actions sans essais coûteux sur du matériel réel. La plupart restent toutefois liés à un type de préhenseur ou de robot donné, limitant le réemploi des données entre plateformes, un problème similaire à celui des modèles VLA comme Helix de Figure ou les familles Octo et RT-2. Contact Flow se positionne comme une brique de représentation plutôt qu'un produit fini : aucun déploiement industriel n'est mentionné, seulement une évaluation sur DROID et des tâches de table en laboratoire. Les suites logiques attendues sont l'extension à des manipulations plus complexes et multi-étapes, ainsi qu'un test de robustesse sur davantage de plateformes.

RecherchePaper

1 source