RecherchearXiv cs.RO 30 juillet 2026

DLAM : actions latentes distribuées avec contraintes temporelles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Les vision-language-action models, ou VLA, souffrent d'un problème structurel : les données robotiques annotées en actions restent rares, alors que les vidéos sans étiquette d'action, elles, abondent pour observer le changement physique. Une nouvelle méthode nommée DLAM (Distributional Latent Actions with Temporal Constraints), présentée dans un article publié fin juillet 2026 sur arXiv, s'attaque à ce goulot d'étranglement. Contrairement aux modèles d'actions latentes classiques, qui apprennent par reconstruction sans structure temporelle garantie, DLAM représente chaque transition entre deux images comme une gaussienne diagonale. La moyenne est ancrée dans le changement visuel observé via une reconstruction conditionnée sur l'image de référence, tandis qu'une composition normalisée et une opération de réversion, appliquées sur des triplets à intervalles égaux, contraignent à la fois la moyenne et la variance dimension par dimension. Un coefficient de corrélation partagé, léger en calcul, gère la dépendance entre transitions adjacentes qui partagent une image intermédiaire. Pour l'apprentissage de politiques en aval, l'encodeur est gelé et une politique par flow-matching est entraînée à générer conjointement les séquences de transitions moyennes et les actions du robot.

L'enjeu dépasse la seule prouesse technique : il s'agit de savoir si l'on peut extraire des priors d'action fiables depuis de la vidéo brute pour compenser la pénurie de données robotiques étiquetées, un problème central pour quiconque veut entraîner des politiques de manipulation à grande échelle sans multiplier les téléopérations coûteuses. Les méthodes structurées existantes ajoutaient déjà des contraintes temporelles, mais avec des points de transition déterministes, ce qui laissait les erreurs résiduelles se propager et s'amplifier lors de compositions récursives. En modélisant l'incertitude explicitement plutôt qu'en la masquant, DLAM démontre une dynamique latente plus cohérente dans le temps sur des transitions non vues, avec une meilleure reconstruction directe et cumulative. Transféré selon le même protocole contrôlé que le modèle π0 de Physical Intelligence, il améliore aussi les performances de politique sur les bancs d'essai MetaWorld MT50, LIBERO et sur des tâches de manipulation en conditions réelles.

Les ablations menées par les auteurs précisent la hiérarchie des gains : les contraintes normalisées sur la moyenne expliquent l'essentiel de l'amélioration en reconstruction, tandis que la variance apprise et la composition tenant compte des corrélations apportent des gains complémentaires, plus marginaux. Ce travail s'inscrit dans la lignée des recherches sur les modèles d'actions latentes visant à combler l'écart entre l'abondance de vidéos d'action non étiquetées et la rareté des données robotiques annotées, un axe désormais central pour l'entraînement des politiques VLA à l'échelle.

Dans nos dossiers

Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

TS-WAM : actions latentes temporelles et couplage monde-action pour le contrôle de robots par vision-langage

TS-WAM est un modèle monde-action léger, présenté dans une prépublication arXiv (2610.21922), qui vise deux faiblesses de nombreuses politiques vision-langage-action (VLA). D'une part, elles dépendent de démonstrations robotiques annotées avec les actions, ce qui les empêche d'exploiter des vidéos sans étiquettes d'action. D'autre part, elles n'ont aucun mécanisme explicite pour prédire les états visuels futurs. Les auteurs décrivent une architecture « enseignant-élève » dont le cadre vlm-jepa apprend de façon auto-supervisée à partir de données hétérogènes : démonstrations de robots et vidéos humaines sans actions. Une branche cible à moyenne mobile exponentielle (EMA) remplace l'enseignant externe entraîné séparément. Le module delta-lwm prédit des actions latentes à partir de l'observation courante et de l'instruction, puis s'en sert pour anticiper les caractéristiques visuelles futures, qui guident la génération d'actions. L'ensemble est entraîné de bout en bout, sans préentraînement distinct d'actions latentes ni de modèle du monde. La branche EMA est retirée à l'inférence. Les tests portent sur les benchmarks LIBERO, LIBERO-Plus et SimplerEnv, ainsi que sur des manipulations réelles avec un bras Franka Research 3 et RevoTron. Pour les intégrateurs et les équipes R&D, l'intérêt est double. Exploiter des vidéos humaines sans étiquettes d'action est l'une des voies les plus crédibles pour contourner le coût de la téléopération, qui plafonne le volume de données d'entraînement. Simplifier le pipeline, avec un seul entraînement et sans étape de préentraînement séparée, réduit la complexité d'ingénierie, et un modèle déployé allégé facilite l'embarquement sur du matériel contraint. Il faut toutefois rester prudent. Le résumé ne donne aucun taux de réussite, aucune comparaison chiffrée avec des références comme Pi-0 ou OpenVLA, ni le nombre d'essais réels. Les benchmarks en simulation, LIBERO en tête, sont désormais proches de la saturation et prouvent peu sur la fiabilité en production. Les affirmations de « forte performance, généralisation et robustesse » restent donc à vérifier dans l'article complet, et aucune validation en environnement industriel n'est mentionnée. Ce travail s'inscrit dans la convergence entre VLA et modèles du monde. Plusieurs équipes testent la prédiction d'états futurs ou l'apprentissage d'actions latentes pour réduire la dépendance aux données annotées, en s'appuyant sur les approches JEPA de type prédiction dans l'espace latent. Les politiques généralistes de type Pi-0, GR00T ou Helix restent la référence en matière d'échelle de données et de déploiement, mais exigent beaucoup de démonstrations. TS-WAM se positionne comme une alternative plus économe, mais il s'agit d'une recherche académique sans produit ni calendrier de pilote annoncés. Le choix de RevoTron, plateforme moins courante que le Franka, laisse penser à un laboratoire lié à cet écosystème matériel. Les prochaines étapes à surveiller sont la publication du code et des poids, les comparaisons indépendantes sur des tâches longues, et la validation sur des volumes de vidéos humaines plus larges.

RecherchePaper

1 source

2arXiv cs.RO

Agir avec intention : distiller l'intention comportementale pour les modèles vision-langage-action

Publié le 25 août 2026 sur arXiv (référence 2608.23478), un article de recherche présente INDI (Intention Distillation), une méthode d'entraînement pour les décodeurs d'action des modèles Vision-Language-Action (VLA) en robotique, dominés aujourd'hui par le clonage de comportement, qui indique la commande démontrée sans expliciter l'objectif poursuivi. Pendant l'entraînement, un VLM enseignant figé interprète chaque segment démontré à partir de l'observation, de l'instruction, d'un résumé d'action et de la vidéo d'exécution ; le VLA déployé récupère cette représentation d'intention à une couche intermédiaire du décodeur. Sur le benchmark SimplerEnv-Bridge, le modèle GR00T-N1.7 passe de 64,3 % à 84,7 % de réussite ; sur RoboCasa Kitchen, sa baseline progresse de 64,1 % à 70,3 %, avec des gains similaires relevés sur Pi-0.5. En conditions réelles, le taux de réussite moyen grimpe de 62,0 % à 68,7 %, avec un bond de jusqu'à 12 points de pourcentage sur les tâches à horizon long. Ces résultats visent une limite structurelle connue du clonage de comportement, qui capture le geste démontré mais pas la raison d'être du comportement, ce qui dégrade la généralisation sur les tâches longues ou multi-étapes. Le fait que les gains les plus marqués apparaissent justement sur ces tâches à horizon long est significatif pour les intégrateurs, car c'est là que les pipelines VLA actuels échouent le plus souvent hors démonstration scénarisée. La méthode ne requiert ni capteur ni collecte de données additionnelle : elle exploite des signaux déjà disponibles via un VLM enseignant utilisé seulement à l'entraînement, sans surcoût d'inférence au déploiement, et reste transposable à d'autres architectures VLA. Le travail prolonge des approches qui enrichissaient le clonage de comportement avec des frames futures, des observations latentes ou des trajectoires, jugées insuffisantes car elles captent une réalisation du futur, non l'objectif sémantique partagé du comportement. INDI est testé sur des modèles VLA de référence déjà largement utilisés, GR00T-N1.7 et Pi-0.5, ce qui en fait une couche d'entraînement complémentaire plutôt qu'un modèle concurrent. La publication reste à ce stade un article arXiv sans revue par les pairs formelle ni annonce de déploiement industriel ; la communauté robotique attend désormais une reproduction indépendante des résultats et une extension à d'autres familles de VLA.

RechercheActu

1 source

3arXiv cs.RO

TERRA : apprendre des actions latentes transférables par représentation temporelle des effets et alignement relationnel

Des chercheurs proposent TERRA (Temporal Effect Representation and Relational Alignment), une méthode d'apprentissage d'actions latentes pour la robotique, décrite dans un preprint arXiv (2610.09509v1). Les actions latentes sont des codes proches d'actions, inférés à partir de transitions visuelles, qui servent à superviser des politiques robotiques sans étiquettes d'actions explicites. TERRA représente une transition par un « effet temporel » compact. Cet effet combine le changement net des caractéristiques visuelles avec une composante de dynamique d'ordre faible à l'intérieur de la fenêtre temporelle. Un latent continu est appris à partir de cet effet. Le module Effect-Anchored Transport (EAT) décode ensuite ce latent dans d'autres états initiaux. L'effet obtenu est ancré sur celui observé à la source. Avec des lecteurs linéaires gelés, TERRA prédit les actions plus précisément que UniVLA et qu'une baseline de type LAPA. Il se dégrade plus lentement face aux distracteurs visuels. Les transitions « transportées » restent fidèles à l'action du donneur, même quand le contexte du receveur s'éloigne. À échelle de pré-entraînement égale, le système complet atteint 93,4 % de succès moyen sur LIBERO, contre 91,8 % pour UniVLA. L'intérêt tient à la façon dont le papier traite deux faiblesses des actions latentes. La première concerne ce que le code conserve. Une simple différence entre états de départ et d'arrivée perd la manière dont le mouvement se déroule. La séquence complète, elle, laisse passer des variations parasites. La seconde concerne la réutilisation. La reconstruction n'observe un latent qu'avec l'état dont il provient, donc rien ne garantit qu'il garde le même sens dans un autre contexte. L'approche vise à rendre ces codes transférables d'un contexte à l'autre, ce qui compte pour le pré-entraînement à partir de vidéos sans annotations d'actions. Le gain de 1,6 point sur LIBERO est modeste. Il s'agit d'un benchmark de simulation, où l'écart entre résultats en simulation et en conditions réelles reste entier. Les auteurs précisent qu'un contrôle à budget identique attribue l'essentiel des gains à EAT, ce qui désigne ce module comme la contribution centrale. Aucun déploiement ni test sur robot physique n'est rapporté dans le résumé. Ce travail s'inscrit dans la lignée des modèles vision-langage-action (VLA) qui apprennent des représentations d'actions à partir de vidéos. LAPA a popularisé les actions latentes quantifiées, et UniVLA constitue la référence directe retenue ici pour la comparaison. Les prochaines étapes naturelles seraient des validations sur de plus grands corpus vidéo, sur des benchmarks plus variés et sur du matériel réel, notamment avec des vidéos humaines dont le point de vue et la morphologie diffèrent de ceux du robot. Ces tests diraient si la propriété de transport tient hors du cadre simulé. Aucune date de publication de code ou de modèles n'est indiquée. Le résultat reste pour l'instant un apport méthodologique de recherche, sans lien avec un produit ou un déploiement industriel.

RecherchePaper

1 source

4arXiv cs.RO

Sélection d'actions temporelle pour le regroupement d'actions

Une nouvelle approche algorithmique cherche à résoudre l'un des compromis fondamentaux de l'apprentissage par démonstration (LfD) en robotique. Publiée sur arXiv (2511.04421v2), la méthode baptisée Temporal Action Selection (TAS) s'attaque à un défaut structurel de l'action chunking, technique désormais standard qui consiste à prédire et exécuter des blocs de plusieurs actions plutôt que des décisions pas-à-pas. Le problème : en ne décidant qu'une fois l'ensemble du bloc exécuté, les systèmes basés sur l'action chunking voient leur fréquence de décision baisser mécaniquement, dégradant leur réactivité face aux perturbations ou aux environnements dynamiques. TAS propose une solution sans compromis : au lieu de choisir entre réactivité et cohérence des décisions, l'algorithme met en cache les blocs d'actions prédits à plusieurs pas de temps successifs, puis utilise un réseau sélecteur léger pour choisir dynamiquement l'action optimale à chaque instant. Les expériences menées sur plusieurs tâches, avec différentes architectures de politique de base, montrent une amélioration significative des taux de succès, tant en simulation que sur robots physiques. L'enjeu dépasse le cadre académique. L'action chunking est au coeur des politiques visuomotrices modernes, notamment les architectures VLA (Vision-Language-Action), largement utilisées dans les robots humanoïdes et manipulateurs actuels. Sa faiblesse face aux perturbations dynamiques constitue l'un des principaux obstacles à la robustesse en production réelle, au-delà des environnements contrôlés de démonstration. TAS démontre qu'il est possible d'obtenir simultanément une cohérence décisionnelle élevée et une réactivité fine, sans redessiner entièrement la politique de base. L'intégration de TAS comme couche intermédiaire dans un pipeline de reinforcement learning résiduel améliore de surcroît l'efficacité d'entraînement et le plafond de performance, ce qui ouvre une voie pratique pour le fine-tuning de politiques pré-entraînées sur des tâches exigeantes. L'action chunking a été popularisée notamment par des travaux comme ACT (Action Chunked Transformer) de l'Université Stanford, devenus des références LfD depuis 2023. La tension entre fréquence de décision et cohérence n'est pas nouvelle, mais les tentatives précédentes se soldaient généralement par des arbitrages sous-optimaux. TAS se positionne comme une solution légère et modulaire, compatible avec les architectures existantes, ce qui facilite son adoption sans refonte de pipeline. Aucune commercialisation ni déploiement industriel n'est annoncé à ce stade, le travail restant au niveau de la preuve de concept académique. Les prochaines étapes naturelles incluront l'évaluation sur des plateformes humanoïdes en conditions réelles, où la gestion des perturbations dynamiques est un critère critique de qualification.

RechercheOpinion

1 source