RecherchearXiv cs.RO 16 octobre 2026

TS-WAM : actions latentes temporelles et couplage monde-action pour le contrôle de robots par vision-langage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

TS-WAM est un modèle monde-action léger, présenté dans une prépublication arXiv (2610.21922), qui vise deux faiblesses de nombreuses politiques vision-langage-action (VLA). D'une part, elles dépendent de démonstrations robotiques annotées avec les actions, ce qui les empêche d'exploiter des vidéos sans étiquettes d'action. D'autre part, elles n'ont aucun mécanisme explicite pour prédire les états visuels futurs. Les auteurs décrivent une architecture « enseignant-élève » dont le cadre vlm-jepa apprend de façon auto-supervisée à partir de données hétérogènes : démonstrations de robots et vidéos humaines sans actions. Une branche cible à moyenne mobile exponentielle (EMA) remplace l'enseignant externe entraîné séparément. Le module delta-lwm prédit des actions latentes à partir de l'observation courante et de l'instruction, puis s'en sert pour anticiper les caractéristiques visuelles futures, qui guident la génération d'actions. L'ensemble est entraîné de bout en bout, sans préentraînement distinct d'actions latentes ni de modèle du monde. La branche EMA est retirée à l'inférence. Les tests portent sur les benchmarks LIBERO, LIBERO-Plus et SimplerEnv, ainsi que sur des manipulations réelles avec un bras Franka Research 3 et RevoTron.

Pour les intégrateurs et les équipes R&D, l'intérêt est double. Exploiter des vidéos humaines sans étiquettes d'action est l'une des voies les plus crédibles pour contourner le coût de la téléopération, qui plafonne le volume de données d'entraînement. Simplifier le pipeline, avec un seul entraînement et sans étape de préentraînement séparée, réduit la complexité d'ingénierie, et un modèle déployé allégé facilite l'embarquement sur du matériel contraint. Il faut toutefois rester prudent. Le résumé ne donne aucun taux de réussite, aucune comparaison chiffrée avec des références comme Pi-0 ou OpenVLA, ni le nombre d'essais réels. Les benchmarks en simulation, LIBERO en tête, sont désormais proches de la saturation et prouvent peu sur la fiabilité en production. Les affirmations de « forte performance, généralisation et robustesse » restent donc à vérifier dans l'article complet, et aucune validation en environnement industriel n'est mentionnée.

Ce travail s'inscrit dans la convergence entre VLA et modèles du monde. Plusieurs équipes testent la prédiction d'états futurs ou l'apprentissage d'actions latentes pour réduire la dépendance aux données annotées, en s'appuyant sur les approches JEPA de type prédiction dans l'espace latent. Les politiques généralistes de type Pi-0, GR00T ou Helix restent la référence en matière d'échelle de données et de déploiement, mais exigent beaucoup de démonstrations. TS-WAM se positionne comme une alternative plus économe, mais il s'agit d'une recherche académique sans produit ni calendrier de pilote annoncés. Le choix de RevoTron, plateforme moins courante que le Franka, laisse penser à un laboratoire lié à cet écosystème matériel. Les prochaines étapes à surveiller sont la publication du code et des poids, les comparaisons indépendantes sur des tâches longues, et la validation sur des volumes de vidéos humaines plus larges.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

ChunkVLA-AM : découpage d'actions en parallèle pour le contrôle de robots par modèle vision-langage-action (VLA) en fabrication additive

Des chercheurs publient sur arXiv (2610.01856) ChunkVLA-AM, un cadre de déploiement du modèle vision-langage-action OpenVLA-OFT sur un bras FAIRINO FR3 installé dans une cellule de fabrication additive fixe. Une chaîne de données convertit des démonstrations réelles filmées en monoculaire en jeux de données TFDS/RLDS compatibles OpenVLA, afin d'adapter le modèle à la morphologie du FR3. À l'exécution, chaque requête d'inférence prédit un « chunk » de huit actions à 7 dimensions. Le robot exécute ce bloc en boucle ouverte, puis capture une nouvelle observation, ce qui crée un retour en boucle fermée entre les blocs. L'architecture sépare cloud et edge : le client FR3 envoie ses observations à un serveur d'inférence distant via une interface FastAPI. Sur 42 essais physiques de transfert d'objet d'un point A à un point B, répartis à égalité entre cibles rouges et bleues, le système réussit 39 fois, soit 92,9 %. Les trois échecs surviennent tous au placement final : le contrôle insuffisant de la hauteur de lâcher fait basculer l'objet. Un balayage d'éclairage situe la plage de luminance à faible erreur entre 85 et 125 sur une échelle de 0 à 255, l'erreur spatiale moyenne la plus basse étant obtenue à 95. L'intérêt tient moins au score qu'à la méthode : il s'agit d'un exemple documenté de VLA ouvert adapté à un bras peu courant, sans recours à une plateforme propriétaire. Le chunking à huit pas limite la fréquence d'inférence nécessaire et rend viable une inférence déportée, donc des postes de travail légers. La sensibilité à la luminosité mérite l'attention des intégrateurs. La plage utile, qui représente environ 16 % de l'échelle, signifie que la robustesse aux variations d'environnement reste un point faible, alors que les ateliers de fabrication additive ont des éclairages variables. Il faut aussi relativiser le chiffre : 42 essais, une tâche unique de pick-and-place, une cellule fixe et deux couleurs de cible. Cela ne prouve ni généralisation ni cadence industrielle, et aucun temps de cycle n'est donné dans le résumé. L'intervalle de confiance sur 39 réussites sur 42 reste large. Les échecs au lâcher indiquent que la précision fine sur l'axe vertical est un verrou, probablement lié à la caméra monoculaire sans information de profondeur explicite. Ce travail s'inscrit dans la lignée d'OpenVLA, puis de la variante OFT (optimized fine-tuning), qui introduit le chunking parallèle d'actions pour accélérer l'inférence. Il se place en aval de modèles comparables comme Pi-0 ou GR00T, plus lourds et visant des morphologies multiples. Le FR3 de FAIRINO, un cobot d'origine chinoise, est un choix économique face aux bras Franka ou Universal Robots plus fréquents dans la recherche. Le résumé n'annonce ni pilote industriel ni déploiement en production : il s'agit d'un prototype de laboratoire en préprint, non évalué par les pairs. Les suites logiques seraient un contrôle de hauteur de lâcher amélioré, une capture en profondeur et des tests sur des tâches de manipulation propres à la fabrication additive, comme le retrait de pièces du plateau.

RecherchePaper

1 source

2arXiv cs.RO

Modèles vision-action pour l'apprentissage et le contrôle des robots : une étude

Une équipe de chercheurs publie sur arXiv (identifiant 2609.16074v1) une étude de synthèse consacrée aux World-Action Models (WAM), des architectures qui couplent prédiction de l'état futur du monde et génération d'actions exécutables pour des robots. Le texte ne présente ni robot ni déploiement terrain : c'est une revue de littérature qui situe les WAM par rapport aux modèles du monde classiques, à l'apprentissage par renforcement basé sur un modèle, à la génération vidéo conditionnée par l'action et aux politiques VLA (vision-langage-action) purement réactives. Les auteurs proposent une taxonomie unifiée couvrant représentations, modélisation des transitions d'état, interfaces d'action, architectures, pipelines d'entraînement, modalités de données et stratégies de mise à l'échelle, puis passent en revue les applications en manipulation robotique, navigation et conduite autonome, avant de recenser les jeux de données, benchmarks, métriques et protocoles d'évaluation existants. Une page de projet répertoriant les travaux associés est mise en ligne à l'adresse rcl-robotics.github.io. L'intérêt de ce travail tient moins à un résultat inédit qu'à la mise en ordre d'un champ en pleine effervescence. Depuis l'essor des modèles du monde et de politiques VLA comme Pi-0, GR00T N2 ou Helix, une même intuition traverse le secteur : un robot fiable doit anticiper les conséquences d'une action avant de l'exécuter, plutôt que de se contenter d'associer observation et geste. Pour les intégrateurs et décideurs B2B, cette synthèse offre un vocabulaire commun pour évaluer des annonces concurrentes qui se réclament toutes, à des degrés divers, de cette convergence entre prédiction et action. Elle rappelle aussi, en creux, que la plupart des systèmes déployés aujourd'hui restent soit des générateurs vidéo sans boucle d'action réelle, soit des politiques réactives sans véritable anticipation, ce qui relativise la maturité que certains fournisseurs revendiquent. Ce travail s'inscrit dans la convergence amorcée depuis 2024-2025 entre les modèles du monde issus de la génération vidéo et les politiques d'action de type VLA popularisées par des laboratoires nord-américains et asiatiques ; aucun acteur français ou européen n'est cité dans cette étude, qui reste centrée sur la littérature académique et industrielle existante. Les auteurs identifient plusieurs verrous encore ouverts : l'alignement entre prédiction et action, la factorisation monde-action, la cohérence spatiale et multi-vue, la mémoire à long horizon, la simulation neuronale pour l'apprentissage en boucle fermée, et l'inférence efficace nécessaire à un déploiement temps réel. Ces axes dessinent l'agenda de recherche à venir pour transformer les WAM, aujourd'hui à l'état de cadre conceptuel, en briques réellement déployables sur des robots.

RecherchePaper

1 source

3arXiv cs.RO

RotVLA : action latente de rotation pour les modèles vision-langage-action (VLA)

Un groupe de chercheurs a publié en mai 2026 RotVLA (arXiv:2605.13403), un framework Vision-Language-Action (VLA) qui substitue la quantification discrète des modèles d'action latente (LAM) existants par une représentation continue dans l'espace de rotation SO(n). Entraîné sur plus de 1 700 heures de données robotiques multi-embodiment et de vidéos humaines, le modèle compte 1,7 milliard de paramètres. Son architecture associe un backbone de modèle vision-langage et une tête d'action par flow-matching, étendue en aval en un "action expert" unifié qui dénoise simultanément actions latentes et actions robot. Sur LIBERO, RotVLA atteint 98,2 % de taux de succès ; sur RoboTwin2.0, il obtient 89,6 % en configuration propre et 88,5 % en configuration randomisée, surpassant les modèles VLA antérieurs dans les deux cas. Des expériences sur des tâches de manipulation réelle confirment ces résultats hors simulation. L'enjeu est architectural : les LAMs actuels, basés sur des pipelines VQ-VAE ou similaires, induisent une reconstruction de frames souvent triviale et n'imposent aucune contrainte géométrique cohérente avec la physique du mouvement. En modélisant les actions latentes comme des éléments de SO(n), RotVLA garantit continuité et compositionnalité absentes des espaces discrets, avec un triplet frame learning qui force une dynamique temporelle non dégénérée. Pour les équipes d'intégration robotique, cela ouvre la voie à un modèle de fondation plus robuste au sim-to-real, l'un des goulots d'étranglement centraux des VLAs en conditions industrielles. L'approche suggère que la structure géométrique de l'espace d'action peut compter autant que l'échelle des données d'entraînement. Le domaine des politiques robotiques généralistes a été structuré par Pi-0 (Physical Intelligence, 2024) et GR00T N2 (NVIDIA, 2025), qui misaient sur des corpus cross-embodiment massifs pour entraîner des politiques généralisables. RotVLA s'inscrit dans cette lignée mais parie sur une représentation latente géométriquement structurée plutôt que sur le volume brut de paramètres, avec 1,7B contre plusieurs dizaines de milliards pour les modèles concurrents les plus ambitieux. Les scores LIBERO et RoboTwin2.0 sont des benchmarks académiques standardisés ; leur transposition sur des cellules industrielles réelles (bras collaboratifs, tri et picking) reste à démontrer. Aucun partenaire de déploiement ni calendrier commercial ne figure dans la publication : RotVLA est, à ce stade, une contribution de recherche.

RechercheOpinion

1 source

4arXiv cs.RO

Vision robotique : cartes de points centrées sur le robot pour les modèles vision-langage-action

Des chercheurs proposent dans un article arXiv (2607.11498v1, soumis en juillet 2026) une méthode baptisée "pointmaps robot-centriques" pour résoudre un problème structurel des modèles vision-langage-action (VLA). Ces modèles prédisent des actions robotiques à partir d'observations visuelles et d'instructions en langage naturel, mais les actions sont définies dans le repère 3D propre au robot, alors que la caméra observe la scène dans son propre repère. Ce décalage reste sans conséquence quand le point de vue de la caméra est fixe, la politique pouvant alors mémoriser une correspondance unique observation-action, mais il devient problématique à mesure que les jeux de données agrègent des démonstrations issues de configurations caméra variées. La solution proposée encode les coordonnées 3D des points de la scène, exprimées dans le repère du robot, directement dans une grille dense H x W, format identique à celui attendu par les VLA 2D pré-entraînés, ce qui permet une intégration avec un minimum de modifications architecturales. Testée sur le benchmark RoboCasa, cette approche améliore les performances de deux modèles existants, pi0.5 et SmolVLA, et surpasse des méthodes de référence basées sur le point de vue caméra ou sur une conscience 3D classique. Cette avancée touche un point sensible pour l'industrialisation des VLA à grande échelle: la généralisation à des configurations caméra non standardisées est un frein connu au déploiement sur des cellules robotiques hétérogènes, où chaque intégrateur positionne ses capteurs différemment. Les expériences sur robot réel confirment que l'avantage par rapport à une politique RGB classique s'accentue justement quand la caméra est déplacée vers un emplacement absent de l'entraînement, ce qui va dans le sens d'une meilleure robustesse au changement de point de vue, condition nécessaire pour des flottes de robots déployées avec des configurations non uniformisées, plutôt qu'un simple gain de performance en conditions contrôlées. Le travail s'inscrit dans la lignée des modèles VLA récents tels que pi-0, GR00T N2 ou Helix, qui cherchent à généraliser l'apprentissage de politiques robotiques à partir de larges corpus de démonstrations multi-plateformes. En comparant explicitement leur méthode à des approches de conditionnement par point de vue caméra et à des baselines 3D-aware, les auteurs positionnent les pointmaps comme une alternative légère à des architectures 3D plus lourdes, ouvrant la voie à des validations plus larges sur des flottes robotiques aux configurations caméra diverses.

RechercheActu

1 source