AcrossVAM 1.0 : modélisation du monde par…

1arXiv cs.RO

DreamX-Phi 1.0 : modèle du monde vidéo conditionné par l'action pour la manipulation robotique

DreamX-Phi 1.0, un modèle de monde vidéo conditionné par l'action pour la manipulation robotique, est présenté dans un article déposé sur arXiv (2608.13489v1). À partir d'une image observée, d'une instruction en langage naturel et d'une séquence d'actions prescrite, poses de l'effecteur terminal et états du gripper, le système prédit les observations vidéo futures correspondantes. Pour éviter qu'une vidéo réaliste en apparence déplace le mauvais bras ou fasse disparaître l'objet manipulé, les auteurs injectent des transformations géométriques SE(3) propres à chaque bras dans les couches d'attention via un encodage de type PRoPE, complété par une branche de profondeur pour la géométrie de la scène et des masques SAM3 associés à un modèle enseignant V-JEPA figé pour maintenir la cohérence des objets durant la saisie. Le générateur multi-étapes est ensuite distillé en un modèle étudiant à peu d'étapes pour accélérer le déploiement. Le modèle revendique la première place sur la Track 1 et la deuxième sur la Track 2 du WorldArena 2.0 Challenge, avec publication annoncée du modèle et du code. Cette approche s'attaque à un problème central des modèles de monde appliqués à la robotique: une vidéo générée peut paraître photoréaliste tout en étant physiquement incohérente avec les commandes envoyées au robot, ce qui invalide son usage pour l'entraînement de politiques ou la planification. En ancrant la génération vidéo sur la géométrie rigide réelle de chaque bras et en préservant l'identité des objets manipulés, DreamX-Phi cherche à combler l'écart entre démonstration visuelle convaincante et fidélité exploitable pour le contrôle. La distillation en modèle étudiant à peu d'étapes répond à une contrainte pratique bien connue des intégrateurs: les modèles de monde vidéo multi-étapes sont souvent trop lents pour une boucle de contrôle temps réel, ce qui limite sinon leur usage à la simulation ou à l'évaluation hors ligne. Le classement sur WorldArena 2.0 reste toutefois un résultat de benchmark académique et non une validation en conditions réelles sur un robot physique. DreamX-Phi s'inscrit dans une vague plus large de modèles de monde vidéo pour la robotique, qui cherchent à compléter ou remplacer les architectures vision-langage-action comme Pi-0 ou GR00T N2 par une simulation générative directe des conséquences d'une action. Le recours à SAM3 pour la segmentation et à V-JEPA comme enseignant figé situe le projet dans la lignée des modèles de représentation vidéo auto-supervisés récents plutôt que dans une pile propriétaire fermée. À ce stade, aucune information ne mentionne de déploiement sur un robot physique ni de partenariat industriel: il s'agit d'un article de recherche accompagné d'un résultat de compétition, le modèle et le code étant seulement annoncés comme à venir. La suite logique, si cette promesse de publication est tenue, sera l'adoption du modèle comme brique de simulation ou d'évaluation par d'autres équipes travaillant sur la manipulation robotique.

RecherchePaper

1 source

2arXiv cs.RO

PointWAM : modélisation d'actions du monde en 3D pour la manipulation robotique dextre

Des chercheurs publient sur arXiv (2610.02840) PointWAM, un « Point World Action Model » qui prédit conjointement l'évolution du monde et les actions d'un robot sous forme de trajectoires de points 3D. Le modèle décompose la scène en deux entités, l'environnement et les mains (l'acteur). Les deux sont prévus dans un même repère espace-temps. À partir d'un nuage de points coloré et d'une instruction en langage naturel, il anticipe comment la scène et les mains évoluent ensemble. Il retranspose ensuite le mouvement de main prévu en commandes robot. Les résultats sont ceux des auteurs, sur le benchmark DexJoCo et sur un robot réel. Le pré-entraînement sur des vidéos de démonstrations humaines améliore le taux de succès moyen sur DexJoCo de 56,9 points de pourcentage. Ajouter la supervision des trajectoires de la scène, et pas seulement celles des mains, apporte 10,9 points de plus. Avec les deux ingrédients, PointWAM dépasse de 11,7 points l'état de l'art précédent sur dix tâches DexJoCo et surpasse de « solides » VLA (modèles vision-langage-action) sur un robot physique. L'article ne précise pas dans cet extrait les modèles de référence, le robot ou le nombre d'essais. L'enjeu est la manipulation dextre, où les approches courantes montrent leurs limites. Les world action models habituels représentent le monde en images RGB ou en espaces latents, et les actions en poses d'effecteur ou en angles articulaires. Ces représentations capturent mal la structure spatiale 3D et la géométrie des contacts, qui décident pourtant du succès d'une saisie ou d'une manipulation en main. Une représentation explicite en points 3D évite aussi de choisir à la main les objets ou points-clés propres à chaque tâche. Elle permet ainsi un pré-entraînement à grande échelle sur des vidéos humaines, une source de données bien moins coûteuse que la téléopération robotique. Le gain de 56,9 points suggère que le transfert humain vers robot dépend beaucoup du choix de représentation. Ces chiffres viennent d'un preprint non évalué par les pairs, sur un benchmark très probablement en grande partie simulé. Le résultat sur robot réel reste à qualifier, notamment sur la diversité des tâches et la robustesse hors laboratoire. Ce travail s'inscrit dans la montée des world action models, qui fusionnent prédiction de dynamique et génération d'actions, en réaction aux VLA purement réactifs. Ces derniers, comme Pi-0 ou Helix, s'appuient sur des représentations 2D et des données robot coûteuses. PointWAM se place sur le créneau de l'apprentissage à partir de vidéos humaines et de la 3D explicite, face aux approches par images ou latents. La suite dépendra de la reproduction des résultats, d'une éventuelle publication du code et des poids, et de tests sur des mains robotiques multi-doigts variées. Aucune application industrielle ni calendrier de déploiement n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

World-to-Wrist : modélisation prédictive du poignet conditionnée par la tâche pour une manipulation robotique fine

Un modèle de recherche (arXiv), pas d'annonce produit, j'adapte la structure aux codes d'un papier académique plutôt qu'à un communiqué d'entreprise. Une équipe de recherche présente W2-VLA (World-to-Wrist VLA), un modèle vision-langage-action conçu pour la manipulation robotique fine, décrit dans un article publié sur arXiv (2608.05369v1). Le constat de départ : les modèles VLA actuels traitent généralement la vue principale de la scène et la vue de la caméra au poignet comme deux flux visuels parallèles et équivalents, sans exploiter leur rôle distinct dans une tâche de manipulation. W2-VLA introduit à la place une modélisation prédictive conditionnée par la tâche : à partir des observations multi-vues et de l'instruction donnée, le modèle génère des tokens latents qui servent d'interface compacte entre le modèle vision-langage et un prédicteur dédié au poignet. Ce prédicteur anticipe l'évolution future des représentations latentes de la vue poignet, transformées ensuite en contexte pour la prédiction d'action. Les chercheurs ajoutent W2-CoT, un pipeline de synthèse qui génère des annotations structurées décrivant la progression de la tâche, les transitions physiques et les indices visuels locaux au poignet, utilisées comme supervision auxiliaire. Testé sur les benchmarks LIBERO et RoboTwin 2.0 ainsi que sur des tâches réelles, W2-VLA améliore la manipulation fine et sensible au contact, en configuration bras unique comme bimanuelle, tout en maintenant une fréquence de génération d'actions supérieure à 80 Hz. L'enjeu dépasse le simple gain de précision. La caméra de poignet est déjà largement utilisée dans les VLA récents, à la manière de Pi-0 ou GR00T N2, pour compenser les angles morts de la vue globale lors de tâches de contact fin comme l'insertion ou la manipulation d'objets déformables. Mais peu de travaux exploitaient son potentiel prédictif plutôt que descriptif. En anticipant explicitement ce que la scène au poignet devrait montrer si la tâche progresse correctement, W2-VLA se rapproche d'une forme de modèle du monde localisé plutôt que d'un simple encodeur d'image supplémentaire. Pour les intégrateurs qui évaluent des architectures VLA pour des applications industrielles exigeantes en précision, assemblage ou insertion de connecteurs, le signal est clair : ajouter une caméra de poignet ne suffit pas, c'est la structuration temporelle et prédictive de cette information qui compte. Ces résultats restent toutefois ceux rapportés par les auteurs sur leurs propres benchmarks, sans validation indépendante ni déploiement en production. Ce travail s'inscrit dans la course actuelle à des VLA capables de manipulation fine et de haute fréquence, un axe où des systèmes comme Helix chez Figure ou GR00T N2 chez NVIDIA misent déjà sur la vitesse d'inférence et le multi-vues. La contribution de W2-VLA, le couplage entre tokens latents conditionnés par la tâche et prédiction du futur local au poignet, vise à réduire l'écart entre démonstrations vidéo impressionnantes et robustesse réelle sur des tâches de contact fin, un problème récurrent du secteur. L'article ne mentionne aucun calendrier de déploiement ni partenariat industriel : il s'agit d'une contribution de recherche destinée à être reprise et comparée par d'autres équipes, avec LIBERO et RoboTwin 2.0 comme terrains d'évaluation communs pour de futurs travaux.

RechercheOpinion

1 source

4arXiv cs.RO

PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action

PLaW-VLA, une politique vision-langage-action (VLA) décrite dans un preprint arXiv (2610.12285), propose de donner aux robots une capacité d'anticipation sans payer le coût habituel des modèles du monde génératifs. Les auteurs modélisent les états futurs pertinents pour la tâche dans un espace de représentation latent pré-entraîné, orienté prédiction, au lieu de reconstruire les pixels. L'architecture repose sur un Mixture-of-Transformers. L'action est générée à partir de l'historique d'observations, de la sémantique de la tâche en cours et des états futurs prédits, via une attention causale structurée. Les résultats annoncés sont un gain de 11,8 points de pourcentage sur le benchmark RoboTwin Hard Horizon III par rapport à des politiques purement réactives, et un gain de 1,77 point sur LIBERO-Plus en zéro-shot par rapport à une prédiction latente fondée sur la reconstruction. Le modèle du monde est léger et prédit les états futurs en parallèle. Sa latence d'inférence est environ 19 fois inférieure à celle d'une modélisation générative monde-action, pour une performance de politique comparable. L'intérêt pour l'industrie tient à l'inférence. Les VLA augmentés d'un modèle du monde génératif sont difficiles à embarquer, car la génération d'images futures ajoute une latence incompatible avec le contrôle en boucle fermée sur du matériel réel. Un facteur 19 sur la latence, à performance égale, indique que l'essentiel de l'information utile à la planification longue se loge dans une représentation compacte, et que la fidélité visuelle des prédictions n'est pas nécessaire. Le résultat contredit l'idée que prévoir le futur exige de le dessiner. Il faut toutefois relativiser. Ces chiffres viennent de benchmarks simulés (RoboTwin, LIBERO-Plus), sans validation sur robot physique mentionnée. Le gain de 1,77 point en généralisation est modeste et sa significativité statistique n'est pas précisée. Pour un intégrateur, c'est une piste d'architecture à surveiller, pas un produit ni un déploiement. Ce travail s'inscrit dans la course aux VLA dotés de capacités prédictives, après la première génération de politiques réactives (de type Pi-0 ou OpenVLA), qui mappent directement l'observation courante vers l'action et échouent sur les tâches à long horizon. Une seconde famille, qui intègre des modèles du monde génératifs pour imaginer le futur en pixels, a montré des gains mais au prix d'un calcul élevé. PLaW-VLA se positionne entre les deux, avec une prédiction latente allégée. Il s'agit d'un preprint en version 1, sans revue par les pairs. Aucun code, calendrier de publication ni test sur robot réel n'est annoncé. La suite logique serait une validation sur plateformes physiques et des comparaisons directes avec les VLA généralistes industriels sur des tâches de manipulation longues, où la latence reste le critère décisif.

RecherchePaper

1 source

AcrossVAM 1.0 : modélisation du monde par particules pour la prédiction vidéo robotique assistée par texte

À lire aussi

DreamX-Phi 1.0 : modèle du monde vidéo conditionné par l'action pour la manipulation robotique

PointWAM : modélisation d'actions du monde en 3D pour la manipulation robotique dextre

World-to-Wrist : modélisation prédictive du poignet conditionnée par la tâche pour une manipulation robotique fine

PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action