Aller au contenu principal
ViDAL : un espace latent d'actions fondé sur la dynamique visuelle pour les modèles vision-langage-action (VLA)Illustration générée par IA
IA physiquearXiv cs.RO 

ViDAL : un espace latent d'actions fondé sur la dynamique visuelle pour les modèles vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont publié sur arXiv (2610.08150) ViDAL, un espace latent d'actions ancré dans la dynamique visuelle pour les modèles vision-langage-action (VLA). Ces modèles prédisent les actions d'un robot sous trois formes : segments d'actions bruts (action chunks), jetons d'action discrets ou latents d'action continus. ViDAL relève de la troisième famille. Un autoencodeur variationnel d'actions (Action VAE) est entraîné à reconstruire des segments d'actions tout en alignant son espace latent sur la dynamique future de la scène. Une fois entraîné, il sert d'interface d'action « plug-in » compatible avec plusieurs architectures VLA, et permet en option de prédire la vidéo future. Sur LIBERO, la méthode atteint 98,1 % de succès moyen. Sur RoboTwin 2.0, elle fait passer une politique multitâche π0.5 de 54,3 % à 65,5 % en configuration Clean et de 33,2 % à 43,1 % en configuration Random, sur 50 tâches bimanuelles. Sur robots réels, les gains absolus atteignent 20,0 % sur un bras Franka et 23,4 % sur une plateforme bimanuelle ARX.

L'intérêt tient au point de départ du travail : la plupart des représentations d'actions modélisent uniquement des trajectoires, sans tenir compte de ce que ces actions produisent dans l'image. En liant le latent aux conséquences visuelles, ViDAL traite l'action comme une cause observable plutôt que comme une simple séquence de commandes. Le fait que le même module améliore une politique existante (π0.5) suggère qu'il s'agit d'un gain portable, sans refonte du modèle, ce qui intéresse les équipes qui itèrent sur des VLA du commerce ou open source. Les gains sur RoboTwin, de l'ordre de 10 points, sont plus parlants que le score LIBERO, déjà proche de la saturation (98,1 %). Des réserves s'imposent toutefois : il s'agit d'une préimpression non évaluée par des pairs. Le nombre d'essais, les tâches réelles testées et la variance ne sont pas précisés dans le résumé, et deux robots ne suffisent pas à conclure à une généralisation. Le gain réel dépend aussi du niveau de départ de chaque politique.

Le travail s'inscrit dans la course à la meilleure représentation d'actions pour les VLA. Les segments bruts dominent des modèles comme π0 et π0.5, tandis que d'autres approches ont misé sur la tokenisation discrète des actions ou sur des latents appris. En parallèle, les modèles du monde et la prédiction vidéo gagnent du terrain pour la planification robotique, et ViDAL cherche à combiner ces deux courants. Les suites logiques sont la publication du code et des poids, des comparaisons avec d'autres interfaces d'action sur davantage d'architectures, et des tests sur des tâches longues ou des manipulations plus fines, là où l'écart entre démonstration et déploiement reste le plus net.

À lire aussi

CAC-VLA : un conditionnement d'action contrôlé par le contexte pour les modèles vision-langage-action
Illustration générée par IA
1arXiv cs.RO 

CAC-VLA : un conditionnement d'action contrôlé par le contexte pour les modèles vision-langage-action

Des chercheurs proposent CAC-VLA (Context-Gated Action Conditioning), une nouvelle architecture pour les modèles vision-langage-action (VLA), la famille de systèmes qui pilote de plus en plus de bras et robots humanoïdes generalistes. Le problème identifié: dans les VLA classiques, les représentations visuelles et langagières ne sont pas pensées pour guider directement le contrôle moteur, ce qui laisse à «l'expert action» (le module qui génère la trajectoire) la charge de combler cet écart. Des méthodes récentes tentent de corriger cela avec des modules de raisonnement d'action séparés, mais elles nécessitent des architectures dédiées supplémentaires.

IA physiqueActu
1 source
Modèle du monde prédictif en espace latent pour la manipulation dynamique par VLA
Illustration générée par IA
2arXiv cs.RO 

Modèle du monde prédictif en espace latent pour la manipulation dynamique par VLA

Des chercheurs ont publié le 2 juin 2026 sur arXiv (réf. 2606.02486) AHEAD, un module d'anticipation conçu pour corriger un angle mort majeur des modèles Vision-Language-Action : leur incapacité à saisir des objets en mouvement. Les VLA actuels, dont OpenVLA (7 milliards de paramètres), capturent une observation instantanée et génèrent une action en supposant que la scène restera immobile, ce qui introduit une latence incompatible avec toute dynamique réelle. AHEAD (Anticipatory Horizon Extrapolation with Adaptive Dynamics) greffe un modèle de monde latent de seulement 4,9 millions de paramètres sur le VLA gelé : ce module prédit l'état futur de la scène dans l'espace de features du VLA, en s'appuyant sur les champs de vitesse et d'accélération par token extraits par…

UEAucun acteur européen impliqué ; les intégrateurs industriels EU travaillant sur la robotisation de lignes de convoyage ou de tri pourraient à terme bénéficier de cette approche modulaire compatible avec tout VLA existant, sans réentraînement du modèle de base.

IA physiqueOpinion
1 source
Modèles vision-langage-action (VLA) : retours d'expérience sur une plateforme UR5 réelle
Illustration générée par IA
3arXiv cs.RO 

Modèles vision-langage-action (VLA) : retours d'expérience sur une plateforme UR5 réelle

Des chercheurs ont publié sur arXiv (preprint 2606.30456) une évaluation du transfert de modèles VLA (Vision-Language-Action) vers un bras manipulateur UR5e d'Universal Robots en conditions réelles. Deux modèles ont été mis à l'épreuve : OpenVLA et sa variante OpenVLA-OFT, fine-tunés sur des données collectées directement sur le robot physique et converties au format RLDS (Robot Learning Dataset Specification), un standard de facto dans la communauté robotique. L'équipe a construit une chaîne complète comprenant l'acquisition de données sur robot réel, un workflow de conversion de dataset compatible RLDS, une infrastructure de fine-tuning et d'inférence, ainsi qu'un protocole de validation systématique des représentations d'actions et des interfaces de contrôle.

UELe cadre méthodologique open-source (UR5e + RLDS) est directement réutilisable par les équipes européennes qualifiant leurs pipelines VLA avant production, notamment pour des acteurs comme Enchanted Tools travaillant sur la généralisation des politiques de manipulation.

💬 Ce que montrent ces chercheurs, c'est qu'en robotique VLA, le problème n'est pas le modèle. Des métriques offline prometteuses ne prédisent pas le comportement en boucle fermée sur le vrai robot, et ce qui change tout c'est le pipeline complet (encodage des actions, conventions de coordonnées, alignement temporel). Reste à voir combien d'équipes industrielles vont enfin arrêter de chercher un modèle plus gros et commencer par auditer leur dataset.

IA physiqueOpinion
1 source
Fusion des modalités tactiles pour les modèles vision-langage-action (VLA)
Illustration générée par IA
4arXiv cs.RO 

Fusion des modalités tactiles pour les modèles vision-langage-action (VLA)

Il s'agit d'un article de recherche académique (préprint arXiv, version révisée), donc sans annonce commerciale ni chiffres de performance détaillés dans le résumé fourni, je reste factuel sur ce point plutôt que d'inventer des métriques. TacFiLM est une méthode de fusion de modalités proposée dans un préprint arXiv (2603.14604v2, version révisée) qui intègre des signaux tactiles aux modèles vision-langage-action (VLA) utilisés en robotique manipulatrice. Le constat de départ est simple: les VLA actuels, bien qu'efficaces pour généraliser des politiques de contrôle a partir d'instructions sémantiques, reposent presque exclusivement sur la perception visuelle, incapable de capturer les dynamiques d'interaction propres aux taches de manipulation en contact étroit, comme les forces de contact, le frottement de surface, la compliance ou le cisaillement.

IA physiqueOpinion
1 source