IA physiquearXiv cs.RO 7 août 2026

MMaDA-VLA : un grand modèle vision-langage-action à diffusion, avec instruction et génération multimodales unifiées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un groupe de chercheurs a mis en ligne une troisième version révisée de MMaDA-VLA, un modèle Vision-Language-Action (VLA) qui convertit observations visuelles et instructions en langage naturel en actions robotiques. À la différence des architectures hiérarchiques ou autorégressives habituelles, ce modèle repose sur une diffusion discrète native et préentraînée, qui unifie compréhension et génération multimodales dans un espace de tokens partagé. Il débruite conjointement une image d'objectif futur et un segment d'actions, ancrant ainsi les décisions du robot dans un résultat visuel prédit, sans passer par un modèle du monde auxiliaire séparé. Ce raffinement parallèle et non ordonné viserait à limiter l'accumulation d'erreurs sur les tâches longues. Sur le benchmark de simulation LIBERO, MMaDA-VLA atteint 98,0% de réussite moyenne ; sur CALVIN, une longueur moyenne de séquence réussie de 4,78. Les auteurs annoncent aussi de bons résultats en conditions réelles, sans détailler la plateforme robotique utilisée.

Ce travail répond à un problème connu des VLA : les pipelines hiérarchiques (planificateur puis contrôleur) ou autorégressifs accumulent des erreurs sur les séquences longues et nécessitent souvent des modules annexes pour modéliser la dynamique de l'environnement. En intégrant prédiction visuelle et génération d'actions dans un seul processus de diffusion, MMaDA-VLA supprime ce module séparé et propose une architecture plus compacte. Un score de 98% sur LIBERO est élevé, mais reste un résultat de simulation : il ne garantit pas, à lui seul, un transfert direct vers la manipulation industrielle en environnement réel, même si les auteurs revendiquent des essais physiques concluants. Pour la recherche en robotique, l'apport est avant tout méthodologique.

MMaDA-VLA prolonge les travaux sur la diffusion multimodale unifiée de la famille MMaDA, appliqués ici au contrôle robotique. Le champ des VLA s'est structuré ces dernières années autour de modèles comme RT-2, Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, majoritairement autorégressifs ou hiérarchiques, une lignée que ce travail cherche justement à dépasser. Le fait qu'il s'agisse d'une troisième révision arXiv suggère un affinement continu plutôt qu'un résultat figé. Code et démonstrations sont accessibles via la page projet des auteurs, mais rien n'indique de calendrier de déploiement industriel ni de partenariat avec un fabricant de robots : cette publication relève clairement de la recherche académique, pas du produit commercial.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X

À lire aussi

1arXiv cs.RO

Dynin-Robotics : un modèle unifié de diffusion omnimodal vision-langage-action

Une équipe de recherche présente Dynin-Robotics, un modèle vision-langage-action fondé sur Dynin-Omni, un backbone de diffusion masquée "omnimodal" qui code langage, observations, objectifs et actions en tokens discrets dans un seul modèle de trajectoire. En variant le conditionnement, ce réseau apprend à prédire l'action, l'observation suivante induite par l'action, l'état final visé et l'instruction correspondant à une trajectoire. Pré-entraîné sur environ 1,33 million de trajectoires issues de 48 jeux de données Open X-Embodiment puis adapté à des tâches spécifiques, il obtient des résultats compétitifs sur LIBERO, sa variante zero-shot LIBERO-Plus et deux tâches VLABench, atteint 78,4% de réussite moyenne sur quatre tâches de manipulation avec un bras Franka Research 3 réel, et bénéficie d'un décodage optimisé jusqu'à 29,2 fois plus rapide que la version de base. L'intérêt tient surtout à la preuve qu'un seul backbone de diffusion peut apprendre plusieurs objectifs complémentaires (objectif, dynamique, action) et les combiner au moment de l'inférence plutôt que d'empiler des modèles séparés. Associer guidage par objectif et débruitage conjoint de l'action et de l'état suivant améliore la réussite sur des instructions inédites par rapport à un décodage fondé sur l'action seule, un point où les VLA généralistes peinent souvent à généraliser. C'est un signal utile pour les intégrateurs qui cherchent des politiques plus robustes au changement de consigne sans multiplier les réseaux, et le gain de vitesse annoncé, s'il se confirme hors du protocole de profilage rapporté dans l'article, intéresserait le temps réel embarqué. Le travail s'appuie sur Open X-Embodiment, le corpus ouvert mutualisé entre laboratoires qui alimente déjà la plupart des VLA généralistes récents, ce qui situe Dynin-Robotics du côté de la recherche académique plutôt que du déploiement industriel. Il se positionne face à des familles de modèles comme Pi-0, GR00T N2 ou Helix, toutes engagées dans la même course à la généralisation; aucun acteur français ou européen n'apparaît dans l'étude. Il s'agit pour l'instant d'un preprint arXiv fraîchement publié, validé en conditions réelles sur un seul bras Franka Research 3, les auteurs présentant leur modélisation de trajectoire partagée comme une interface commune destinée à être étendue à d'autres tâches et robots.

IA physiqueActu

1 source

2arXiv cs.RO

PointACT : des modèles vision-langage-action (VLA) avec interaction multi-échelle point-action

Une équipe de chercheurs a soumis en mai 2026 sur arXiv (2605.21414) PointACT, un modèle VLA (Vision-Language-Action) dual-système qui intègre des représentations 3D par nuages de points directement dans le processus de décodage d'actions. Contrairement aux VLAs existants quasi-exclusivement fondés sur des représentations visuelles 2D, PointACT couple un backbone vision-langage préentraîné à un mécanisme d'interaction multi-échelle point-action utilisant une attention fenêtrée bottleneck. Évalué sur les benchmarks LIBERO et RLBench, le modèle améliore le taux de réussite de 10 points de pourcentage sur la suite RLBench-10Tasks par rapport aux VLAs de l'état de l'art. Les gains sont encore plus importants lorsque le backbone est gelé et que l'expert d'action est entraîné from scratch, ce qui suggère une forte modularité de l'architecture. Ce résultat valide une hypothèse longtemps débattue : coupler des représentations géométriques 3D hiérarchiques avec des représentations sémantiques 2D préentraînées est essentiel pour un contrôle robot spatialement ancré. Pour les intégrateurs et les décideurs industriels, cela pointe vers un angle mort structurel des VLAs génériques actuels (OpenVLA, pi-0, GR00T N2) sur les tâches de manipulation de précision : saisie d'objets minces, assemblage, tri serré. La progression de +10% sur RLBench-10Tasks est significative dans un domaine où les gains se mesurent souvent en points uniques. Les études d'ablation confirment que c'est le couplage serré des deux modalités, et non le simple ajout d'un nuage de points, qui génère la performance. Les VLAs à backbone vision-langage dominent la manipulation généraliste depuis 2023, avec OpenVLA (UC Berkeley), pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA) comme références sectorielles. Tous partagent la même limitation héritée : une représentation 2D du monde. PointACT s'inscrit dans un courant moins médiatisé qui cherche à injecter de la géométrie 3D dans ces pipelines, aux côtés de travaux comme RoboPoint. L'étape critique restante est de valider ces architectures hors simulation, sur des capteurs bruités réels (RGB-D, LiDAR), pour confirmer si les gains tiennent face au gap sim-to-real. Ce preprint n'a pas encore été évalué par les pairs.

IA physiqueOpinion

1 source

3arXiv cs.RO

DAM-VLA : modèle vision-langage-action multimodal asynchrone et découplé

Une équipe du groupe Intuitive Robots publie DAM-VLA (Decoupled Asynchronous Multimodal Vision-Language-Action), un modèle VLA déposé sur arXiv le 11 juin 2026 (2606.12105) qui remet en cause le paradigme d'horloge synchrone des architectures VLA actuelles. Le problème identifié est structurel : les modèles vision-langage-action héritent d'un préentraînement où toutes les modalités partagent la même fréquence de traitement. Or en manipulation physique, les capteurs proprioceptifs opèrent à plusieurs centaines de hertz, la vision évolue bien plus lentement, et les instructions langagières restent constantes sur l'ensemble d'un épisode. Oversampler la vision et sous-échantillonner la proprioception plafonne la qualité du contrôle. DAM-VLA maintient des tampons latents par modalité, chacun rafraîchi à la fréquence de son propre capteur et consulté en continu par la tête d'action via gated cross-attention, sans modifier le backbone préentraîné. Sur sept tâches de manipulation en contact réel (contact-rich), le modèle atteint 95,2 % de succès contre 40,95 % pour la meilleure baseline synchrone, tout en assurant un contrôle fluide à 100 Hz. Ce doublement du taux de succès sur des tâches contact-rich est un résultat conséquent. Il suggère que le sim-to-real gap dans les VLA est aussi un problème de temporalité : rater des transitions haptiques critiques lors d'une insertion ou d'un vissage dégrade le contrôle plus que la généralisation visuelle. Pour un intégrateur industriel, 100 Hz en sortie d'action passe le seuil minimal pour des tâches de précision en cellule automatisée. L'architecture ne modifiant pas le backbone, elle préserve la réutilisabilité des poids préentraînés, ce qui réduit le coût d'adoption pour les équipes déjà investies sur des bases VLA existantes. Les VLA déployés en production récente, Pi-0 de Physical Intelligence, OpenVLA et Octo, ainsi que les approches commerciales de Figure AI (Figure 03) ou NVIDIA (GR00T N2), opèrent sur le paradigme synchrone. DAM-VLA propose une troisième voie entre la boucle unifiée et le découpage hiérarchique dual-system. Quelques réserves s'imposent : il s'agit d'un preprint sans revue par les pairs confirmée, les sept tâches évaluées restent de portée laboratoire, et aucun déploiement industriel ni partenariat commercial n'est annoncé. Les étapes critiques, validation sur manipulateurs bi-bras et intégration de capteurs force-couple haute fréquence comme modalité principale, restent à démontrer hors contexte académique.

IA physiqueOpinion

1 source

4arXiv cs.RO

UniTacVLA : compréhension et prédiction tactiles unifiées dans les modèles vision-langage-action

UniTacVLA, un modèle vision-langage-action (VLA) tactile, vise à résoudre un point faible connu des VLA classiques : la manipulation dextre en contact riche, comme l'insertion, l'essuyage, l'assemblage ou l'ajustement de précision. Contrairement aux approches vision-tactile-langage-action (VTLA) existantes qui traitent le signal tactile comme une simple entrée auxiliaire passive, l'équipe de recherche propose un espace latent tactile unifié qui modélise conjointement l'état tactile courant et les changements de contact futurs, via un raisonnement en chaîne de pensée tactile et une prédiction tactile progressive (coarse-to-fine). Ce prior tactile alimente ensuite un contrôleur mixte tactile-action combinant retour tactile en temps réel et retour prédit, pour corriger à haute fréquence des chunks d'action calculés à basse fréquence. Les expériences ont été menées en conditions réelles sur quatre catégories de tâches à fort contact (ajustement, insertion, essuyage, assemblage), testées à la fois en environnement propre et sous perturbations externes. L'enjeu dépasse la simple amélioration de benchmark. La manipulation en contact riche reste l'un des goulots d'étranglement majeurs empêchant les bras robotiques et humanoïdes de passer de la démonstration en laboratoire au déploiement industriel réel, notamment pour des tâches d'assemblage fin où la seule vision ne suffit pas à garantir la précision ou la robustesse face aux perturbations. En traitant le tactile comme un signal dynamique et prédictif plutôt que comme un simple capteur passif, UniTacVLA s'attaque directement à l'écart persistant entre les VLA génériques, entraînés majoritairement sur des données visuelles, et les exigences physiques réelles de l'assemblage industriel ou de la manipulation fine en conditions non contrôlées. Les auteurs revendiquent des gains sur le taux de succès, la précision de manipulation et la robustesse au contact par rapport aux méthodes existantes, ce qui, si confirmé à plus grande échelle, renforcerait l'argument selon lequel l'intégration tactile profonde est nécessaire pour les tâches dextres, et pas seulement un ajout marginal. Ce travail s'inscrit dans une vague plus large de recherche visant à doter les modèles VLA de capacités multimodales au-delà de la vision et du langage, à mesure que des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T) poussent leurs propres modèles génération vers la production industrielle. Les architectures VTLA précédentes, limitées par un traitement passif du tactile, constituent la ligne de base que ce papier cherche à dépasser. La publication, un prépublication arXiv, ne mentionne pas de partenariat industriel ni de calendrier de déploiement commercial ; les prochaines étapes attendues porteraient sur l'extension à davantage de types de capteurs tactiles et de tâches, ainsi que sur une validation à plus grande échelle en dehors du cadre contrôlé des expériences décrites.

IA physiqueActu

1 source