Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Dynin-Robotics : un modèle unifié de diffusion omnimodal vision-langage-action
IA physiquearXiv cs.RO 

Dynin-Robotics : un modèle unifié de diffusion omnimodal vision-langage-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente Dynin-Robotics, un modèle vision-langage-action fondé sur Dynin-Omni, un backbone de diffusion masquée "omnimodal" qui code langage, observations, objectifs et actions en tokens discrets dans un seul modèle de trajectoire. En variant le conditionnement, ce réseau apprend à prédire l'action, l'observation suivante induite par l'action, l'état final visé et l'instruction correspondant à une trajectoire. Pré-entraîné sur environ 1,33 million de trajectoires issues de 48 jeux de données Open X-Embodiment puis adapté à des tâches spécifiques, il obtient des résultats compétitifs sur LIBERO, sa variante zero-shot LIBERO-Plus et deux tâches VLABench, atteint 78,4% de réussite moyenne sur quatre tâches de manipulation avec un bras Franka Research 3 réel, et bénéficie d'un décodage optimisé jusqu'à 29,2 fois plus rapide que la version de base.

L'intérêt tient surtout à la preuve qu'un seul backbone de diffusion peut apprendre plusieurs objectifs complémentaires (objectif, dynamique, action) et les combiner au moment de l'inférence plutôt que d'empiler des modèles séparés. Associer guidage par objectif et débruitage conjoint de l'action et de l'état suivant améliore la réussite sur des instructions inédites par rapport à un décodage fondé sur l'action seule, un point où les VLA généralistes peinent souvent à généraliser. C'est un signal utile pour les intégrateurs qui cherchent des politiques plus robustes au changement de consigne sans multiplier les réseaux, et le gain de vitesse annoncé, s'il se confirme hors du protocole de profilage rapporté dans l'article, intéresserait le temps réel embarqué.

Le travail s'appuie sur Open X-Embodiment, le corpus ouvert mutualisé entre laboratoires qui alimente déjà la plupart des VLA généralistes récents, ce qui situe Dynin-Robotics du côté de la recherche académique plutôt que du déploiement industriel. Il se positionne face à des familles de modèles comme Pi-0, GR00T N2 ou Helix, toutes engagées dans la même course à la généralisation; aucun acteur français ou européen n'apparaît dans l'étude. Il s'agit pour l'instant d'un preprint arXiv fraîchement publié, validé en conditions réelles sur un seul bras Franka Research 3, les auteurs présentant leur modélisation de trajectoire partagée comme une interface commune destinée à être étendue à d'autres tâches et robots.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

MMaDA-VLA : un grand modèle vision-langage-action à diffusion, avec instruction et génération multimodales unifiées
1arXiv cs.RO 

MMaDA-VLA : un grand modèle vision-langage-action à diffusion, avec instruction et génération multimodales unifiées

Un groupe de chercheurs a mis en ligne une troisième version révisée de MMaDA-VLA, un modèle Vision-Language-Action (VLA) qui convertit observations visuelles et instructions en langage naturel en actions robotiques. À la différence des architectures hiérarchiques ou autorégressives habituelles, ce modèle repose sur une diffusion discrète native et préentraînée, qui unifie compréhension et génération multimodales dans un espace de tokens partagé. Il débruite conjointement une image d'objectif futur et un segment d'actions, ancrant ainsi les décisions du robot dans un résultat visuel prédit, sans passer par un modèle du monde auxiliaire séparé. Ce raffinement parallèle et non ordonné viserait à limiter l'accumulation d'erreurs sur les tâches longues. Sur le benchmark de simulation LIBERO, MMaDA-VLA atteint 98,0% de réussite moyenne ; sur CALVIN, une longueur moyenne de séquence réussie de 4,78. Les auteurs annoncent aussi de bons résultats en conditions réelles, sans détailler la plateforme robotique utilisée. Ce travail répond à un problème connu des VLA : les pipelines hiérarchiques (planificateur puis contrôleur) ou autorégressifs accumulent des erreurs sur les séquences longues et nécessitent souvent des modules annexes pour modéliser la dynamique de l'environnement. En intégrant prédiction visuelle et génération d'actions dans un seul processus de diffusion, MMaDA-VLA supprime ce module séparé et propose une architecture plus compacte. Un score de 98% sur LIBERO est élevé, mais reste un résultat de simulation : il ne garantit pas, à lui seul, un transfert direct vers la manipulation industrielle en environnement réel, même si les auteurs revendiquent des essais physiques concluants. Pour la recherche en robotique, l'apport est avant tout méthodologique. MMaDA-VLA prolonge les travaux sur la diffusion multimodale unifiée de la famille MMaDA, appliqués ici au contrôle robotique. Le champ des VLA s'est structuré ces dernières années autour de modèles comme RT-2, Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, majoritairement autorégressifs ou hiérarchiques, une lignée que ce travail cherche justement à dépasser. Le fait qu'il s'agisse d'une troisième révision arXiv suggère un affinement continu plutôt qu'un résultat figé. Code et démonstrations sont accessibles via la page projet des auteurs, mais rien n'indique de calendrier de déploiement industriel ni de partenariat avec un fabricant de robots : cette publication relève clairement de la recherche académique, pas du produit commercial.

IA physiqueOpinion
1 source
Qwen-VLA : un modèle vision-langage-action (VLA) unifié pour les tâches, environnements et morphologies de robots
2arXiv cs.RO 

Qwen-VLA : un modèle vision-langage-action (VLA) unifié pour les tâches, environnements et morphologies de robots

Qwen-VLA, présenté en préprint arXiv par l'équipe Qwen d'Alibaba (arXiv:2605.30280, mai 2026), est un modèle de fondation incarné qui unifie dans un seul système la manipulation robotique, la navigation vision-et-langage et la prédiction de trajectoires. L'architecture étend la pile vision-langage de Qwen par un décodeur d'action basé sur un Diffusion Transformer (DiT), permettant de générer des actions continues en plus du raisonnement perceptif. L'entraînement joint combine trajectoires de manipulation réelles, démonstrations égocentrées humaines, données de simulation synthétique et jeux de données de navigation. Sur les benchmarks publiés, Qwen-VLA-Instruct atteint 97,9 % sur LIBERO, 86,1 %/87,2 % sur RoboTwin-Easy/Hard, 73,7 % sur Simpler-WidowX, et 69,0 % de taux de succès d'objectif sur R2R en navigation. En conditions réelles sur plateforme ALOHA, le modèle affiche 76,9 % de succès moyen hors-distribution (OOD) et 26,6 % en zéro-shot sur DOMINO, une tâche de manipulation dynamique. La contribution principale est le "embodiment-aware prompt conditioning" : des descriptions textuelles propres à chaque robot spécifient morphologie et conventions de contrôle, permettant théoriquement à un seul jeu de poids de s'adapter à plusieurs plateformes sans réentraînement dédié. Pour les intégrateurs et les COO industriels, c'est directement le problème du cross-embodiment qui freine les déploiements à l'échelle. Les scores OOD sont pertinents mais méritent d'être nuancés : ils portent sur des environnements de laboratoire, et les 76,9 % sur ALOHA concernent une plateforme à deux bras en contexte contrôlé, pas un robot industriel en conditions de production. La sélection des séquences de démonstration dans les preprints arXiv est notoirement favorable aux cas réussis. Qwen-VLA s'inscrit dans la course aux VLA généralistes, aux côtés de pi-0 de Physical Intelligence (spécialisé manipulation, 400 M$ levés), GR00T N2 de NVIDIA (cross-embodiment annoncé en 2025) et OpenVLA d'UC Berkeley. Son décodeur DiT le rapproche des approches diffusion-based de pi-0, par opposition aux méthodes token-based. Qwen étant déjà un modèle ouvert d'Alibaba largement adopté dans des stacks vision-langage, son extension à l'action physique offre aux équipes de recherche et d'intégration un point d'entrée solide pour le fine-tuning multi-tâche multi-robot. Aucun déploiement commercial n'est annoncé à ce stade : c'est un travail de recherche, pas un produit lancé.

UELes équipes de recherche et d'intégration robotique européennes peuvent exploiter ce modèle ouvert Alibaba pour du fine-tuning multi-robot multi-tâche, mais aucun partenariat ni déploiement européen n'est annoncé.

IA physiqueOpinion
1 source
MotionVLA : un modèle vision-langage-action pour les robots humanoïdes
3arXiv cs.RO 

MotionVLA : un modèle vision-langage-action pour les robots humanoïdes

Une équipe de l'AIGeeksGroup a publié le 18 juin 2026 sur arXiv (2606.15142) MotionVLA, un modèle de type Vision-Language-Action conçu pour générer du mouvement humanoïde réaliste à partir d'images de scène et d'instructions textuelles. Le coeur de la contribution repose sur DSFT (Dual-Stream Frequency Tokenizer), un tokeniseur qui décompose le signal de mouvement en deux flux distincts : un flux Base capturant la sémantique de pose basse fréquence, et un flux Phys encodant la dynamique physique haute fréquence. Cette séparation s'appuie sur une analyse en transformée en cosinus discrète (DCT) du corpus HumanML3D, qui révèle un déséquilibre concret : cinq coefficients DCT suffisent à couvrir 93 % de l'énergie des positions articulaires, mais seulement 37 % de l'énergie des vélocités. Les deux flux sont compressés indépendamment par troncature DCT et encodage BPE, puis réinjectés dans un transformeur autorégressif basé sur Qwen3.5 2B. Sur les benchmarks HumanML3D et MBench, MotionVLA réduit l'écart de diversité avec les données réelles de plus de 50 % et améliore la cohérence mouvement-condition de 3,8 %. Ce résultat pointe une limite structurelle des approches à codebook unique, qui dominent actuellement la génération de mouvement humanoïde : en forçant des signaux hétérogènes dans un espace de quantification commun, ces méthodes sous-représentent systématiquement les composantes dynamiques hautes fréquences au profit de la géométrie de pose. Pour les équipes travaillant sur le contrôle de robots humanoïdes ou la synthèse d'animation procédurale, cela signifie que la qualité du mouvement généré peut sembler plausible en posture statique mais manquer de naturel en transition. L'architecture duale de MotionVLA, malgré un backbone léger de 2 milliards de paramètres, obtient des gains mesurables sans augmenter significativement le coût de calcul. MotionVLA s'inscrit dans un mouvement de recherche plus large qui adapte les VLA, initialement développés pour le contrôle robotique visuomoteur, à la génération de comportement humanoïde. Le modèle s'appuie sur Qwen3.5, la famille de modèles open-weight d'Alibaba, et le code source est disponible sur GitHub (AIGeeksGroup/MotionVLA). À ce stade, il s'agit exclusivement d'un résultat de recherche académique évalué sur des benchmarks synthétiques standard, sans déploiement industriel ni partenariat hardware annoncé. Les acteurs comme Figure AI, 1X, Agility Robotics ou Fourier Intelligence, qui investissent dans la génération de mouvement pour leurs humanoïdes, suivent de près ce type de travaux, même si le chemin du benchmark de laboratoire vers un déploiement sim-to-real reste non démontré ici.

IA physiqueOpinion
1 source
Diffusion à double flux pour un modèle vision-langage-action augmenté par modèle du monde
4arXiv cs.RO 

Diffusion à double flux pour un modèle vision-langage-action augmenté par modèle du monde

Une équipe de chercheurs propose DUST (DUal-STream diffusion), un framework qui augmente les modèles vision-langage-action (VLA) avec un world model pour améliorer l'apprentissage de politiques robotiques. L'architecture repose sur un transformer de diffusion multimodal qui maintient des flux séparés pour chaque modalité (vision et action) tout en permettant un partage de connaissances inter-modal. Techniquement, DUST introduit des perturbations de bruit indépendantes, une perte flow matching découplée pour apprendre les relations causales entre modalités, et une méthode d'échantillonnage asynchrone des tokens action et vision. Sur les benchmarks simulés RoboCasa et GR-1, DUST affiche des gains allant jusqu'à 6 % par rapport aux meilleures références VLA et world-modeling actuelles, avec une amélioration supplémentaire de 2 à 5 % via le scaling à l'inférence. Sur tâches réelles avec le bras Franka Research 3, le système surpasse les baselines de 10 % en taux de succès. Le point critique ici est la gestion du "modality gap" : prédire simultanément des états visuels futurs et des séquences d'actions est un problème ouvert, car les deux modalités ont des structures temporelles et sémantiques très différentes. DUST contourne ce problème en maintenant des flux distincts plutôt qu'en les fusionnant naïvement, ce qui préserve les propriétés propres à chaque modalité. Le gain de 10 % en conditions réelles est notable, mais reste à interpréter avec prudence : les expériences portent sur un seul robot (Franka Research 3) et les tâches réelles ne sont pas détaillées dans l'abstract, ce qui limite la généralisation. La capacité de transfer learning à partir de vidéos sans annotations d'actions ouvre en revanche une voie concrète pour réduire le coût de collecte de données. DUST s'inscrit dans une vague de travaux qui cherchent à doter les VLA d'une forme de "prévoyance" via des world models, en écho à des approches comme GR-1 (Humanoid VLA de Shanghai AI Lab) ou Pi-0 de Physical Intelligence. La tendance lourde est de combiner la puissance des LLM pour le raisonnement avec des modèles prédictifs du monde physique, pour réduire le sim-to-real gap et permettre une généralisation hors distribution. La prochaine étape logique serait de tester DUST sur des morphologies robotiques hétérogènes et des tâches de manipulation longue durée, ce que le joint-training avec des datasets humains et robots suggère comme direction.

IA physiqueOpinion
1 source