Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Modèle vision-langage-action Flex-π : un modèle du monde à multi-flux avec flexibilité de calcul
IA physiquearXiv cs.RO 

Modèle vision-langage-action Flex-π : un modèle du monde à multi-flux avec flexibilité de calcul

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente Flex-π, un modèle monde-action (WAM) de 6 milliards de paramètres, détaillé dans un article déposé sur arXiv (2608.10860v1). Sa base est une découverte inattendue : l'encodeur VAE gelé, utilisé pour la génération vidéo et l'encodage RGB, retranscrit aussi presque sans perte les cartes de points 3D, sans entraînement dédié. Cela permet de superviser Flex-π sur la géométrie 3D et la sémantique objet-centrée DINO en plus du RGB, sans capteur, pré-entraînement supplémentaire ni surcoût de latence, dans une architecture Mixture-of-Transformers qui débruite conjointement ces signaux et les actions. Un dropout par flux avec renforcement inter-modalités permet à un même checkpoint de tourner du mode action seule jusqu'à la génération jointe complète ; sur des tâches de manipulation bimanuelle dextre et précise en conditions réelles, Flex-π bat les meilleures références de 2 à 7 fois tout en restant plus rapide que π0.5.

Ce résultat comble une limite connue des modèles monde, qui prédisent surtout des pixels sans ancrage 3D ni compréhension sémantique des objets, ce qui freinait leur utilité pour la manipulation fine. Flex-π montre qu'un signal géométrique riche peut être extrait gratuitement d'un VAE vidéo déjà entraîné, sans caméra de profondeur ni pipeline 3D dédié, ce qui abaisse la barrière d'entrée pour les équipes de robotique. Sa flexibilité de calcul et son efficacité en démonstrations, avec des gains de 2 à 7x avec moins de données, répondent à deux freins des VLA (vision-language-action) : le coût d'intégration et le coût de collecte de données par tâche.

Flex-π reste à ce stade une publication de recherche accompagnée d'un site de démonstration (flex-pi.github.io), sans annonce de produit commercial ni de déploiement industriel. La comparaison directe avec π0.5, le modèle de référence de Physical Intelligence, le positionne dans la course aux modèles vision-langage-action généralistes, aux côtés d'efforts comme GR00T N2 de NVIDIA ou Helix de Figure AI. L'article ne précise ni l'institution porteuse ni de calendrier, et ses résultats reposent sur des benchmarks internes plutôt que sur un déploiement chez un intégrateur tiers.

Dans nos dossiers

FigureIA physique & VLANVIDIA GR00TPhysical Intelligence — π0

À lire aussi

Diffusion à double flux pour un modèle vision-langage-action augmenté par modèle du monde
1arXiv cs.RO 

Diffusion à double flux pour un modèle vision-langage-action augmenté par modèle du monde

Une équipe de chercheurs propose DUST (DUal-STream diffusion), un framework qui augmente les modèles vision-langage-action (VLA) avec un world model pour améliorer l'apprentissage de politiques robotiques. L'architecture repose sur un transformer de diffusion multimodal qui maintient des flux séparés pour chaque modalité (vision et action) tout en permettant un partage de connaissances inter-modal. Techniquement, DUST introduit des perturbations de bruit indépendantes, une perte flow matching découplée pour apprendre les relations causales entre modalités, et une méthode d'échantillonnage asynchrone des tokens action et vision. Sur les benchmarks simulés RoboCasa et GR-1, DUST affiche des gains allant jusqu'à 6 % par rapport aux meilleures références VLA et world-modeling actuelles, avec une amélioration supplémentaire de 2 à 5 % via le scaling à l'inférence. Sur tâches réelles avec le bras Franka Research 3, le système surpasse les baselines de 10 % en taux de succès. Le point critique ici est la gestion du "modality gap" : prédire simultanément des états visuels futurs et des séquences d'actions est un problème ouvert, car les deux modalités ont des structures temporelles et sémantiques très différentes. DUST contourne ce problème en maintenant des flux distincts plutôt qu'en les fusionnant naïvement, ce qui préserve les propriétés propres à chaque modalité. Le gain de 10 % en conditions réelles est notable, mais reste à interpréter avec prudence : les expériences portent sur un seul robot (Franka Research 3) et les tâches réelles ne sont pas détaillées dans l'abstract, ce qui limite la généralisation. La capacité de transfer learning à partir de vidéos sans annotations d'actions ouvre en revanche une voie concrète pour réduire le coût de collecte de données. DUST s'inscrit dans une vague de travaux qui cherchent à doter les VLA d'une forme de "prévoyance" via des world models, en écho à des approches comme GR-1 (Humanoid VLA de Shanghai AI Lab) ou Pi-0 de Physical Intelligence. La tendance lourde est de combiner la puissance des LLM pour le raisonnement avec des modèles prédictifs du monde physique, pour réduire le sim-to-real gap et permettre une généralisation hors distribution. La prochaine étape logique serait de tester DUST sur des morphologies robotiques hétérogènes et des tâches de manipulation longue durée, ce que le joint-training avec des datasets humains et robots suggère comme direction.

IA physiqueOpinion
1 source
PointACT : des modèles vision-langage-action (VLA) avec interaction multi-échelle point-action
2arXiv cs.RO 

PointACT : des modèles vision-langage-action (VLA) avec interaction multi-échelle point-action

Une équipe de chercheurs a soumis en mai 2026 sur arXiv (2605.21414) PointACT, un modèle VLA (Vision-Language-Action) dual-système qui intègre des représentations 3D par nuages de points directement dans le processus de décodage d'actions. Contrairement aux VLAs existants quasi-exclusivement fondés sur des représentations visuelles 2D, PointACT couple un backbone vision-langage préentraîné à un mécanisme d'interaction multi-échelle point-action utilisant une attention fenêtrée bottleneck. Évalué sur les benchmarks LIBERO et RLBench, le modèle améliore le taux de réussite de 10 points de pourcentage sur la suite RLBench-10Tasks par rapport aux VLAs de l'état de l'art. Les gains sont encore plus importants lorsque le backbone est gelé et que l'expert d'action est entraîné from scratch, ce qui suggère une forte modularité de l'architecture. Ce résultat valide une hypothèse longtemps débattue : coupler des représentations géométriques 3D hiérarchiques avec des représentations sémantiques 2D préentraînées est essentiel pour un contrôle robot spatialement ancré. Pour les intégrateurs et les décideurs industriels, cela pointe vers un angle mort structurel des VLAs génériques actuels (OpenVLA, pi-0, GR00T N2) sur les tâches de manipulation de précision : saisie d'objets minces, assemblage, tri serré. La progression de +10% sur RLBench-10Tasks est significative dans un domaine où les gains se mesurent souvent en points uniques. Les études d'ablation confirment que c'est le couplage serré des deux modalités, et non le simple ajout d'un nuage de points, qui génère la performance. Les VLAs à backbone vision-langage dominent la manipulation généraliste depuis 2023, avec OpenVLA (UC Berkeley), pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA) comme références sectorielles. Tous partagent la même limitation héritée : une représentation 2D du monde. PointACT s'inscrit dans un courant moins médiatisé qui cherche à injecter de la géométrie 3D dans ces pipelines, aux côtés de travaux comme RoboPoint. L'étape critique restante est de valider ces architectures hors simulation, sur des capteurs bruités réels (RGB-D, LiDAR), pour confirmer si les gains tiennent face au gap sim-to-real. Ce preprint n'a pas encore été évalué par les pairs.

IA physiqueOpinion
1 source
MMaDA-VLA : un grand modèle vision-langage-action à diffusion, avec instruction et génération multimodales unifiées
3arXiv cs.RO 

MMaDA-VLA : un grand modèle vision-langage-action à diffusion, avec instruction et génération multimodales unifiées

Un groupe de chercheurs a mis en ligne une troisième version révisée de MMaDA-VLA, un modèle Vision-Language-Action (VLA) qui convertit observations visuelles et instructions en langage naturel en actions robotiques. À la différence des architectures hiérarchiques ou autorégressives habituelles, ce modèle repose sur une diffusion discrète native et préentraînée, qui unifie compréhension et génération multimodales dans un espace de tokens partagé. Il débruite conjointement une image d'objectif futur et un segment d'actions, ancrant ainsi les décisions du robot dans un résultat visuel prédit, sans passer par un modèle du monde auxiliaire séparé. Ce raffinement parallèle et non ordonné viserait à limiter l'accumulation d'erreurs sur les tâches longues. Sur le benchmark de simulation LIBERO, MMaDA-VLA atteint 98,0% de réussite moyenne ; sur CALVIN, une longueur moyenne de séquence réussie de 4,78. Les auteurs annoncent aussi de bons résultats en conditions réelles, sans détailler la plateforme robotique utilisée. Ce travail répond à un problème connu des VLA : les pipelines hiérarchiques (planificateur puis contrôleur) ou autorégressifs accumulent des erreurs sur les séquences longues et nécessitent souvent des modules annexes pour modéliser la dynamique de l'environnement. En intégrant prédiction visuelle et génération d'actions dans un seul processus de diffusion, MMaDA-VLA supprime ce module séparé et propose une architecture plus compacte. Un score de 98% sur LIBERO est élevé, mais reste un résultat de simulation : il ne garantit pas, à lui seul, un transfert direct vers la manipulation industrielle en environnement réel, même si les auteurs revendiquent des essais physiques concluants. Pour la recherche en robotique, l'apport est avant tout méthodologique. MMaDA-VLA prolonge les travaux sur la diffusion multimodale unifiée de la famille MMaDA, appliqués ici au contrôle robotique. Le champ des VLA s'est structuré ces dernières années autour de modèles comme RT-2, Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, majoritairement autorégressifs ou hiérarchiques, une lignée que ce travail cherche justement à dépasser. Le fait qu'il s'agisse d'une troisième révision arXiv suggère un affinement continu plutôt qu'un résultat figé. Code et démonstrations sont accessibles via la page projet des auteurs, mais rien n'indique de calendrier de déploiement industriel ni de partenariat avec un fabricant de robots : cette publication relève clairement de la recherche académique, pas du produit commercial.

IA physiqueOpinion
1 source
Modèles vision-langage-action ou monde-action ? Simplement des modèles d'action
4arXiv cs.RO 

Modèles vision-langage-action ou monde-action ? Simplement des modèles d'action

Des chercheurs proposent le Just Action Model (JAM), un cadre commun censé réconcilier deux familles de politiques de contrôle robotique, les modèles vision-langage-action (VLA) et les modèles monde-action (WAM). JAM associe un backbone visuel pré-entraîné à un « action expert », entraîné avec deux pertes : une perte d'action et une perte de « foresight ». Cette seconde perte oblige les features de l'observation courante à prédire les encodages figés de l'observation future enregistrée. Elle passe par une tête de prédiction abandonnée après l'entraînement, donc sans génération d'image ni à l'entraînement ni à l'inférence. Sur les benchmarks simulés LIBERO, LIBERO-Plus et RoboTwin, JAM dépasse ses équivalents FastWAM et ImageWAM sur les deux premiers et fait jeu égal ou légèrement mieux sur le troisième. Face à FastWAM, les taux de succès passent de 97,0 %, 55,3 % et 91,2 % à 98,2 %, 64,5 % et 91,4 %. Avec des cibles de foresight mises en cache, le coût d'entraînement estimé chute de 73 % en FLOPs par échantillon et par mise à jour. Ce travail suggère que le débat « backbone VLM ou backbone génératif » mélange trois choix indépendants : l'initialisation, l'objectif appliqué au futur et le maintien ou non de la machinerie générative à l'inférence. Selon les auteurs, supervisionner le futur améliore le contrôle sans génération visuelle, et les deux types de backbone atteignent de bonnes performances. Pour un intégrateur, cela promet des politiques plus simples à déployer et moins chères à entraîner. Il faut toutefois nuancer. LIBERO est quasi saturé, avec un gain de 1,2 point seulement. Le vrai signal vient de LIBERO-Plus (+9,2 points), et RoboTwin ne bouge presque pas. Tout est mesuré en simulation, aucune démonstration sur robot réel n'est mentionnée, et l'économie de 73 % est une estimation, pas une mesure de temps d'entraînement. Les VLA, hérités des modèles vision-langage, dominent la robotique généraliste depuis plusieurs années. Les WAM, qui reprennent des générateurs vidéo ou image pour prédire le monde avant d'agir, sont apparus comme une alternative plus récente et plus coûteuse en calcul. FastWAM et ImageWAM servent ici de références, et l'article se positionne en arbitre entre les deux camps plutôt qu'en concurrent d'un produit commercial. Le préprint (arXiv, version 1) est accompagné d'une page projet, mais aucun calendrier de validation sur matériel réel n'est annoncé. La prochaine étape à surveiller sera la reproduction de ces résultats par d'autres laboratoires et un test sur des robots physiques, seul juge du fossé entre benchmark et production.

IA physiquePaper
1 source