IA physiqueInteresting Engineering 6 novembre 2026

VFlash de NVIDIA accélère le décodage de trajectoires robotiques par 12 et réduit les erreurs de prédiction de 61 %

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

NVIDIA a présenté VFlash, une méthode de planification visuelle qui accélère jusqu'à 12 fois le décodage de trajectoires robotiques et réduit jusqu'à 61 % l'erreur de prédiction de trajectoires 3D dans certains tests. Elle permet à un modèle vision-langage (VLM) de produire une trajectoire complète, ou toute autre prédiction spatiale, en une seule passe avant, au lieu de générer les coordonnées une par une. Sur des tâches de manipulation robotique, la latence d'inférence passe de 3 552,7 ms à 703,3 ms sur la plateforme Jetson Thor, et de 3 356,5 ms à 649,9 ms sur DGX Spark. Cela représente environ 80 % de réduction par rapport au décodage autorégressif classique. Sur la prévision de mouvement de points 3D à travers des images vidéo, des mesures préliminaires sur un seul rollout indiquent une génération environ 25 fois plus rapide. Branchées à un world action model évalué sur MolmoSpaces, un benchmark de manipulation, les trajectoires VFlash portent le taux de réussite moyen à 70,2 % sur quatre suites de tâches, contre 62,6 % pour la référence. Les gains les plus nets concernent le pick-and-place (+11,6 points) et la fermeture d'objets (+12,8 points).

Le principe consiste à identifier la structure de la prédiction demandée avant de générer ses coordonnées. Une boîte englobante a une disposition fixe, tandis qu'une trajectoire comporte un nombre variable de points 2D ou 3D. Un « drafter » léger à base de diffusion prédit alors ces coordonnées conjointement. Contrairement au décodage spéculatif classique, qui vérifie chaque token par rapport au modèle cible, VFlash accepte une prédiction structurellement valide sans exiger d'accord token par token. L'enjeu est pratique : à mesure que les robots doivent planifier des trajectoires plus longues, suivre davantage d'objets et traiter des données spatiales plus fines, la génération séquentielle devient un goulot d'étranglement. Un temps de réponse de plus de 3 secondes est incompatible avec une réaction à un environnement changeant, alors qu'environ 0,7 seconde sur du matériel embarqué ouvre d'autres usages. Le gain de précision, rare pour une technique d'accélération, est aussi notable, même si les 61 % sont un maximum qui dépend du jeu de données et de la configuration d'entraînement.

Ces résultats restent de la recherche en laboratoire, mesurés sur benchmarks et par les auteurs eux-mêmes, sans déploiement industriel annoncé. Les chiffres de latence concernent des configurations précises, le 25x est qualifié de préliminaire, et le passage du benchmark MolmoSpaces à des cellules de production reste à démontrer. Les auteurs ont aussi testé la méthode en conduite autonome sur NAVSIM et Waymo, avec des performances compétitives que l'apprentissage par renforcement améliore encore. Ce travail, intitulé « VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding » et publié en novembre 2026 par des chercheurs de NVIDIA et leurs collaborateurs, s'inscrit dans la stratégie de l'entreprise autour de la physical AI, où elle fournit à la fois le matériel embarqué (Jetson Thor) et des briques logicielles optimisées pour lui. Il rejoint la course à l'inférence rapide pour les modèles vision-langage-action, où l'on cherche à concilier raisonnement spatial et fréquence de contrôle. Les prochaines étapes à surveiller sont une éventuelle intégration dans les modèles et outils robotiques de NVIDIA et des validations sur robots réels.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA Manipulation robotique

À lire aussi

1arXiv cs.RO

VOTE : optimisation vision-langage-action par vote d'ensemble de trajectoires

Le papier VOTE ("Vision-Language-Action Optimization with Trajectory Ensemble Voting"), publié sur arXiv sous la référence 2507.05116, propose une nouvelle méthode d'entraînement pour les modèles Vision-Language-Action (VLA) utilisés en robotique manipulatrice. Les auteurs, dont le code est disponible sur GitHub (LukeLIN-web/VOTE), s'attaquent à deux limites des VLA actuels : la génération de tokens d'action très nombreux, qui alourdit la latence d'inférence et le coût d'entraînement, et une exploitation insuffisante des actions déjà générées, qui dégrade les performances. Leur framework finetune les modèles pour produire beaucoup moins de tokens d'action, en parallélisant fortement le décodage, puis combine les prédictions courantes et passées via une stratégie de vote d'ensemble au moment de l'inférence. Résultat annoncé : des taux de réussite supérieurs à l'état de l'art, avec une inférence 39 fois plus rapide qu'OpenVLA et un débit de 46 Hz sur plateformes embarquées. Ce gain de vitesse cible directement le principal frein au déploiement réel des VLA : leur latence, souvent incompatible avec un contrôle robotique en temps réel sur du matériel embarqué à ressources limitées. Si les chiffres se confirment en dehors des benchmarks propriétaires des auteurs, cela renforcerait l'idée qu'on peut réduire drastiquement la latence sans changer d'architecture ni ajouter de puissance de calcul, simplement en repensant le nombre de tokens générés et leur exploitation post-inférence. C'est un argument concret pour les intégrateurs qui cherchent à faire tourner des politiques VLA sur des bras robotiques ou plateformes mobiles sans GPU serveur. Le travail s'inscrit dans une course plus large à l'efficacité des VLA, où OpenVLA sert de référence open source largement citée, aux côtés d'approches comme Pi-0 (Physical Intelligence), GR00T (NVIDIA) ou Helix (Figure), toutes confrontées au même compromis entre richesse de représentation et vitesse d'exécution. VOTE se positionne comme une optimisation d'inférence complémentaire à ces modèles plutôt qu'un concurrent direct, avec pour prochaine étape l'adoption par la communauté via son code publié.

IA physiqueActu

1 source

2arXiv cs.RO

PACT-WAM : prédiction d'actions et anticipation visuelle par encodage temporel compact pour la manipulation robotique

PACT-WAM (Predicting Actions and Visual Foresight with Compact Temporal Encoding), décrit dans un article arXiv (2602.15882v2), est un « world-action model » qui génère conjointement, par flow conditionnel, une trajectoire d'actions sur 16 pas de temps et la prévision visuelle correspondante. Son encodage hiérarchique de l'historique, grossier pour les observations anciennes et fin pour les récentes, conserve 16 observations à 256 tokens par vue, 75% de moins qu'un encodage dense équivalent. Un module de flow partagé met conjointement à jour action et vision via deux têtes dédiées, un décodeur TiTok-VAE reconstruit les images futures multi-vues, et un module optionnel de révision des propositions (PR), fondé sur un modèle vision-langage, filtre les exécutions au moment du test. Sans PR, les taux de réussite atteignent 98,6% sur LIBERO, 92,3% sur RoboTwin 2.0 et 78,0% sur des tâches réelles avec un bras Piper ; avec PR, 99,5%, 93,4% et 86,7%. Ce travail illustre la convergence entre modèles d'action (VLA) et modèles du monde génératifs, afin que le robot anticipe visuellement les conséquences de ses gestes avant exécution. L'apport concret porte sur le coût de calcul : la compression hiérarchique à 256 tokens par vue réduit fortement la charge des représentations temporelles denses sans dégrader la performance, un enjeu direct pour faire tourner ce type de modèle en temps réel sur du matériel embarqué. L'écart entre les scores en simulation, supérieurs à 92%, et sur tâches réelles avec le bras Piper, 78% sans PR, rappelle que le fossé simulation-réel reste ouvert, même si la révision de propositions au moment du test le réduit, moyennant un surcoût de calcul que les auteurs assument comme un compromis. PACT-WAM a été évalué sur deux bancs d'essai de simulation courants, LIBERO et RoboTwin 2.0, et sur des manipulations réelles avec un bras Piper. Il s'inscrit dans la lignée des architectures récentes combinant modèles vision-langage-action et modèles du monde génératifs, une direction suivie par plusieurs équipes de recherche. Le papier ne précise ni affiliation institutionnelle ni calendrier de diffusion publique du modèle ou du code, ce qui en fait pour l'instant une contribution académique, validée en simulation et sur un nombre restreint de tâches réelles.

IA physiqueActu

1 source

3arXiv cs.RO

Xiaomi-Robotics-1 : passage à l'échelle des modèles vision-langage-action avec plus de 100 000 heures de trajectoires réelles

Xiaomi a dévoilé Xiaomi-Robotics-1, un modèle vision-langage-action (VLA) fondation entraîné sur plus de 100 000 heures de trajectoires de manipulation collectées en conditions réelles via des dispositifs UMI (Universal Manipulation Interface). L'entraînement se déroule en deux temps : une phase de pré-entraînement qui dote le modèle de capacités générales de génération d'actions, appuyée sur un pipeline d'auto-annotation générant des descriptions en langage naturel des transitions d'état de la scène, puis une phase de post-entraînement qui aligne ces capacités sur des instructions impératives et sur des embodiments robotiques spécifiques. Sur les benchmarks de simulation, le modèle établit un nouvel état de l'art avec 57,6% de taux de réussite sur RoboCasa365 (contre 46,6% précédemment) et un score moyen de 20,07 sur RoboDojo (contre 13,07 pour le meilleur résultat antérieur). Xiaomi annonce la publication future du code et des poids du modèle. L'intérêt principal tient au comportement de scaling observé : les performances progressent de façon cohérente avec la taille des données et du modèle en pré-entraînement, et ce gain se transfère directement au post-entraînement, avec de meilleures performances hors distribution sur robot réel. C'est un signal notable pour l'industrie, qui cherche à valider l'hypothèse que les modèles VLA généralistes, entraînés à grande échelle sur données réelles plutôt que simulées, peuvent servir de politique de base robuste, adaptable à des tâches dextres complexes avec peu de données de fine-tuning. Pour les intégrateurs et décideurs robotique, cela renforce la piste des foundation models comme alternative viable aux pipelines spécialisés tâche par tâche. Ce travail s'inscrit dans une compétition intense entre grands acteurs sur les modèles VLA fondation, aux côtés de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. L'usage de dispositifs UMI, portables et peu coûteux pour collecter des données de manipulation sans robot physique, s'inscrit dans une tendance à contourner le goulot d'étranglement de la téléopération classique. Reste à voir si la publication effective du code et des checkpoints, promise mais non encore livrée, confirmera la reproductibilité des résultats annoncés.

IA physiqueActu

1 source

4arXiv cs.RO

Représentation continue des trajectoires pour la manipulation robotique

Une équipe de recherche publie sur arXiv (arXiv:2608.24111v1, soumis en août 2026) un nouveau framework baptisé CAT, pour "trajectory-level continuous Action representation", destiné aux politiques de manipulation robotique visuomotrices. Le principe consiste à encoder les trajectoires d'action sur un intervalle temporel fixe en un ensemble de tokens latents continus, plutôt que de lier la représentation à la fréquence de contrôle du robot ou à des paramétrisations temporelles prédéfinies, comme le font la plupart des systèmes actuels. Les auteurs ajoutent un positional encoding "frequency-aware" qui crée un système de coordonnées temporelles partagé, quelle que soit la cadence de contrôle, ainsi qu'une régularisation au niveau trajectoire pour stabiliser l'espace latent. Les évaluations ont porté sur les benchmarks de simulation LIBERO et MimicGen, ainsi que sur des tâches réelles de manipulation à long horizon. Résultat annoncé: les politiques basées sur CAT surpassent de façon constante les baselines par quantification vectorielle (VQ) et les baselines visuomotrices continues concurrentes, à conditions d'entraînement identiques, sur plusieurs backbones de modèle et plusieurs fréquences de contrôle. Le papier cible un problème concret pour les politiques vision-langage-action: coupler la représentation d'action à la fréquence d'échantillonnage produit soit de la redondance à haute cadence, soit une perte de finesse sur les mouvements critiques à basse cadence. En découplant les deux, CAT ouvre une piste pour rendre un même modèle de manipulation plus facilement transférable entre plateformes robotiques opérant à des cadences différentes, un enjeu direct pour les intégrateurs qui doivent déployer une politique sur des bras, mains ou humanoïdes hétérogènes. Dans la course aux modèles fondation pour la robotique, aux côtés de Pi-0, GR00T N2 ou Helix, ce travail confirme que l'architecture de la tête d'action devient un terrain de différenciation aussi disputé que le backbone vision-langage. Reste que les gains sont mesurés surtout en simulation (LIBERO, MimicGen), les résultats réels n'étant pas quantifiés dans le résumé, ce qui appelle une lecture prudente avant extrapolation. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par imitation en robotique, où s'opposaient jusqu'ici la quantification vectorielle des trajectoires et les représentations continues à fenêtre fixe type Action Chunking Transformer ou politiques de diffusion. Aucun industriel ni partenariat commercial n'est cité: il s'agit d'une contribution académique, sans calendrier de déploiement annoncé. Sa diffusion suivra vraisemblablement la voie classique de ce type de recherche, adoption dans des frameworks open-source de politiques robotiques, puis, en cas de confirmation des gains, intégration possible dans des piles VLA commerciales.

IA physiqueActu

1 source