RecherchearXiv cs.RO 17 juin 2026

Quantification de l'incertitude pour les modèles VLA à base de flux

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de la TU Munich ont publié sur arXiv (2606.18043) une méthode pour quantifier l'incertitude des modèles vision-langage-action (VLA) basés sur le flow matching, une classe de modèles qui combine un backbone vision-langage avec une tête génératrice d'actions entraînée sur de larges corpus de données robotiques. Leur approche, baptisée Velocity-Field Disagreement (VFD), exploite le désaccord entre les champs de vitesse d'un petit ensemble de modèles pour estimer l'incertitude épistémique, c'est-à-dire l'incertitude liée au manque de données d'entraînement plutôt qu'au bruit intrinsèque du signal. S'appuyant sur ces estimations, ils proposent SAVE, un cadre d'apprentissage actif multitâche guidé par l'incertitude, validé sur le benchmark LIBERO. Résultat clé : SAVE nécessite au moins 22 % de démonstrations expertes en moins que les baselines pour adapter un VLA à de nouvelles tâches.

Ce résultat adresse un problème concret qui freine le déploiement industriel des VLAs : sans mécanisme de confiance, un robot ne sait pas quand il risque d'échouer, ce qui est rédhibitoire dans des environnements non-stationnaires comme une ligne de production évolutive. La détection de défaillance en temps réel qu'offre VFD permettrait d'intégrer un circuit de supervision humain ciblé plutôt que systématique, réduisant directement le coût opérationnel. La réduction de 22 % des démonstrations nécessaires à l'adaptation représente aussi un argument économique fort : collecter des données téléopérées reste la goulot d'étranglement principal du passage à l'échelle des VLAs en production.

Les VLAs ont émergé comme paradigme dominant en manipulation robotique depuis les travaux de Physical Intelligence (pi-0, basé sur flow matching), Google DeepMind (RT-2, OpenVLA) et Hugging Face (LeRobot). La limitation identifiée ici -- l'absence de calibration des prédictions -- est connue du secteur mais rarement traitée directement. Le groupe LSY de la TU Munich, spécialisé en apprentissage pour systèmes autonomes, positionne ce travail comme une brique de fiabilité applicable à tout VLA flow-based existant, sans réentraînement complet. Le projet dispose d'un site dédié (tum-lsy.github.io/uq_vla/) et la prochaine étape logique serait une validation sur hardware réel, les expériences actuelles restant confinées au benchmark simulé LIBERO.

Impact France/UE

La TU Munich (institution européenne) publie une brique de fiabilité intégrable dans tout VLA flow-based sans réentraînement complet, ce qui pourrait réduire les coûts de supervision humaine et accélérer le déploiement industriel des VLAs dans les usines européennes.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 OpenVLA / RT-X Manipulation robotique

À lire aussi

1arXiv cs.RO

Évaluation de l'incertitude et de la qualité des robots à base de VLA

Des chercheurs publient une étude d'évaluation portant sur les robots pilotés par des modèles Vision-Language-Action (VLA), qui combinent perception visuelle, compréhension du langage naturel et planification d'actions pour exécuter des tâches de façon autonome. Le papier (arXiv:2507.17049) adapte huit métriques d'incertitude et cinq métriques de qualité spécifiquement conçues pour les tâches de manipulation robotique par VLA. L'étude s'appuie sur 908 exécutions de tâches réussies, issues de trois modèles VLA de pointe testés sur quatre tâches de manipulation représentatives et deux morphologies de robots différentes. Des experts du domaine ont annoté manuellement la qualité de chaque exécution, servant ainsi d'oracle humain de référence pour mesurer la corrélation avec les métriques automatiques proposées. L'enjeu dépasse l'exercice académique. Aujourd'hui, la quasi-totalité des benchmarks robotiques VLA se limitent au taux de succès binaire, une tâche est réussie ou échouée, sans mesurer la qualité de l'exécution ni le niveau de confiance du modèle dans ses propres décisions. Pour les intégrateurs et les équipes qui déploient ces modèles en conditions réelles, cette limite est concrète : un robot peut valider une tâche tout en l'exécutant de manière hésitante, dangereuse ou peu répétable, sans que cela apparaisse dans les statistiques de succès. Les auteurs montrent que plusieurs de leurs métriques présentent une corrélation modérée à forte avec le jugement humain, et que certaines permettent même de distinguer des exécutions de bonne, moyenne ou mauvaise qualité parmi les tâches échouées, un cas où l'oracle de succès classique ne fournit aucune information exploitable. Ce travail s'inscrit dans la montée en puissance rapide des architectures VLA ces deux dernières années comme brique centrale des robots humanoïdes et bras manipulateurs, où l'écart entre démonstration et fiabilité réelle reste une question ouverte pour le secteur. En proposant des métriques exploitables sans oracle de succès préexistant, les auteurs ouvrent la voie à du monitoring temps réel et à des mécanismes d'amélioration adaptative pour des robots déployés en production, plutôt qu'à une simple évaluation a posteriori en laboratoire.

RecherchePaper

1 source

2arXiv cs.RO

MUSE : quantification multimodale de l'incertitude dans l'estimation d'état

Une équipe de chercheurs a déposé sur arXiv (référence 2605.17421, mai 2026) un cadre d'apprentissage automatique baptisé MUSE (Multimodal Uncertainty Quantification of State Estimation), conçu pour quantifier en temps réel l'incertitude dans l'estimation d'état visuel. La contribution centrale porte sur l'odométrie visuelle-inertielle (VIO), technique qui fusionne données de caméra et unité de mesure inertielle (IMU) pour localiser un robot sans GPS. MUSE exploite l'architecture Mamba, modèle séquentiel à état discret proposé en 2023 comme alternative efficace aux Transformers, pour traiter plusieurs flux de capteurs asynchrones simultanément. Les expériences ont été conduites sur des jeux de données publics et des données propriétaires ; les auteurs rapportent une fiabilité et une robustesse supérieures aux méthodes existantes, sans fournir dans l'abstract de métriques chiffrées précises permettant une comparaison directe avec l'état de l'art. L'enjeu dépasse la simple précision de localisation : savoir quand ne pas faire confiance à une estimation est aussi critique que l'estimation elle-même. En navigation autonome, en conduite sans conducteur et en vol autonome, une erreur non détectée peut provoquer une collision ou un abandon de mission. Le problème est particulièrement difficile en VIO car la distribution des erreurs est hétéroscédastique (la variance évolue selon les conditions lumineuses, les textures, la vitesse) et multimodale (plusieurs hypothèses de pose simultanément plausibles). Une quantification d'incertitude fiable ouvre la voie à des mécanismes embarqués de détection de défaillance et de dégradation gracieuse, deux capacités très recherchées par les intégrateurs de systèmes autonomes en industrie. L'estimation d'état visuel est un domaine très actif, où filtres de Kalman étendus, graphes de facteurs (GTSAM, g2o) et méthodes neuronales récentes (DPVO, DROID-SLAM) se concurrencent sur des benchmarks standard comme EuRoC ou TUM-VI. Mamba gagne du terrain dans les tâches de séquences longues, et MUSE s'inscrit dans cette tendance en l'appliquant à la fusion sensorielle multi-modale. Aucune affiliation institutionnelle ni partenariat industriel n'est mentionné dans l'abstract, et le papier n'a pas encore été soumis à une revue à comité de lecture confirmée. Les performances annoncées restent donc à valider indépendamment avant toute intégration dans un pipeline de production.

RecherchePaper

1 source

3arXiv cs.RO

UAOR : réinjection d'observations sensible à l'incertitude pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (référence 2602.18020v2) une méthode baptisée UAOR (Uncertainty-aware Observation Reinjection), conçue pour améliorer les modèles VLA (Vision-Language-Action) sans nécessiter de réentraînement ni de données supplémentaires. Le principe repose sur la mesure de l'entropie d'action à chaque couche du modèle de langage sous-jacent : lorsqu'une couche présente une incertitude élevée, le module réinjecte les informations d'observation clés dans le réseau Feed-Forward (FFN) de la couche suivante, via un mécanisme d'attention retrieval. Les auteurs exploitent ici une propriété connue des transformeurs où les FFN se comportent comme des mémoires clé-valeur, et l'appliquent de façon adaptative et conditionnelle à l'état d'incertitude du modèle. Les expériences couvrent à la fois des environnements simulés et des tâches de manipulation réelle, sans précisions chiffrées sur les volumes ou les délais de cycle dans l'abstract publié. L'intérêt pratique est réel pour les équipes qui cherchent à améliorer des pipelines VLA existants : la plupart des approches actuelles exigent l'ajout de capteurs (nuages de points, cartes de profondeur) ou de modules auxiliaires (détecteurs d'objets, encodeurs spécialisés), impliquant collecte de données et phases d'entraînement coûteuses. UAOR se branche en plug-and-play sur des modèles déjà entraînés, ce qui réduit significativement le coût d'intégration. Cette approche "training-free" est particulièrement pertinente dans un contexte industriel où le fine-tuning sur données propriétaires reste un frein. Cela dit, l'abstract ne communique pas de métriques précises (taux de succès, amélioration relative), ce qui rend l'évaluation de l'amplitude des gains difficile avant lecture complète du papier. Les VLA sont devenus un axe central de la robotique de manipulation généraliste depuis 2024, portés par des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). UAOR s'inscrit dans une dynamique de recherche qui cherche à extraire davantage de performance des architectures existantes plutôt qu'à en construire de nouvelles, une tendance d'optimisation à moindre coût computationnel. La prochaine étape naturelle serait une évaluation comparative sur des benchmarks standardisés comme RLBench ou FurnitureBench, et un test d'intégration sur des modèles open-source populaires tels qu'OpenVLA ou Octo.

RechercheOpinion

1 source

4arXiv cs.RO

VeriVLA : vérification adaptative au moment du test pour les VLA à flux, avec modèles du monde latents

Des chercheurs proposent VeriVLA, une méthode de vérification au moment de l'inférence pour les politiques Vision-Language-Action (VLA) à base de flow matching, publiée sur arXiv (2610.21985). Le point de départ est que ces politiques sont stochastiques: selon la graine de bruit, une même observation produit des séquences d'actions (« action chunks ») de qualité très variable, alors que le robot exécute en pratique un seul échantillon, sans estimation de sa qualité. VeriVLA ajoute un déclencheur sans entraînement, à deux axes. À partir de deux échantillons initiaux, il mesure la variation temporelle au sein d'un chunk et la variance entre échantillons, afin de repérer les états critiques. Une fois le déclencheur activé, un modèle de monde latent de type JEPA classe les candidats en prédisant les états latents futurs conditionnés par les actions, ainsi que l'évolution de la progression de la tâche. Le travail dans l'espace latent évite toute reconstruction de pixels. Sur trois tâches réelles (insertion de stylo, pipetage, placement de pomme), le score moyen d'achèvement passe de 50,8 % à 65,5 %. Le surcoût est de 326 ms par décision déclenchée sur une seule RTX 4090. En simulation, le taux de succès passe de 66,4 % à 73,6 % sur RoboTwin 2.0 en configuration propre, de 62,8 % à 69,6 % en configuration randomisée, et de 96,9 % à 97,6 % sur LIBERO. L'intérêt est double pour les équipes qui déploient des VLA. D'abord, la méthode améliore des politiques existantes sans les réentraîner, ce qui en fait un module ajoutable à un modèle déjà en production. Ensuite, elle cible la manipulation fine, là où une seule action ratée peut rendre une tâche irrécupérable: un gain d'environ 15 points en conditions réelles pèse davantage qu'un gain à l'échelle d'un benchmark. Le déclenchement adaptatif compte aussi, car la vérification n'est payée que dans les moments risqués, ce qui limite le coût de calcul sur la boucle de contrôle. Les résultats appellent toutefois la prudence. Les gains en simulation sont modestes, et ils sont quasi nuls sur LIBERO, déjà proche de la saturation à 96,9 %. Les expériences réelles ne portent que sur trois tâches, avec une seule configuration matérielle, et le papier ne précise pas ici le nombre d'essais ni la variabilité. Un surcoût de 326 ms reste notable pour des tâches dynamiques. Il est acceptable pour l'insertion ou le pipetage, moins pour des gestes rapides. Ce travail s'inscrit dans une tendance où l'on fait du calcul supplémentaire à l'inférence (échantillonnage multiple, vérificateurs, modèles de monde) pour améliorer des VLA basés sur le flow matching, de la famille de Pi-0, au lieu de seulement augmenter les données et la taille des modèles. Il rejoint l'usage de JEPA, l'architecture prédictive latente portée par Meta, comme brique de modèle de monde. Les concurrents directs sont les approches de type best-of-N avec fonction de valeur ou critique apprise, et les méthodes de planification par modèles de monde générant des vidéos, plus coûteuses car elles passent par les pixels. La suite logique serait de tester VeriVLA sur d'autres politiques et sur des robots plus variés, y compris des humanoïdes, et de mesurer la robustesse sur de longs horizons. Il s'agit à ce stade d'une publication de recherche, sans produit ni déploiement industriel annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source