RecherchearXiv cs.RO 22 octobre 2026

Incertitude épistémique a posteriori pour les politiques vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent une méthode pour estimer l'incertitude épistémique d'une politique vision-langage-action (VLA) à partir d'un seul modèle, sans passer par un ensemble de politiques entraînées séparément. Leur approche repose sur des « têtes à variance de noyau » ajoutées après l'entraînement : chacune calcule la variance conditionnelle d'un processus gaussien, conditionnée par les embeddings des démonstrations d'entraînement. L'ajustement n'exige ni cibles de régression ni mises à jour de gradient, et la politique d'origine reste inchangée. Testée avec SmolVLA sur le benchmark LIBERO-10, la méthode égale à peu près les scores d'un ensemble de deux politiques sur trois usages : la corrélation par tâche avec le taux de succès, la sélection de démonstrations en apprentissage actif, et le renvoi vers une politique « superviseur » plus forte, utilisée comme substitut d'une assistance humaine. La tête placée sur le backbone vision-langage réduit le temps de calcul du score d'incertitude jusqu'à environ 50 fois par rapport aux scores d'ensemble, et diminue nettement les coûts de mise en place.

L'enjeu est très concret pour le déploiement. Un robot qui ne sait pas qu'il ne sait pas est coûteux dès que les erreurs coûtent cher : pièces endommagées, arrêts de ligne, risques pour les opérateurs. Savoir quand demander de l'aide ou de nouvelles démonstrations est une condition pour passer de la démo à l'exploitation. Les ensembles résolvent le problème, mais multiplient l'entraînement et l'inférence, ce qui est peu réaliste sur du matériel embarqué. Une estimation fournie par un seul modèle, sans le modifier, est plus facile à intégrer dans des politiques existantes. Les auteurs relèvent aussi une limite méthodologique : le protocole d'évaluation habituel de LIBERO-10 récompense surtout la capacité à repérer les différences de couverture entre tâches, tandis que la variabilité d'exécution brouille le classement au sein d'une même tâche. Ils proposent donc des perturbations contrôlées (caméra, consigne, état). Les têtes propres à chaque modalité détectent les entrées inhabituelles, et les têtes fusionnées repèrent des combinaisons nouvelles d'entrées pourtant familières. Avec un superviseur entraîné sur ces familles de perturbations, la tête de décodeur améliore le renvoi au sein d'une tâche par rapport au désaccord d'ensemble.

Ces résultats s'inscrivent dans la recherche sur la fiabilité des modèles VLA, où SmolVLA, modèle compact et ouvert, sert de banc d'essai accessible. Il s'agit d'un preprint arXiv (v1), non revu par les pairs, validé en simulation sur un seul benchmark et un seul modèle, avec un ensemble de comparaison limité à deux politiques. La généralisation à des politiques plus grandes, à des robots réels ou à des flux de travail industriels reste à démontrer, et aucun pilote ni calendrier de déploiement n'est annoncé.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Détection des échecs par incertitude épistémique basée sur la perturbation dans les modèles vision-langage-action

Les chercheurs à l'origine de l'article "Perturbation-Based Epistemic Uncertainty for Failure Detection in Vision-Language-Action Models" (arXiv:2606.20754v2) présentent une nouvelle méthode baptisée PFD (Perturbation-based Failure Detection), destinée à détecter les échecs des modèles Vision-Language-Action (VLA) en robotique manipulatrice. Le problème adressé : la plupart des VLA récents génèrent des actions continues par régression ou génération par flux, sans probabilités prédictives explicites, ce qui rend la quantification d'incertitude difficile, en particulier lors d'un décalage de distribution (distribution shift) entre entraînement et déploiement réel. PFD fonctionne sans entraînement supplémentaire : la méthode injecte des perturbations aléatoires de faible rang dans certaines matrices de poids des transformeurs du modèle, puis mesure le désaccord entre les prédictions d'action obtenues sous ces perturbations pour estimer l'incertitude épistémique. Sur le benchmark LIBERO-PRO, PFD obtient le meilleur AUROC moyen et la meilleure précision équilibrée parmi les méthodes comparées, et surpasse systématiquement l'échantillonnage stochastique d'actions face aux changements de distribution. Des expériences sur robot réel confirment un signal de détection d'échec compétitif face à un décalage d'objet inédit (unseen object shift). Pour les intégrateurs et décideurs déployant des VLA en production, ce travail s'attaque à un angle mort critique : ces modèles peuvent échouer silencieusement face à des situations hors distribution, sans mécanisme fiable pour le signaler avant l'exécution d'une action erronée. La méthode PFD prouve qu'une estimation d'incertitude au niveau du modèle (plutôt que de la seule variabilité de génération d'action) capture mieux les cas d'échec réels, ce qui pourrait alimenter des mécanismes d'arrêt de sécurité ou de repli humain dans des déploiements industriels de robots manipulateurs pilotés par VLA. C'est aussi un argument contre l'idée reçue que l'échantillonnage stochastique suffit à quantifier le risque d'un modèle VLA en conditions réelles. Ce travail s'inscrit dans la lignée des perspectives bayésiennes sur les variations locales de modèles, appliquées ici aux architectures VLA modernes (comme Pi-0 ou GR00T N2, qui reposent sur des mécanismes de régression ou de génération par flux plutôt que sur une génération autorégressive classique). Il se positionne face aux méthodes existantes de quantification d'incertitude par échantillonnage stochastique, jugées insuffisantes sous décalage de distribution. L'article, une version révisée (v2) publiée sur arXiv, ne précise pas de calendrier de déploiement commercial ni de partenariat industriel ; il s'agit à ce stade d'une contribution de recherche validée par des tests en simulation (LIBERO-PRO) et en conditions réelles limitées, sans indication de mise à l'échelle ou d'intégration dans un produit VLA commercialisé.

RecherchePaper

1 source

2arXiv cs.RO

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Mémoire à double flux pour les politiques vision-langage-action (VLA)

Des chercheurs proposent une mémoire à double flux pour les politiques vision-langage-action (VLA), conçue pour les tâches de manipulation où le robot doit à la fois savoir où il en est dans l'exécution et retrouver des indices visuels qui ne sont plus visibles. Le premier flux est un module Gated DeltaNet, indépendant de la tâche, qui compresse tout l'historique en un seul token temporel. Il est supervisé par deux objectifs : la prédiction de progression et la reconstruction de features conditionnée par l'action. Le second flux est un récupérateur conditionné par la tâche, qui conserve les images dont la pertinence dépasse un seuil fixe. Chaque image retenue est encodée en seize tokens spatiaux par fusion linéaire multi-échelle. Le compresseur temporel est ensuite gelé, puis la récupération et la politique sont optimisées conjointement. Sur les seize tâches du benchmark RoboMME, le modèle complet atteint 49,22 % de succès moyen, contre 44,51 % pour la référence publiée FrameSamp+Modul. Il progresse sur quatorze tâches et sur les moyennes des quatre suites. Sur quatre tâches avec un robot réel, le succès moyen passe de 37,5 % à 62,5 %. L'intérêt est de s'attaquer à une limite connue des VLA actuels, qui décident surtout à partir de l'observation courante ou d'une courte fenêtre d'images. Les auteurs séparent deux besoins que les approches existantes mélangent : le suivi de l'état d'exécution, qui demande une représentation compacte et continue, et l'accès sélectif aux preuves visuelles passées, qui demande de la récupération ciblée. Les plus gros gains sur robot réel concernent les actions répétées, où il faut distinguer à quelle étape on se trouve, par exemple répéter le même geste sans savoir si c'est la première ou la troisième fois. À prendre avec prudence toutefois : le gain de 4,7 points sur RoboMME est modeste. Le test réel ne porte que sur quatre tâches, sans volume d'essais précisé dans le résumé, et le papier est un préprint non évalué par des pairs. Les auteurs reconnaissent eux-mêmes une faiblesse : lors d'échanges de gobelets, le suivi persistant d'identité d'un objet échoue, et ce problème reste ouvert. Ce travail s'inscrit dans la montée des politiques VLA à mémoire (type Pi-0, Helix ou GR00T), dont les versions de production restent pour l'essentiel peu ou pas dotées de mémoire longue. RoboMME sert ici de banc d'essai pour les tâches dépendantes de l'historique, et la comparaison se fait contre une baseline d'échantillonnage d'images avec modulation. Les auteurs ne mentionnent ni code, ni modèle publiés, ni calendrier de déploiement. La suite logique est l'ajout d'un mécanisme de suivi d'identité d'objets, puis une validation sur davantage de tâches réelles et de plateformes. Pour les intégrateurs, il s'agit pour l'instant d'une piste de recherche, pas d'une brique disponible.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

BOKBO : abstention calibrée pour les politiques de modèles vision-langage-action (VLA)

Une équipe de chercheurs publie BOKBO (Best of K Bad Options), décrit comme la première couche d'abstention conforme pour l'inférence VLA à K échantillons. Le problème adressé est précis : les méthodes de scaling à l'inférence telles que RoboMonkey, SEAL, MG-Select et V-GPS génèrent K chunks d'actions candidates et exécutent celle validée comme la meilleure par un vérificateur. Mais lorsque les K candidates sont toutes non sûres, le système en exécute une sans aucun avertissement. BOKBO s'interpose en amont pour garantir, sans hypothèse sur la distribution des données, un taux maximal de violations exécutées. Deux variantes sont proposées : une globale et une par tâche dite Mondrian, cette dernière étant plus robuste sur les tâches les plus difficiles. Évalué sur le benchmark LIBERO avec OpenVLA-OFT à un seuil de risque ε=0,05, le bound conditionnel CRC tient sur 86% des splits bootstrap, avec une couverture de 78% et un taux de réussite nette de 70%. La variante Mondrian-BOKBO relève la fraction minimale de tenue conditionnelle par tâche de 0,71 à 0,93, sur 5 graines d'entraînement. Le résultat le plus saillant n'est pas la méthode elle-même mais l'échec structurel qu'elle expose. Les scores de non-conformité internes aux politiques VLA, utilisés comme proxies de sécurité dans les approches existantes, corrèlent à 0,98 avec l'hyperparamètre de bruit d'action σ, et pratiquement pas avec les violations réelles. Autrement dit, les filtres de sécurité actuels mesurent un réglage de bruit, non un risque réel. Pour les intégrateurs industriels et les équipes d'homologation, c'est un signal d'alarme : les garanties de sécurité des pipelines VLA déployés en production reposent peut-être sur un proxy invalide. Les auteurs montrent que l'échec est partiellement atténué avec un sampling stochastique au niveau des tokens plutôt que perturbation-based, mais le problème reste mécanisme-spécifique. Ils corrigent aussi un biais méthodologique courant : des seuils de force fixés globalement bien en dessous des forces typiques d'un expert humain gonflent artificiellement les taux de violation jusqu'à un facteur 5. Sur le plan du contexte, les VLA comme OpenVLA-OFT et π₀-FAST, testés tous deux dans l'étude, incarnent la convergence entre foundation models et contrôle robotique temps réel. Le benchmark LIBERO, utilisé comme terrain d'évaluation, est devenu une référence dans l'espace manipulation. BOKBO s'inscrit dans la théorie de la prédiction conforme, appliquée ici pour la première fois à l'abstention calibrée dans ce contexte. Les prochaines étapes logiques seraient une validation sur des environnements réels et des tâches hors distribution plus sévères, LIBERO restant un benchmark simulé aux distributions relativement contrôlées. Aucun déploiement industriel ni partenariat n'est annoncé à ce stade.

UELes équipes d'homologation et intégrateurs industriels européens déployant des pipelines VLA en production devraient auditer leurs mécanismes de sécurité : cette étude montre que les scores de non-conformité utilisés comme proxies de sécurité mesurent un réglage de bruit, pas un risque réel.

RechercheActu

1 source