Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Calibration de la confiance dans les modèles vision-langage-action (VLA)
RecherchearXiv cs.RO 

Calibration de la confiance dans les modèles vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une étude disponible sur arXiv (2507.17383, désormais en version 3) examine un point rarement traité pour les modèles vision-langage-action (VLA). Ces modèles de fondation transforment des observations visuelles et des instructions en langage naturel en commandes moteur de bas niveau. Les auteurs présentent leur travail comme la première étude de la calibration de confiance sur ce type de modèle, c'est-à-dire de l'écart entre la probabilité de réussite que le robot s'attribue et sa réussite réelle. Ils établissent une base de référence pour l'estimation de confiance. Ils analysent le lien entre le taux de réussite des tâches et l'erreur de calibration, ainsi que l'évolution de cette erreur au fil de l'exécution. Face à la mauvaise calibration observée, ils proposent deux correctifs légers. Le premier est un ensemble de prompts, qui consiste à reformuler une même consigne de plusieurs façons. Le second est un Platt scaling par action, un recalibrage logistique appliqué séparément à chaque dimension de commande. Le résumé ne donne ni les modèles testés, ni les gains chiffrés, ni les conditions expérimentales (simulation ou robot réel). Toute conclusion quantitative suppose donc de lire l'article complet.

L'enjeu est très concret pour un intégrateur ou un responsable d'exploitation. Un robot qui réussit 80 % de ses tâches mais ne sait pas prédire ses échecs est difficile à déployer, car rien ne permet de déclencher à temps une reprise, un arrêt ou un appel à l'opérateur. Le taux de succès affiché en démonstration ne dit rien de cette capacité d'auto-évaluation, qui conditionne pourtant la supervision et la sécurité. Le caractère « léger » des méthodes est intéressant, puisqu'il suggère de pouvoir améliorer des VLA existants sans les réentraîner. L'analyse temporelle compte aussi pour les tâches longues, où les erreurs s'accumulent. Il s'agit toutefois de recherche académique, sans validation en production ni preuve que ces techniques tiennent sur des flottes réelles.

Le travail s'inscrit dans la montée en puissance des VLA, de RT-2 et OpenVLA jusqu'aux modèles industriels comme Pi-0, Helix ou GR00T. Leur capacité d'action progresse plus vite que les outils pour mesurer leur fiabilité. La quantification d'incertitude est mieux établie pour les grands modèles de langage, et cette étude en transpose les principes à la robotique. Les suites logiques sont de tester ces méthodes sur des tâches longues en conditions réelles, de les relier à des politiques de repli, et de les comparer à d'autres approches comme la prédiction conforme.

Dans nos dossiers

IA physique & VLANVIDIA GR00TOpenVLA / RT-XarXiv cs.RO

À lire aussi

Ce qui compte pour la modélisation du monde dans les modèles vision-langage-action (VLA)
1arXiv cs.RO 

Ce qui compte pour la modélisation du monde dans les modèles vision-langage-action (VLA)

Une équipe de chercheurs publie sur arXiv (2610.19825) une étude systématique visant à déterminer ce qui compte réellement lorsqu'on intègre un modèle du monde dans un modèle Vision-Langage-Action (VLA), c'est-à-dire une politique robotique qui convertit images et instructions textuelles en actions. Les auteurs classent les approches existantes en quatre paradigmes: Implicit Future Alignment, Explicit Future Query, MoT Future Expert (un expert dédié au futur, découplé de la politique, dans une architecture de type Mixture-of-Transformers) et External World Predictor. Chacun est réimplémenté dans un cadre unifié, puis évalué avec plusieurs représentations du monde et plusieurs architectures de politique. Les tests couvrent des scénarios in-domain, hors distribution (OOD), à long horizon, dynamiques, few-shot et en conditions réelles. Les résultats chiffrés détaillés figurent sur la page projet, que les auteurs accompagnent de vidéos de démonstration. Quatre conclusions se dégagent. L'efficacité d'une représentation du monde dépend du paradigme, mais les représentations sémantiques 2D apportent des gains robustes dans tous les cas. Aucun paradigme ne domine partout, même si le MoT Future Expert offre de bonnes performances globales, surtout en robustesse OOD. Le modèle du monde profite systématiquement aux politiques bâties sur des VLM standards, tandis que les conceptions découplées s'accordent mieux avec des VLA déjà pré-entraînés. Enfin, par rapport à des références limitées à la prédiction d'actions, le modèle du monde améliore les résultats dans plusieurs configurations, avec des gains notables sur les tâches longues et dynamiques. L'intérêt pour l'industrie tient à la clarification d'un champ où les publications comparaient des méthodes qui différaient à la fois par la représentation, le mode d'intégration et le backbone, ce qui rendait les attributions de gains peu fiables. Pour les équipes qui développent des VLA, le message est pragmatique: prédire des features sémantiques 2D du futur est un choix peu risqué, et une architecture découplée permet de greffer un modèle du monde sur un VLA existant sans tout réentraîner. Les gains sur les tâches longues et dynamiques correspondent précisément aux limites des politiques purement réactives en environnement industriel. Il faut toutefois rester prudent: il s'agit d'un banc d'essai académique, sans chiffres de déploiement ni de cadence, et la validation en conditions réelles reste vraisemblablement limitée en échelle. Ce travail s'inscrit dans la montée des modèles du monde dans la robotique fondationnelle, où des acteurs comme NVIDIA (GR00T), Physical Intelligence (Pi-0) ou Figure (Helix) cherchent à dépasser le simple mappage observation-action. Les choix d'architecture restent encore peu consensuels. La suite logique consiste à tester ces paradigmes à plus grande échelle, avec des VLA pré-entraînés sur de très grands corpus et sur des plateformes variées. Aucun calendrier de pilote n'est annoncé, s'agissant d'une contribution de recherche.

RecherchePaper
1 source
TrapVLA : piéger les modèles vision-langage-action dans des modes d'échec configurés
2arXiv cs.RO 

TrapVLA : piéger les modèles vision-langage-action dans des modes d'échec configurés

Des chercheurs ont publié sur arXiv (2608.26578v1) une étude intitulée TrapVLA, décrivant une nouvelle attaque par porte dérobée contre les modèles Vision-Language-Action (VLA), qui pilotent des robots à partir d'instructions en langage naturel. Baptisée Configured Failure Trapping, la méthode va plus loin que les attaques classiques, qui se satisfont d'un échec quelconque : un déclencheur textuel furtif force le robot à échouer d'une façon précise et choisie à l'avance, par exemple en saisissant un objet avec un décalage de position prédéfini. Les auteurs ont conçu un moteur de génération de trajectoires cibles et deux bancs d'essai, Trap-LIBERO et Trap-RoboTwin, couvrant quatre modes d'échec. Testée en simulation et sur des robots réels, la méthode TrapVLA injecte ces échecs configurés tout en préservant les performances sur données saines. Cette recherche met au jour une faille propre aux VLA, la famille de modèles qui commence à piloter des robots industriels et de service, comme Pi-0, GR00T N2 ou Helix. En montrant qu'un attaquant peut imposer un mode de défaillance précis plutôt qu'un simple échec détectable, l'étude complique la détection par des audits classiques, qui cherchent des comportements aberrants plutôt que des erreurs discrètes et reproductibles. Pour les intégrateurs et décideurs qui envisagent de déployer des robots pilotés par des modèles fondation, la sécurité des données d'entraînement devient un critère aussi important que la capacité brute du modèle, notamment en logistique ou en manufacture. Ce travail reste une démonstration en environnement contrôlé, pas un incident observé sur un déploiement commercial. Le papier s'inscrit dans la continuité des recherches sur les portes dérobées, longtemps cantonnées aux classifieurs d'images et aux modèles de langage, désormais étendues aux agents robotiques incarnés où une erreur ciblée a des conséquences physiques directes. Les auteurs notent que les travaux antérieurs sur les portes dérobées VLA se limitaient à un échec générique, ce que Configured Failure Trapping dépasse en visant un échec configuré, donc plus discret. L'article ne propose aucune contre-mesure ni méthode de détection, seulement la construction de l'attaque et des bancs d'essai, laissant la défense pour des travaux futurs ; le code et les benchmarks sont publiés en ligne.

RechercheActu
1 source
Évolution continue des compétences dans un modèle vision-langage-action (VLA)
3arXiv cs.RO 

Évolution continue des compétences dans un modèle vision-langage-action (VLA)

Des chercheurs ont publié Stellar VLA (arXiv:2511.18085v3), un cadre d'apprentissage continu par imitation (continual imitation learning, CIL) pour les modèles Vision-Langage-Action (VLA). La méthode propose deux variantes progressives : T-Stellar, fondée sur une modélisation plate centrée sur les tâches, et TS-Stellar, organisée en structure hiérarchique tâche-compétence. Les expériences menées sur le benchmark LIBERO, référence standard pour les tâches de manipulation robotique, montrent que les deux variantes surpassent les baselines VLA et CIL actuelles, avec seulement 1 % de rejeu de données. Une validation en conditions réelles sur une plateforme bi-bras, avec des configurations de scènes et d'embodiments distincts, confirme que le transfert de connaissances entre tâches reste effectif au-delà du simulateur. Le principal apport de Stellar VLA est d'adresser un frein structurel au déploiement des grands modèles VLA : les méthodes CIL existantes nécessitent des paramètres additionnels ou des modules externes, ce qui les rend difficilement scalables lorsque le modèle de base est déjà massif. En optimisant conjointement des représentations de tâches et un espace de connaissances partagé, Stellar VLA introduit un mécanisme de routage expert guidé par la sémantique, sélectionnant les K embeddings les plus proches pour orienter le modèle vers la compétence pertinente, sans alourdir l'architecture. Pour les équipes qui déploient des robots polyvalents en production, cela ouvre la voie à l'apprentissage incrémental de nouvelles tâches avec un coût de fine-tuning réduit. TS-Stellar se distingue notamment sur les manipulations hiérarchiques complexes, et les visualisations publiées illustrent une rétention robuste des compétences acquises ainsi qu'une capacité de découverte automatique de nouvelles tâches. Les VLA constituent un axe de recherche en accélération depuis 2023, portés par Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA (UC Berkeley) ou encore RT-2 (Google DeepMind), qui cherchent à généraliser la manipulation robotique via un préentraînement multimodal massif. La question du catastrophic forgetting, c'est-à-dire la perte des compétences antérieures lors de l'apprentissage d'une nouvelle tâche, reste un verrou non résolu à l'échelle industrielle. Stellar VLA se positionne comme une surcouche légère applicable à des VLA existants, sans retraining complet. Le projet est documenté sur stellarvla.github.io ; aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication, qui reste à ce stade un travail de recherche académique.

RechercheOpinion
1 source
BOKBO : abstention calibrée pour les politiques de modèles vision-langage-action (VLA)
4arXiv cs.RO 

BOKBO : abstention calibrée pour les politiques de modèles vision-langage-action (VLA)

Une équipe de chercheurs publie BOKBO (Best of K Bad Options), décrit comme la première couche d'abstention conforme pour l'inférence VLA à K échantillons. Le problème adressé est précis : les méthodes de scaling à l'inférence telles que RoboMonkey, SEAL, MG-Select et V-GPS génèrent K chunks d'actions candidates et exécutent celle validée comme la meilleure par un vérificateur. Mais lorsque les K candidates sont toutes non sûres, le système en exécute une sans aucun avertissement. BOKBO s'interpose en amont pour garantir, sans hypothèse sur la distribution des données, un taux maximal de violations exécutées. Deux variantes sont proposées : une globale et une par tâche dite Mondrian, cette dernière étant plus robuste sur les tâches les plus difficiles. Évalué sur le benchmark LIBERO avec OpenVLA-OFT à un seuil de risque ε=0,05, le bound conditionnel CRC tient sur 86% des splits bootstrap, avec une couverture de 78% et un taux de réussite nette de 70%. La variante Mondrian-BOKBO relève la fraction minimale de tenue conditionnelle par tâche de 0,71 à 0,93, sur 5 graines d'entraînement. Le résultat le plus saillant n'est pas la méthode elle-même mais l'échec structurel qu'elle expose. Les scores de non-conformité internes aux politiques VLA, utilisés comme proxies de sécurité dans les approches existantes, corrèlent à 0,98 avec l'hyperparamètre de bruit d'action σ, et pratiquement pas avec les violations réelles. Autrement dit, les filtres de sécurité actuels mesurent un réglage de bruit, non un risque réel. Pour les intégrateurs industriels et les équipes d'homologation, c'est un signal d'alarme : les garanties de sécurité des pipelines VLA déployés en production reposent peut-être sur un proxy invalide. Les auteurs montrent que l'échec est partiellement atténué avec un sampling stochastique au niveau des tokens plutôt que perturbation-based, mais le problème reste mécanisme-spécifique. Ils corrigent aussi un biais méthodologique courant : des seuils de force fixés globalement bien en dessous des forces typiques d'un expert humain gonflent artificiellement les taux de violation jusqu'à un facteur 5. Sur le plan du contexte, les VLA comme OpenVLA-OFT et π₀-FAST, testés tous deux dans l'étude, incarnent la convergence entre foundation models et contrôle robotique temps réel. Le benchmark LIBERO, utilisé comme terrain d'évaluation, est devenu une référence dans l'espace manipulation. BOKBO s'inscrit dans la théorie de la prédiction conforme, appliquée ici pour la première fois à l'abstention calibrée dans ce contexte. Les prochaines étapes logiques seraient une validation sur des environnements réels et des tâches hors distribution plus sévères, LIBERO restant un benchmark simulé aux distributions relativement contrôlées. Aucun déploiement industriel ni partenariat n'est annoncé à ce stade.

UELes équipes d'homologation et intégrateurs industriels européens déployant des pipelines VLA en production devraient auditer leurs mécanismes de sécurité : cette étude montre que les scores de non-conformité utilisés comme proxies de sécurité mesurent un réglage de bruit, pas un risque réel.

RechercheActu
1 source