Quand un déploiement VLA plus rapide modifie le…

1arXiv cs.RO

VLAQuantBench : évaluation en boucle fermée de la quantification post-entraînement pour les modèles vision-langage-action

Des chercheurs ont publié VLAQuantBench, un protocole d'évaluation en boucle fermée de la quantification post-entraînement pour les modèles vision-langage-action, construit sur 409 runs et 94 574 épisodes de simulation, avec quatre modèles testés sur le benchmark LIBERO et X-VLA évalué en plus sur trois autres familles de benchmarks de simulation. Sous une quantification W4A4 non calibrée (poids et activations sur 4 bits), étendre le sous-ensemble de couches de la tête d'action de π0.5 de 126 à 167 couches fait bondir le taux de réussite de 7,0% à 70,5%, un gain confirmé par rejeu à observations fixes. Une calibration limitée à deux épisodes supprime les échecs sévères observés sur les sous-ensembles testés, mais la même recette de lissage et d'écrêtage dégrade le score de π0 et ne suffit pas à restaurer OpenVLA-OFT de bout en bout, qui exige de protéger une seule projection de sortie de 28 672 paramètres pour retrouver une performance quasi égale à la référence, le reste du réseau (441 couches linéaires) pouvant alors tourner en poids 3 bits sur LIBERO-Long ou en activations 8 bits sur les quatre suites testées. Ces résultats visent directement les équipes qui doivent faire tenir des VLA de plusieurs milliards de paramètres dans la mémoire limitée d'un contrôleur embarqué, un enjeu croissant pour les robots manipulateurs et humanoïdes commerciaux. Le constat principal invalide l'idée de règles de sensibilité par couche universelles et transférables d'un modèle à l'autre: une même recette de calibration peut sauver un modèle et en casser un autre, ce qui impose aux intégrateurs de valider chaque schéma de quantification modèle par modèle plutôt que de recycler des heuristiques génériques. L'étude montre aussi qu'un effondrement massif sous quantification agressive ne trahit pas forcément une fragilité intrinsèque du VLA, puisqu'un ajustement ciblé du périmètre de couches protégées, ou une simple calibration sur deux épisodes, peut faire passer la réussite de 7% à plus de 70%. La quantification post-entraînement, technique éprouvée sur les grands modèles de langage, est de plus en plus reprise telle quelle pour les VLA sans validation poussée sur des tâches de manipulation en boucle fermée, un vide que ce travail comble en testant côte à côte π0, π0.5, OpenVLA-OFT et X-VLA. Le code, les configurations et les enregistrements d'épisodes sont publiés en accès libre sur GitHub, ce qui permet à d'autres équipes de reproduire ou d'étendre les assignations de précision identifiées. L'article, référencé arXiv:2609.25376, n'annonce ni nouveau modèle ni déploiement commercial, mais livre un outil méthodologique aux équipes de recherche et d'ingénierie qui arbitrent entre empreinte mémoire et fiabilité avant de faire tourner un VLA sur du matériel embarqué.

RecherchePaper

1 source

2arXiv cs.RO

Anatomie d'un effondrement en boucle fermée : étude de cas causale d'une politique VLA compressée

Une étude de cas publiée sur arXiv en septembre 2026 documente, de façon causale, l'échec en boucle fermée d'une politique VLA compressée dérivée du modèle Octo-Base. La version étudiante, distillée sur 8 couches, conserve 86% des paramètres du modèle enseignant et réussit tous les contrôles hors ligne appliqués, avec des ratios enseignant/étudiant de 0,996 et 1,000 sur les métriques de validation propres à la famille de modèles. En exécution simulée, sur une tâche de préhension-dépôt avec un bras WidowX, elle échoue pourtant totalement : 0 succès sur 72 essais, contre 40 sur 72 pour l'enseignant. La dégradation est structurée : la prise d'objet chute progressivement (déplacement à 90% du taux enseignant, saisie à 55%), tandis que le transport vers la cible échoue à 0% dans toutes les variantes testées. L'analyse fine des trajectoires isole la cause : un résidu négatif sur l'axe z, concentré en fin de geste, environ dix fois supérieur à sa valeur après correction. Quatre remèdes standards échouent sous contrôles appariés (poursuite de l'entraînement, ajout de données hors ligne dans le domaine, compensation au niveau des commandes, écrêtage du symptôme) sans restaurer aucun succès. Seul le remplacement de la moitié du flux d'entraînement par des trajectoires enseignantes issues de la distribution de déploiement rétablit une performance proche de l'enseignant (18 sur 36 contre 17 sur 36 en test) et supprime le signal défaillant. Ce résultat pointe une faille méthodologique centrale pour le déploiement des politiques VLA compressées : les métriques de validation hors ligne, y compris celles propres à chaque famille de modèles, ne garantissent pas un comportement correct en conditions réelles, même avec des scores de concordance proches de 100% avec le modèle enseignant. Pour les intégrateurs et équipes robotique qui compressent des modèles comme Octo, Pi-0, GR00T N2 ou Helix afin de réduire coût et latence d'inférence à l'edge, l'étude montre qu'une poignée de dizaines d'essais en boucle fermée suffit à révéler des échecs invisibles aux tests hors ligne, alors que les corrections intuitives, plus d'entraînement, plus de données, ajustement au niveau des commandes, ne fonctionnent pas de façon fiable. Elle confirme empiriquement, sur un cas précis et diagnostiqué causalement, l'écart déjà documenté entre évaluation hors ligne et performance réelle des politiques d'apprentissage par imitation. Les auteurs précisent ne revendiquer que l'existence du phénomène sur ce cas, pas sa généralité : il s'agit d'une étude isolée, pas d'un résultat étendu à toute compression de politique VLA. Le travail s'inscrit dans un mouvement plus large de compression des grands modèles vision-langage-action, à mesure que laboratoires et fabricants de bras manipulateurs ou d'humanoïdes cherchent à faire tourner ces politiques sur du matériel embarqué à faible latence. Aucun acteur commercial, français ou européen, n'est associé à ce travail, qui reste un preprint académique sans produit ni déploiement annoncé. Les auteurs appellent les équipes qui distillent ou quantifient des politiques robotiques à ajouter des tests en boucle fermée aux critères d'acceptation, plutôt que de se fier aux seules métriques hors ligne, aujourd'hui la norme du secteur.

RechercheActu

1 source

3arXiv cs.RO

Combien le Best-of-N peut-il aider un modèle d'action du monde ? Mesurer la marge de sélection exploitable et la réaliser en boucle fermée

Les modèles « world action models » (WAM), qui prédisent les conséquences visuelles des actions qu'ils génèrent, se prêtent naturellement à la sélection au moment du test : on imagine le futur de plusieurs actions candidates et on exécute la meilleure (best-of-N). Une étude publiée sur arXiv (v1) mesure ce que ce principe peut réellement apporter. Les auteurs introduisent un protocole contrefactuel débruité, fondé sur des branchements reproductibles au bit près, des continuations répétées, des oracles tenus à l'écart et des nombres aléatoires communs. Il s'appuie sur quatre WAM, deux benchmarks et plus de 100 000 rollouts branchés, avec des tests préenregistrés. Pour trois WAM, 17 continuations par candidat situent la part sélectionnable des échantillons natifs entre 24 % et 66 %. Des perturbations structurées des actions créent jusqu'à 16 points de marge sélectionnable supplémentaires. Un sélecteur à déclenchement conditionnel, qui ne s'écarte du « chunk » d'actions de la politique que lorsqu'une lecture du WAM prédit un échec, fait passer le succès en boucle fermée de 76,9 % à 81,6 % sur des épisodes tenus à l'écart de tâches d'entraînement, et de 62,6 % à 69,8 % sur des tâches inédites. L'intérêt tient d'abord à la méthode. L'estimation habituelle exécute chaque candidat une seule fois et retient le meilleur résultat. Elle confond la qualité du candidat avec le hasard de tout ce qui suit, donc elle surestime le gain réel du best-of-N. Pour les équipes qui comptent sur le calcul au moment du test pour améliorer une politique figée sans la réentraîner, le plafond est plus bas qu'annoncé, mais il reste exploitable. Deuxième résultat : dans les deux WAM dotés d'une imagination conditionnée par l'action, les futurs imaginés portent autant d'information sur l'issue des candidats que les futurs réels, sans perte détectable. Cette information reste inutilisée par la tête de valeur de Cosmos Policy. Le gain est le plus marqué là où la politique échoue le plus souvent, ce qui cible les cas difficiles. Les gains absolus restent modestes (environ 5 points sur les tâches vues, 7 sur les tâches inédites), mesurés en simulation sur benchmarks, sans déploiement physique. Ce travail s'inscrit dans le mouvement des politiques vision-langage-action (VLA) vers des modèles du monde capables de prévoir leurs conséquences, dont Cosmos Policy est un exemple cité. Les approches de sélection ou de vérification au moment du test, déjà courantes pour les LLM, gagnent ainsi la manipulation robotique. L'article ne nomme pas d'acteurs industriels ni de calendrier de déploiement. La suite logique serait de valider le sélecteur sur robot réel, avec la latence de génération des futurs imaginés comme contrainte pratique, et de l'étendre à d'autres WAM.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

La mémoire, pas le cache : la provenance des portes borne la fiabilité en boucle fermée du saut de tokens VLA sans entraînement

Une étude arXiv (2608.00391) documente une faille dans le "token skipping", technique sans entraînement qui accélère les modèles vision-langage-action (VLA) en robotique en ignorant le calcul de la majorité des tokens visuels à chaque pas de commande, selon un signal de gâté. Si ce gâté provient de la précédente passe déjà accélérée, les tokens ignorés à une étape deviennent aussi les moins visibles pour le gâté suivant, et l'erreur se propage jusqu'à l'échec de la tâche. Sur LIBERO-Object, à un ratio de saut de 0,9, les deux mécanismes testés, réutilisation et suppression, s'effondrent dans ce cas : taux de réussite à 0,68 et 0,31 contre 1,00 en mode dense, un échec invisible aux détecteurs d'anomalies au niveau de l'action évalués par les auteurs. La conclusion centrale n'est pas la technique de saut choisie, mais l'origine du gâté, propre s'il est calculé par une passe qui n'a rien sauté, ou contaminé sinon. Cette distinction, jusqu'ici négligée, remet en question la fiabilité de nombreuses méthodes d'accélération VLA publiées, dont les métriques de succès peuvent masquer une dégradation progressive sans que les détecteurs au niveau action ne l'identifient. Pour les intégrateurs et ingénieurs déployant des politiques VLA en boucle fermée sur du matériel réel, où chaque milliseconde de latence compte face aux contraintes de commande temps réel, cela signifie qu'une accélération validée en apparence peut tout de même faire dérailler une tâche en conditions réelles, sans signal d'alerte exploitable. La solution proposée, l'"actuation-slack refresh", exploite le temps mort pendant lequel le robot exécute déjà son segment d'action courant pour lancer, hors du chemin critique, une passe dense qui fournit au pas suivant un gâté propre et une base KV fraîche. Appliquée systématiquement plutôt que déclenchée par un détecteur jugé peu fiable, elle ramène les deux mécanismes à 0,98 de réussite. Intégrée à des méthodes de cache et d'élagage de référence sur deux politiques VLA, quatre suites LIBERO et quatre tâches SIMPLER, elle corrige tous les effondrements observés, avec une latence de service réduite de 18 à 22 % par rapport au mode dense, confirmée en simulation comme sur robot physique.

RecherchePaper

1 source

Quand un déploiement VLA plus rapide modifie le comportement en boucle fermée : analyse succès-latence de SmolVLA en PyTorch et ONNX

À lire aussi

VLAQuantBench : évaluation en boucle fermée de la quantification post-entraînement pour les modèles vision-langage-action

Anatomie d'un effondrement en boucle fermée : étude de cas causale d'une politique VLA compressée

Combien le Best-of-N peut-il aider un modèle d'action du monde ? Mesurer la marge de sélection exploitable et la réaliser en boucle fermée

La mémoire, pas le cache : la provenance des portes borne la fiabilité en boucle fermée du saut de tokens VLA sans entraînement