Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
La mémoire, pas le cache : la provenance des portes borne la fiabilité en boucle fermée du saut de tokens VLA sans entraînement
RecherchearXiv cs.RO 

La mémoire, pas le cache : la provenance des portes borne la fiabilité en boucle fermée du saut de tokens VLA sans entraînement

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une étude arXiv (2608.00391) documente une faille dans le "token skipping", technique sans entraînement qui accélère les modèles vision-langage-action (VLA) en robotique en ignorant le calcul de la majorité des tokens visuels à chaque pas de commande, selon un signal de gâté. Si ce gâté provient de la précédente passe déjà accélérée, les tokens ignorés à une étape deviennent aussi les moins visibles pour le gâté suivant, et l'erreur se propage jusqu'à l'échec de la tâche. Sur LIBERO-Object, à un ratio de saut de 0,9, les deux mécanismes testés, réutilisation et suppression, s'effondrent dans ce cas : taux de réussite à 0,68 et 0,31 contre 1,00 en mode dense, un échec invisible aux détecteurs d'anomalies au niveau de l'action évalués par les auteurs.

La conclusion centrale n'est pas la technique de saut choisie, mais l'origine du gâté, propre s'il est calculé par une passe qui n'a rien sauté, ou contaminé sinon. Cette distinction, jusqu'ici négligée, remet en question la fiabilité de nombreuses méthodes d'accélération VLA publiées, dont les métriques de succès peuvent masquer une dégradation progressive sans que les détecteurs au niveau action ne l'identifient. Pour les intégrateurs et ingénieurs déployant des politiques VLA en boucle fermée sur du matériel réel, où chaque milliseconde de latence compte face aux contraintes de commande temps réel, cela signifie qu'une accélération validée en apparence peut tout de même faire dérailler une tâche en conditions réelles, sans signal d'alerte exploitable.

La solution proposée, l'"actuation-slack refresh", exploite le temps mort pendant lequel le robot exécute déjà son segment d'action courant pour lancer, hors du chemin critique, une passe dense qui fournit au pas suivant un gâté propre et une base KV fraîche. Appliquée systématiquement plutôt que déclenchée par un détecteur jugé peu fiable, elle ramène les deux mécanismes à 0,98 de réussite. Intégrée à des méthodes de cache et d'élagage de référence sur deux politiques VLA, quatre suites LIBERO et quatre tâches SIMPLER, elle corrige tous les effondrements observés, avec une latence de service réduite de 18 à 22 % par rapport au mode dense, confirmée en simulation comme sur robot physique.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

AGM : une mémoire ancrée dans la réussite pour agents en boucle fermée à politique VLA figée
1arXiv cs.RO 

AGM : une mémoire ancrée dans la réussite pour agents en boucle fermée à politique VLA figée

Un preprint arXiv (2608.29537v1) présente AGM, pour Achievement-Grounded Memory, un framework léger pour politiques vision-langage-action (VLA) figées qui exécutent des blocs d'action en boucle ouverte sans suivre la progression de la tache. AGM découpe chaque tache en sous-objectifs relies a un pointeur de progression, qui n'avance que lorsque le sous-objectif courant est vérifie par une preuve physique. Cette vérification, pilotée par une seule tête de 2,43 millions de paramètres issue de modèles de fondation figes, combine indices proprioceptifs, suivi de points et comparaison cross-vue conditionnée par le langage. Sur le benchmark RoboMME Counting (taches PickXTimes et BinFill), AGM dépasse la meilleure base mémoire concurrente sans que le résume public ne chiffre précisément l'écart, et des essais complémentaires sur un robot physique confirment des gains similaires. Le problème cible est connu du secteur : une politique VLA figée ne peut ni confirmer qu'une sous-tache a réussi ni décider s'il faut réessayer ou continuer, et une mémoire externe mal conçue risque de confondre tentative et réussite, transformant une erreur locale en erreur d'état persistante. En n'autorisant la mise a jour de la mémoire qu'après vérification physique, AGM s'attaque directement a l'écart, souvent souligne dans l'industrie, entre démonstrations contrôlées et fiabilité réelle des VLA sur des taches longues. Pour les intégrateurs, l'intérêt pratique tient au fait que la politique reste figée, sans reentrainement ni inférence d'un grand modèle au moment du test, ce qui limite cout de calcul et latence en usage industriel. Ces travaux s'inscrivent dans la montée des politiques VLA figées comme couche de base pour la manipulation et l'humanoïde, a l'image de Pi-0, GR00T N2 ou Helix, saluées pour leurs compétences mais critiquées pour leur difficulté a suivre une tache longue. Le résume public de l'article ne nomme aucun laboratoire ni entreprise porteurs et reste au stade de preprint arXiv publie fin aout 2026, sans partenaire industriel ni calendrier de déploiement annonces. Les preuves apportées se limitent a un benchmark de comptage de taches et a des essais sur un robot physique dont la plateforme n'est pas précisée, ce qui invite a la prudence avant toute généralisation.

RechercheActu
1 source
VLAQuantBench : évaluation en boucle fermée de la quantification post-entraînement pour les modèles vision-langage-action
2arXiv cs.RO 

VLAQuantBench : évaluation en boucle fermée de la quantification post-entraînement pour les modèles vision-langage-action

Des chercheurs ont publié VLAQuantBench, un protocole d'évaluation en boucle fermée de la quantification post-entraînement pour les modèles vision-langage-action, construit sur 409 runs et 94 574 épisodes de simulation, avec quatre modèles testés sur le benchmark LIBERO et X-VLA évalué en plus sur trois autres familles de benchmarks de simulation. Sous une quantification W4A4 non calibrée (poids et activations sur 4 bits), étendre le sous-ensemble de couches de la tête d'action de π0.5 de 126 à 167 couches fait bondir le taux de réussite de 7,0% à 70,5%, un gain confirmé par rejeu à observations fixes. Une calibration limitée à deux épisodes supprime les échecs sévères observés sur les sous-ensembles testés, mais la même recette de lissage et d'écrêtage dégrade le score de π0 et ne suffit pas à restaurer OpenVLA-OFT de bout en bout, qui exige de protéger une seule projection de sortie de 28 672 paramètres pour retrouver une performance quasi égale à la référence, le reste du réseau (441 couches linéaires) pouvant alors tourner en poids 3 bits sur LIBERO-Long ou en activations 8 bits sur les quatre suites testées. Ces résultats visent directement les équipes qui doivent faire tenir des VLA de plusieurs milliards de paramètres dans la mémoire limitée d'un contrôleur embarqué, un enjeu croissant pour les robots manipulateurs et humanoïdes commerciaux. Le constat principal invalide l'idée de règles de sensibilité par couche universelles et transférables d'un modèle à l'autre: une même recette de calibration peut sauver un modèle et en casser un autre, ce qui impose aux intégrateurs de valider chaque schéma de quantification modèle par modèle plutôt que de recycler des heuristiques génériques. L'étude montre aussi qu'un effondrement massif sous quantification agressive ne trahit pas forcément une fragilité intrinsèque du VLA, puisqu'un ajustement ciblé du périmètre de couches protégées, ou une simple calibration sur deux épisodes, peut faire passer la réussite de 7% à plus de 70%. La quantification post-entraînement, technique éprouvée sur les grands modèles de langage, est de plus en plus reprise telle quelle pour les VLA sans validation poussée sur des tâches de manipulation en boucle fermée, un vide que ce travail comble en testant côte à côte π0, π0.5, OpenVLA-OFT et X-VLA. Le code, les configurations et les enregistrements d'épisodes sont publiés en accès libre sur GitHub, ce qui permet à d'autres équipes de reproduire ou d'étendre les assignations de précision identifiées. L'article, référencé arXiv:2609.25376, n'annonce ni nouveau modèle ni déploiement commercial, mais livre un outil méthodologique aux équipes de recherche et d'ingénierie qui arbitrent entre empreinte mémoire et fiabilité avant de faire tourner un VLA sur du matériel embarqué.

RecherchePaper
1 source
Amélioration des attaques visuelles de redirection de tâche contre les modèles vision-langage-action (VLA) par optimisation en boucle fermée
3arXiv cs.RO 

Amélioration des attaques visuelles de redirection de tâche contre les modèles vision-langage-action (VLA) par optimisation en boucle fermée

Des chercheurs proposent TRACO, un cadre d'optimisation en boucle fermée qui renforce les attaques visuelles ciblées contre les modèles vision-langage-action (VLA), ces modèles qui traduisent une consigne en langage et des images de caméra en actions de manipulation robotique. L'objectif de l'attaquant est la « redirection de tâche » : une perturbation visuelle détourne le robot vers une tâche choisie par l'attaquant plutôt que celle demandée par l'utilisateur. Les travaux antérieurs optimisaient la perturbation avec une supervision cible fixe. TRACO remplace cette approche par deux mécanismes. Le premier, Execution-Driven Supervision, reconstruit la supervision à partir des états réellement atteints sous attaque pour guider les mises à jour suivantes. Le second, Progress-Guided Selection, concentre l'optimisation là où la progression stagne, tout en maintenant la supervision sur les comportements antérieurs nécessaires pour arriver à ce point. Les expériences, menées sur plusieurs modèles VLA et environnements de simulation, montrent un meilleur taux de réussite de la redirection. Le résumé ne donne ni chiffres de gain ni liste des modèles testés. L'intérêt tient à ce que cela montre sur la méthode d'évaluation de la robustesse. Une perturbation modifie les premières actions, donc les états physiques atteints ensuite. Les cibles fixes calculées sur une trajectoire non attaquée deviennent alors obsolètes. Les auteurs soulignent aussi qu'une faible erreur moyenne d'alignement n'assure pas une progression soutenue : le robot peut échouer à une étape critique, et des mises à jour ultérieures peuvent défaire ce qui fonctionnait. Pour les intégrateurs et les responsables sécurité qui envisagent des VLA en environnement industriel, cela suggère que les évaluations adverses statiques sous-estiment probablement le risque réel. Un attaquant qui optimise en tenant compte de la dynamique d'exécution est plus dangereux. Reste une limite : tout est évalué en simulation, sans validation sur matériel physique, et la perturbation suppose un accès à la scène visuelle ou aux entrées de la caméra, ce qui reste à qualifier selon l'architecture de déploiement. Ce travail s'inscrit dans une série d'études sur la vulnérabilité des VLA, apparus avec la généralisation des politiques de manipulation guidées par le langage. Les attaques visuelles précédentes sur ces modèles reposaient sur la supervision fixe que TRACO met en cause, et le cadre est conçu pour améliorer ces méthodes existantes plutôt que les remplacer. Il s'agit d'une prépublication arXiv, non évaluée par des pairs, et aucun code ni calendrier de défense n'est mentionné dans le résumé. La suite logique est le développement de défenses elles aussi conscientes de la boucle fermée, par exemple une détection de dérive de trajectoire ou un entraînement adverse intégrant la dynamique d'exécution, et des tests sur robots réels avant d'en tirer des conclusions opérationnelles.

RecherchePaper
1 source
Accélération sans entraînement des modèles VLA par mise en cache et raffinement d'actions
4arXiv cs.RO 

Accélération sans entraînement des modèles VLA par mise en cache et raffinement d'actions

Une équipe de recherche propose ActionCache, une méthode d'accélération sans réentraînement pour les modèles Vision-Language-Action (VLA) reposant sur le flow matching, publiée le 8 juillet 2026 sur arXiv (2607.06370). Ces modèles génèrent des séquences d'actions robotiques précises via un processus de débruitage itératif, mais cette étape constitue un goulot d'étranglement computationnel majeur pour un déploiement en temps réel. ActionCache fonctionne comme un cache externe "plug-and-play" qui réutilise des actions intermédiaires déjà calculées lors d'épisodes passés, en les indexant avec des clés multimodales compactes, pour amorcer la génération à proximité de l'action cible plutôt que de repartir de zéro. Les tests, menés en simulation et en conditions réelles, montrent que la méthode conserve des taux de réussite élevés tout en réduisant fortement la latence: jusqu'à 11,75 fois plus rapide sur le modèle $\pi{0.5}$ et 34,43 fois sur GR00T-N1.6. Pour l'industrie robotique, ce résultat s'attaque directement à l'un des freins les plus concrets à l'adoption des VLA en production: la latence d'inférence, qui limite aujourd'hui leur usage aux démonstrations plutôt qu'aux lignes de production ou à la manipulation en temps réel. Le fait que la technique soit sans réentraînement et compatible avec des architectures existantes (elle a été validée sur deux familles de modèles distinctes, $\pi{0.5}$ et GR00T-N1.6) la rend potentiellement intégrable rapidement par les équipes qui déploient déjà ces modèles, sans coût de calcul supplémentaire lié à un nouvel entraînement. C'est un signal utile pour les intégrateurs et décideurs B2B suivant de près l'écart entre les capacités démontrées en laboratoire et la viabilité opérationnelle des VLA. Ce travail s'inscrit dans la montée en puissance des modèles VLA basés sur le flow matching, une famille popularisée par $\pi0$ et ses variantes chez Physical Intelligence, et concurrencée par GR00T de NVIDIA sur le terrain des modèles fondation pour la robotique généraliste. La comparaison directe entre $\pi{0.5}$ et GR00T-N1.6 positionne implicitement ActionCache comme une brique d'optimisation transversale plutôt que liée à un acteur unique. Publié en preprint, l'article ne précise pas encore de calendrier d'intégration industrielle ni de partenariat annoncé, mais ouvre la voie à des tests sur d'autres architectures VLA à mesure que ces modèles se rapprochent du déploiement en usine ou en entrepôt.

RechercheActu
1 source