RecherchearXiv cs.RO 15 octobre 2026

Ne courez pas avec des ciseaux : l'élagage dégrade les modèles VLA, mais ils peuvent être récupérés

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs montrent que l'élagage (pruning), technique de compression pourtant bien établie pour les LLM et les modèles vision-langage, dégrade fortement les modèles Vision-Language-Action (VLA), ces architectures qui traduisent images et instructions en commandes pour robots. Selon l'étude (arXiv 2510.08464, version 2), l'élagage entraîne une chute marquée du taux de réussite des tâches et une hausse des violations de sécurité. Les auteurs proposent GLUESTICK, une méthode de récupération appliquée après l'élagage, sans réentraînement et compatible avec n'importe quel algorithme d'élagage. Elle calcule une seule fois un terme correctif en interpolant, dans l'espace des poids, entre le modèle dense et le modèle élagué. À l'inférence, chaque couche élaguée applique ce terme pour compenser la perte, avec un surcoût minimal. Sur plusieurs architectures et domaines, la méthode récupère jusqu'à 100 % du taux de réussite et ramène la sécurité près des niveaux du modèle dense. Elle économise jusqu'à 5 Go de mémoire et accélère l'inférence jusqu'à 1,75 fois. Le code et des compléments sont annoncés sur le site gluestick-vla.github.io.

L'enjeu est très concret pour la robotique de terrain. Les VLA sont aujourd'hui bridés par les contraintes SWaP-C (taille, poids, consommation, coût) des calculateurs embarqués, qui limitent leur déploiement hors du laboratoire. Pour un intégrateur, la quantification, la distillation et l'élagage devraient être des leviers standard pour faire tenir un modèle sur un module embarqué. Or l'étude indique que l'élagage, transposé tel quel depuis les LLM, n'est pas fiable sur des modèles pilotant des actionneurs, et que la dégradation ne se limite pas à la précision : elle touche la sécurité, critère décisif pour tout déploiement industriel. L'analyse spectrale menée par les auteurs attribue cette fragilité à des propriétés structurelles des poids des VLA. Cela rappelle que les recettes de compression des modèles de langage ne se transfèrent pas automatiquement à la commande robotique. Les chiffres de récupération « jusqu'à 100 % » désignent un meilleur cas : il faudra examiner les résultats par modèle, par taux de sparsité et par tâche, ainsi que la validation en conditions réelles, au-delà des benchmarks.

Le contexte est celui d'une course à l'embarqué des VLA, portée par des modèles généralistes de plus en plus volumineux, dont la taille s'accorde mal avec les budgets énergétiques et thermiques des robots mobiles et humanoïdes. La compression est l'une des voies pour combler cet écart, aux côtés de la quantification et de la distillation, déjà mieux explorées. GLUESTICK s'inscrit dans cette logique en se présentant comme un correctif léger, sans entraînement supplémentaire, ce qui facilite son adoption par des équipes qui ne disposent pas des données ni du calcul nécessaires pour réentraîner. Il s'agit à ce stade d'un travail de recherche, pas d'un produit livré. La suite logique serait une validation sur matériel embarqué réel, la combinaison avec la quantification, et une évaluation de la robustesse hors distribution, que les équipes développant des VLA pour la manipulation et la locomotion auront intérêt à suivre.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

VLA-ACL : élagage de jetons visuels cohérent avec les actions pour des modèles vision-langage-action (VLA) efficaces

Des chercheurs publient sur arXiv VLA-ACL (Action Consistency Learning), une méthode d'élagage de tokens visuels pour les modèles Vision-Language-Action (VLA), dont le code est disponible sur GitHub. Le système apprend une politique d'élagage légère tout en laissant le modèle VLA de base entièrement gelé. L'entraînement vise à ce que les actions produites à partir d'un contexte visuel élagué restent cohérentes avec celles d'un modèle enseignant qui voit le contexte complet. Les actions de référence (ground truth) ne servent que de supervision auxiliaire. Les tests portent sur le benchmark de simulation LIBERO et sur des tâches de manipulation en conditions réelles. La méthode élimine jusqu'à 87,5 % des tokens visuels tout en gardant des performances jugées compétitives. Elle réduit le calcul jusqu'à 75 % et accélère l'inférence d'un facteur 1,5. Ces chiffres comptent pour le déploiement. Un VLA doit traiter de longues séquences de tokens à chaque pas de contrôle, et les patchs visuels dominent cette séquence. Cette charge limite le temps réel sur le matériel embarqué. Le gain d'inférence de 1,5x reste nettement inférieur à la réduction de calcul de 75 %. Cet écart suggère que les coûts hors visuel, comme le décodage des actions, plafonnent l'accélération réelle. Les résultats viennent de l'article seul, sans reproduction indépendante. La notion de « performance compétitive » n'est pas chiffrée dans le résumé, et on ignore sur quels modèles de base et quels robots les tests réels ont été faits. La méthode gèle le modèle de base, donc un intégrateur peut l'ajouter à un VLA existant sans le réentraîner. Elle illustre aussi un changement d'approche : choisir les tokens selon leur effet sur la commande finale plutôt que selon des scores d'attention. Les travaux antérieurs d'élagage pour VLA se répartissent en deux familles. La première regroupe des heuristiques sans entraînement, fondées sur les scores d'attention ou des seuils de mouvement, jugées indirectes par les auteurs. La seconde exige un réglage fin coûteux du modèle de base. VLA-ACL se place entre les deux : une supervision au niveau de l'action, sans toucher aux poids du VLA. Les auteurs affirment un meilleur compromis performance-efficacité que les méthodes d'élagage existantes pour VLA gelés. La suite dépendra de la généralisation à d'autres architectures (Pi-0, GR00T, Helix et leurs équivalents) et de tests sur plus de tâches réelles. Le code étant public, la communauté pourra vérifier ces résultats rapidement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Position : les modèles vision-langage-action ne peuvent pas être vérifiés pour le raisonnement physique

Position: Vision-Language-Action Models Cannot Be Verified to Perform Physical Reasoning Un article de position publié sur arXiv (2606.30686) remet en cause l'interprétation dominante des progrès des systèmes Vision-Language-Action (VLA), ces modèles de robotique construits sur des modèles vision-langage (VLM) pré-entraînés comme GR00T N2, Pi-0 ou Helix. Les auteurs décomposent une politique VLA en deux briques distinctes : le mapping sémantique, hérité de l'entraînement internet-scale, et la décision d'action physique, propre à l'exécution motrice. Leur démonstration centrale est que le taux de réussite de tâche, la métrique quasi universelle des benchmarks de manipulation robotique, ne permet pas de distinguer laquelle de ces deux briques est responsable d'une amélioration de score. Autrement dit, un gain de performance mesuré peut aussi bien refléter une meilleure généralisation sémantique, un simple recouvrement distributionnel avec les données d'entraînement, qu'une réelle généralisation physique, sans qu'aucun protocole actuel ne permette de trancher. Cette limite touche directement l'argument commercial central de la vague VLA actuelle: la promesse que des représentations apprises sur des corpus internet transfèrent vers la généralisation en environnement physique réel. Pour les intégrateurs et décideurs B2B qui évaluent des solutions humanoïdes ou des bras manipulateurs sur la base de benchmarks affichant des taux de réussite en hausse, ce papier suggère une prudence méthodologique: un score supérieur ne garantit pas une robustesse physique supérieure, et peut masquer un simple effet de mémorisation de distribution. Le concept de "narrative drift" que les auteurs pointent, où chaque nouveau système hérite et renforce l'interprétation optimiste du précédent sans isoler le mécanisme causal réel, résonne avec les critiques déjà formulées sur l'écart entre démonstrations vidéo sélectionnées et déploiements réels en usine. Les auteurs ne rejettent pas l'utilité des VLM en robotique, mais proposent une piste de recherche: des protocoles d'évaluation introduisant une variation contrôlée pour mesurer séparément la généralisation sémantique et la généralisation physique, sans nécessiter d'accès aux poids internes des modèles. Cette approche s'inscrit dans un débat plus large sur la fiabilité des benchmarks robotiques, alors que des laboratoires et startups, de Figure à Physical Intelligence, multiplient les annonces de performance sur des tâches de manipulation dont la reproductibilité en conditions réelles reste rarement vérifiée indépendamment.

RecherchePaper

1 source

3arXiv cs.RO

RoboSPA : les modèles VLA peuvent-ils dépasser les scènes simples et les tâches à court terme ?

Des chercheurs ont publié RoboSPA (Robot Spatial-Procedural Assessment), un jeu de données et un benchmark à grande échelle destinés à diagnostiquer les capacités de raisonnement des modèles Vision-Language-Action (VLA) en manipulation robotique, décrits dans un article arXiv (2609.05324) mis en ligne début septembre 2026. Le benchmark couvre deux axes, le raisonnement spatial fin et la planification procédurale à long horizon, répartis en 10 catégories et 56 tâches de base. Chaque tâche est déclinée en cinq niveaux de difficulté croissante, ce qui génère 280 variantes testant l'ambiguïté spatiale et la complexité procédurale. Les auteurs ont collecté 527 000 trajectoires sur plusieurs types de robots et des scènes variées, et ont conçu des métriques de diagnostic allant au-delà du simple taux de réussite binaire pour isoler précisément où un modèle échoue. Le code et les données sont disponibles sur GitHub (fanzhenxuan/RoboSPA). Les expériences menées sur des modèles VLA représentatifs montrent que les systèmes actuels peinent encore face à des relations spatiales complexes, à une exécution bas niveau précise et à des tâches de planification gourmandes en mémoire. Pour les intégrateurs et décideurs qui évaluent des piles VLA comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, ce résultat est un signal utile: les benchmarks existants, basés sur des scènes simples et des tâches à court horizon, mesurent surtout la réussite en conditions favorables et masquent l'écart entre démonstration et robustesse réelle. RoboSPA formalise ce que le secteur soupçonnait déjà empiriquement, à savoir que la généralisation spatiale et procédurale reste un problème non résolu à l'échelle, même pour les modèles les plus médiatisés du marché. Ce travail s'inscrit dans une vague de benchmarks académiques cherchant à combler les limites des évaluations actuelles de la manipulation robotique, généralement cantonnées à des configurations prédéfinies offrant peu de visibilité sur le raisonnement du modèle à mesure que la complexité augmente. En positionnant RoboSPA comme un outil diagnostique plutôt qu'un simple classement de performance, les auteurs visent à orienter le développement de futurs agents incarnés vers davantage de fiabilité et de généralisation, plutôt que vers l'optimisation de scores sur des tâches faciles. L'article ne mentionne aucun partenariat industriel ni calendrier de déploiement: il s'agit d'une contribution de recherche ouverte, dont l'impact dépendra de son adoption par les équipes qui entraînent et évaluent les modèles VLA d'acteurs comme Physical Intelligence, NVIDIA, Figure ou Google DeepMind.

RecherchePaper

1 source

4arXiv cs.RO

Élagage complémentaire des jetons futurs pour les modèles d'action du monde

Des chercheurs proposent CF-Prune, un cadre d'élagage sans réentraînement conçu pour les « world action models » (WAMs) préentraînés. Ces modèles prédisent conjointement les états visuels futurs et les actions du robot, mais le traitement de tokens denses issus des images futures alourdit fortement la latence d'inférence. CF-Prune supprime une partie de ces tokens en combinant l'attention portée à l'instruction et celle portée aux actions, afin d'identifier les tokens utiles à la tâche dès la première passe de débruitage, alors même que les représentations des images futures et des actions restent très bruitées. Un mécanisme d'identification de phases fondé sur l'entropie rétablit un calcul dense pendant les phases de précision, pour limiter la dégradation due à l'élagage. Les tests couvrent les benchmarks de simulation RoboLab et RoboCasa ainsi que des tâches de manipulation réelles. Avec 35 % de tokens élagués, l'accélération moyenne atteint 1,19 à 1,27x, avec des taux de réussite en hausse. À 50 %, elle monte à 1,29-1,33x sur les deux benchmarks simulés, avec un taux de réussite global à moins d'un point de pourcentage de la référence. L'enjeu est la latence de boucle de contrôle, un frein concret au déploiement des modèles de fondation robotiques. Les WAMs offrent une meilleure compréhension de la dynamique physique que les VLA classiques (modèles vision-langage-action), mais prédire des vidéos futures coûte cher en calcul embarqué. L'idée centrale, selon laquelle les prédictions visuelles servent l'action et n'ont pas besoin de la fidélité requise pour la synthèse vidéo, montre qu'une part importante du calcul est redondante. Pour un intégrateur ou un responsable industriel, cela signifie qu'on peut gagner en fréquence de contrôle sans réentraîner ni changer de matériel, ce qui réduit le coût d'adaptation. Les gains restent toutefois modestes : environ un tiers de temps en moins au mieux, ce qui ne change pas l'ordre de grandeur de la latence. Le résumé ne précise ni la taille des modèles testés, ni les plateformes matérielles, ni l'ampleur des essais réels. Ces chiffres sont des moyennes en simulation et ne garantissent pas la robustesse en production. Ce travail s'inscrit dans la vague de recherches sur les modèles combinant génération vidéo et politique d'action, qui cherchent à hériter des connaissances physiques des modèles vidéo préentraînés. Il prolonge aussi les méthodes d'élagage de tokens issues des transformeurs de vision et des VLA, ici adaptées à une structure où les tokens futurs et les actions sont débruités ensemble, comme dans les modèles à diffusion. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, sans produit commercial ni déploiement annoncé. La suite logique sera de vérifier si l'approche tient sur des WAMs plus grands, sur du calcul embarqué et sur des tâches longues, et si elle se combine avec d'autres techniques d'accélération comme la distillation ou la quantification.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source