RecherchearXiv cs.RO 15 septembre 2026

Quand un déploiement VLA plus rapide modifie le comportement en boucle fermée : analyse succès-latence de SmolVLA en PyTorch et ONNX

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 15 septembre 2026 sur arXiv (2609.14146) une étude comparant les performances du modèle vision-langage-action (VLA) SmolVLA (HuggingFaceVLA/smolvla_libero) selon son mode de déploiement, sur une carte graphique modeste RTX 2060 de 6 Go, avec les suites de benchmarks LIBERO Spatial et Object (MuJoCo 3.3.2, LeRobot 0.6.1, seed 42). En configuration PyTorch avec précision mixte (AMP), le modèle atteint 70,0% de réussite en Spatial et 88,0% en Object, pour une latence p99 de 1181 ms. En convertissant le modèle vers ONNX Runtime avec exécution CUDA, les versions dites FP16 et INT8 réduisent la latence p99 à 601 ms et 532 ms respectivement, mais le taux de réussite Spatial chute à 41,0% et 40,0%, tandis qu'Object reste stable à 89,0%. Un audit des graphes de calcul révèle que ces artefacts ONNX sont en réalité des graphes FP32 identiques bit à bit: la variante "INT8" n'est donc pas une quantification réelle au niveau des opérateurs. Un test complémentaire faisant varier la largeur du contexte textuel (16, 24, 32 tokens) montre une réussite Spatial de 41,0%, 75,0% puis 71,0%, la largeur 24 tokens égalant quasiment la performance PyTorch de référence pour environ deux fois moins de latence, sans différence statistiquement significative (p=0,53). Le code est disponible sur GitHub (rafiqul713/smolvla-libero-onnx).

Ce travail illustre un piège fréquent dans le déploiement des modèles VLA en robotique: accélérer l'inférence via une conversion vers un format supposé plus léger peut faire chuter silencieusement le succès en boucle fermée, même quand les chiffres de latence affichés semblent excellents. L'étude démontre aussi qu'une étiquette de "quantification INT8" peut être trompeuse si elle n'est pas vérifiée au niveau du graphe de calcul, un signal d'alerte pour les intégrateurs qui évaluent des pipelines d'inférence optimisés pour l'edge sans audit technique. Elle plaide pour un reporting conjoint de la latence, de l'inspection des artefacts et du taux de réussite réel des tâches, plutôt que la seule métrique de vitesse mise en avant commercialement.

SmolVLA est le modèle VLA compact de Hugging Face, et LIBERO constitue un benchmark de référence pour évaluer la généralisation spatiale et objet des politiques de manipulation robotique. Le choix d'un GPU d'entrée de gamme, plutôt qu'un A100 de laboratoire, reflète les contraintes matérielles réelles du déploiement embarqué, un enjeu partagé par les concurrents du secteur VLA comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, tous confrontés à l'arbitrage entre vitesse d'inférence et fiabilité comportementale sur du matériel contraint.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique

À lire aussi

1arXiv cs.RO

La mémoire, pas le cache : la provenance des portes borne la fiabilité en boucle fermée du saut de tokens VLA sans entraînement

Une étude arXiv (2608.00391) documente une faille dans le "token skipping", technique sans entraînement qui accélère les modèles vision-langage-action (VLA) en robotique en ignorant le calcul de la majorité des tokens visuels à chaque pas de commande, selon un signal de gâté. Si ce gâté provient de la précédente passe déjà accélérée, les tokens ignorés à une étape deviennent aussi les moins visibles pour le gâté suivant, et l'erreur se propage jusqu'à l'échec de la tâche. Sur LIBERO-Object, à un ratio de saut de 0,9, les deux mécanismes testés, réutilisation et suppression, s'effondrent dans ce cas : taux de réussite à 0,68 et 0,31 contre 1,00 en mode dense, un échec invisible aux détecteurs d'anomalies au niveau de l'action évalués par les auteurs. La conclusion centrale n'est pas la technique de saut choisie, mais l'origine du gâté, propre s'il est calculé par une passe qui n'a rien sauté, ou contaminé sinon. Cette distinction, jusqu'ici négligée, remet en question la fiabilité de nombreuses méthodes d'accélération VLA publiées, dont les métriques de succès peuvent masquer une dégradation progressive sans que les détecteurs au niveau action ne l'identifient. Pour les intégrateurs et ingénieurs déployant des politiques VLA en boucle fermée sur du matériel réel, où chaque milliseconde de latence compte face aux contraintes de commande temps réel, cela signifie qu'une accélération validée en apparence peut tout de même faire dérailler une tâche en conditions réelles, sans signal d'alerte exploitable. La solution proposée, l'"actuation-slack refresh", exploite le temps mort pendant lequel le robot exécute déjà son segment d'action courant pour lancer, hors du chemin critique, une passe dense qui fournit au pas suivant un gâté propre et une base KV fraîche. Appliquée systématiquement plutôt que déclenchée par un détecteur jugé peu fiable, elle ramène les deux mécanismes à 0,98 de réussite. Intégrée à des méthodes de cache et d'élagage de référence sur deux politiques VLA, quatre suites LIBERO et quatre tâches SIMPLER, elle corrige tous les effondrements observés, avec une latence de service réduite de 18 à 22 % par rapport au mode dense, confirmée en simulation comme sur robot physique.

RecherchePaper

1 source

2arXiv cs.RO

Les modèles VLA aériens peuvent-ils coopérer ? Évaluation de la coordination air-sol en boucle fermée avec CARLA-Air

Des chercheurs ont publié sur arXiv (arXiv:2605.31066) une évaluation systématique des modèles vision-langage-action (VLA) aériens dans des scénarios de coopération air-sol. L'étude introduit CARLA-Air, un environnement de simulation mono-processus qui fusionne CARLA et AirSim au sein d'un même runtime Unreal Engine. Cette architecture unifiée permet de partager un état physique commun, un tick de physique synchronisé et un pipeline de capteurs cohérent entre un drone (UAV) et un robot terrestre (UGV), garantissant ainsi une mesure précise de la latence de coordination effective et de l'alignement temporel entre les agents. Deux tâches de diagnostic complémentaires ont été retenues : l'atterrissage sur plateforme mobile et l'escorte avec récupération d'occlusion, deux scénarios qui exigent une action jointe continue en boucle fermée. Les résultats révèlent un écart notable entre compétence individuelle et comportement coopératif stable. Les modèles VLA aériens testés parviennent souvent à suivre ou à pister un partenaire sol, mais échouent à convertir cette aptitude mono-agent en coordination fiable. L'ajout de prompts d'état explicites (state prompting) n'apporte qu'un bénéfice limité, et l'interaction bidirectionnelle naïve ne stabilise pas les performances, elle amplifie même les erreurs pour la majorité des baselines évaluées. Ce constat soulève une question structurelle pour les intégrateurs et décideurs industriels qui envisagent des flottes hétérogènes : les VLA actuels, conçus pour des missions autonomes mono-agent, ne sont pas directement transposables à la coopération multi-robot sans ingénierie supplémentaire sur l'interface de communication et la gestion d'objectifs partagés. L'étude s'inscrit dans un momentum fort autour des VLA embarqués (modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA), majoritairement optimisés pour des robots manipulateurs ou des plateformes terrestres. La robotique aérienne coopérative reste un angle peu couvert. Les auteurs identifient trois prérequis manquants pour le zero-shot air-sol : un ancrage explicite de l'état du partenaire, une coordination d'action à faible latence, et un alignement sur un objectif d'équipe partagé. Le code de CARLA-Air est disponible publiquement sur GitHub, ce qui ouvre la voie à des benchmarks reproductibles dans un domaine encore dépourvu de standards d'évaluation communs.

RechercheActu

1 source

3arXiv cs.RO

PiL-World : un modèle du monde par segments pour l'évaluation VLA en boucle fermée

Des chercheurs ont publié PiL-World (arXiv:2606.05773), un modèle de monde (world model) en boucle fermée conçu pour évaluer les politiques VLA (Vision-Language-Action) sans exécution physique continue. Le système fonctionne par blocs d'actions (action chunks) : à chaque itération, la politique VLA génère une séquence d'actions, PiL-World simule les observations multi-vues résultantes, et ces observations alimentent le cycle d'inférence suivant. Évalué sur trois tâches de manipulation bimanuelle réelles, PiL-World réduit l'écart entre le taux de succès mesuré sur robot physique et celui estimé en simulation boucle fermée de 63,2 % à 12,0 % par rapport à la baseline, soit plus de cinq fois moins d'erreur d'évaluation. Le modèle conditionne la génération vidéo sur le mouvement du robot en vue de tête et sur un historique latent encodant le contexte d'exécution de la tâche, et apprend à la fois sur des démonstrations téléopérées réussies et sur des trajectoires d'échec. L'évaluation des politiques VLA en boucle fermée est un goulot d'étranglement critique dans le développement robotique : chaque cycle de test sur hardware coûte du temps, de l'usure mécanique et une supervision humaine. Un écart de 63,2 % entre simulation et réalité rend une baseline en boucle ouverte essentiellement inexploitable pour prédire les performances terrain. Ramené à 12,0 %, ce delta commence à être utilisable pour screener des politiques avant validation physique. Le fait que PiL-World apprenne aussi sur des rollouts d'échec est notable : cela corrige un biais classique des world models entraînés uniquement sur démonstrations positives, et rapproche la distribution simulée de celle des exécutions politiques réelles, qui incluent naturellement des tentatives ratées. La demande pour des boucles d'évaluation sans robot s'intensifie depuis que les VLA, notamment Pi-0 de Physical Intelligence, OpenVLA, ou GR00T N2 de NVIDIA, sont devenues les architectures de référence pour la manipulation généraliste. Les simulateurs physiques classiques comme Isaac Lab ou MuJoCo souffrent du sim-to-real gap pour les tâches de contact fin, d'où l'intérêt croissant pour les world models appris directement sur données réelles. PiL-World rejoint une tendance émergente aux côtés de travaux comme UniSim ou IRASim, qui visent à remplacer partiellement l'exécution physique par des modèles génératifs vidéo conditionnés sur les actions. Les résultats sur trois tâches bimanuelles restent limités en diversité de scènes et de morphologies robotiques, et aucun déploiement industriel ni partenariat n'est annoncé à ce stade, ce qui positionne PiL-World comme une contribution de recherche prometteuse plutôt qu'un outil prêt pour l'intégration.

RechercheOpinion

1 source

$SC$^{2}$-WM : un modèle du monde autocorrecteur à boucle de rétroaction fermée pour la navigation vision-langage en environnement continu$

4arXiv cs.RO

SC$^{2}$-WM : un modèle du monde autocorrecteur à boucle de rétroaction fermée pour la navigation vision-langage en environnement continu

Des chercheurs ont publié le 11 août 2026 sur arXiv (référence 2608.07548v1) un article présentant SC²-WM, un modèle du monde auto-correcteur destiné à la navigation par vision et langage en environnement continu (VLN-CE), une tâche où un agent robotique doit suivre des instructions en langage naturel pour se déplacer dans un espace qu'il ne perçoit que partiellement. Contrairement à la plupart des méthodes existantes, qui fonctionnent en boucle ouverte sans mécanisme pour détecter une dérive de leur représentation interne pendant l'exécution, SC²-WM introduit une boucle de rétroaction fermée : le modèle du monde anticipe les conséquences d'une action avant de l'exécuter et affine le plan de navigation au niveau de l'état interne. Pour les cas les plus difficiles, les auteurs ajoutent un mécanisme d'adaptation conditionnelle qui met à jour le modèle du monde lui-même au moment du test, lorsque la rétroaction signale que ses capacités sont insuffisantes pour la situation rencontrée. Les expériences, menées sur les benchmarks standards de VLN-CE, montrent une robustesse et une généralisation améliorées par rapport aux approches en boucle ouverte. Le code est mis à disposition sur GitHub (sunrise-ikun/SC2_WM). Aucun chiffre précis de gain de performance ni comparaison avec des systèmes commerciaux n'est communiqué dans le résumé. Cette contribution touche un point sensible de la navigation robotique par instructions : le fossé entre les démonstrations en simulation et la fiabilité en conditions réelles. Un agent en boucle ouverte accumule des erreurs de perception ou d'interprétation du langage sans pouvoir les corriger, ce qui dégrade rapidement ses performances dès que l'environnement s'écarte des données d'entraînement. En donnant au modèle du monde la capacité de vérifier ses propres prédictions avant d'agir, puis de se réadapter localement quand ses connaissances ne suffisent plus, SC²-WM s'inscrit dans une tendance de fond de la recherche en IA incarnée : rendre les architectures de type modèle du monde ou VLA plus robustes à l'inférence, sans réentraînement complet. Pour les intégrateurs travaillant sur des AMR ou des plateformes mobiles guidées par langage naturel, ce type de mécanisme de correction interne est un prérequis pour sortir des scénarios de laboratoire scriptés et s'approcher d'un déploiement fiable en environnement non structuré. SC²-WM s'inscrit dans la lignée des travaux récents combinant modèles du monde et navigation instruite par le langage, un domaine où la littérature s'est jusqu'ici surtout concentrée sur l'amélioration de la perception et de la planification en boucle ouverte, laissant de côté la correction d'erreurs pendant l'exécution. L'article ne précise ni affiliation institutionnelle ni partenariat industriel ; il s'agit d'une publication de recherche accompagnée d'un code open source, sans annonce de produit ni de déploiement commercial. Les prochaines étapes attendues pour ce type de travaux sont généralement une validation sur des plateformes robotiques physiques et une comparaison directe avec d'autres architectures de navigation par le langage, notamment les approches fondées sur des modèles VLA génériques.

RecherchePaper

1 source