RecherchearXiv cs.RO 27 octobre 2026

VLA-HWBench : où passe le temps quand les modèles VLA tournent sur du matériel embarqué

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv sous le nom VLA-HWBench évalue 18 modèles VLA (vision-langage-action) open source sur deux plateformes embarquées: le NVIDIA Jetson AGX Thor et l'AMD Ryzen AI Max+ PRO 395. Elle teste plusieurs backends d'inférence, officiels et alternatifs, et découpe chaque appel en sept étapes, là où les travaux antérieurs en distinguaient au maximum trois. Le constat principal est que la stratégie de génération d'actions pèse plus que la taille du modèle. Elle domine la latence dans 14 des 19 configurations testées sur Jetson. L'écart de latence atteint un facteur 82 sur Jetson et 157 sur AMD, et le nombre de paramètres explique au plus 15 % de la variance. Les modèles qui produisent de longs blocs d'actions (action chunks) en quelques pas de flow matching tiennent la cadence du contrôle. Ceux qui décodent token par token n'y arrivent pas. La fusion de noyaux (kernel fusion) combinée à des poids en 4 bits est l'optimisation la plus efficace. Elle rend π0.5 et GR00T N1.7 de 2,6 à 2,9 fois plus rapides que PyTorch avec torch.compile, mais elle n'existe que pour ces deux modèles et seulement sur Jetson.

Pour les intégrateurs et les responsables techniques, ces résultats déplacent le choix d'un modèle. Les scores de réussite de tâche publiés dans la plupart des articles disent peu de chose sur la faisabilité d'un déploiement embarqué, et un modèle plus petit n'est pas forcément plus rapide s'il génère ses actions de façon séquentielle. L'optimisation déplace aussi le goulot d'étranglement. Sur GR00T N1.7, le prétraitement CPU passe de 12 % à 39 % de la durée d'un appel une fois le reste accéléré. Après optimisation, la bande passante mémoire ne limite sur Jetson que les étapes traitant peu de tokens, comme le débruitage. Le logiciel limite toutes les autres, des noyaux non fusionnés au prétraitement sériel sur le CPU hôte. Une partie de l'écart entre démonstration et exploitation réelle tient donc à la pile logicielle plus qu'au silicium. Les auteurs en tirent des recommandations: peu d'itérations de génération d'actions, une fusion de noyaux et des poids basse précision étendus à davantage de modèles et de plateformes, et un matériel doté d'une forte bande passante mémoire et d'un CPU hôte rapide.

Les VLA tournent de plus en plus à bord des robots, où la latence d'inférence contraint directement le contrôle en boucle fermée. Les benchmarks existants couvrent peu de stratégies de génération d'actions et comparent rarement les optimisations sur les mêmes modèles. Le Jetson AGX Thor représente l'offre embarquée de NVIDIA pour la robotique, et l'AMD Ryzen AI Max+ PRO 395 une alternative x86 à mémoire unifiée. Le fait que seuls π0.5 (Physical Intelligence) et GR00T N1.7 (NVIDIA) disposent d'une voie optimisée, et seulement sur Jetson, souligne l'avance de l'écosystème NVIDIA et le retard logiciel du reste du champ. Il s'agit d'une étude académique de mesure, sans produit ni déploiement associé. La suite logique serait de porter ces optimisations vers d'autres modèles et d'autres plateformes.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

RoboHarness : un simple harnais surpasse les modèles VLA et les modèles d'action du monde

Des chercheurs publient sur arXiv (identifiant 2610.14018, deuxième version) RoboHarness, un « harnais » robotique qui donne à un agent LLM de codage un panneau de contrôle visuo-géométrique. Grâce à lui, l'agent comprend les tâches d'manipulation embarquée et les déclenche directement, sans entraîner de modèle à produire des actions. Selon les auteurs, Qwen3.8-Flash-Next, piloté via ce harnais, dépasse les modèles VLA (vision-language-action) de l'état de l'art sur les tâches du BEHAVIOR Challenge 2025. Le résumé ne chiffre ni les scores, ni les taux de réussite, ni les temps de cycle, ni la plateforme matérielle. Le code est publié en open source. Il s'agit d'un préprint, sans validation par les pairs à ce stade. L'approche remet en cause l'orthodoxie dominante, qui consiste à collecter à grande échelle des données d'actions et de démonstrations vidéo, puis à greffer une tête d'action sur un LLM. Si le résultat se confirme, une partie de la valeur se déplacerait de l'entraînement de politiques coûteuses vers l'ingénierie de la couche d'interface entre un LLM généraliste et le robot. Cela réduirait la dépendance aux jeux de données propriétaires, ce qui intéresserait les intégrateurs qui n'ont ni flotte de téléopération ni budget de calcul comparable à ceux des grands laboratoires. Plusieurs réserves s'imposent toutefois. Le titre met aussi en avant les « world action models » mais le résumé ne détaille pas la comparaison. Les benchmarks de type BEHAVIOR reposent sur des tâches domestiques longues évaluées avant tout en simulation, et rien n'indique ici de transfert au monde réel. La latence d'un agent de codage en boucle, sa fiabilité et son coût d'inférence ne sont pas non plus documentés dans le texte disponible. Cette proposition s'inscrit dans le mouvement qui a fait émerger les VLA : Pi-0 de Physical Intelligence, GR00T de Nvidia ou Helix de Figure ont montré qu'un modèle unique pouvait enchaîner perception et action. En parallèle, les approches « agent plus outils », où le LLM planifie et appelle des primitives de perception et de contrôle, restent moins systématiquement évaluées sur des benchmarks standardisés. Le choix d'un modèle « Flash », plutôt qu'un modèle de pointe, suggère un argument de coût, à vérifier. La suite dépendra de la reproduction indépendante des résultats grâce au code ouvert, d'éventuelles évaluations sur robots physiques et de la capacité du harnais à passer d'un robot à l'autre. Aucun acteur français ou européen n'est cité dans ce travail.

RecherchePaper

1 source

2arXiv cs.RO

Noctif3R : SLAM monoculaire en temps réel à propagation avant pour scènes à faible luminosité sur matériel embarqué

Un article publié sur arXiv (2609.21114v1) présente Noctif3R, un système de SLAM monoculaire temps réel pour robots devant se localiser avec une seule caméra RGB en très basse lumière, sur un calculateur embarqué. Sur les neuf niveaux d'obscurité les plus sévères testés, les systèmes existants échouent massivement : DROID-SLAM renvoie une trajectoire sans aucune information exploitable sur les neuf, VGGT-SLAM et CUT3R sur huit, pi^3 sur sept, DPV-SLAM sur quatre. Noctif3R, qui combine un front-end feed-forward de cartes de points et une porte de mise en correspondance explicite, ne renvoie que des trajectoires exploitables, avec une erreur de 24 à 47% du plafond « sans information » contre 56 à 73% pour la meilleure référence. Sur une vidéo réelle d'un robot Spot de Boston Dynamics où 86,5% des 1178 images sont entièrement noires, Noctif3R s'arrête après la partie éclairée alors que DROID-SLAM et DPV-SLAM produisent une pose pour chaque image ; porté sur Jetson AGX Orin, le pipeline gagne jusqu'à 1,42x de débit pour 0,68x d'erreur, avec 47% de mémoire GPU et 29% d'énergie par pose en moins. L'apport principal n'est pas la seule précision en basse lumière, mais la disparition du faux positif silencieux : la plupart des pipelines temps réel continuent de renvoyer une pose même sans information exploitable, un risque pour un robot autonome puisque rien ne signale l'échec. En refusant de tracker plutôt que d'halluciner une trajectoire, Noctif3R répond à un besoin des intégrateurs opérant en environnements sombres (inspection industrielle, entrepôts sans éclairage), où détecter l'échec compte autant que la précision. Le travail confirme aussi que l'écart entre reconstruction basse lumière hors ligne, précise mais trop lente, et SLAM temps réel embarqué reste largement ouvert, et qu'il nécessite des architectures dédiées plutôt qu'un simple durcissement des pipelines existants. Le système s'inscrit dans la lignée du SLAM visuel embarqué, un domaine dont les références actuelles, dont DROID-SLAM et DPV-SLAM, ont surtout été conçues pour la lumière normale ; Noctif3R se positionne contre elles sur les mêmes échelles de noirceur. L'évaluation s'appuie sur trois jeux de données : une échelle de bruit calibrée et reproductible, des expositions réelles ré-annotées, et une nouvelle échelle vidéo en chambre noire filmée avec un robot Spot de Boston Dynamics. Il s'agit à ce stade d'un travail de recherche publié sur arXiv, sans produit ni déploiement commercial annoncé.

RecherchePaper

1 source

3arXiv cs.RO

Agir en comprenant : découplage asynchrone sémantique-action pour les modèles VLA en temps réel

Des chercheurs proposent, dans un preprint déposé en juin 2026 sur arXiv (2606.15285), un cadre asynchrone baptisé "semantic-action decoupling" qui découple l'inférence sémantique de la génération d'actions au sein des modèles Vision-Language-Action (VLA). L'architecture divise le VLA en deux modules distincts: un module de compréhension à basse fréquence qui met à jour de manière asynchrone des conditions sémantiques réutilisables, et un module d'action à haute fréquence qui produit en continu des commandes de contrôle sans relancer l'intégralité du modèle. Testée sur le benchmark LIBERO avec les modèles π₀.₅ (Physical Intelligence) et UniVLA, ainsi que sur un robot réel avec UniVLA, la méthode atteint un débit d'inférence côté serveur allant jusqu'à 35,6 Hz pour le seul module d'action. Pour compenser le décalage temporel entre des représentations sémantiques potentiellement périmées et l'état d'exécution courant, les auteurs introduisent deux mécanismes additionnels: le conditionnement sur l'historique des actions passées, et un entraînement explicite à la désynchronisation temporelle (time-misalignment training). Ce résultat s'attaque à l'un des verrous centraux du déploiement industriel des VLA: leur coût computationnel élevé les contraint aujourd'hui à des fréquences de contrôle trop basses pour des tâches de manipulation rapide ou réactive. Atteindre 35,6 Hz sans modifier le backbone vision-langage ni introduire un planificateur externe est non trivial, car cela signifie qu'un intégrateur peut greffer cette optimisation sur un VLA existant sans refonte architecturale. Le travail apporte une réponse partielle au "demo vs. reality gap" souvent reproché aux VLA: en maintenant un contrôle en boucle fermée à haute fréquence, le système peut absorber des perturbations que des architectures synchrones rateraient. Il reste que les métriques publiées correspondent à un throughput serveur, et non à une latence de bout en bout sur un système embarqué, ce qui nuance la portée opérationnelle immédiate. Les VLA sont devenus l'architecture dominante en robotique de manipulation depuis π₀ (Physical Intelligence, 2024) et les travaux de Google DeepMind sur RT-2, OpenVLA et leurs successeurs. UniVLA, lui, est issu de travaux récents visant à unifier les modalités de commande dans un modèle unique. La problématique de la fréquence de contrôle est traitée en parallèle par plusieurs équipes: Physical Intelligence avec π₀.₅, mais aussi des approches par distillation ou par action chunking (ACT, Diffusion Policy). Ce preprint ne présente pas encore de déploiement industriel ni de timeline commerciale, mais il ouvre une voie d'optimisation compatible avec des VLA open-source, ce qui pourrait accélérer l'adoption par des intégrateurs disposant d'une infrastructure GPU serveur sans retraîner leurs modèles de base.

RechercheOpinion

1 source

4arXiv cs.RO

VLAQuantBench : évaluation en boucle fermée de la quantification post-entraînement pour les modèles vision-langage-action

Des chercheurs ont publié VLAQuantBench, un protocole d'évaluation en boucle fermée de la quantification post-entraînement pour les modèles vision-langage-action, construit sur 409 runs et 94 574 épisodes de simulation, avec quatre modèles testés sur le benchmark LIBERO et X-VLA évalué en plus sur trois autres familles de benchmarks de simulation. Sous une quantification W4A4 non calibrée (poids et activations sur 4 bits), étendre le sous-ensemble de couches de la tête d'action de π0.5 de 126 à 167 couches fait bondir le taux de réussite de 7,0% à 70,5%, un gain confirmé par rejeu à observations fixes. Une calibration limitée à deux épisodes supprime les échecs sévères observés sur les sous-ensembles testés, mais la même recette de lissage et d'écrêtage dégrade le score de π0 et ne suffit pas à restaurer OpenVLA-OFT de bout en bout, qui exige de protéger une seule projection de sortie de 28 672 paramètres pour retrouver une performance quasi égale à la référence, le reste du réseau (441 couches linéaires) pouvant alors tourner en poids 3 bits sur LIBERO-Long ou en activations 8 bits sur les quatre suites testées. Ces résultats visent directement les équipes qui doivent faire tenir des VLA de plusieurs milliards de paramètres dans la mémoire limitée d'un contrôleur embarqué, un enjeu croissant pour les robots manipulateurs et humanoïdes commerciaux. Le constat principal invalide l'idée de règles de sensibilité par couche universelles et transférables d'un modèle à l'autre: une même recette de calibration peut sauver un modèle et en casser un autre, ce qui impose aux intégrateurs de valider chaque schéma de quantification modèle par modèle plutôt que de recycler des heuristiques génériques. L'étude montre aussi qu'un effondrement massif sous quantification agressive ne trahit pas forcément une fragilité intrinsèque du VLA, puisqu'un ajustement ciblé du périmètre de couches protégées, ou une simple calibration sur deux épisodes, peut faire passer la réussite de 7% à plus de 70%. La quantification post-entraînement, technique éprouvée sur les grands modèles de langage, est de plus en plus reprise telle quelle pour les VLA sans validation poussée sur des tâches de manipulation en boucle fermée, un vide que ce travail comble en testant côte à côte π0, π0.5, OpenVLA-OFT et X-VLA. Le code, les configurations et les enregistrements d'épisodes sont publiés en accès libre sur GitHub, ce qui permet à d'autres équipes de reproduire ou d'étendre les assignations de précision identifiées. L'article, référencé arXiv:2609.25376, n'annonce ni nouveau modèle ni déploiement commercial, mais livre un outil méthodologique aux équipes de recherche et d'ingénierie qui arbitrent entre empreinte mémoire et fiabilité avant de faire tourner un VLA sur du matériel embarqué.

RecherchePaper

1 source