RecherchearXiv cs.RO 5 novembre 2026

Où passe le temps d'inférence des VLA ? Goulots d'étranglement et interactions des optimisations selon les GPU

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude de mesure publiée sur arXiv (2611.06710) s'attaque à une question peu documentée dans le déploiement des modèles vision-langage-action (VLA): où part réellement le temps d'inférence. Les auteurs évaluent sept familles de méthodes d'optimisation, allant des CUDA graphs et de la compilation de noyaux au token pruning et à la quantification. Ces méthodes sont testées sur sept VLA de pointe, sur quatre familles de GPU, du H100 de datacenter au Jetson Thor embarqué. Ils analysent comment la latence de lancement CPU, la bande passante mémoire et l'efficacité des noyaux déterminent ensemble les gains, et comment l'application d'une méthode modifie le bénéfice d'une autre. Il en découle VLA-Triage, un ensemble de consignes pour empiler les optimisations sous contrainte de budget de latence. Il s'agit d'une publication de recherche, pas d'un produit ni d'un déploiement.

Pour les intégrateurs et les équipes robotique, l'enjeu est très concret. Les gros backbones des VLA et la génération répétée d'actions peuvent faire dépasser le temps d'inférence l'intervalle dont le robot dispose avant sa prochaine action, ce qui casse le temps réel. Or les gains d'optimisation sont d'ordinaire rapportés sur un seul type de GPU et pour quelques modèles, sans diagnostic du goulot d'étranglement réel. Cela rend leur transposition à une cible embarquée risquée. L'étude suggère qu'une optimisation efficace sur H100 peut apporter peu sur Jetson Thor, et que des techniques combinées ne s'additionnent pas forcément. Elle plaide pour tester les combinaisons dans le mode d'exécution réellement déployé, plutôt que de se fier à des chiffres isolés. Les auteurs précisent aussi quels étages du pipeline peuvent fournir les économies requises. Pour un décideur B2B, c'est un rappel que le coût de calcul à bord, et pas seulement la qualité du modèle, conditionne le passage du démonstrateur au produit.

Ce travail s'inscrit dans la montée en puissance des VLA, de la famille Pi-0 à GR00T N2 ou Helix, dont la taille croissante pousse les équipes à compresser et à accélérer l'inférence. Les techniques évaluées (quantification, élagage de tokens, graphes CUDA, compilation) existent déjà, mais étaient jusqu'ici comparées de façon éparse, sur du matériel différent selon les publications. La présence du Jetson Thor, plateforme embarquée de NVIDIA visée par les humanoïdes, montre où se situe la contrainte: la puissance de calcul disponible à bord. La suite logique sera de voir si VLA-Triage est adopté comme méthode de référence et si les fournisseurs de modèles publient des profils de latence par plateforme. L'article, première version sur arXiv, n'annonce ni pilote ni calendrier.

Impact France/UE

Les intégrateurs et équipes robotique européens peuvent s'appuyer sur ces consignes pour dimensionner le calcul embarqué de leurs VLA, sans impact réglementaire ou industriel direct sur la France/UE.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Optimisation de la conception de robots à câbles tendus intégrant l'enroulement et le raccourcissement des tendons

Une étude publiée sur arXiv (2610.09645) propose une méthode d'optimisation multi-objectif pour concevoir des bras robotiques à actionnement par tendons. Elle s'attaque à un compromis classique : augmenter le couple articulaire tend à épaissir le bras. Les auteurs formulent le problème pour maximiser le couple et minimiser l'épaisseur en même temps, puis le résolvent avec l'algorithme génétique NSGA-II. L'algorithme optimise trois paramètres : le routage des tendons, la configuration des poulies et les points d'attache. Il tient compte de deux effets géométriques, l'enroulement du tendon (wrapping) autour des surfaces articulaires et le raccourci (shortcut), où le tendon prend un trajet plus direct entre deux points. Le résumé ne donne ni valeurs de couple, ni épaisseurs, ni nombre de degrés de liberté. Il ne mentionne pas non plus de prototype physique. Cette approche aborde un goulot d'étranglement connu des mains et bras humanoïdes. Les tendons permettent de déporter les moteurs vers la base et d'alléger les segments distaux, mais le bras s'épaissit dès qu'on agrandit le bras de levier (moment arm) pour gagner en couple. Les auteurs indiquent que des « raccourcis » bien placés élargissent efficacement ce bras de levier sans grossir la structure. Ils obtiennent des fronts de Pareto, c'est-à-dire des familles de conceptions où l'on ne peut plus améliorer le couple sans augmenter l'épaisseur. Ils affirment aussi que certaines configurations optimales contredisent l'intuition classique des concepteurs. Pour les ingénieurs qui développent des bras légers ou des mains dextres, cela ouvre la voie à un dimensionnement automatisé plutôt qu'empirique. Il faut toutefois rester prudent : sans validation matérielle annoncée dans le résumé, les gains restent théoriques, et les effets réels de friction, d'élasticité des câbles et d'usure ne sont pas précisés. Le contexte est celui d'un regain d'intérêt pour les architectures à câbles et tendons, porté par la course aux humanoïdes et aux mains dextres, où compacité et rapport couple/masse déterminent la faisabilité. Les approches concurrentes reposent plutôt sur des actionneurs directs dans l'articulation, plus encombrants, ou sur des transmissions à câbles dimensionnées à la main. Il s'agit d'un travail académique, sans calendrier de commercialisation ni partenaire industriel annoncé. La suite logique serait la construction d'un prototype pour confronter les Pareto simulés aux mesures réelles de couple et de rigidité, et l'extension de la méthode à des bras multi-articulations.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Ancrage des parties, pas connaissance de l'action : le goulot d'étranglement des VLM en prédiction d'affordance

Une étude arXiv (2609.13225, septembre 2026) sépare deux étapes que les benchmarks d'affordance robotique confondent : localiser la partie d'un objet à actionner, et savoir quelle action lui appliquer. Sur 19 objets articulés, huit modèles vision-langage issus de trois développeurs devaient indiquer le mouvement qu'un robot devait exécuter. En consigne ouverte, l'action « pousser », pourtant correcte pour 8 des 19 objets, n'a été produite qu'une fois sur 64 cas où elle était juste : les modèles décrivaient souvent une autre partie de l'objet, par exemple comment saisir une caméra plutôt que presser son bouton. En nommant explicitement la partie cible, la précision grimpe de 0,32 à 0,63 point selon les modèles, passant de 0,158-0,474 à 0,684-0,947, et le rappel de « pousser » bondit de 0-1/8 à 7-8/8. Ce résultat déplace le diagnostic habituel sur les VLM appliqués à la manipulation : l'échec ne viendrait pas d'une mauvaise connaissance de la mécanique des objets mais d'un déficit de repérage visuel, un constat stable sur les trois familles testées et qui ne s'atténue pas avec des modèles plus puissants. Sous consigne ouverte, aucun des huit modèles ne bat une réponse constante ignorant totalement l'image ; une fois la partie nommée, les huit la battent tous. Pour les intégrateurs qui misent sur des VLM génériques pour piloter la préhension d'objets articulés comme des boutons, poignées ou tiroirs, la conclusion est concrète : améliorer le raisonnement ne suffira pas, mieux vaut renforcer la segmentation des parties en amont. Sur des photos réelles, seuls trois modèles sur huit localisent mieux les points de préhension qu'une base constante, et aucun n'y parvient sur des objets en rendu 3D. Les auteurs nuancent eux-mêmes leur résultat : nommer la partie fournit seulement la variable de repérage manquante et ne démontre pas une compréhension générale de la mécanique des objets. L'étude documente aussi, avec transparence, deux erreurs de mesure commises dans son propre protocole, un seuil laissant une réponse constante atteindre 0,929 et une règle d'étiquetage erronée sur 4 des 19 objets, repérées seulement en comparant systématiquement les résultats à des références triviales. Ce travail porte sur des VLM généralistes utilisés en amont de la perception, et non sur des systèmes VLA comme Pi-0, GR00T N2 ou Helix, mais ses conclusions questionnent directement les architectures qui s'appuient sur ces modèles pour générer des affordances sans module de segmentation dédié.

RecherchePaper

1 source

3arXiv cs.RO

T2-z : optimisation à l'inférence des latents d'environnement pour les modèles du monde en robotique

T2-Z est une méthode de recherche, décrite dans un article arXiv (2610.22364v1), qui ajoute à un modèle du monde robotique un « latent d'environnement » apprenable. Ce vecteur compact conditionne les prédictions du modèle et capte des facteurs que la caméra ne voit pas et que personne n'a spécifiés : friction, masse, mais aussi règles définies par l'humain. L'entraînement alterne deux étapes. Dans la première, les latents sont fixés et le modèle apprend une dynamique générale conditionnée par l'action, sur plusieurs environnements. Dans la seconde, le modèle est gelé et seuls les latents sont optimisés. La structure du latent émerge ainsi de la seule prédiction du monde, sans supervision sur la nature ou la valeur des facteurs. Au test, le modèle reste gelé. Un latent initialisé à neuf est optimisé à partir d'une ou plusieurs interactions, ce qui adapte le modèle à une configuration inédite. Sur 7 environnements simulés et 4 tâches robotiques réelles, les auteurs annoncent une baisse de l'erreur de prédiction des objets de 15,20 à 7,00 et une hausse du taux de réussite des actions de 33,73 % à 72,96 %. Pour les intégrateurs et les équipes qui déploient des robots de manipulation, l'enjeu est l'écart entre la démonstration et la réalité. Un modèle entraîné dans un cadre donné se dégrade dès qu'un objet est plus lourd, qu'un sol est plus glissant ou qu'une règle de tâche change. Ici, l'adaptation ne demande ni réentraînement, ni étiquetage des propriétés physiques, ni identification manuelle des paramètres. Elle repose sur de l'optimisation à l'inférence, et les ablations indiquent qu'une seule trajectoire d'interaction peut suffire. C'est un argument en faveur de modèles du monde qui s'ajustent en quelques essais sur site. Les réserves habituelles s'appliquent. Les gains sont des moyennes sur un benchmark choisi par les auteurs, et le résumé ne donne ni plateforme robotique, ni nature des tâches réelles, ni coût de calcul de l'optimisation au test. Le taux de 72,96 % reste aussi loin d'un seuil industriel. L'approche s'inscrit dans une lignée connue : randomisation de domaine, identification de système, méta-apprentissage et modèles du monde conditionnés par des variables latentes, comme les travaux de type Dreamer ou les modèles vidéo-action. Elle prolonge les politiques généralistes de type VLA (vision-langage-action), qui ont du mal à tenir compte de propriétés non observables. Les auteurs rapportent que les latents appris organisent des facteurs individuels et combinés à travers des scènes visuelles variées, ce qui laisse entrevoir une certaine interprétabilité. Aucun pilote ni calendrier de transfert vers un produit n'est annoncé, et l'article est une préimpression, sans évaluation par les pairs. Les prochaines étapes à surveiller sont la publication du code, les tests sur des plateformes variées et la combinaison avec des politiques VLA ou de la planification par modèle prédictif.

RecherchePaper

1 source

4arXiv cs.RO

STAR : orienter les représentations d'action pendant l'inférence

STAR (STeering Action Representations) est une méthode d'inférence proposée par une équipe du laboratoire PKU-VaLuE de l'université de Pékin, dont le code est publié sur GitHub. Elle s'applique à des modèles vision-langage-action (VLA), c'est-à-dire des réseaux qui convertissent une instruction en langage naturel et des observations visuelles en actions robotiques. Les auteurs ont d'abord sondé ces modèles et constaté que les représentations situées près de la sortie d'action conservent mal l'ancrage visuel pertinent pour la tâche, un « déficit d'ancrage des couches tardives ». STAR agit sans réentraînement ni modification d'architecture : elle applique une moyenne mobile exponentielle (EMA) aux mises à jour résiduelles des couches tardives, afin que les représentations finales héritent des directions de mise à jour sensibles aux objets, issues des couches antérieures. Le coefficient de mélange est ajusté à partir des états proprioceptifs récents du robot et devient plus prudent lorsque la dynamique d'exécution change vite. Sur des benchmarks de manipulation, la méthode améliore la conscience des objets dans les couches tardives et augmente le taux de réussite moyen de 4,0 points de pourcentage. L'intérêt tient à la nature de l'intervention. Un gain de 4 points reste modeste et les résumés ne précisent ni les modèles de base, ni les benchmarks, ni la variance entre tâches. Il faut donc lire le chiffre comme un ordre de grandeur, pas comme une percée. Mais il touche un point sensible des VLA déployés : la perte de fidélité visuelle en fin de réseau, qui peut expliquer des échecs sur des objets mal localisés ou des distracteurs. Comme STAR ne demande ni données ni calcul d'entraînement, un intégrateur ou une équipe R&D disposant déjà d'un VLA pré-entraîné pourrait l'essayer à faible coût, sans gel de version du modèle. L'adaptation par la proprioception est aussi un signal utile : elle rappelle que la stabilité d'exécution sur robot réel, et pas seulement la précision en simulation, conditionne la valeur de ces correctifs. Le travail s'inscrit dans un courant de techniques d'inférence « sans entraînement » qui cherchent à tirer davantage de modèles déjà coûteux à produire, par analogie avec le steering d'activations dans les grands modèles de langage. Il intervient alors que les VLA de référence, comme Pi-0 ou GR00T, se multiplient et que l'on tente d'en améliorer la robustesse sans relancer des cycles de fine-tuning massifs. Il s'agit d'un préprint arXiv (v1) non évalué par des pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller sont la validation sur robots physiques, la généralisation à plusieurs familles de VLA et la comparaison avec d'autres méthodes de correction à l'inférence.

RecherchePaper

1 source