VLASH : des VLA en temps réel grâce à une inférence asynchrone anticipant les états futurs

Robots Jetson-PI : contrôle robotique en temps réel embarqué via inférence asynchrone alignée sur l'anticipation

Une équipe du PKU-SEC-Lab (Peking University) publie Jetson-PI, une méthode pour déployer des modèles Vision-Language-Action (VLA) directement à bord de cartes embarquées à faible consommation comme le Nvidia Jetson Orin, très utilisées en robotique mobile et humanoïde. Le problème ciblé est connu : l'inférence asynchrone, qui parallélise l'exécution des actions et le calcul de l'action suivante pour masquer la latence, introduit en pratique un décalage entre ce que le robot perçoit et ce qu'il exécute, ainsi qu'un temps de réaction dégradé. Jetson-PI corrige cela via un module léger de "correction par anticipation" qui prédit la représentation future de l'environnement à partir des actions déjà engagées, permettant à l'expert d'action de raisonner directement sur l'état futur plutôt que sur un état périmé. S'y ajoute un ordonnancement piloté par la confiance du modèle, qui arbitre dynamiquement entre appels au VLM et à l'expert d'action, complété par des optimisations bas niveau (réutilisation de CUDA graphs, buffers intermédiaires résidents en mémoire GPU, déroulement de flux). Résultat mesuré : un gain de fréquence de contrôle de 8,66x face à une implémentation PyTorch naïve et de 5,41x face à vla.cpp, avec un taux de réussite supérieur de 14,8% à VLASH sur le benchmark LIBERO. L'enjeu dépasse la performance brute : c'est le goulot d'étranglement classique du déploiement de VLA en robotique embarquée qui est visé, celui qui empêche des modèles entraînés en simulation ou sur GPU serveur de tourner en temps réel sur du matériel embarqué bon marché. Pour les intégrateurs et fabricants de robots mobiles ou humanoïdes, cela réduit un frein concret à la mise en production de piles de contrôle par VLA, sans dépendre d'une puissance de calcul embarquée démesurée. Le travail s'inscrit dans la lignée des recherches sur l'accélération des VLA (dont VLASH, utilisé ici comme référence de comparaison) et sur les moteurs d'inférence légers type llama.cpp. Les auteurs publient à la fois leur algorithme d'inférence asynchrone et un moteur d'inférence dédié, Jetson-PI-Edge, en open source sur GitHub, ouvrant la voie à une reproduction et une adoption par la communauté robotique.

FlashVLA : décodage d'actions en flux pour une inférence VLA rapide et asynchrone

FlashVLA est un nouveau framework de décodage d'actions en streaming pour les modèles Vision-Language-Action (VLA), décrit dans une preprint publiée sur arXiv le 27 aout 2026 (référence 2608.27384v1). Il cible les VLA fondes sur le flow matching, dont le décodage exige plusieurs étapes itératives de debruitage conditionnées par le contexte du modèle vision-langage, ce qui dégradé la fréquence de contrôle et la stabilité de l'exécution asynchrone. La méthode maintient un buffer d'actions compose de plusieurs chunks a des niveaux de bruit différents, décodés via une attention causale chunk par chunk, produisant un chunk exécutable a chaque étape d'inférence et préservant la continuité du mouvement. Les auteurs rapportent une fréquence de contrôle supérieure ou égale a 30 Hz sur un seul GPU, avec une inférence asynchrone fluide en conditions réelles. Ce travail s'attaque a un goulot d'étranglement connu de la manipulation robotique : les politiques d'action par flow matching ou diffusion produisent des mouvements de haute qualité mais au prix d'un cout de calcul itératif qui plafonne la fréquence de contrôle en boucle fermée, tandis que les méthodes d'exécution asynchrone censées combler les temps morts introduisent souvent des a-coups temporels. En traitant conjointement la latence et la cohérence asynchrone dans une seule formulation, FlashVLA conteste l'idée répandue selon laquelle accélérer un VLA se fait nécessairement au détriment de la fluidité ou de la précision de la tache. Pour les intégrateurs en manipulation robotique, atteindre 30 Hz sur un seul GPU représente un seuil praticable pour du contrôle temps réel sans infrastructure dédiée couteuse ; l'article ne précise toutefois ni le modèle de GPU utilise, ni les baselines comparées, ce qui limite pour l'instant la portée des chiffres avances. FlashVLA s'inscrit dans la lignée des politiques d'action génératives par flow matching ou diffusion, une famille de modèles qui a gagne du terrain en manipulation robotique pour sa capacité a produire des trajectoires riches et multimodales, au prix d'un debruitage itératif plus lent que les approches de régression directe. La littérature récente traitait jusque-la séparément la vitesse d'inférence et la stabilité asynchrone ; FlashVLA revendique être la première formulation a unifier les deux via un unique buffer de streaming. Publiee comme soumission nouvelle sur arXiv, la contribution n'a pas encore été revue par les pairs et ne s'accompagne, pour l'instant, d'aucune annonce de code ouvert, de partenariat industriel ou de déploiement chez un fabricant de robots. Les prochaines étapes attendues sont une publication en conférence et une comparaison directe avec des politiques VLA de référence pour confirmer la généralité des gains annonces.

Reflex : contrôle VLA en temps réel par inférence en continu

Des chercheurs présentent Reflex, un framework permettant l'inférence en temps réel pour les modèles Vision-Language-Action (VLA) basés sur le flow matching, une technique de contrôle continu prisée pour sa précision mais jusqu'ici incompatible avec la robotique temps réel. Le problème identifié est structurel : l'injection globale du timestep dans le processus de débruitage itératif invalide le KV-caching classique, obligeant à choisir entre un recalcul coûteux en O(N²) ou une réutilisation de cache mathématiquement incorrecte. Reflex exploite ce que les auteurs nomment la "Timestep-Invariance Property", le fait que les encodeurs de perception fonctionnent indépendamment de la boucle de débruitage, pour partitionner le contexte d'attention en régions statique, glissante et dynamique, permettant des mises à jour de cache incrémentales en O(1) sans perte de précision sur les sorties d'attention. Une couche de normalisation adaptative baptisée AdaRMSNorm évite l'effondrement numérique en BFloat16 lors d'inférences continues à haute fréquence, en se calant sur la phase du flux. Un pipeline asynchrone découple encodage visuel et génération d'action, complété par de la fusion d'opérateurs pour réduire l'overhead des kernels. Sur les benchmarks LIBERO et Kinetix, Reflex atteint une accélération d'inférence de 2,58x et un streaming stable à 50Hz, avec une latence de réaction réduite jusqu'à 54%, sans dégradation de performance. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement rarement discuté publiquement : les modèles VLA à flow matching, malgré leurs résultats impressionnants en démonstration, peinent à tourner en boucle fermée à des fréquences compatibles avec un contrôle robotique réactif. Un déploiement stable à 50Hz sans compromis sur la qualité change la donne pour les intégrateurs qui cherchent à faire tourner ces politiques sur du matériel embarqué à budget de calcul limité, plutôt que de dépendre d'un GPU distant surdimensionné. C'est aussi une réponse concrète à l'écart fréquemment pointé entre les métriques de benchmark et la viabilité en conditions réelles de contrôle continu. Ce travail s'inscrit dans la lignée des politiques VLA à diffusion ou flow matching comme Pi-0 ou GR00T N2, qui ont démontré la faisabilité du contrôle continu appris mais restent contraintes par leur coût d'inférence. Reflex ne propose pas un nouveau modèle mais une couche d'infrastructure d'inférence, potentiellement transférable à d'autres architectures de flow matching. Publié sur arXiv (2607.14695), l'article ouvre la voie à des évaluations sur du matériel physique réel, au-delà des environnements simulés LIBERO et Kinetix utilisés pour la validation actuelle.

Comprendre les méthodes d'inférence asynchrone pour les modèles vision-langage-action (VLA)

Les modèles Vision-Language-Action (VLA), qui combinent perception visuelle, raisonnement linguistique et génération d'actions motrices, souffrent d'un défaut opérationnel central : leur latence d'inférence crée une désynchronisation entre l'observation capturée et l'action exécutée, phénomène désigné sous le terme de "staleness". Quatre approches ont émergé quasi-simultanément pour y remédier : IT-RTC (correction par inpainting à l'inférence), TT-RTC (simulation de délai à l'entraînement), VLASH (conditionnement sur état futur estimé) et A2C2 (correction résiduelle légère à chaque pas de contrôle). Publiée le 12 mai 2025 sous la référence arXiv:2605.08168, une étude systématique compare ces quatre méthodes sous conditions contrôlées via deux codebases unifiées, évaluées sur la suite Kinetix avec des politiques MLPMixer et sur le benchmark LIBERO de manipulation avec SmolVLA, en faisant varier les délais jusqu'à d = 20 pas de contrôle. Les résultats établissent une hiérarchie claire selon le régime de délai. A2C2 domine sur Kinetix avec un taux de résolution supérieur à 90 % jusqu'à d = 8, et prend la tête sur LIBERO à partir de d = 4 ; c'est la méthode la plus efficace pour des délais modérés à élevés. TT-RTC s'impose comme la plus robuste des approches basées sur l'entraînement : elle généralise au-delà de la distribution de délais vue en phase d'entraînement et n'ajoute aucun overhead à l'inférence, ce qui la rend attractive pour des déploiements contraints en calcul. IT-RTC reste compétitif à faibles délais mais se dégrade nettement avec des chunks longs (H = 30) ou des délais importants. VLASH affiche un compromis explicite entre régimes : son efficacité dépend directement de la plage de fine-tuning [0, d\_max] choisie, imposant un calibrage préalable en fonction du délai attendu en production. Ce travail répond à un besoin criant de la communauté VLA, dont les modèles emblématiques, pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et SmolVLA de Hugging Face, visent un déploiement sur robots réels soumis à des contraintes temps-réel strictes. L'absence de benchmark commun rendait jusqu'ici les comparaisons entre méthodes impossibles et freinait l'adoption industrielle, chaque équipe évaluant sa solution sur son propre protocole. En publiant deux codebases reproductibles (github.com/TheAyos/async-vla-inference), les auteurs offrent aux équipes robotiques un cadre de référence pour choisir leur stratégie de correction selon leur architecture et leurs contraintes de latence. Les prochaines étapes naturelles incluent la validation sur robots physiques et l'extension à des VLA de plus grande taille, où les délais d'inférence sont encore plus prononcés.

💬 Le staleness dans les VLA, tout le monde savait que c'était un problème, mais sans benchmark commun on naviguait à vue, chaque équipe évaluant sa solution sur son propre protocole. Ce papier établit enfin une hiérarchie claire : A2C2 pour la majorité des cas d'usage, TT-RTC si tu es contraint en calcul et que tu veux zéro overhead à l'inférence. Le fait que SmolVLA de HuggingFace soit la référence de manipulation, c'est pas anodin pour la visibilité européenne dans la course aux robots.