RecherchearXiv cs.RO 22 septembre 2026

Quantification bas-débit native des modèles vision-langage-action via repliement cohérent : FoldQuantVLA

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs détaillent FoldQuantVLA, un framework de quantification post-entraînement pour modèles vision-langage-action (VLA), dans un preprint publié sur arXiv (2609.24433v1). La méthode préserve une représentation d'activation cohérente de la calibration jusqu'à l'exécution native en entiers, en combinant mise à l'échelle par canal, transformées de Hadamard par blocs et quantification dynamique par token, sans réentraîner la politique. Des plugins TensorRT exécutent en 4 bits (poids et activations, W4A4) les projections du backbone langage et de l'expert d'action, sur GPU Ada et sur Jetson AGX Orin. Testé sur LIBERO, SimplerEnv, trois checkpoints GR00T et π_0.5, le W4A4 gagne 1,20 à 1,33x sur Orin et 1,25 à 1,52x sur desktop face à TensorRT en flottant. En repassant certaines projections du module langage en 8 bits, le succès de GR00T N1.7 sur quatre tâches réelles grimpe de 80,0% à 92,5% sur 80 essais par configuration, pour 1 ms de latence supplémentaire sur Orin.

Pour les intégrateurs, l'enjeu n'est pas le gain de vitesse, modeste (1,2 à 1,5x), mais la preuve qu'une quantification agressive et uniforme dégrade mesurablement le comportement du robot : la chute de 92,5% à 80,0% de succès entre configuration mixte et W4A4 uniforme montre que la latence gagnée coûte cher à la fiabilité si le compromis bits/couches est mal calibré. La méthode permet d'exécuter des VLA volumineux directement sur du matériel embarqué comme le Jetson Orin, sans datacenter ni réentraînement, réduisant le coût d'ingénierie du déploiement en périphérie. Elle offre aux décideurs B2B une méthode reproductible pour arbitrer précision et vitesse couche par couche, plutôt qu'un choix binaire entre flottant complet et quantification uniforme.

Le travail s'inscrit dans les efforts pour exécuter en temps réel des VLA de référence comme GR00T N1.7 (NVIDIA) et π_0.5 (Physical Intelligence), conçus sur GPU de datacenter mais visés pour l'inférence embarquée. FoldQuantVLA adapte au contexte robotique des techniques de compression déjà connues pour les grands modèles de langage, scaling par canal et transformées de Hadamard, couplées à une quantification dynamique par token propre à la boucle observation-action. Le preprint, soumis en septembre 2026, ne précise ni affiliation industrielle ni calendrier de production ; les tests reposent sur deux plateformes robotiques réelles non identifiées, sans code public ni partenariat annoncé avec un fabricant de robots.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

IA sûre : des modèles vision-langage-action via appariement de flux à barrière renforcée

Ce nouveau preprint arXiv (2607.29569v1) propose un cadre d'inférence modulaire qui combine les modèles génératifs par Flow Matching avec des garanties de sécurité formelles issues des fonctions de barrière de contrôle (Control Barrier Functions, CBF). Contrairement aux approches existantes qui appliquent un filtre de sécurité externe sur la sortie finale du modèle, la méthode agit directement à l'intérieur du processus de débruitage du Flow Matching pour générer des trajectoires intrinsèquement sûres. Elle s'appuie sur une barrière agrégée lisse de type log-sum-exponential (LSE), appliquée sur des chunks d'action entiers plutôt qu'action par action, ce qui limite le surcoût de calcul tout en préservant l'intention sémantique du modèle. Les auteurs démontrent que la distance de Wasserstein d'ordre 2 entre la distribution générée et la distribution cible reste bornée, et valident l'approche sur deux plateformes de manipulation robotique ainsi qu'un benchmark de navigation 2D, sans dégradation du taux de réussite. L'enjeu dépasse la seule prouesse mathématique. Les modèles vision-langage-action (VLA) bâtis sur du Flow Matching ou de la diffusion, à l'image des architectures qui alimentent GR00T N2, Pi-0 ou Helix, se déploient de plus en plus vite sur des bras manipulateurs réels, mais la sécurité reste le principal frein industriel: les filtres correctifs post-génération ajoutent de la latence, peuvent contredire l'intention du modèle et nécessitent souvent des jeux de données ou un réentraînement coûteux spécifiquement dédiés à la sécurité. En intégrant la contrainte directement dans la génération, sans donnée additionnelle ni fine-tuning, ce travail avance vers des politiques robotiques "sûres par construction", un argument que les intégrateurs et décideurs B2B examineront de près avant toute mise en production sur ligne réelle, où le compromis entre réactivité du modèle et garanties formelles reste souvent mal maîtrisé. Ce résultat s'inscrit dans une tendance plus large où le Flow Matching et la diffusion sont devenus le squelette génératif dominant pour l'action robotique, laissant jusqu'ici les garanties de sécurité formelle comme un ajout a posteriori plutôt qu'un composant natif. En rapprochant la théorie du contrôle (CBF) et les modèles génératifs profonds, les auteurs proposent une brique reproductible pour la recherche en sécurité des politiques généralistes. Le texte reste un preprint tout juste annoncé, non encore relu par les pairs, et validé pour l'instant sur des bancs de test limités: son passage à des flottes réelles et des environnements dynamiques reste une étape à venir.

RecherchePaper

1 source

2arXiv cs.RO

PHR-VLA : raisonnement à horizon de planification pour les modèles vision-langage-action

Des chercheurs présentent PHR-VLA (Planning Horizon Reasoning for Vision-Language-Action Models), décrit dans un preprint arXiv publié fin août 2026 (arXiv:2608.27609). Le système ajoute aux modèles vision-langage-action une tête auxiliaire légère, activée uniquement à l'entraînement, qui aligne les représentations internes du modèle avec la dynamique future de la tâche extraite d'observations à venir. Une supervision locale et centrée sur le contact, au niveau des patchs d'image issus de la caméra de poignet, fait passer le taux de réussite sur le benchmark simulé LIBERO de 84,1% à 88,4%, et sur des tâches réelles de désassemblage de 63,3% à 82,5%. Une supervision équivalente via une caméra à la troisième personne améliore aussi légèrement les résultats sur Meta-World, de 56,70% à 57,8%. Le travail cible une limite connue des VLA actuels, qui conditionnent généralement l'action sur la seule observation présente sans anticiper l'évolution de la tâche, un manque pénalisant pour les manipulations fines et riches en contacts comme l'assemblage ou le désassemblage. Le gain le plus net apparaît justement sur une tâche réelle de désassemblage, plus proche des besoins industriels que les benchmarks simulés, ce qui limite le risque d'un résultat purement académique. L'écart entre le fort gain obtenu via la caméra de poignet et le gain marginal via la troisième personne (+1,1 point sur Meta-World) suggère que la dynamique locale près du point de contact compte plus que le contexte global de la scène. Pour un intégrateur, l'argument clé est que cette tête auxiliaire n'intervient qu'à l'entraînement et n'alourdit donc pas le temps d'inférence en production. PHR-VLA s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui transforment instruction en langage naturel et flux vidéo en actions robotiques. À la différence d'approches fondées sur des modèles du monde générant explicitement des vidéos futures, coûteuses en calcul, la méthode se limite à un alignement de représentations latentes, plus économe. Il s'agit pour l'instant d'un travail de recherche en preprint, sans déploiement industriel annoncé ni implication d'acteur français ou européen du secteur, la suite logique étant une éventuelle intégration de cette technique d'entraînement dans des piles VLA commerciales existantes.

RechercheOpinion

1 source

3arXiv cs.RO

RotVLA : action latente de rotation pour les modèles vision-langage-action (VLA)

Un groupe de chercheurs a publié en mai 2026 RotVLA (arXiv:2605.13403), un framework Vision-Language-Action (VLA) qui substitue la quantification discrète des modèles d'action latente (LAM) existants par une représentation continue dans l'espace de rotation SO(n). Entraîné sur plus de 1 700 heures de données robotiques multi-embodiment et de vidéos humaines, le modèle compte 1,7 milliard de paramètres. Son architecture associe un backbone de modèle vision-langage et une tête d'action par flow-matching, étendue en aval en un "action expert" unifié qui dénoise simultanément actions latentes et actions robot. Sur LIBERO, RotVLA atteint 98,2 % de taux de succès ; sur RoboTwin2.0, il obtient 89,6 % en configuration propre et 88,5 % en configuration randomisée, surpassant les modèles VLA antérieurs dans les deux cas. Des expériences sur des tâches de manipulation réelle confirment ces résultats hors simulation. L'enjeu est architectural : les LAMs actuels, basés sur des pipelines VQ-VAE ou similaires, induisent une reconstruction de frames souvent triviale et n'imposent aucune contrainte géométrique cohérente avec la physique du mouvement. En modélisant les actions latentes comme des éléments de SO(n), RotVLA garantit continuité et compositionnalité absentes des espaces discrets, avec un triplet frame learning qui force une dynamique temporelle non dégénérée. Pour les équipes d'intégration robotique, cela ouvre la voie à un modèle de fondation plus robuste au sim-to-real, l'un des goulots d'étranglement centraux des VLAs en conditions industrielles. L'approche suggère que la structure géométrique de l'espace d'action peut compter autant que l'échelle des données d'entraînement. Le domaine des politiques robotiques généralistes a été structuré par Pi-0 (Physical Intelligence, 2024) et GR00T N2 (NVIDIA, 2025), qui misaient sur des corpus cross-embodiment massifs pour entraîner des politiques généralisables. RotVLA s'inscrit dans cette lignée mais parie sur une représentation latente géométriquement structurée plutôt que sur le volume brut de paramètres, avec 1,7B contre plusieurs dizaines de milliards pour les modèles concurrents les plus ambitieux. Les scores LIBERO et RoboTwin2.0 sont des benchmarks académiques standardisés ; leur transposition sur des cellules industrielles réelles (bras collaboratifs, tri et picking) reste à démontrer. Aucun partenaire de déploiement ni calendrier commercial ne figure dans la publication : RotVLA est, à ce stade, une contribution de recherche.

RechercheOpinion

1 source

4arXiv cs.RO

Raisonnement continu pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (2606.00229) une architecture appelée Continuous Reasoning for VLA, qui remplace le langage naturel comme médium de raisonnement pour les politiques robotiques par un espace latent gaussien continu. Le problème est fondamental : le texte opère à la granularité d'une tâche entière, tandis qu'une politique VLA (Vision-Language-Action) doit sélectionner des actions à une échelle temporelle bien plus fine. Le modèle génère d'abord un ensemble structuré de "pensées continues" sous forme de vecteurs gaussiens, puis les réutilise comme contexte partagé pour la génération d'actions par chunks. L'entraînement repose sur un objectif de vérification croisée : un teacher EMA (exponential moving average) doit consommer le raisonnement du modèle étudiant pour prédire les actions cibles, forçant le latent à rester transférable et vérifiable entre instances. Sur robots réels, l'architecture améliore le taux de succès moyen par sous-tâche de 40,4 % sur TX-G2 (variante compatible AgiBot G2) et de 26,3 % sur HSR (Human Support Robot de Toyota), comparé à π0.5 de Physical Intelligence. Ces résultats contredisent une hypothèse répandue : ajouter des tokens de raisonnement textuel via chain-of-thought ou sous-objectifs explicites améliore le contrôle robotique. Les auteurs montrent que ce raisonnement textuel devient facilement un raccourci interne au modèle, efficace sur les comportements vus en entraînement mais peu généralisable. Un médium de raisonnement utile doit être partageable entre instances de modèle et vérifiable via l'amélioration du contrôle aval, deux propriétés que le texte satisfait mal à l'échelle de l'action. La comparaison directe avec π0.5 positionne ce travail en réponse à Physical Intelligence, acteur de référence dans l'espace VLA. Les plateformes testées (AgiBot G2 et HSR) couvrent la robotique de service et industrielle légère, pas uniquement les humanoïdes à fort investissement comme Figure 03 ou Optimus Gen 3. D'autres architectures concurrentes, dont GR00T N2 de NVIDIA et Helix de Figure AI, misent sur des représentations latentes pour améliorer le transfert sim-to-real, mais restent davantage orientées production que recherche fondamentale. Il s'agit pour l'instant d'un résultat académique, sans annonce de pilote commercial ni de déploiement industriel.

RechercheOpinion

1 source