RecherchearXiv cs.RO 12 octobre 2026

Au-delà de la préservation en distribution : retrouver la généralisation des VLA quantifiés par un réglage ciblant les vulnérabilités

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent PIVOT-Q (Policy-Induced Vulnerability-Oriented Tuning), un cadre de distillation « on-policy » destiné à restaurer la robustesse des modèles vision-langage-action (VLA) après quantification post-entraînement. L'étude, publiée sur arXiv (version 2 de l'article 2610.05745), part d'un constat: la quantification post-entraînement préserve les performances d'un VLA dans les conditions d'évaluation standard, mais personne n'avait vraiment vérifié si la robustesse et la généralisation du modèle pleine précision survivaient. Les auteurs testent les politiques quantifiées sous sept types de perturbations de l'environnement du benchmark LIBERO-Plus, sur plusieurs architectures de VLA et plusieurs méthodes de quantification. Le résultat est net: à performance équivalente en distribution, les politiques quantifiées deviennent fragiles face à des variations subtiles. PIVOT-Q corrige ce défaut en n'utilisant que 7,4 % du budget de distillation au niveau des états d'une approche de distillation complète, tout en la surpassant dans tous les cas testés. Le code est publié sur GitHub.

L'intérêt pratique est direct pour quiconque veut faire tourner un VLA sur du matériel embarqué. La quantification est le levier standard pour réduire mémoire et latence sur les calculateurs de bord d'un robot, et la validation habituelle (taux de succès sur des scènes proches de l'entraînement) peut masquer une dégradation réelle. Un modèle quantifié qui « passe la recette » en laboratoire peut échouer dès que l'éclairage, la disposition ou la caméra changent légèrement, ce qui correspond précisément au fossé entre démonstration et déploiement que redoutent les intégrateurs. L'article apporte aussi un résultat contre-intuitif: le guidage du modèle enseignant (le VLA pleine précision) améliore la généralisation dans les états où l'écart d'action est grand, mais la dégrade là où cet écart est faible. Distiller globalement l'élève est donc non seulement coûteux, mais parfois contre-productif. Il faut préciser que les résultats reposent sur un benchmark en simulation, sans validation sur robot physique.

Le travail s'inscrit dans la course à l'embarquement des VLA, des familles de type Pi-0 ou OpenVLA jusqu'aux modèles propriétaires des acteurs humanoïdes, où la compression devient incontournable pour tenir des fréquences de contrôle compatibles avec le temps réel. Les approches de quantification existantes visaient surtout à conserver la précision moyenne, sans mesurer la robustesse. Concrètement, PIVOT-Q repère les états vulnérables en cumulant avec actualisation les écarts d'action sur un horizon court lors des déploiements de l'élève quantifié. Il applique ensuite une supervision parcimonieuse équilibrée par phase de tâche, et ajoute un « ancrage comportemental » qui évite les modifications inutiles. La suite logique est un test sur robots réels et sur des modèles plus grands. Cela dira si le gain de robustesse se confirme hors simulation.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

Plusieurs voies vers la réussite : un réglage fin par apprentissage par renforcement axé sur la diversité pour la généralisation des VLA

Des chercheurs ont publié sur arXiv (2610.09943) DRIVE, une méthode de fine-tuning par apprentissage par renforcement (RL) pour les politiques vision-langage-action (VLA), conçue pour améliorer la généralisation hors distribution. DRIVE regroupe des rollouts réalisés dans des conditions de tâche identiques et compare leurs trajectoires après alignement temporel. Il en dérive une récompense intrinsèque, conditionnée au succès, qui mesure la diversité comportementale relative. Seuls les succès diversifiés sont récompensés. Les échecs variés et les simples décalages de timing ne le sont pas. Sur les benchmarks LIBERO-Plus, ManiSkill3 et RoboTwin 2.0, la méthode gagne en moyenne 5,3 points de performance hors domaine (OOD) sur π0 et 2,0 points sur π0.5, par rapport au fine-tuning RL classique. Sur une plateforme physique bimanuelle AgileX PiPER-X, le taux de succès OOD moyen passe de 64,1 % à 73,3 %, soit +9,2 points. Le point notable tient moins à la méthode qu'à l'analyse qui la motive. Les auteurs montrent que le RL contracte le comportement de manière globale, mais diversifie les trajectoires réussies. Il obtient un succès avec moins de rollouts et couvre une plus grande part de l'espace de solutions valides que le fine-tuning supervisé. Cela suggère que la robustesse face aux changements de distribution vient de la variété des stratégies gagnantes, et pas seulement du taux de succès en domaine. Pour les équipes qui déploient des VLA, cela donne un levier concret : optimiser explicitement la couverture des modes de succès plutôt que de supposer qu'elle émerge seule. Les chiffres demandent toutefois de la prudence. Le gain sur π0.5, le modèle le plus robuste au départ, n'est que de 2,0 points. L'effet semble donc se réduire à mesure que la politique de base s'améliore. Les +9,2 points sur robot réel proviennent d'une seule plateforme, à la bonne vitesse de reproduction. L'article ne donne ici ni nombre d'essais ni détail des perturbations OOD, ce qui limite la portée de la conclusion que le gain persiste en déploiement physique. Il s'agit d'un preprint, sans évaluation par les pairs. Ce travail s'inscrit dans la montée du RL post-entraînement pour les VLA. Les politiques comme π0 et π0.5 de Physical Intelligence sont d'abord apprises par imitation à grande échelle. Le RL en boucle fermée sert ensuite à corriger leurs erreurs et à dépasser les démonstrations. Sa limite connue est une généralisation fragile : les politiques s'affinent sur la distribution d'entraînement, puis cèdent dès que la scène, l'éclairage ou les objets changent. Les benchmarks utilisés, LIBERO-Plus pour les perturbations, ManiSkill3 pour la simulation GPU parallèle et RoboTwin 2.0 pour la manipulation bimanuelle, sont devenus des références pour mesurer cet écart. DRIVE rejoint les approches qui cherchent à rendre ce RL plus robuste, sans modifier l'architecture des modèles. Les prochaines étapes à surveiller sont des tests sur des tâches plus longues, des modèles plus larges et d'autres plateformes. Le code et les protocoles d'évaluation physique détaillés permettront de juger si le gain tient hors du laboratoire des auteurs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Corriger le OÙ, préserver le COMMENT : généralisation compositionnelle des modèles vision-langage-action (VLA) par guidage référentiel

Des chercheurs proposent ReGuide (Referential Guidance), un module d'enrobage « training-free » qui s'ajoute à des politiques Vision-Language-Action (VLA) déjà entraînées, sans toucher à leurs poids ni à leur architecture. À partir des poses d'objets fournies par un module de grounding externe, il combine un « rebinding » sémantique et un « rebinding » géométrique. Il guide l'effecteur terminal vers des configurations couvertes par les démonstrations d'entraînement, centrées sur le référent désigné par l'instruction. La politique gelée reprend alors le contrôle et termine la tâche. Les tests en simulation ont porté sur plusieurs architectures VLA, puis sur un robot réel. Les gains de taux de réussite sous décalage compositionnel atteignent jusqu'à 56,8 points de pourcentage en simulation et 75,0 points sur le robot physique. Les performances sur les tâches standard sont préservées. L'article est un préprint arXiv (v1), donc non évalué par les pairs. Il ne précise pas, dans son résumé, les noms des modèles testés, le robot utilisé ni le nombre d'essais. Ces résultats visent un point faible connu des VLA. Entraînés de bout en bout sur des jeux de données robotiques peu variés, ces modèles exploitent des raccourcis visuels : ils associent une action à des éléments sans rapport avec la tâche (arrière-plan, disposition de la scène) plutôt qu'à la sémantique de l'instruction. Un objet, une destination ou un décor déjà vus séparément ne peuvent alors pas être recombinés dans une configuration nouvelle. Les auteurs observent que, dans ce cas, le VLA échoue surtout à se localiser globalement (WHERE), tout en conservant ses compétences de manipulation locale (HOW). Corriger la cible plutôt que réapprendre le geste évite le recours à de nouvelles données ou à un réentraînement par backbone. Pour un intégrateur, c'est une piste pratique pour fiabiliser une politique déjà déployée. Le revers est la dépendance à un module de perception qui fournit des poses d'objets fiables. Les gains les plus élevés correspondent aussi à des scénarios de décalage choisis par les auteurs, et non à des conditions d'usine. Les approches existantes reposent sur une perception centrée sur la tâche ou sur une diversification ciblée des données. Elles n'offrent pas de mécanisme explicite pour la recomposition d'éléments inédits et exigent des modifications spécifiques à chaque architecture, avec réentraînement. ReGuide se positionne comme un correctif extérieur, compatible avec différents backbones. Sa validité à grande échelle reste à démontrer : le résumé ne mentionne ni tâches longues, ni scènes encombrées, ni déploiement industriel. Les prochaines étapes à surveiller sont la publication du code et des détails expérimentaux, la comparaison avec des politiques réentraînées sur des données plus diversifiées, et la robustesse face aux erreurs du module de grounding.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

APT : le pré-entraînement par expertise d'action améliore la généralisation des politiques VLA aux nouvelles instructions

Une équipe de chercheurs a publié le 11 juin 2026 sur arXiv (identifiant 2606.12366) APT (Action expert PreTraining), une méthode d'entraînement en deux étapes conçue pour améliorer la généralisation des politiques robotiques Vision-Langage-Action (VLA) face à des instructions en langage naturel hors distribution. Le problème ciblé : les modèles VLA actuels, qui couplent un grand modèle de vision-langage (VLM) préentraîné à un expert d'action continu, peinent à exécuter des consignes qu'ils n'ont pas vues pendant l'entraînement. La méthode s'applique aux architectures mainstream du domaine, notamment les architectures de style pi (Physical Intelligence) et GR00T (NVIDIA), et démontre des gains cohérents sur des instructions inédites et des tâches compositionnelles selon les expériences rapportées dans l'article. Le problème fondamental identifié par les auteurs est un déséquilibre structurel dans les données VLA : la diversité linguistique y est bien plus faible que la diversité visuelle ou motrice, ce qui pousse les politiques à s'appuyer sur des raccourcis visuels plutôt que sur les instructions textuelles. Les méthodes à actions discrètes, comme OpenVLA, atténuent ce biais via un co-entraînement vision-langage, mais les experts d'action continus, initialisés aléatoirement, génèrent des gradients bruités qui corrompent le VLM et n'exploitent pas sa capacité de compréhension linguistique. APT résout cela par une factorisation bayésienne : l'expert d'action est d'abord préentraîné comme un prior vision-action sans supervision linguistique, sur un VLM gelé (étape 1), puis les tokens de langage sont injectés via un mécanisme de fusion à porte (gated fusion) qui intègre les représentations du VLM tout en préservant le prior visuomoteur appris (étape 2). Cette séparation empêche l'imbalance linguistique de polluer l'apprentissage moteur initial. Le domaine des VLA robotiques connaît depuis 2024 une accélération notable avec pi0 de Physical Intelligence, GR00T N2 de NVIDIA, et Helix de Figure AI, tous construits autour du paradigme VLM couplé à un expert d'action continu. La généralisation aux instructions non vues reste l'un des défis non résolus du secteur : les démos en laboratoire reposent souvent sur des jeux de consignes étroits, loin de la variabilité d'un déploiement industriel réel, ce qui constitue un frein concret à la commercialisation. APT propose une réponse méthodologique à ce gap sans modifier les architectures cibles, en réordonnant uniquement leur processus d'entraînement. Les prochaines étapes naturelles incluront des validations indépendantes sur des benchmarks standardisés comme LIBERO ou RoboSuite, ainsi que des tests à l'échelle sur robots physiques en environnement non structuré.

RechercheActu

1 source

4arXiv cs.RO

Au-delà de la généralisation du point de vue : ce qu'apportent les démonstrations multi-vues et comment les synthétiser pour la manipulation robotique

Une étude publiée sur arXiv (2603.26757v2, version révisée) montre par l'expérimentation que les démonstrations multi-vues améliorent réellement les politiques de manipulation robotique, et pas seulement leur robustesse aux changements de caméra. Des essais contrôlés, à arrière-plan fixe puis aléatoire, montrent un gain constant du taux de succès et de la généralisation, mais qui varie de façon non monotone selon le nombre de points de vue : plus de caméras n'est pas toujours mieux. Les données multi-vues repoussent en revanche la limite de mise à l'échelle des jeux mono-vue, en continuant d'élever le plafond de performance après sa saturation, car elles améliorent les représentations visuelles apprises, l'alignement de la tête d'action et réduisent le surapprentissage. Pour pallier leur rareté, les auteurs proposent RoboNVS, un cadre auto-supervisé qui synthétise des vidéos sous de nouveaux angles à partir d'une seule caméra. Ces résultats concernent directement les équipes qui entraînent des politiques de manipulation de type vision-langage-action (VLA), où la collecte de démonstrations reste le principal goulot d'étranglement en coût et en temps d'ingénieur. L'étude suggère qu'ajouter des caméras au-delà d'un certain point n'est pas rentable, et que des vidéos de synthèse générées par un modèle de génération de vues peuvent remplacer une partie de la collecte physique, y compris en environnement réel et pas seulement en simulation. Cela nuance l'idée reçue selon laquelle il suffirait d'accumuler des heures de téléopération pour progresser : la diversité des points de vue, bien dosée, compte davantage que le seul volume de données. Ce travail s'inscrit dans une recherche plus large sur les lois d'échelle des données en apprentissage robotique, où plusieurs axes sont explorés en parallèle : volume de démonstrations, diversité des tâches et des morphologies robotiques, et donc des points de vue caméra, un facteur resté jusqu'ici peu quantifié. En documentant à la fois le phénomène et un outil pour le corriger, la publication ouvre la voie à une intégration de la génération de vues synthétiques dans les pipelines de curation de données à grande échelle, avec des validations montrées en simulation et en environnement réel, mais sans calendrier de déploiement industriel ni partenaire robotique précisé à ce stade.

RecherchePaper

1 source