RecherchearXiv cs.RO 2 juin 2026

Le mensonge euclidien dans les politiques VLA, corrigé par score matching dans l'espace tangent

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une prépublication arXiv déposée le 2 juin 2026 (arXiv:2606.01847) identifie une erreur géométrique structurelle dans les politiques robotiques de type Vision-Language-Action (VLA) à base de diffusion, désormais l'approche dominante pour la manipulation dextère. Les auteurs nomment ce défaut l'"Euclidean Fallacy" : ces modèles représentent les poses 3D en coordonnées SE(3) comme de simples vecteurs plats dans R¹², traitant rotations et translations comme s'ils vivaient dans un espace euclidien ordinaire. Cette approximation engendre trois pathologies concrètes : une dérive de variété qui viole les contraintes SO(3) (les matrices de rotation générées ne restent plus orthogonales), une rupture d'équivariance sous changements de repère (le même objet vu depuis un angle différent produit des trajectoires incohérentes), et des trajectoires non géodésiques générant un surcoût cinématique inutile. Pour corriger cela, les chercheurs proposent le Lie Diffuser Actor (LDA), un framework de diffusion qui opère intrinsèquement sur SE(3) : le bruit est injecté via des équations différentielles stochastiques (SDE) invariantes à gauche, les scores sont prédits dans l'espace tangent, et les échantillons sont rétractés sur la variété via la carte exponentielle de Lie. Sur le benchmark CALVIN ABC→D, référence standard pour la généralisation en manipulation multi-tâches, LDA fait progresser la longueur de tâche moyenne de 3,27 à 3,51, soit un gain de 7,3%. Des expériences sur robot réel confirment que la méthode surpasse la ligne de base sur la majorité des tâches testées.

L'enjeu dépasse la géométrie abstraite. Les politiques VLA, désormais au coeur des robots manipulateurs commerciaux et des travaux académiques les plus cités, souffrent d'un biais systématique qui s'aggrave dès que la diversité des poses augmente : variation de prise, rotation hors plan, scénarios multi-vue. En forçant le processus de diffusion à rester sur la variété SE(3) par construction plutôt que par régularisation post-hoc, LDA élimine la dérive sans coût d'inférence supplémentaire. L'équivariance garantie signifie concrètement qu'un intégrateur industriel peut monter une caméra dans n'importe quelle orientation sans requalifier le modèle, ce qui réduit un verrou majeur au déploiement en cellule flexible. Le gain de 7,3% sur CALVIN reste modeste en valeur absolue, mais le benchmark est conçu pour mesurer la généralisation hors distribution, ce qui lui confère plus de poids qu'une amélioration sur un jeu de test in-distribution.

Ce travail s'inscrit dans la lignée des politiques de diffusion pour la robotique popularisées par Diffusion Policy (Chi et al., 2023) et intégrées ensuite dans pi-0 de Physical Intelligence et GR00T N2 de NVIDIA, deux VLA de référence qui partagent la même représentation euclidienne incriminée. La correction géométrique proposée est orthogonale à l'architecture backbone et pourrait s'appliquer directement à ces systèmes. Côté compétiteurs académiques, des approches comme RiemannianFlow ou les travaux de Chirikjian sur la convolution sur groupes de Lie avaient posé des bases théoriques similaires, mais sans les intégrer dans un pipeline de diffusion end-to-end fonctionnel sur robot réel. L'étape suivante logique serait une validation sur des benchmarks plus exigeants (manipulation bimanuelle, tâches d'assemblage) et une intégration dans un des frameworks VLA open-source existants pour mesurer l'impact à plus grande échelle. Il s'agit pour l'instant d'une prépublication non encore soumise à révision par les pairs.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Flow matching guidé par le potentiel pour l'amélioration des politiques VLA

Des chercheurs ont publié le 5 juin 2026 sur arXiv (2606.04968) une méthode baptisée ForesightFlow, conçue pour améliorer les politiques de type vision-langage-action (VLA) sans recourir à un critique externe. Le problème de départ est concret : lorsqu'un robot déploie une politique VLA entraînée par imitation, il génère inévitablement des trajectoires de qualité variable, succès complets, récupérations partielles, erreurs rattrapables, échecs francs. L'imitation comportementale classique reproduit les erreurs, le filtrage par seuil de qualité écarte des sous-trajectoires pourtant exploitables, et le renforcement offline ajoute un critique séparé coûteux. ForesightFlow contourne ces trois écueils en augmentant chaque chunk d'actions généré d'une trajectoire de potentiel de succès apprise conjointement. Le même réseau de flow matching propose et note les actions candidates, permettant une inférence de type best-of-K sans module additionnel. Sur cinq tâches de simulation BEHAVIOR-1K et cinq tâches réelles bimanipulation, la méthode dépasse les baselines d'imitation, égale le meilleur baseline avec critique séparé en simulation, améliore le taux de succès en conditions réelles et réduit le coût d'entraînement de 38 %. L'apport industriel le plus direct est cette réduction de 38 % des ressources de calcul à performance comparable, un argument budgétaire non négligeable pour les labos qui entraînent des modèles VLA de grande taille. Plus fondamentalement, ForesightFlow montre qu'il est possible de valoriser les données de déploiement imparfaites sans jeter les mauvais épisodes ni payer le coût d'un critic offline. La clé technique est un "decoupled advantage-weighted flow matching" : les poids d'avantage exponentié s'appliquent uniquement aux vitesses d'action, tandis que les vitesses de potentiel sont entraînées uniformément, évitant ce que les auteurs appellent la "value hallucination". Un estimateur de frontière en un seul pas forward (stop-gradient) rend le calcul des avantages suffisamment léger pour être intégré dans la boucle d'entraînement. Ce travail s'inscrit dans une vague de recherche dense autour des VLA pour la manipulation robotique, où Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et OpenVLA ont établi les références récentes en termes d'architectures génératives. Le recours au flow matching, alternative à la diffusion, plus rapide à l'inférence, pour la politique robotique est une tendance émergente depuis 2024. ForesightFlow est à ce stade une contribution académique, pas un produit ou un déploiement annoncé ; aucun partenariat industriel ni timeline commerciale n'est mentionné. Les prochaines étapes naturelles seraient la validation sur des benchmarks plus larges type LIBERO ou RLBench, et l'intégration dans des pipelines VLA à plus grande échelle comme ceux entraînés sur Open-X Embodiment.

RechercheOpinion

1 source

2arXiv cs.RO

VGFM : des politiques robotiques expressives grâce à un guidage dense par la valeur dans le flow matching

Publié le 15 septembre 2026 sur arXiv (2609.14261), un article de recherche propose VGFM, pour Value-Guided Flow Matching, un cadre de RL hors ligne pour entraîner des politiques robotiques à partir de grands jeux de données d'interactions. VGFM modélise la politique comme un modèle de flow matching conditionnel opérant directement dans l'espace des actions ("x-prédiction"), de sorte que chaque étape intermédiaire du processus génératif produit déjà une action valide, évaluable par un critique RL classique. Le guidage par la valeur s'applique ainsi à des instants de flux tirés aléatoirement, sans rétropropagation à travers toute la trajectoire ni réseau auxiliaire ou perte de distillation. Les auteurs évaluent la méthode sur les tâches de locomotion et de manipulation du benchmark OGBench, avec des protocoles rigoureux, et rapportent de bonnes performances sur un large éventail de tâches, avec un réglage minimal des hyperparamètres. Ce résultat s'attaque à un verrou du secteur: coupler des politiques génératives expressives et multimodales, diffusion ou flow matching, capables de représenter des comportements complexes à long horizon, à des objectifs de valeur en RL hors ligne imposait jusqu'ici un lourd surcoût, rétropropagation coûteuse, réseaux auxiliaires ou distillation approximative. En s'en affranchissant tout en gardant la flexibilité à l'inférence, le nombre de pas de discrétisation de l'équation différentielle sous-jacente pouvant varier sans réentraînement, VGFM propose une voie plus simple et scalable pour affiner des politiques génératives via des signaux de valeur denses, un argument utile pour les équipes qui entraînent des politiques de type VLA sur des données offline volumineuses. Ce travail s'inscrit dans la tendance du robot learning à remplacer les politiques déterministes par des modèles génératifs pour capturer la multimodalité des comportements. D'autres approches améliorent déjà des politiques génératives par RL via distillation ou guidage, jugés coûteux ou instables; VGFM s'en distingue en travaillant nativement dans l'espace des actions plutôt que dans le bruit latent. Il s'agit à ce stade d'une contribution académique évaluée uniquement en simulation sur OGBench, non d'un système déployé sur du matériel physique ni d'un produit commercial: aucun partenariat, pilote ou calendrier de déploiement n'est mentionné, et sa portée pratique dépendra de sa reproductibilité à plus grande échelle.

RecherchePaper

1 source

3arXiv cs.RO

PAMAE : mélange d'experts d'action sensible aux phases pour des politiques VLA fiables par flow matching

Des chercheurs ont publié le 27 juin 2026 sur arXiv (2606.27144) un module baptisé PAMAE (Phase-Aware Mixture-of-Experts Action Experts), conçu pour améliorer la fiabilité des politiques d'action dans les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique multi-étapes. Le principe est simple : remplacer l'expert d'action unique partagé des architectures VLA à flow-matching par un mélange sparse d'experts spécialisés, sans toucher au backbone VLA pré-entraîné. Un routeur "phase-aware" oriente dynamiquement la génération d'actions vers l'expert approprié selon la phase d'exécution en cours, grâce à une tête de prédiction de phase légère et un objectif d'alignement de routage. L'entraînement se déroule en deux temps : d'abord un échauffement standard sous la loss de flow-matching, puis une optimisation du routage phase-cohérent sous supervision auxiliaire. Sur des benchmarks de simulation de manipulation multi-étapes, PAMAE affiche jusqu'à 9,2 % de gain en taux de succès par rapport à des baselines VLA solides. Ce résultat est notable parce qu'il s'attaque à un goulot d'étranglement concret des VLA à flow-matching : la tendance à lisser les comportements de contrôle à travers toutes les phases d'exécution avec un seul expert, ce qui nuit aux transitions critiques (saisie, repositionnement, insertion). L'approche "plug-and-play" est stratégiquement importante pour les intégrateurs -- elle évite le coût d'un réentraînement complet du backbone et reste compatible avec des fondations VLA existantes comme Pi-0 ou OpenVLA. Le gain de 9,2 % en simulation est mesuré sur des tâches multi-étapes, là où les architectures à expert unique échouent le plus souvent, ce qui rend la comparaison pertinente. Cela dit, la validation reste exclusivement en simulation, et le transfert sim-to-real n'est pas encore démontré : le "reality gap" demeure le vrai test pour ce type d'amélioration. Les VLA à flow-matching sont apparus comme une alternative aux politiques de diffusion classiques (Diffusion Policy, ACT) en combinant ancrage multimodal fort et généralisation, notamment via des modèles comme Pi-0 de Physical Intelligence ou les travaux de OpenVLA. L'idée des Mixture-of-Experts (MoE) pour les politiques de robot n'est pas nouvelle -- elle est empruntée au monde des LLMs (Mixtral, Switch Transformer) -- mais son application phase-conditioned dans un pipeline VLA end-to-end constitue une contribution originale. Côté concurrents, des approches comme HiRT, RoboVLMs ou les travaux de DeepMind sur RT-2 et ses successeurs explorent des trajectoires similaires pour améliorer la robustesse sur les tâches longues. La prochaine étape naturelle pour PAMAE serait une évaluation sur robot réel (plateforme Franka, UR5 ou bras humanoïde) et une comparaison directe avec des politiques récentes comme Pi-0.5 ou GR00T N2 de NVIDIA, dont les résultats terrain commencent à circuler.

RechercheOpinion

1 source

4arXiv cs.RO

Moins d'étapes, meilleures actions : repenser l'inférence par flow-matching pour les politiques VLA

Une équipe de recherche présente Coda (arXiv:2609.21216v1), qui réduit le coût d'inférence des politiques vision-langage-action (VLA) à flow matching, où générer une séquence d'actions (action chunk) exige plusieurs évaluations répétées d'un expert d'action. Plutôt que d'ajouter des pas d'intégration, une politique gelée complète d'abord une trajectoire bruit-vers-action en quelques pas, puis un petit Transformer, seul élément entraîné, corrige le résultat à partir de l'action candidate, du bruit source et d'un cache d'observation partagé. Sur 50 tâches du benchmark RoboTwin Easy, la version à cinq pas fait passer la réussite de 71,64% à 74,68% par rapport à une base à cinq pas équivalente, tout en réduisant la latence de 30,2% face à la politique par défaut à dix pas ; une version à deux pas atteint 71,88% avec une accélération de 2,12 fois. Sur le modèle ouvert SmolVLA figé, la réussite à deux pas grimpe de 60,8% à 69,4%. Le résultat touche un point sensible pour l'industrie robotique : la latence d'inférence conditionne directement le déploiement des VLA sur du matériel réel en boucle fermée, et l'hypothèse répandue selon laquelle plus de pas d'intégration produit toujours de meilleures actions se trouve contredite. Pour les intégrateurs et décideurs B2B, cela signifie qu'un correcteur léger, bon marché à entraîner, peut remplacer des pas d'inférence coûteux sans retoucher la politique de base ni le pipeline de flow matching déjà déployé, une famille d'architectures utilisée notamment par Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. C'est un argument concret contre l'idée que seul davantage de calcul referme l'écart entre démonstration en laboratoire et exécution réelle. Ces travaux s'inscrivent dans la lignée des politiques VLA à flow matching, désormais courantes en robotique généraliste pour produire des actions continues à partir d'images et de consignes en langage naturel. Classé « new » sur arXiv, le papier ne revendique aucun déploiement industriel : les résultats reposent sur des benchmarks reproductibles, RoboTwin Easy et SmolVLA, en simulation ou sur des jeux de tâches de référence, sans test documenté sur robot physique en conditions réelles. La méthode ouvre néanmoins une piste pour les laboratoires cherchant à réduire la latence des VLA sans sacrifier la précision, alors que la course aux politiques généralistes s'intensifie.

RecherchePaper

1 source