RecherchearXiv cs.RO 15 octobre 2026

Le consensus de paraphrases n'est pas de l'autocohérence : dépendance aux instructions et robustesse des politiques VLA

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Les politiques vision-langage-action (VLA) affinées sur LIBERO, le benchmark de manipulation robotique de référence, sont entraînées et évaluées sur les mêmes dix phrases d'instruction. Une étude publiée sur arXiv (2610.19438) montre que reformuler simplement l'instruction fait chuter le taux de réussite d'OpenVLA de base de 38,0 points. Le prompt ensembling au moment du test, qui améliore pourtant les modèles de langage, ne récupère rien dans aucune des configurations testées. Le consensus de paraphrases, qui retient l'action médoïde parmi K reformulations, coûte 16,8 points à OpenVLA lorsque l'instruction d'entraînement fait partie du lot. Sans elle, le médoïde des paraphrases est à -32,4 points par rapport à l'instruction d'origine, et la sélection par confiance à -28,0. Un médoïde calculé sur plusieurs échantillons d'une seule paraphrase fait mieux que le décodage glouton, mais reste 27,6 points sous l'instruction d'entraînement.

Ce dernier résultat est le plus instructif pour les équipes qui déploient des VLA. Agréger des sorties réduit la variance, mais n'enlève pas le biais que partagent toutes les paraphrases. L'échec ne relève donc pas du bruit d'échantillonnage, et multiplier les appels à l'inférence ne corrigera pas une politique qui a surtout mémorisé des chaînes de caractères. Les auteurs introduisent une sonde d'instruction erronée, qui mesure la part du succès d'une politique réellement dépendante de l'instruction. Sur trois politiques et quatre suites, les paraphrases ne pénalisent une politique que lorsque cette part est élevée. Les politiques plus performantes en perdent une fraction nettement plus faible qu'OpenVLA de base. Cela invite à nuancer les scores LIBERO, où une partie du succès peut venir du contexte visuel plutôt que du langage. Pour un intégrateur, il faut tester la robustesse aux reformulations avant de promettre une interface en langage naturel à des opérateurs.

Côté remède, un post-entraînement LoRA sur des instructions paraphrasées ramène l'effet d'une paraphrase à +2,0 points, contre -32,0 pour un témoin apparié. Le résultat se reproduit sur deux graines et sur OpenVLA-OFT, et se transfère à des formulations tenues à l'écart. En revanche, la dépendance de la politique à l'instruction reste inchangée. Le gain vient donc d'une meilleure généralisation lexicale, pas d'une meilleure compréhension du langage. Il s'agit d'un travail de recherche en simulation sur LIBERO, sans déploiement réel ni validation sur matériel, et le périmètre (dix instructions, quelques politiques) limite la portée des conclusions. Il rejoint un faisceau de travaux qui interrogent la fiabilité des benchmarks VLA face aux politiques généralistes plus récentes.

Dans nos dossiers

IA physique & VLA OpenVLA / RT-X Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Génération d'actions robotiques continues et cohérentes par correspondance de flux sensible aux fréquences

Une équipe de recherche propose FAFM (Frequency-Aware Flow Matching), une méthode de génération d'actions robotiques présentée en préprint arXiv (2606.20135, juin 2026), qui reformule le problème du flow matching pour la manipulation robotique dans le domaine fréquentiel. Le principe : plutôt que de prédire directement des séquences d'actions discrètes (des "chunks"), FAFM applique une transformée en cosinus discrète (DCT) sur ces séquences pour les convertir en coefficients fréquentiels, effectue le flow matching sur ces coefficients, puis reconstruit des actions continues via expansion en base cosinus. Pour garantir la cohérence temporelle, la méthode ajoute une contrainte de type Sobolev sur la dérivée temporelle du premier ordre, ce qui pénalise les changements brusques et atténue les erreurs hautes fréquences. L'approche s'applique sans paramètres réseau supplémentaires, aussi bien aux politiques de flow matching autonomes qu'aux modèles vision-langage-action (VLA). Les résultats sont validés sur les benchmarks LapGym, LIBERO et évitement d'obstacles, ainsi qu'en déploiement réel sur un bras Franka. L'intérêt industriel est direct : la fragmentation des fréquences de contrôle est un problème concret lors de l'agrégation de données de démonstration provenant de robots différents (certains à 10 Hz, d'autres à 50 Hz), et les méthodes actuelles de diffusion policy ou de flow matching standard y sont explicitement vulnérables. Les actions temporellement incohérentes qui en résultent dégradent la stabilité du contrôle en boucle fermée, un facteur bloquant pour le déploiement en production. Le fait que FAFM améliore simultanément le taux de succès, la fluidité du mouvement, la robustesse aux biais mécaniques et la vitesse de convergence sans modifier l'architecture existante est une proposition de valeur claire pour les intégrateurs : pas de refonte du pipeline, pas de surcoût computationnel. La compatibilité avec les VLA est également notable, car ces modèles dominent les annonces récentes (pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) et souffrent précisément de ce type d'artefacts temporels à l'inférence. Le flow matching s'est imposé ces dix-huit derniers mois comme alternative crédible à la diffusion policy (Chi et al., 2023, Columbia), avec des temps d'inférence plus courts et une meilleure expressivité multimodale. Les travaux récents de Physical Intelligence (pi-0, pi-0.5) et de Figure AI ont largement adopté ce paradigme pour leurs politiques générales. FAFM s'inscrit dans une tendance de raffinement de ces fondations plutôt que de rupture : on optimise la stabilité et la généralisation inter-fréquences, deux verrous identifiés lors des premiers déploiements industriels à grande échelle. La validation sur Franka reste modeste en termes de diversité de tâches, et le code est disponible sous revue anonyme, ce qui signifie que la méthode n'est pas encore auditée par la communauté. Les prochaines étapes naturelles seraient une validation sur des plateformes humanoïdes multi-articulées et sur des datasets hétérogènes à grande échelle, là où la question des fréquences mixtes est la plus aiguë.

RecherchePaper

1 source

2arXiv cs.RO

Vue-croisée d'action cohérente pour des politiques vision-langage-action robustes aux caméras

Des chercheurs publient sur arXiv (2608.06965v1) une méthode pour rendre les politiques vision-langage-action (VLA) robustes au déplacement de la caméra de scène, défaut fréquent alors même que tâche et objets restent identiques. L'approche n'utilise que l'image RGB, le langage et la proprioception, sans extrinsèques ni profondeur, la caméra au poignet étant masquée pour éviter tout raccourci visuel. Pour les VLA à flow matching, elle régularise le champ de vitesse d'action via une perte cross-vue appliquée à des paires de rendus MuJoCo (vue nominale/perturbée) issues des mêmes démonstrations LIBERO. Sur le benchmark LIBERO-Plus, elle atteint 87,2% de réussite (4797 rollouts par graine, sur 3 graines d'entraînement), contre 79,8% pour un flow-matching seul sur les mêmes paires et seulement 25,8% quand les paires sont mélangées au hasard, tout en préservant 95% de réussite en caméra nominale. Sur robot réel, sur trois tâches de manipulation, le taux de réussite en caméra inédite passe de 53,3% à 74,4%. Le résultat s'attaque à un vrai point de friction pour les intégrateurs: reconfigurer ou dupliquer une cellule robotique oblige aujourd'hui à recollecter des données, faute de quoi la performance chute dès que l'angle de caméra change. Sans capteur supplémentaire ni calibration caméra, la méthode améliore la robustesse de près de 20 points sur robot réel, ce qui suggère que la généralisation aux changements de point de vue des VLA dépend autant de l'algorithme d'entraînement que du volume de données, une nuance qui tranche avec les discours misant tout sur l'échelle des données. Le taux plafonne toutefois à 74% en caméra inédite, sur seulement trente essais réels au total, ce qui limite la portée des conclusions hors laboratoire. Le travail s'appuie sur LIBERO-Plus, extension du benchmark LIBERO conçue pour stresser les politiques d'imitation face aux perturbations de caméra, et sur le flow matching, technique de génération d'action utilisée par plusieurs architectures VLA récentes. Il se positionne implicitement contre la pratique courante du fine-tuning multi-caméra, moins performante de 12,5 points que la perte cross-vue proposée. Publié comme préprint non encore évalué par les pairs, sans mention de déploiement pilote ni de partenaire industriel, l'article laisse en suspens une validation à plus grande échelle, sur davantage de tâches et de plateformes robotiques réelles.

RechercheOpinion

1 source

3arXiv cs.RO

Au-delà de la reconstruction : qu'est-ce qui compte dans la tokenisation d'actions pour les politiques robotiques ?

Les politiques robotiques autorégressives, dont les modèles vision-langage-action (VLA), convertissent des séquences de tokens discrets en commandes continues grâce à un « tokenizer » d'actions. Une équipe de chercheurs publie sur arXiv (2610.09170) ProAct, pour Predictable and Robust Action Tokenization, une méthode d'entraînement de ces tokenizers. Elle ne dépend d'aucune politique particulière et n'utilise que des jeux de données d'actions. Testée sur les benchmarks Robomimic, LIBERO et RoboTwin, avec plusieurs architectures de tokenizers, elle améliore le taux de réussite en rollout de 11,3 points de pourcentage en moyenne. Le gain atteint 21,8 points sur des VLA et 36,7 points en manipulation robotique réelle. Les résumés de ce type ne précisent pas toujours les tâches, les robots ou le nombre d'essais physiques. Il faudra donc lire l'article complet pour juger de la robustesse de ces chiffres. La plupart des tokenizers apprennent la correspondance entre tokens et actions par un objectif de reconstruction. Les auteurs montrent qu'une reconstruction suffisamment fidèle ne garantit pas une bonne politique. Deux autres propriétés comptent. La politique doit prédire les bons tokens face à des observations nouvelles. Et les tokens qu'elle prédit sans les avoir vus à l'entraînement doivent quand même se décoder en actions plausibles. Ni l'une ni l'autre n'est favorisée par la seule reconstruction. ProAct complète donc celle-ci pour améliorer la prévisibilité et la robustesse. Pour les équipes qui construisent des VLA, le message est concret : le tokenizer n'est pas un simple module de compression. C'est une interface de conception à part entière, qui doit équilibrer fidélité, prévisibilité et robustesse. Le gain le plus marqué en conditions réelles suggère aussi qu'une partie de l'écart entre démonstration et déploiement pourrait venir de ce maillon, et pas seulement de la taille des modèles ou du volume de données. Ce travail s'inscrit dans le courant des politiques qui discrétisent les actions pour réutiliser les architectures de modèles de langage, comme l'approche de tokenisation par compression popularisée avec les modèles de type Pi-0-FAST. Il rejoint les critiques sur les méthodes qui jugent un tokenizer à sa seule erreur de reconstruction. Le fait que ProAct soit indépendant de la politique et n'utilise que des données d'actions facilite son intégration dans des pipelines existants, sans réentraîner l'ensemble de la pile. Les concurrents sont les approches continues, notamment par diffusion ou flow matching, qui évitent la tokenisation. Aucun pilote industriel ni calendrier de publication de code n'est mentionné dans le résumé. Il s'agit pour l'instant d'une preuve de concept académique, dont l'adoption dépendra de la reproductibilité des résultats par d'autres laboratoires.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Le robot n'est pas sa description : GaugeBench pour la robustesse de la représentation dans les politiques sensibles à la morphologie

Des chercheurs publient sur arXiv (2610.07597) GaugeBench, un banc d'essai qui teste une question laissée de côté par l'évaluation cross-embodiment : un contrôleur survit-il quand le robot reste identique mais que sa description change ? Une description de robot (URDF ou équivalent) encode en effet, en plus du mécanisme physique, des conventions arbitraires : sens des axes d'articulation, zéro angulaire des joints, ordre et noms des liens et des articulations. GaugeBench réécrit un même mécanisme selon des conventions physiquement équivalentes, vérifie que la physique et l'interface de la politique sont préservées, puis évalue les mêmes poids. Trois politiques MetaMorph obtiennent un score de 4030,6 sur 80 robots connus, mais seulement 51,6 quand ces mêmes robots sont simplement re-décrits. Sur 98 robots réellement inédits, le score reste à 1489,6. Le phénomène se retrouve avec ModuMorph et avec un framework PyBullet indépendant. L'enjeu est direct pour quiconque vise des politiques « morphology-aware » généralistes. Une nouvelle description s'avère plus destructrice qu'un nouveau robot : la généralisation mesurée jusqu'ici reflète en partie une mémorisation de conventions, pas une compréhension de la mécanique. Pour un intégrateur, cela signifie qu'un changement d'export CAO, de chaîne d'outils ou de fournisseur d'URDF peut ruiner un contrôleur sans toucher au matériel. L'analyse causale est utile : l'inversion d'axe seule reproduit l'effondrement, les changements de zéro angulaire sont quasi inoffensifs, le réordonnancement est intermédiaire. Modifier uniquement les coordonnées d'état et de couple des articulations suffit à casser la politique, alors que modifier seules les caractéristiques dérivées de la description ne le fait pas. Le défaut est réparable : un transport exact entre deux descriptions restitue le contrôleur d'origine, et un entraînement sur des conventions d'axes équivalentes fait passer le retour conservé sous inversion d'axe de 3,6 % à 80,6 %. Ces résultats s'inscrivent dans la course aux politiques cross-embodiment, de MetaMorph à ModuMorph, évaluées jusqu'ici en changeant de robot tout en figeant les conventions de description. Les auteurs distinguent la robustesse du mécanisme de la robustesse de la représentation et recommandent de tester les deux. Il s'agit d'une préimpression, évaluée en simulation, sans validation sur matériel réel ni revue par les pairs. Ses conclusions devraient toutefois peser sur les protocoles d'évaluation des futurs modèles généralistes, VLA inclus, dès lors qu'ils consomment des descriptions de robot comme entrée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source