RecherchearXiv cs.RO 7 septembre 2026

Même trajectoire, récompenses contradictoires (ROBORMBENCH) : la fragilité des modèles de récompense vision-langage face aux paraphrases

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié ROBORMBENCH, un benchmark mesurant la fragilité des modèles vision-langage (VLM) utilisés comme fonctions de récompense en robotique, dans un article mis en ligne en septembre 2026 sur arXiv sous la référence 2609.05401. Le jeu de données réunit 2 390 trajectoires de robots réels, des étiquettes de progression vérifiées au sol, et 21 673 paraphrases vérifiées couvrant des réécritures lexicales, syntaxiques et de type action-objectif. Constat central : reformuler une consigne, sans toucher à la trajectoire réellement exécutée par le robot, peut faire varier fortement le score de progression prédit par le modèle, au point de faire basculer un comportement identique entre échec et succès. Testée sur des modèles propriétaires et open-source, cette instabilité induite par la paraphrase s'avère répandue, sévère, s'aggrave à mesure que les reformulations s'éloignent du texte d'origine, et résiste aussi bien à l'augmentation de la taille du modèle qu'à l'ajout de raisonnement explicite. Seuls des modèles de récompense dédiés, entraînés avec une supervision ancrée dans la trajectoire, se montrent nettement plus stables.

Ce résultat fragilise une hypothèse de plus en plus répandue dans le secteur, selon laquelle des VLM généralistes peuvent servir tels quels de juges pour entraîner des politiques robotiques par renforcement. Pour les intégrateurs et laboratoires qui bâtissent des pipelines de fine-tuning à partir de récompenses générées automatiquement, l'étude pointe un risque concret : une même démonstration réussie pourrait être notée comme un échec simplement parce que l'instruction textuelle a changé de formulation, introduisant un bruit silencieux dans l'entraînement des politiques. Le fait que ni l'échelle du modèle ni un raisonnement explicite ne corrigent le problème contredit l'idée que ces limites se résorberaient naturellement avec des modèles plus gros ou plus verbeux, et plaide pour des modèles de récompense spécialisés plutôt que pour des VLM généralistes détournés de leur usage d'origine.

ROBORMBENCH s'inscrit dans la tendance récente consistant à réutiliser des VLM prêts à l'emploi comme évaluateurs automatiques de progression de tâche en robotique, une alternative moins coûteuse que la supervision humaine ou l'écriture manuelle de fonctions de récompense. Le benchmark combine des trajectoires issues de robots réels, et non simulées, avec des paraphrases vérifiées par des humains, ce qui le distingue des tests synthétiques habituels du domaine. Le résumé de l'article ne précise ni les organismes à l'origine des travaux ni de calendrier de suite, mais la publication invite explicitement le secteur à traiter la robustesse aux paraphrases comme un critère obligatoire avant de déployer des VLM comme juges dans des boucles d'entraînement robotique, aux côtés de métriques plus classiques comme la précision ou la cohérence temporelle des prédictions.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)

Des chercheurs ont publié le 12 juin 2026 un article (arXiv:2606.12978) introduisant une nouvelle classe d'attaques adversariales sur les politiques robotiques de type VLA (Vision-Language-Action), ces architectures qui combinent un modèle de langage, une vision par caméra et un contrôleur moteur pour exécuter des tâches de manipulation à partir d'instructions textuelles. L'attaque baptisée "command-preserving trajectory redirection" (redirection de trajectoire préservant la commande) consiste à modifier subtilement le prompt d'entrée de façon à ce qu'il reste visuellement et sémantiquement proche de l'instruction légitime, mais provoque un résultat physique entièrement différent. Le modèle de menace est strict : l'attaquant ne modifie ni les poids du modèle, ni l'environnement, il choisit un seul prompt avant l'épisode, et ce prompt reste dans la norme syntaxique de la commande originale, sans mots-cibles ni langage correctif. Les auteurs proposent une méthode de recherche "on-policy" qui exploite des rollouts réels du robot pour identifier les perturbations textuelles dont le comportement en boucle fermée dévie vers une tâche cible. Les expériences sont conduites en simulation et sur robot physique, confirmant le transfert de l'attaque au monde réel. Ce résultat est significatif pour les intégrateurs et les décideurs industriels qui évaluent l'adoption des VLA en production, notamment dans les contextes de manipulation collaborative ou d'assemblage. La vulnérabilité exploite une propriété structurelle des VLA en boucle fermée : le même prompt est réappliqué à chaque étape de re-planification, et chaque action conditionnée modifie les observations futures sur lesquelles la politique agit. Un prompt malveillant peut donc cumuler ses effets sur toute une trajectoire, là où les attaques précédentes se limitaient à des perturbations action-par-action ou à la persistance d'actions basses. Cela contredit implicitement l'hypothèse que la robustesse visuelle d'un VLA suffit à garantir son intégrité comportementale, et soulève des questions concrètes sur la validation de sécurité avant déploiement. Les modèles VLA sont au coeur de plusieurs développements récents : pi0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, ou encore les politiques embarquées sur les humanoïdes Figure et 1X. La recherche en sécurité adversariale sur ces architectures était jusqu'ici dominée par des attaques sur les observations visuelles ou sur les actions individuelles ; ce travail ouvre formellement le champ des attaques au niveau de l'instruction textuelle à horizon long. Les auteurs n'annoncent pas de correctif ni de contre-mesure validée, ce qui laisse ouverte la question de la robustification des pipelines VLA. Les prochaines étapes attendues dans la communauté concerneront vraisemblablement la détection de prompts adversariaux à la volée et l'évaluation de ce vecteur d'attaque sur des modèles déployés commercialement. Le site projet est accessible à l'adresse indiquée dans le papier.

RechercheOpinion

1 source

2arXiv cs.RO

Hermite curves comme a priori de trajectoire pour les modèles vision-langage-action

Une équipe de recherche présente les "Hermite trajectory priors", une méthode qui structure explicitement les trajectoires générées par les modèles Vision-Language-Action (VLA) pour la manipulation robotique. Le problème identifié : les VLA actuels découpent chaque "chunk" d'action en commandes point par point, ce qui produit des mouvements saccadés et des discontinuités aux frontières entre segments lors de l'exécution physique. La solution proposée paramétrise la trajectoire comme une courbe cubique d'Hermite par morceaux, définie par les positions et vitesses aux points de contrôle, pour imposer mathématiquement la fluidité. Trois variantes sont testées : les Hermite Tokens (prédiction autorégressive des variables de frontière quantifiées), le Hermite Scaffold (décomposition en trajectoire de base plus résidus) et la Hermite Regularization (contrainte ajoutée uniquement comme objectif d'entraînement auxiliaire). Cette dernière s'avère la plus performante des trois. Appliquée au modèle π0.5, elle fait passer le taux de succès de 95,9 % à 98,7 % sur le benchmark LIBERO, de 85,7 % à 90,9 % sur LIBERO-plus, et de 63,4 % à 90,0 % sur quatre tâches réelles exécutées sur robot physique, sans surcoût de calcul à l'inférence. Ce résultat pèse dans un débat central du secteur : celui de l'écart entre démonstration et réalité pour les modèles VLA. Beaucoup de systèmes affichent des scores élevés en simulation mais se dégradent nettement lors du transfert vers un robot réel, notamment à cause de la gigue de mouvement générée par le découpage naïf en chunks. En montrant qu'une contrainte de lissage purement géométrique, ajoutée pendant l'entraînement et retirée à l'inférence, améliore les performances réelles sans coût supplémentaire, les auteurs suggèrent que la structuration explicite des trajectoires agit comme un biais inductif d'apprentissage plutôt que comme une contrainte d'exécution en temps réel. Le travail s'inscrit dans la lignée des architectures VLA récentes comme π0, GR00T N2 ou Helix, qui cherchent toutes à généraliser le contrôle robotique à partir de données multimodales massives. La méthode, agnostique à l'architecture, pourrait s'intégrer à d'autres pipelines VLA existants ; les auteurs ne précisent toutefois pas de calendrier de déploiement industriel ni de partenariat avec un fabricant de robots.

RechercheActu

1 source

3arXiv cs.RO

Robometer : mise à l'échelle des modèles de récompense robotique généralistes par comparaison de trajectoires

Des chercheurs ont publié Robometer, un cadre de modélisation de récompense (reward model) généraliste pour robots, conçu pour s'entraîner sur de grands datasets incluant des trajectoires échouées et sous-optimales. Le système repose sur un double objectif d'apprentissage : une perte de progression par frame ancrée sur des données expertes, et une perte de comparaison de préférences entre trajectoires imposant des contraintes d'ordonnancement global entre différentes exécutions d'une même tâche. Pour soutenir cette approche à grande échelle, les auteurs ont constitué RBM-1M, un dataset dédié à l'apprentissage de récompenses comprenant plus d'un million de trajectoires couvrant des robots de morphologies et de tâches variées, avec une fraction substantielle de données sous-optimales et d'échecs avérés. Le code, les poids du modèle et des vidéos sont accessibles sur robometer.github.io. L'enjeu est de surmonter la limitation fondamentale des reward models actuels, entraînés à prédire la progression absolue d'une tâche uniquement depuis des démonstrations expertes, ce qui confère une supervision purement locale et se révèle peu scalable face aux vastes datasets robotiques peuplés de trajectoires ratées ou imparfaites. Robometer exploite les comparaisons inter-trajectoires comme signal de supervision global, permettant d'extraire de l'information utile même des séquences d'échec et de lever l'ambiguïté de l'assignation de labels de progression denses. Ce changement de paradigme est significatif pour les praticiens : si les gains annoncés sur benchmarks et évaluations en conditions réelles se confirment indépendamment, les coûts de curation de données pour l'entraînement de politiques robotiques pourraient être substantiellement réduits. La modélisation de récompenses à grande échelle est un problème ouvert depuis plusieurs années dans la communauté robotique, avec des approches comme EUREKA d'NVIDIA ou les variantes robotiques du RLHF (Reinforcement Learning from Human Feedback) qui cherchent toutes à réduire la dépendance à l'annotation humaine dense. Robometer se positionne comme une alternative généraliste et multi-embodiment, sans être lié à une architecture ou un robot spécifique. Les suites naturelles incluent l'intégration dans des pipelines VLA (Vision-Language-Action), où la qualité du signal de récompense conditionne directement la généralisabilité des politiques apprises à l'échelle ; l'ouverture du code et des poids rend désormais possible des validations indépendantes, condition nécessaire pour confirmer les bénéfices au-delà du cadre expérimental des auteurs.

RechercheOpinion

1 source

4arXiv cs.RO

TrustVLA : défense guidée par mécanisme contre les portes dérobées des modèles vision-langage-action

Des chercheurs publient TrustVLA, une défense contre les portes dérobées dissimulées dans les modèles Vision-Language-Action (VLA), ces réseaux qui pilotent des robots a partir d'instructions en langage naturel et d'images. Le papier, mis en ligne sur arXiv le 15 juillet 2026, étudie deux attaques indépendantes, BadVLA et INFUSE, cette dernière survivant même a un réajustement sur données propres en aval. Un modèle VLA empoisonne se comporte normalement sur des observations saines, mais un déclencheur visuel discret suffit a dévier une politique robotique sur un horizon long, sans défaillance visible avant l'échec. Les auteurs identifient un mécanisme récurrent dans les modèles compromis testes: une "empreinte causale compacte", un support visuel restreint, concentre spatialement, capte par les mécanismes d'attention, dont le masquage ramené le score d'évolution des preuves internes a la plage normale. TrustVLA adapte le cadre d'évidence de Dirichlet, conçu pour la classification fiable, afin de surveiller l'incertitude épistémique token par token et couche par couche. Avec un petit jeu de calibration propre, l'outil détecte une évolution anormale, localise le support compact par chute de score contrefactuelle, puis reconstruit l'observation par inpainting localise. Les tests sur OpenVLA/LIBERO et en transfert vers pi_0.5 montrent une réduction du taux de succès des attaques sans dégrader les performances sur taches propres. Ce travail cible un angle mort critique pour l'industrie robotique: les pipelines de déploiement VLA, souvent bâtis sur des poids pré-entraines téléchargés, ne sont généralement pas audites par les utilisateurs finaux, ouvrant une surface d'attaque proche de la chaine d'approvisionnement logicielle. Pour des intégrateurs déployant des bras manipulateurs ou robots mobiles pilotes par des modèles fondation, une défense sans reentrainement change la donne face au cout habituel d'une purge ou recalibration complète. Que INFUSE résiste a un fine-tuning sur données saines contredit l'hypothèse rassurante qu'un réajustement en aval suffirait a nettoyer un modèle compromis, et rappelle que les défenses classiques de vision ou de langage n'expliquent ni la représentation interne d'un modèle déclenche, ni comment restaurer un comportement normal sans tout reentrainer. La recherche VLA s'est accélérée depuis RT-2 et OpenVLA jusqu'a des systèmes généralistes comme pi0 chez Physical Intelligence ou GR00T N2 chez Nvidia, une généralisation accrue qui a fait émerger en parallèle une littérature sur les attaques par backdoor, dont BadVLA et INFUSE sont deux illustrations issues d'équipes distinctes. TrustVLA prolonge les travaux sur la quantification d'incertitude épistémique en les adaptant a des politiques d'action séquentielles. A ce stade, la contribution reste académique, validée sur LIBERO et en transfert vers pi0.5, sans indication de déploiement industriel; les suites attendues portent sur l'extension a d'autres familles de VLA et sur des attaques adaptatives conçues pour contourner ce mécanisme de défense.

RechercheOpinion

1 source