RecherchearXiv cs.RO 27 octobre 2026

DiVeR : apprentissage de vérificateurs critiques pour la décision, pour le passage à l'échelle au moment du test des modèles VLA

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

DiVeR, une méthode décrite dans l'article arXiv 2610.04933 (v2), vise à améliorer les politiques Vision-Language-Action (VLA) en s'attaquant à la phase d'inférence plutôt qu'à l'entraînement. Le principe du « test-time scaling guidé par vérificateur » consiste à échantillonner plusieurs actions candidates à chaque pas de temps, puis à retenir celle jugée la plus susceptible de mener au succès de la tâche. Les vérificateurs existants, de type classifieurs, sont entraînés sur les résultats de trajectoires entières et traitent tous les états visités de la même façon. DiVeR estime à la place la « criticité décisionnelle » d'un état à partir de la dispersion des représentations des actions échantillonnées, puis pondère l'apprentissage du vérificateur en faveur des états où le choix de l'action compte vraiment. La méthode ne demande ni annotation au niveau de chaque étape ni interaction supplémentaire avec l'environnement. Les auteurs l'évaluent sur les benchmarks de simulation LIBERO et RoboCasa, ainsi que sur un robot Franka Research 3 en conditions réelles. Ils rapportent une amélioration constante du taux de succès, avec un surcoût d'inférence jugé négligeable. Le résumé ne donne aucun chiffre précis de gain.

L'enjeu est économique. Les gains obtenus en augmentant les données robotiques et la taille des modèles se heurtent au coût de collecte des démonstrations réelles, qui reste le principal goulot d'étranglement des VLA. Déplacer une partie de l'effort vers le calcul à l'inférence offre une voie complémentaire, déjà éprouvée dans les grands modèles de langage. L'idée centrale est que, le long d'une trajectoire, la plupart des états admettent des actions quasi interchangeables, et que seule une minorité de moments charnières détermine l'issue. Si cette intuition se confirme à grande échelle, un vérificateur concentré sur ces états peut rendre le ré-échantillonnage plus rentable. Pour les intégrateurs, cela suggère qu'on pourrait gagner en fiabilité sur une politique existante sans la réentraîner. Des réserves s'imposent toutefois. Les benchmarks simulés sont connus pour surestimer la robustesse réelle, la validation sur un seul bras Franka reste limitée, et le coût de latence d'un échantillonnage multiple n'est pas détaillé dans le résumé.

Ce travail s'inscrit dans une série de recherches sur les vérificateurs et les fonctions de valeur pour VLA, qui prolonge les politiques généralistes de type Pi-0 ou OpenVLA et leur recherche de robustesse sans multiplier les données. La différence avec les approches antérieures tient à la pondération des états plutôt qu'à l'architecture du vérificateur. Il s'agit d'une publication académique : aucun produit, déploiement industriel ni calendrier de pilote n'est annoncé. La suite logique serait une validation sur des tâches longues et des plateformes variées, ainsi qu'une intégration avec des politiques VLA de grande taille, où le coût de l'échantillonnage répété devient un critère décisif.

Dans nos dossiers

OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

SAIL : le passage à l'échelle au moment du test pour l'apprentissage par imitation en contexte avec VLM

Des chercheurs présentent SAIL, un framework qui reformule l'apprentissage par imitation en contexte (in-context imitation learning) comme un problème de raffinement itératif capable de tirer parti du calcul disponible au moment de l'inférence, ou "test-time compute". SAIL s'appuie sur une recherche arborescente Monte Carlo (MCTS) où chaque nœud représente une trajectoire complète et chaque arête correspond à un raffinement de cette trajectoire. Le système repose sur trois composants : une archive automatisée des trajectoires réussies pour la récupération contextuelle pertinente, un mécanisme de notation basé sur un modèle vision-langage (VLM) pour évaluer les trajectoires, et un retour au niveau de chaque étape (step-level feedback) qui fournit des scores alignés sur la trajectoire pour guider le raffinement itératif. Testé sur six tâches de manipulation distinctes, en simulation et en conditions réelles, SAIL montre qu'augmenter le calcul au moment du test améliore de manière constante le taux de réussite, atteignant jusqu'à 95 % sur les tâches les plus complexes. Le papier est publié sur arXiv sous une version révisée (arXiv:2603.08269v2, type "replace"). Ce résultat intéresse les équipes qui travaillent sur les modèles vision-langage-action (VLA) et l'apprentissage par imitation en manipulation robotique, un domaine où la génération de trajectoire en un seul essai reste fragile dès que l'environnement s'écarte des démonstrations d'entraînement. En transposant au bras robotique la logique de "test-time scaling" déjà démontrée dans les grands modèles de langage, où davantage de calcul à l'inférence améliore la qualité des réponses, SAIL suggère qu'une partie du problème de généralisation en robotique peut se traiter en allouant plus de calcul par tâche à l'exécution, via recherche, notation et raffinement, plutôt qu'en entraînant des modèles toujours plus gros. Pour les intégrateurs et décideurs B2B, cela pointe vers un compromis latence-fiabilité : accepter un temps de cycle plus long contre un taux de réussite plus élevé sur des tâches complexes, un arbitrage pertinent pour des applications où l'échec d'une manipulation coûte cher. Le travail reste toutefois académique : les 95 % de réussite portent sur six tâches définies en laboratoire, sans indication de temps de cycle ni de surcoût de calcul lié aux itérations MCTS, deux données déterminantes pour toute application industrielle. Cette publication s'inscrit dans un courant de recherche sur l'apprentissage par imitation en contexte, où un robot reproduit une tâche à partir d'un petit nombre de démonstrations sans réentraînement complet du modèle, une approche distincte des politiques VLA entraînées de bout en bout à la manière de Pi-0 ou GR00T N2. L'usage d'un VLM comme juge de qualité de trajectoire rejoint aussi une tendance récente consistant à mobiliser des modèles multimodaux généralistes comme mécanisme d'évaluation plutôt que comme contrôleur direct du robot. Aucun acteur européen n'apparaît dans ces travaux, qui n'annoncent ni partenariat industriel, ni pilote de déploiement, ni calendrier de commercialisation : la "validation monde réel" décrite correspond à des essais de laboratoire, pas à un déploiement en production.

RecherchePaper

1 source

2arXiv cs.RO

RL²-VLA : pilotage compositionnel latent par apprentissage par renforcement adaptatif avec mise à l'échelle au moment du test pour modèles vision-langage-action

Une nouvelle méthode baptisée RL²-VLA (Reinforcement Learning on VLA Latents) cherche à corriger un défaut connu des modèles vision-langage-action (VLA) utilisés en robotique : leurs performances chutent nettement sur des tâches inédites ou hors domaine, malgré des capacités visuomotrices par ailleurs impressionnantes. Décrite dans un article publié sur arXiv (arXiv:2607.26991v1), l'approche entraîne une politique légère d'apprentissage par renforcement hors ligne, conditionnée sur des représentations latentes extraites de « l'expert d'action » du VLA, puis combine sa vélocité de flux avec celle du modèle VLA gelé au moment de l'inférence. Contrairement aux méthodes existantes de pilotage au moment du test, qui appliquent la même intervention à chaque pas de temps quel que soit le contexte, RL² n'active ce pilotage compositionnel que lorsque l'échec de l'action est jugé probable. Sur les bancs d'essai SIMPLER et PolaRiS, cette stratégie relève le taux de réussite jusqu'à +17,3 points en conditions hors domaine, et des expériences en environnement réel confirment que ces gains se transposent au-delà de la simulation. L'intérêt pour l'industrie robotique tient au diagnostic sous-jacent autant qu'à la solution proposée. Les auteurs montrent que les méthodes actuelles de diversification des actions génèrent des échantillons trop concentrés autour de comportements similaires, donc sujets aux mêmes modes d'échec corrélés ; et surtout que le pilotage au moment de l'inférence obéit à des lois d'échelle différentes selon que la politique de base est en passe de réussir ou d'échouer. Injecter de la diversité comportementale n'aide que lorsque le modèle risque de se tromper : l'appliquer systématiquement peut au contraire dégrader une action déjà correcte. Ce constat nuance l'idée reçue selon laquelle « plus de diversité au test » serait toujours bénéfique, et offre aux équipes qui déploient des VLA en production un levier pour réduire les échecs sans réentraînement complet ni collecte massive de données, un point sensible pour tout intégrateur cherchant à fiabiliser des politiques déjà en service. RL² s'inscrit dans la lignée des méthodes récentes de « test-time steering and scaling », qui cherchent à améliorer un modèle VLA figé sans toucher à ses poids. Sa contribution consiste à combiner cette famille de techniques avec l'apprentissage par renforcement appliqué aux représentations latentes du modèle, plutôt qu'aux actions brutes, et à conditionner l'intervention à une prédiction d'échec. Les auteurs signalent des études d'ablation confirmant l'apport spécifique des représentations latentes et de l'entraînement RL, et présentent RL² comme un cadre modulaire, potentiellement applicable à différentes architectures VLA existantes plutôt que liée à un modèle unique.

RecherchePaper

1 source

3arXiv cs.RO

VeriVLA : vérification adaptative au moment du test pour les VLA à flux, avec modèles du monde latents

Des chercheurs proposent VeriVLA, une méthode de vérification au moment de l'inférence pour les politiques Vision-Language-Action (VLA) à base de flow matching, publiée sur arXiv (2610.21985). Le point de départ est que ces politiques sont stochastiques: selon la graine de bruit, une même observation produit des séquences d'actions (« action chunks ») de qualité très variable, alors que le robot exécute en pratique un seul échantillon, sans estimation de sa qualité. VeriVLA ajoute un déclencheur sans entraînement, à deux axes. À partir de deux échantillons initiaux, il mesure la variation temporelle au sein d'un chunk et la variance entre échantillons, afin de repérer les états critiques. Une fois le déclencheur activé, un modèle de monde latent de type JEPA classe les candidats en prédisant les états latents futurs conditionnés par les actions, ainsi que l'évolution de la progression de la tâche. Le travail dans l'espace latent évite toute reconstruction de pixels. Sur trois tâches réelles (insertion de stylo, pipetage, placement de pomme), le score moyen d'achèvement passe de 50,8 % à 65,5 %. Le surcoût est de 326 ms par décision déclenchée sur une seule RTX 4090. En simulation, le taux de succès passe de 66,4 % à 73,6 % sur RoboTwin 2.0 en configuration propre, de 62,8 % à 69,6 % en configuration randomisée, et de 96,9 % à 97,6 % sur LIBERO. L'intérêt est double pour les équipes qui déploient des VLA. D'abord, la méthode améliore des politiques existantes sans les réentraîner, ce qui en fait un module ajoutable à un modèle déjà en production. Ensuite, elle cible la manipulation fine, là où une seule action ratée peut rendre une tâche irrécupérable: un gain d'environ 15 points en conditions réelles pèse davantage qu'un gain à l'échelle d'un benchmark. Le déclenchement adaptatif compte aussi, car la vérification n'est payée que dans les moments risqués, ce qui limite le coût de calcul sur la boucle de contrôle. Les résultats appellent toutefois la prudence. Les gains en simulation sont modestes, et ils sont quasi nuls sur LIBERO, déjà proche de la saturation à 96,9 %. Les expériences réelles ne portent que sur trois tâches, avec une seule configuration matérielle, et le papier ne précise pas ici le nombre d'essais ni la variabilité. Un surcoût de 326 ms reste notable pour des tâches dynamiques. Il est acceptable pour l'insertion ou le pipetage, moins pour des gestes rapides. Ce travail s'inscrit dans une tendance où l'on fait du calcul supplémentaire à l'inférence (échantillonnage multiple, vérificateurs, modèles de monde) pour améliorer des VLA basés sur le flow matching, de la famille de Pi-0, au lieu de seulement augmenter les données et la taille des modèles. Il rejoint l'usage de JEPA, l'architecture prédictive latente portée par Meta, comme brique de modèle de monde. Les concurrents directs sont les approches de type best-of-N avec fonction de valeur ou critique apprise, et les méthodes de planification par modèles de monde générant des vidéos, plus coûteuses car elles passent par les pixels. La suite logique serait de tester VeriVLA sur d'autres politiques et sur des robots plus variés, y compris des humanoïdes, et de mesurer la robustesse sur de longs horizons. Il s'agit à ce stade d'une publication de recherche, sans produit ni déploiement industriel annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

RoboJEPA : passage à l'échelle des modèles du monde latents pour la robotique

RoboJEPA, un modèle du monde latent publié sur arXiv (2610.10515), repose sur l'architecture JEPA (Joint Embedding Predictive Architecture) et compte 8 milliards de paramètres. Ses auteurs le présentent comme le plus grand prédicteur JEPA entraîné à ce jour. Il a été entraîné sur un jeu de données à grande échelle couvrant 12 embodiments robotiques différents, issu de données de robots réels. Le résultat central est que l'« imagination error », c'est-à-dire l'erreur accumulée par les déroulés (rollouts) du modèle dans l'espace latent, suit une loi de puissance de second ordre en fonction du calcul. Cette loi permet de prédire la qualité du modèle bien au-delà de l'échelle sur laquelle elle a été ajustée. Les performances de planification en aval progressent elles aussi de façon prévisible avec le calcul. Enfin, le modèle a été déployé en zero-shot sur du matériel réel : il planifie vers une unique image-but pour résoudre des tâches à horizon long. Les checkpoints, le code d'entraînement et le code de déploiement sont publiés. L'intérêt tient moins à la performance brute qu'à la méthode. Jusqu'ici, les lois d'échelle étaient bien établies pour les modèles de langage, mais pas pour les modèles du monde robotiques, ce qui obligeait les équipes à investir à l'aveugle en paramètres, données et GPU. Si l'imagination error est effectivement corrélée de façon forte à la réussite de la planification, elle devient un indicateur peu coûteux pour évaluer un modèle sans passer par des essais sur robot réel, longs et difficiles à reproduire. Pour les intégrateurs et les décideurs B2B, cela rapproche la robotique d'une logique d'ingénierie où l'on chiffre à l'avance le gain attendu d'un budget de calcul. Il faut cependant rester prudent : il s'agit d'un preprint sans relecture par les pairs, les tâches réelles ne sont pas détaillées dans le résumé (taux de réussite, durée, diversité des scènes), et une extrapolation de loi d'échelle ne garantit pas la robustesse en environnement industriel ouvert. Ce travail s'inscrit dans la lignée des approches JEPA promues par Yann LeCun et Meta, qui privilégient la prédiction dans un espace de représentation abstrait plutôt qu'au niveau du pixel, en opposition aux modèles génératifs vidéo et aux politiques VLA (vision-langage-action) entraînées par imitation. Il se positionne face aux modèles du monde de type Cosmos de NVIDIA et aux modèles génératifs de Google DeepMind, ainsi qu'à V-JEPA 2 de Meta, qui avait déjà montré une planification robotique à partir d'une image-but. La publication ouverte des poids et du code laisse attendre des reproductions et des extensions par d'autres laboratoires. Les prochaines étapes à surveiller sont la validation des lois d'échelle à des tailles supérieures à 8 milliards de paramètres, leur confirmation par des équipes indépendantes, et une évaluation sur des tâches industrielles réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source