RecherchearXiv cs.RO 16 octobre 2026

VeriVLA : vérification adaptative au moment du test pour les VLA à flux, avec modèles du monde latents

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent VeriVLA, une méthode de vérification au moment de l'inférence pour les politiques Vision-Language-Action (VLA) à base de flow matching, publiée sur arXiv (2610.21985). Le point de départ est que ces politiques sont stochastiques: selon la graine de bruit, une même observation produit des séquences d'actions (« action chunks ») de qualité très variable, alors que le robot exécute en pratique un seul échantillon, sans estimation de sa qualité. VeriVLA ajoute un déclencheur sans entraînement, à deux axes. À partir de deux échantillons initiaux, il mesure la variation temporelle au sein d'un chunk et la variance entre échantillons, afin de repérer les états critiques. Une fois le déclencheur activé, un modèle de monde latent de type JEPA classe les candidats en prédisant les états latents futurs conditionnés par les actions, ainsi que l'évolution de la progression de la tâche. Le travail dans l'espace latent évite toute reconstruction de pixels. Sur trois tâches réelles (insertion de stylo, pipetage, placement de pomme), le score moyen d'achèvement passe de 50,8 % à 65,5 %. Le surcoût est de 326 ms par décision déclenchée sur une seule RTX 4090. En simulation, le taux de succès passe de 66,4 % à 73,6 % sur RoboTwin 2.0 en configuration propre, de 62,8 % à 69,6 % en configuration randomisée, et de 96,9 % à 97,6 % sur LIBERO.

L'intérêt est double pour les équipes qui déploient des VLA. D'abord, la méthode améliore des politiques existantes sans les réentraîner, ce qui en fait un module ajoutable à un modèle déjà en production. Ensuite, elle cible la manipulation fine, là où une seule action ratée peut rendre une tâche irrécupérable: un gain d'environ 15 points en conditions réelles pèse davantage qu'un gain à l'échelle d'un benchmark. Le déclenchement adaptatif compte aussi, car la vérification n'est payée que dans les moments risqués, ce qui limite le coût de calcul sur la boucle de contrôle. Les résultats appellent toutefois la prudence. Les gains en simulation sont modestes, et ils sont quasi nuls sur LIBERO, déjà proche de la saturation à 96,9 %. Les expériences réelles ne portent que sur trois tâches, avec une seule configuration matérielle, et le papier ne précise pas ici le nombre d'essais ni la variabilité. Un surcoût de 326 ms reste notable pour des tâches dynamiques. Il est acceptable pour l'insertion ou le pipetage, moins pour des gestes rapides.

Ce travail s'inscrit dans une tendance où l'on fait du calcul supplémentaire à l'inférence (échantillonnage multiple, vérificateurs, modèles de monde) pour améliorer des VLA basés sur le flow matching, de la famille de Pi-0, au lieu de seulement augmenter les données et la taille des modèles. Il rejoint l'usage de JEPA, l'architecture prédictive latente portée par Meta, comme brique de modèle de monde. Les concurrents directs sont les approches de type best-of-N avec fonction de valeur ou critique apprise, et les méthodes de planification par modèles de monde générant des vidéos, plus coûteuses car elles passent par les pixels. La suite logique serait de tester VeriVLA sur d'autres politiques et sur des robots plus variés, y compris des humanoïdes, et de mesurer la robustesse sur de longs horizons. Il s'agit à ce stade d'une publication de recherche, sans produit ni déploiement industriel annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Adaptation efficace au moment du test pour les politiques de robots

Des chercheurs proposent TEMPO, une méthode d'adaptation au moment du test (test-time adaptation, TTA) pour les politiques de locomotion issues de l'apprentissage par renforcement. Le principe est d'ajuster une politique déjà entraînée pendant son exécution, de manière auto-supervisée et sans accès à la récompense. Le point de départ est une base légère qui ne met à jour que l'acteur et utilise un critique gelé comme indicateur de performance. TEMPO ajoute deux mécanismes. Un régularisateur d'entropie sur la distribution prédictive du critique limite les extrapolations trop confiantes. Une mémoire à score, inspirée du prioritized replay, retient en priorité les observations de faible valeur, jugées difficiles, et les rééchantillonne par importance pour concentrer le calcul limité sur les conditions les plus informatives. Les tests portent sur trois robots (Go1, Go2 et l'humanoïde G1) dans MuJoCo Playground, avec quatre types de décalage et plusieurs architectures. Les gains sont constants et vont jusqu'à 80 % dans un cadre mono-appareil. Une validation physique a été faite sur un Unitree Go2 muni d'une charge au mollet, avec une adaptation entièrement embarquée. Les politiques de locomotion apprises échouent souvent quand le terrain devient glissant ou accidenté, quand la charge change ou que les capteurs se dégradent. Réentraîner ou recalibrer à la main n'est guère possible sur site, et les contraintes de latence et de mémoire embarquée sont réelles. Ces travaux visent donc un manque pratique : corriger une politique sans récompense ni retour en simulation. Il faut toutefois tempérer. Le chiffre de 80 % est un maximum, et l'article ne donne ni la valeur de la charge ni le nombre d'épisodes réels. Le résultat reste un résultat de laboratoire, pas un déploiement. L'adaptation en ligne est un sujet ancien en robotique, entre randomisation de domaine, identification de système en ligne et méta-apprentissage. TEMPO s'en distingue par son coût réduit et son absence de signal de récompense. Les prochaines étapes naturelles seraient des charges plus lourdes, des terrains variés, des mesures de consommation et de latence sur matériel réel, et l'extension aux humanoïdes, que l'étude n'a validée qu'en simulation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

SANTS : un planificateur adaptatif à l'état pour les modèles d'action du monde

Des chercheurs proposent SANTS (State-Adaptive Noise Trajectory Scheduler), un scheduler léger pour les politiques de diffusion vidéo-vers-action dans les World Action Models (WAMs). Soumis sur arXiv (2605.27947) le 28 mai 2026, le travail part d'un constat empirique : dans les WAMs pixel-space, débruiter complètement la vidéo future n'optimise pas toujours la qualité de l'action produite. Au-delà d'un seuil dépendant de l'état du robot, le raffinement supplémentaire sature ou dégrade la performance. SANTS lit la représentation vidéo-état courante et le niveau de bruit, prédit un point d'arrêt adaptatif, et est entraîné par post-training avec une récompense sur la qualité finale de l'action (et non sur la fidélité de la vidéo intermédiaire). Résultats annoncés : 94,4 % de succès sur RoboTwin 2.0, 73,1 % sur sept tâches réelles, avec une réduction de latence de 81,7 % et 79,0 % respectivement par rapport au débruitage complet. L'enjeu opérationnel est la fréquence de contrôle : les WAMs souffrent d'une latence d'inférence élevée qui limite leur déploiement dans des boucles de contrôle rapides. Diviser par cinq ce coût d'inférence sans perte majeure de performance valide l'idée que la représentation future n'a pas besoin d'être parfaitement rendue pour conditionner efficacement l'action, une hypothèse implicite des architectures WAM qui n'était pas encore démontrée à cette échelle. Cela dit, le papier reste un preprint non relu par les pairs, et sept tâches réelles constituent un set de validation étroit pour prétendre à une généralisation industrielle. Les WAMs ont émergé comme alternative aux politiques VLA classiques en intégrant une prédiction vidéo du futur pour guider la génération d'actions. SANTS se positionne comme une surcouche d'optimisation compatible avec les designs existants, sans modifier la branche action du modèle de base. Dans l'écosystème actuel, Physical Intelligence (pi0), NVIDIA (GR00T N2) et Figure (Figure 03) développent des politiques de diffusion pour la manipulation, où la réduction de la latence d'inférence devient un facteur de compétitivité commerciale. Les prochaines étapes naturelles seraient une validation sur des benchmarks plus larges comme DROID ou Open X-Embodiment, et la mise à disposition publique des poids et du code.

RechercheOpinion

1 source

3arXiv cs.RO

Les limites de planification des modèles du monde latents

Une étude publiée sur arXiv (2609.39235) cartographie les limites de planification des modèles du monde latents, ces prédicteurs censés permettre à un robot d'« imaginer » l'évolution de son environnement avant d'agir. Les auteurs construisent des prédicteurs conditionnés par l'action sur cinq encodeurs visuels auto-supervisés gelés : V-JEPA 2, V-JEPA 2.1, VideoMAEv2, VideoPrism et DINOv2. Ils les évaluent sur diverses tâches de manipulation Meta-World et sur des interactions réelles tirées de BridgeData V2. Avec des rollouts de cinq pas, longueur d'entraînement du prédicteur, le modèle ne classe correctement les actions que pour des cibles situées 5 à 10 pas de contrôle plus loin, alors que les objectifs des tâches se trouvent à 16 à 53 pas. Un prédicteur 81 fois plus grand ou un entraînement sur des rollouts plus longs n'étendent pas cette portée. L'encodeur, lui, influence la portée et le succès en boucle fermée, V-JEPA 2.1 se montrant le plus régulier. Le point le plus significatif est que cette limite ne vient pas d'une prédiction imparfaite. Avec le vrai simulateur, donc une prédiction parfaite, le succès tombe de 92 % à 41 % lorsque la cible passe de 5 à 20 pas au-delà d'un rollout de cinq pas. Le goulet d'étranglement est donc la structure de la planification, pas seulement la qualité du modèle. Pour des objectifs lointains, l'imagination pure réussit dans 23 % des épisodes, la planification avec retour d'information (MPC) monte à 30 %, un rollout aussi long que la distance à l'objectif atteint 47 %, et des sous-objectifs experts proches atteignent 76 %. Pour les intégrateurs et les équipes R&D, cela tempère l'idée qu'il suffit de grossir le modèle ou les données : il faut des horizons imaginés plus longs ou une décomposition hiérarchique en sous-objectifs. Cela invite aussi à lire avec prudence les démonstrations qui montrent ce que ces modèles réussissent sans préciser à quelle distance se trouvait le but. L'étude arrive alors que les modèles du monde de la famille JEPA, portés par Meta, sont présentés comme une voie vers des robots généralistes, en concurrence avec les approches VLA (vision-langage-action) qui prédisent directement les actions. Les auteurs montrent une complémentarité : dans sa plage de planification, un modèle du monde peut filtrer huit actions proposées par une politique VLA et faire passer son succès de 65 % à 77 % sur 16 tâches. Il s'agit de résultats académiques, en simulation et sur données robotiques existantes, sans déploiement industriel ni produit annoncé. Les suites probables portent sur des rollouts plus longs, des sous-objectifs générés automatiquement et l'intégration à des VLA, sans calendrier précisé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

RL²-VLA : pilotage compositionnel latent par apprentissage par renforcement adaptatif avec mise à l'échelle au moment du test pour modèles vision-langage-action

Une nouvelle méthode baptisée RL²-VLA (Reinforcement Learning on VLA Latents) cherche à corriger un défaut connu des modèles vision-langage-action (VLA) utilisés en robotique : leurs performances chutent nettement sur des tâches inédites ou hors domaine, malgré des capacités visuomotrices par ailleurs impressionnantes. Décrite dans un article publié sur arXiv (arXiv:2607.26991v1), l'approche entraîne une politique légère d'apprentissage par renforcement hors ligne, conditionnée sur des représentations latentes extraites de « l'expert d'action » du VLA, puis combine sa vélocité de flux avec celle du modèle VLA gelé au moment de l'inférence. Contrairement aux méthodes existantes de pilotage au moment du test, qui appliquent la même intervention à chaque pas de temps quel que soit le contexte, RL² n'active ce pilotage compositionnel que lorsque l'échec de l'action est jugé probable. Sur les bancs d'essai SIMPLER et PolaRiS, cette stratégie relève le taux de réussite jusqu'à +17,3 points en conditions hors domaine, et des expériences en environnement réel confirment que ces gains se transposent au-delà de la simulation. L'intérêt pour l'industrie robotique tient au diagnostic sous-jacent autant qu'à la solution proposée. Les auteurs montrent que les méthodes actuelles de diversification des actions génèrent des échantillons trop concentrés autour de comportements similaires, donc sujets aux mêmes modes d'échec corrélés ; et surtout que le pilotage au moment de l'inférence obéit à des lois d'échelle différentes selon que la politique de base est en passe de réussir ou d'échouer. Injecter de la diversité comportementale n'aide que lorsque le modèle risque de se tromper : l'appliquer systématiquement peut au contraire dégrader une action déjà correcte. Ce constat nuance l'idée reçue selon laquelle « plus de diversité au test » serait toujours bénéfique, et offre aux équipes qui déploient des VLA en production un levier pour réduire les échecs sans réentraînement complet ni collecte massive de données, un point sensible pour tout intégrateur cherchant à fiabiliser des politiques déjà en service. RL² s'inscrit dans la lignée des méthodes récentes de « test-time steering and scaling », qui cherchent à améliorer un modèle VLA figé sans toucher à ses poids. Sa contribution consiste à combiner cette famille de techniques avec l'apprentissage par renforcement appliqué aux représentations latentes du modèle, plutôt qu'aux actions brutes, et à conditionner l'intervention à une prédiction d'échec. Les auteurs signalent des études d'ablation confirmant l'apport spécifique des représentations latentes et de l'entraînement RL, et présentent RL² comme un cadre modulaire, potentiellement applicable à différentes architectures VLA existantes plutôt que liée à un modèle unique.

RecherchePaper

1 source