RecherchearXiv cs.RO 28 octobre 2026

Combien le Best-of-N peut-il aider un modèle d'action du monde ? Mesurer la marge de sélection exploitable et la réaliser en boucle fermée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Les modèles « world action models » (WAM), qui prédisent les conséquences visuelles des actions qu'ils génèrent, se prêtent naturellement à la sélection au moment du test : on imagine le futur de plusieurs actions candidates et on exécute la meilleure (best-of-N). Une étude publiée sur arXiv (v1) mesure ce que ce principe peut réellement apporter. Les auteurs introduisent un protocole contrefactuel débruité, fondé sur des branchements reproductibles au bit près, des continuations répétées, des oracles tenus à l'écart et des nombres aléatoires communs. Il s'appuie sur quatre WAM, deux benchmarks et plus de 100 000 rollouts branchés, avec des tests préenregistrés. Pour trois WAM, 17 continuations par candidat situent la part sélectionnable des échantillons natifs entre 24 % et 66 %. Des perturbations structurées des actions créent jusqu'à 16 points de marge sélectionnable supplémentaires. Un sélecteur à déclenchement conditionnel, qui ne s'écarte du « chunk » d'actions de la politique que lorsqu'une lecture du WAM prédit un échec, fait passer le succès en boucle fermée de 76,9 % à 81,6 % sur des épisodes tenus à l'écart de tâches d'entraînement, et de 62,6 % à 69,8 % sur des tâches inédites.

L'intérêt tient d'abord à la méthode. L'estimation habituelle exécute chaque candidat une seule fois et retient le meilleur résultat. Elle confond la qualité du candidat avec le hasard de tout ce qui suit, donc elle surestime le gain réel du best-of-N. Pour les équipes qui comptent sur le calcul au moment du test pour améliorer une politique figée sans la réentraîner, le plafond est plus bas qu'annoncé, mais il reste exploitable. Deuxième résultat : dans les deux WAM dotés d'une imagination conditionnée par l'action, les futurs imaginés portent autant d'information sur l'issue des candidats que les futurs réels, sans perte détectable. Cette information reste inutilisée par la tête de valeur de Cosmos Policy. Le gain est le plus marqué là où la politique échoue le plus souvent, ce qui cible les cas difficiles. Les gains absolus restent modestes (environ 5 points sur les tâches vues, 7 sur les tâches inédites), mesurés en simulation sur benchmarks, sans déploiement physique.

Ce travail s'inscrit dans le mouvement des politiques vision-langage-action (VLA) vers des modèles du monde capables de prévoir leurs conséquences, dont Cosmos Policy est un exemple cité. Les approches de sélection ou de vérification au moment du test, déjà courantes pour les LLM, gagnent ainsi la manipulation robotique. L'article ne nomme pas d'acteurs industriels ni de calendrier de déploiement. La suite logique serait de valider le sélecteur sur robot réel, avec la latence de génération des futurs imaginés comme contrainte pratique, et de l'étendre à d'autres WAM.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

$SC$^{2}$-WM : un modèle du monde autocorrecteur à boucle de rétroaction fermée pour la navigation vision-langage en environnement continu$

1arXiv cs.RO

SC$^{2}$-WM : un modèle du monde autocorrecteur à boucle de rétroaction fermée pour la navigation vision-langage en environnement continu

Des chercheurs ont publié le 11 août 2026 sur arXiv (référence 2608.07548v1) un article présentant SC²-WM, un modèle du monde auto-correcteur destiné à la navigation par vision et langage en environnement continu (VLN-CE), une tâche où un agent robotique doit suivre des instructions en langage naturel pour se déplacer dans un espace qu'il ne perçoit que partiellement. Contrairement à la plupart des méthodes existantes, qui fonctionnent en boucle ouverte sans mécanisme pour détecter une dérive de leur représentation interne pendant l'exécution, SC²-WM introduit une boucle de rétroaction fermée : le modèle du monde anticipe les conséquences d'une action avant de l'exécuter et affine le plan de navigation au niveau de l'état interne. Pour les cas les plus difficiles, les auteurs ajoutent un mécanisme d'adaptation conditionnelle qui met à jour le modèle du monde lui-même au moment du test, lorsque la rétroaction signale que ses capacités sont insuffisantes pour la situation rencontrée. Les expériences, menées sur les benchmarks standards de VLN-CE, montrent une robustesse et une généralisation améliorées par rapport aux approches en boucle ouverte. Le code est mis à disposition sur GitHub (sunrise-ikun/SC2_WM). Aucun chiffre précis de gain de performance ni comparaison avec des systèmes commerciaux n'est communiqué dans le résumé. Cette contribution touche un point sensible de la navigation robotique par instructions : le fossé entre les démonstrations en simulation et la fiabilité en conditions réelles. Un agent en boucle ouverte accumule des erreurs de perception ou d'interprétation du langage sans pouvoir les corriger, ce qui dégrade rapidement ses performances dès que l'environnement s'écarte des données d'entraînement. En donnant au modèle du monde la capacité de vérifier ses propres prédictions avant d'agir, puis de se réadapter localement quand ses connaissances ne suffisent plus, SC²-WM s'inscrit dans une tendance de fond de la recherche en IA incarnée : rendre les architectures de type modèle du monde ou VLA plus robustes à l'inférence, sans réentraînement complet. Pour les intégrateurs travaillant sur des AMR ou des plateformes mobiles guidées par langage naturel, ce type de mécanisme de correction interne est un prérequis pour sortir des scénarios de laboratoire scriptés et s'approcher d'un déploiement fiable en environnement non structuré. SC²-WM s'inscrit dans la lignée des travaux récents combinant modèles du monde et navigation instruite par le langage, un domaine où la littérature s'est jusqu'ici surtout concentrée sur l'amélioration de la perception et de la planification en boucle ouverte, laissant de côté la correction d'erreurs pendant l'exécution. L'article ne précise ni affiliation institutionnelle ni partenariat industriel ; il s'agit d'une publication de recherche accompagnée d'un code open source, sans annonce de produit ni de déploiement commercial. Les prochaines étapes attendues pour ce type de travaux sont généralement une validation sur des plateformes robotiques physiques et une comparaison directe avec d'autres architectures de navigation par le langage, notamment les approches fondées sur des modèles VLA génériques.

RecherchePaper

1 source

2arXiv cs.RO

FIT-MAC : un cadre multi-agents en boucle fermée pour des modèles vision-langage-action (VLA) robustes

FIT-MAC est un cadre de contrôle multi-agents en boucle fermée, proposé dans un preprint arXiv (2610.28109v1), qui vise à renforcer la robustesse des modèles vision-langage-action (VLA) au moment de l'inférence, sans réentraîner la politique. Il ajoute une couche de contrôle autour d'un VLA préentraîné, composée de quatre agents. Le Planner Agent convertit l'instruction en langage naturel en une spécification structurée (objectif de manipulation et contraintes spatiales). Le Grounder Agent associe chaque référence de l'instruction à une cible visuelle. Le Verifier Agent suit la progression par phase d'exécution et distingue les erreurs de liaison de cible (le robot vise le mauvais objet) des échecs d'exécution locaux (saisie ou dépose ratée). Il décide aussi si une intervention est justifiée. Le Correction Agent oriente alors vers une relocalisation de la cible ou vers une récupération bornée de la saisie ou de la dépose. Sans intervention nécessaire, le VLA reste le générateur d'actions par défaut. Les auteurs évaluent le système sur LIBERO-PRO, avec plusieurs architectures VLA. Ils annoncent des taux de succès en hausse constante et des performances à l'état de l'art sous diverses perturbations. Le résumé ne donne aucun chiffre. L'intérêt tient au problème ciblé. Les VLA affichent de bons scores sur les benchmarks standards, mais ils se dégradent fortement dès que la position des objets ou la formulation de la consigne s'écarte du cadre nominal. Cet écart entre démonstration et conditions réelles reste l'un des principaux freins au déploiement industriel. Les politiques actuelles ne disposent pas d'un mécanisme explicite pour diagnostiquer la nature de la panne et choisir la bonne réponse. Séparer l'erreur de grounding de l'erreur de motricité fine est une piste pragmatique pour les intégrateurs. Elle permet de fiabiliser une politique existante par une surcouche, sans réentraîner de modèle de fondation. Un point de prudence s'impose. Les résultats sont obtenus en simulation, sur un seul benchmark. Rien n'indique le coût en latence de quatre agents en boucle, ni la tenue sur robot physique. Le terme « état de l'art » n'est pas chiffré dans l'abstract. Ce travail s'inscrit dans le constat que les VLA généralistes se révèlent fragiles hors distribution. LIBERO-PRO a justement été conçu pour tester cette fragilité par des perturbations d'objets et d'instructions. FIT-MAC rejoint la famille des approches de supervision à l'inférence, qui s'opposent à l'amélioration de la robustesse par davantage de données ou de paramètres. Ces approches sont encore peu validées en conditions réelles. Les prochaines étapes à surveiller sont la publication des chiffres détaillés, la mesure de la latence ajoutée, un éventuel code ouvert et surtout des essais sur matériel réel. C'est là que se jouera la crédibilité de l'approche face aux politiques généralistes de type Pi-0 ou GR00T.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

PiL-World : un modèle du monde par segments pour l'évaluation VLA en boucle fermée

Des chercheurs ont publié PiL-World (arXiv:2606.05773), un modèle de monde (world model) en boucle fermée conçu pour évaluer les politiques VLA (Vision-Language-Action) sans exécution physique continue. Le système fonctionne par blocs d'actions (action chunks) : à chaque itération, la politique VLA génère une séquence d'actions, PiL-World simule les observations multi-vues résultantes, et ces observations alimentent le cycle d'inférence suivant. Évalué sur trois tâches de manipulation bimanuelle réelles, PiL-World réduit l'écart entre le taux de succès mesuré sur robot physique et celui estimé en simulation boucle fermée de 63,2 % à 12,0 % par rapport à la baseline, soit plus de cinq fois moins d'erreur d'évaluation. Le modèle conditionne la génération vidéo sur le mouvement du robot en vue de tête et sur un historique latent encodant le contexte d'exécution de la tâche, et apprend à la fois sur des démonstrations téléopérées réussies et sur des trajectoires d'échec. L'évaluation des politiques VLA en boucle fermée est un goulot d'étranglement critique dans le développement robotique : chaque cycle de test sur hardware coûte du temps, de l'usure mécanique et une supervision humaine. Un écart de 63,2 % entre simulation et réalité rend une baseline en boucle ouverte essentiellement inexploitable pour prédire les performances terrain. Ramené à 12,0 %, ce delta commence à être utilisable pour screener des politiques avant validation physique. Le fait que PiL-World apprenne aussi sur des rollouts d'échec est notable : cela corrige un biais classique des world models entraînés uniquement sur démonstrations positives, et rapproche la distribution simulée de celle des exécutions politiques réelles, qui incluent naturellement des tentatives ratées. La demande pour des boucles d'évaluation sans robot s'intensifie depuis que les VLA, notamment Pi-0 de Physical Intelligence, OpenVLA, ou GR00T N2 de NVIDIA, sont devenues les architectures de référence pour la manipulation généraliste. Les simulateurs physiques classiques comme Isaac Lab ou MuJoCo souffrent du sim-to-real gap pour les tâches de contact fin, d'où l'intérêt croissant pour les world models appris directement sur données réelles. PiL-World rejoint une tendance émergente aux côtés de travaux comme UniSim ou IRASim, qui visent à remplacer partiellement l'exécution physique par des modèles génératifs vidéo conditionnés sur les actions. Les résultats sur trois tâches bimanuelles restent limités en diversité de scènes et de morphologies robotiques, et aucun déploiement industriel ni partenariat n'est annoncé à ce stade, ce qui positionne PiL-World comme une contribution de recherche prometteuse plutôt qu'un outil prêt pour l'intégration.

RechercheOpinion

1 source

4arXiv cs.RO

Les modèles VLA aériens peuvent-ils coopérer ? Évaluation de la coordination air-sol en boucle fermée avec CARLA-Air

Des chercheurs ont publié sur arXiv (arXiv:2605.31066) une évaluation systématique des modèles vision-langage-action (VLA) aériens dans des scénarios de coopération air-sol. L'étude introduit CARLA-Air, un environnement de simulation mono-processus qui fusionne CARLA et AirSim au sein d'un même runtime Unreal Engine. Cette architecture unifiée permet de partager un état physique commun, un tick de physique synchronisé et un pipeline de capteurs cohérent entre un drone (UAV) et un robot terrestre (UGV), garantissant ainsi une mesure précise de la latence de coordination effective et de l'alignement temporel entre les agents. Deux tâches de diagnostic complémentaires ont été retenues : l'atterrissage sur plateforme mobile et l'escorte avec récupération d'occlusion, deux scénarios qui exigent une action jointe continue en boucle fermée. Les résultats révèlent un écart notable entre compétence individuelle et comportement coopératif stable. Les modèles VLA aériens testés parviennent souvent à suivre ou à pister un partenaire sol, mais échouent à convertir cette aptitude mono-agent en coordination fiable. L'ajout de prompts d'état explicites (state prompting) n'apporte qu'un bénéfice limité, et l'interaction bidirectionnelle naïve ne stabilise pas les performances, elle amplifie même les erreurs pour la majorité des baselines évaluées. Ce constat soulève une question structurelle pour les intégrateurs et décideurs industriels qui envisagent des flottes hétérogènes : les VLA actuels, conçus pour des missions autonomes mono-agent, ne sont pas directement transposables à la coopération multi-robot sans ingénierie supplémentaire sur l'interface de communication et la gestion d'objectifs partagés. L'étude s'inscrit dans un momentum fort autour des VLA embarqués (modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA), majoritairement optimisés pour des robots manipulateurs ou des plateformes terrestres. La robotique aérienne coopérative reste un angle peu couvert. Les auteurs identifient trois prérequis manquants pour le zero-shot air-sol : un ancrage explicite de l'état du partenaire, une coordination d'action à faible latence, et un alignement sur un objectif d'équipe partagé. Le code de CARLA-Air est disponible publiquement sur GitHub, ce qui ouvre la voie à des benchmarks reproductibles dans un domaine encore dépourvu de standards d'évaluation communs.

RechercheActu

1 source