$SC$^{2}$-WM : un modèle du monde autocorrecteur à boucle de rétroaction fermée pour la navigation vision-langage en environnement continu$

RecherchearXiv cs.RO 11 août 2026

SC$^{2}$-WM : un modèle du monde autocorrecteur à boucle de rétroaction fermée pour la navigation vision-langage en environnement continu

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 11 août 2026 sur arXiv (référence 2608.07548v1) un article présentant SC²-WM, un modèle du monde auto-correcteur destiné à la navigation par vision et langage en environnement continu (VLN-CE), une tâche où un agent robotique doit suivre des instructions en langage naturel pour se déplacer dans un espace qu'il ne perçoit que partiellement. Contrairement à la plupart des méthodes existantes, qui fonctionnent en boucle ouverte sans mécanisme pour détecter une dérive de leur représentation interne pendant l'exécution, SC²-WM introduit une boucle de rétroaction fermée : le modèle du monde anticipe les conséquences d'une action avant de l'exécuter et affine le plan de navigation au niveau de l'état interne. Pour les cas les plus difficiles, les auteurs ajoutent un mécanisme d'adaptation conditionnelle qui met à jour le modèle du monde lui-même au moment du test, lorsque la rétroaction signale que ses capacités sont insuffisantes pour la situation rencontrée. Les expériences, menées sur les benchmarks standards de VLN-CE, montrent une robustesse et une généralisation améliorées par rapport aux approches en boucle ouverte. Le code est mis à disposition sur GitHub (sunrise-ikun/SC2_WM). Aucun chiffre précis de gain de performance ni comparaison avec des systèmes commerciaux n'est communiqué dans le résumé.

Cette contribution touche un point sensible de la navigation robotique par instructions : le fossé entre les démonstrations en simulation et la fiabilité en conditions réelles. Un agent en boucle ouverte accumule des erreurs de perception ou d'interprétation du langage sans pouvoir les corriger, ce qui dégrade rapidement ses performances dès que l'environnement s'écarte des données d'entraînement. En donnant au modèle du monde la capacité de vérifier ses propres prédictions avant d'agir, puis de se réadapter localement quand ses connaissances ne suffisent plus, SC²-WM s'inscrit dans une tendance de fond de la recherche en IA incarnée : rendre les architectures de type modèle du monde ou VLA plus robustes à l'inférence, sans réentraînement complet. Pour les intégrateurs travaillant sur des AMR ou des plateformes mobiles guidées par langage naturel, ce type de mécanisme de correction interne est un prérequis pour sortir des scénarios de laboratoire scriptés et s'approcher d'un déploiement fiable en environnement non structuré.

SC²-WM s'inscrit dans la lignée des travaux récents combinant modèles du monde et navigation instruite par le langage, un domaine où la littérature s'est jusqu'ici surtout concentrée sur l'amélioration de la perception et de la planification en boucle ouverte, laissant de côté la correction d'erreurs pendant l'exécution. L'article ne précise ni affiliation institutionnelle ni partenariat industriel ; il s'agit d'une publication de recherche accompagnée d'un code open source, sans annonce de produit ni de déploiement commercial. Les prochaines étapes attendues pour ce type de travaux sont généralement une validation sur des plateformes robotiques physiques et une comparaison directe avec d'autres architectures de navigation par le langage, notamment les approches fondées sur des modèles VLA génériques.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

WNM-3D : un modèle de navigation intégrant une conditionnalisation 3D pour la navigation vision-langage en boucle fermée

Un article publié sur arXiv (référence 2608.07267, catégorie "cross-listing" signalant un croisement entre disciplines) présente WNM-3D, un modèle de navigation "world-action" conçu pour la navigation vision-langage en boucle fermée, c'est-à-dire des robots qui suivent des instructions en langage naturel à partir de flux vidéo égocentriques. Le système combine un encodeur de géométrie gelé, qui extrait des représentations 3D à partir de l'historique RGB monoculaire de l'agent, avec un adaptateur entraînable appelé 3D Scene-to-Token, qui convertit ces représentations en un préfixe de longueur fixe injecté dans un Transformer de diffusion. Grâce à un mécanisme d'attention "block-causal", ce contexte géométrique conditionne à la fois la génération des futures vues visuelles et celle des actions de navigation. L'entraînement se déroule en trois étapes : un ajustement supervisé sur des démonstrations générées par l'algorithme A*, une adaptation de type DAgger sur les états visités par la politique elle-même, puis une optimisation en boucle fermée via une méthode appelée DanceGRPO. Sur le benchmark GN-Bench, WNM-3D surpasse des politiques de navigation basées sur des modèles vision-langage classiques ainsi que sa propre variante conditionnée en 2D, avec une meilleure cohérence entre flux visuel et action et une erreur de mouvement visuel réduite sur un jeu d'évaluation proche de l'objectif. L'intérêt de ces travaux réside dans le diagnostic qu'ils posent sur les approches VLA (vision-language-action) actuelles, qui associent directement observations et instructions à des actions sans modéliser explicitement comment la scène visuelle doit évoluer sous l'effet du mouvement prédit. En ancrant la prédiction conjointe d'images futures et d'actions dans une représentation 3D persistante plutôt que dans un simple contexte 2D, WNM-3D vise à réduire la dérive en boucle fermée, un problème classique où les erreurs de navigation s'accumulent au fil des pas de temps. Pour les intégrateurs de robots mobiles autonomes, ce résultat suggère qu'un conditionnement géométrique explicite améliore la robustesse par rapport à des politiques purement basées sur des modèles vision-langage préentraînés, sans toutefois constituer une preuve de déploiement réel : les résultats restent circonscrits à un benchmark, sans essai terrain ni robot physique mentionné. Ce travail s'inscrit dans la lignée des modèles génératifs "world-action" (WAM), une famille d'approches qui prédisent conjointement observations futures et actions mais qui, jusqu'ici, ne conditionnaient pas cette génération sur une représentation géométrique de l'historique observé pour la navigation continue. WNM-3D se positionne explicitement contre les politiques VLA de référence et contre une variante 2D du même modèle, utilisée comme ablation pour isoler l'apport du conditionnement 3D. Aucun partenariat industriel, aucun calendrier de déploiement ni acteur commercial n'est mentionné dans l'abstract, ce qui situe cette publication au stade de la recherche amont plutôt que d'un produit prêt à l'intégration.

RechercheActu

1 source

2arXiv cs.RO

Transfert simulation-réel de la navigation vision-langage en environnements continus avec un robot mobile à direction Ackermann

Des chercheurs publient sur arXiv (2610.07192) une étude de transfert simulation-réel pour la navigation guidée par le langage (Vision-Language Navigation, VLN) en environnement continu, testée sur un robot de conception artisanale à direction Ackermann, c'est-à-dire de type voiture, équipé d'une caméra et d'un LiDAR. Le système repose sur une architecture à attention croisée (Cross-Modal Attention, CMA). Celle-ci aligne images et instructions textuelles dans un espace d'embedding commun. Elle a d'abord été entraînée sur un jeu de données existant en simulation, puis affinée avec des données réelles collectées sur le robot. Deux leviers suffisent à l'adaptation : des ajustements photométriques linéaires et un fine-tuning sur un nombre limité d'épisodes. L'ensemble tourne hors ligne sur du matériel dédié embarqué, sans connexion à un service distant. Les performances sont mesurées par le SPL (Success weighted by Path Length) et le nDTW (Normalized Dynamic Time Warping). Le résumé publié ne fournit toutefois aucune valeur chiffrée, ni la taille du jeu de données réel, ni le nombre d'épisodes, ni les références comparées. L'intérêt tient à la contrainte levée. La plupart des modèles VLN académiques supposent un graphe de navigation prédéfini, des vues panoramiques à 360 degrés et une localisation parfaite. Ces hypothèses sont rarement réunies sur un robot de production. Faire fonctionner un modèle sans graphe, avec une seule caméra frontale, rapproche donc la VLN d'un cas d'usage déployable : donner un ordre en langage naturel à un AMR ou à un véhicule autonome dans un site non cartographié. Pour un intégrateur, le résultat suggère qu'un écart sim-to-real se réduit avec peu de données réelles et un recalage d'image simple, sans pipeline lourd. Il faut cependant rester prudent. Il s'agit d'un prototype de laboratoire, évalué sur un seul robot, et le résumé ne donne ni taux de réussite ni comparaison avec des VLA récents. Les conditions d'essai (lieux, éclairage, obstacles dynamiques) restent inconnues. On ne peut donc pas parler de transfert « résolu ». Ce travail s'inscrit dans la lignée des benchmarks VLN en simulation, notamment ceux en environnement continu, longtemps éloignés des contraintes matérielles réelles. Il se distingue des grands modèles vision-langage-action (Pi-0, GR00T, Helix) qui visent la manipulation et exigent des ressources de calcul bien supérieures. Ici, l'approche est plus modeste : un modèle CMA léger, exécutable embarqué. Aucune entreprise ni pilote commercial n'est annoncé, et aucun acteur européen n'est cité dans le résumé. La suite logique serait de publier des chiffres comparatifs, de tester d'autres plateformes (robots à roues différentielles, quadrupèdes) et de confronter l'approche à des environnements plus variés. Aucune date de code ou de jeu de données ouvert n'est précisée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

FIT-MAC : un cadre multi-agents en boucle fermée pour des modèles vision-langage-action (VLA) robustes

FIT-MAC est un cadre de contrôle multi-agents en boucle fermée, proposé dans un preprint arXiv (2610.28109v1), qui vise à renforcer la robustesse des modèles vision-langage-action (VLA) au moment de l'inférence, sans réentraîner la politique. Il ajoute une couche de contrôle autour d'un VLA préentraîné, composée de quatre agents. Le Planner Agent convertit l'instruction en langage naturel en une spécification structurée (objectif de manipulation et contraintes spatiales). Le Grounder Agent associe chaque référence de l'instruction à une cible visuelle. Le Verifier Agent suit la progression par phase d'exécution et distingue les erreurs de liaison de cible (le robot vise le mauvais objet) des échecs d'exécution locaux (saisie ou dépose ratée). Il décide aussi si une intervention est justifiée. Le Correction Agent oriente alors vers une relocalisation de la cible ou vers une récupération bornée de la saisie ou de la dépose. Sans intervention nécessaire, le VLA reste le générateur d'actions par défaut. Les auteurs évaluent le système sur LIBERO-PRO, avec plusieurs architectures VLA. Ils annoncent des taux de succès en hausse constante et des performances à l'état de l'art sous diverses perturbations. Le résumé ne donne aucun chiffre. L'intérêt tient au problème ciblé. Les VLA affichent de bons scores sur les benchmarks standards, mais ils se dégradent fortement dès que la position des objets ou la formulation de la consigne s'écarte du cadre nominal. Cet écart entre démonstration et conditions réelles reste l'un des principaux freins au déploiement industriel. Les politiques actuelles ne disposent pas d'un mécanisme explicite pour diagnostiquer la nature de la panne et choisir la bonne réponse. Séparer l'erreur de grounding de l'erreur de motricité fine est une piste pragmatique pour les intégrateurs. Elle permet de fiabiliser une politique existante par une surcouche, sans réentraîner de modèle de fondation. Un point de prudence s'impose. Les résultats sont obtenus en simulation, sur un seul benchmark. Rien n'indique le coût en latence de quatre agents en boucle, ni la tenue sur robot physique. Le terme « état de l'art » n'est pas chiffré dans l'abstract. Ce travail s'inscrit dans le constat que les VLA généralistes se révèlent fragiles hors distribution. LIBERO-PRO a justement été conçu pour tester cette fragilité par des perturbations d'objets et d'instructions. FIT-MAC rejoint la famille des approches de supervision à l'inférence, qui s'opposent à l'amélioration de la robustesse par davantage de données ou de paramètres. Ces approches sont encore peu validées en conditions réelles. Les prochaines étapes à surveiller sont la publication des chiffres détaillés, la mesure de la latence ajoutée, un éventuel code ouvert et surtout des essais sur matériel réel. C'est là que se jouera la crédibilité de l'approche face aux politiques généralistes de type Pi-0 ou GR00T.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

TANGO : navigation humanoïde en environnements encombrés grâce à un modèle vision-langage-action (VLA) du corps entier

Des chercheurs ont publié sur arXiv (identifiant 2609.09158, deuxième version) TANGO, un modèle vision-langage-action (VLA) qui permet à un robot humanoïde de traverser des environnements intérieurs encombrés à partir d'une consigne en langage naturel. Le système prend en entrée la consigne et des images RGB égocentriques, puis prédit directement des actions articulaires pour 29 DOF, transmises à un contrôleur du corps entier. L'entraînement s'est fait uniquement en simulation. Un pipeline génère des comportements de traversée sans collision: planification de trajectoire globale, génération cinématique de mouvements du corps entier, édition de mouvements tenant compte des obstacles, puis suivi par apprentissage par renforcement, qui garantit la faisabilité dynamique des actions servant de supervision. Selon les auteurs, TANGO atteint l'état de l'art en navigation vision-langage en simulation et dépasse des bases modulaires solides sur les scènes exigeant de négocier des obstacles. Le modèle a ensuite été déployé en zero-shot sur un Unitree G1, sans aucune donnée de navigation réelle, avec une traversée guidée par le langage jugée robuste dans des scènes encombrées réelles. L'intérêt tient au changement de paradigme. La navigation y est traitée comme un problème 3D de coordination du corps entier (placement des bras, ajustement du buste, modulation de la démarche), et non comme une planification 2D de type AMR, où le robot se réduit à une empreinte au sol. Cette logique convient mal à des humanoïdes appelés à circuler dans des entrepôts, ateliers ou bureaux denses. Le résultat, s'il se confirme, appuie aussi la thèse d'un transfert sim-to-real efficace pour des comportements complexes, sans collecte coûteuse de téléopération réelle. Il faut toutefois rester prudent: il s'agit d'un preprint, les chiffres détaillés (taux de succès, nombre d'essais, diversité des scènes réelles) ne figurent pas dans le résumé, et la revendication de « première » approche reste à vérifier. Une démonstration sur un seul robot ne vaut pas un déploiement. Le contexte est celui d'une course aux VLA, de Pi-0 de Physical Intelligence à GR00T de NVIDIA ou Helix de Figure, surtout orientés vers la manipulation. TANGO déplace l'effort vers la locomotion pilotée par le langage et la perception, avec une plateforme accessible, le G1 d'Unitree, très répandue dans les laboratoires. Les approches modulaires, qui séparent perception, planification et contrôle, restent la référence industrielle et servent ici de point de comparaison. Les suites probables sont l'ouverture du code ou des données, des tests sur d'autres morphologies et, surtout, une évaluation en environnements dynamiques et en conditions de production.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source