Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
SG-WAM : guidage sémantique ancré au texte et conscient de l'espace pour les modèles monde-action
RecherchearXiv cs.RO 

SG-WAM : guidage sémantique ancré au texte et conscient de l'espace pour les modèles monde-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article de recherche publié sur arXiv (référence 2608.08839, avril... plutôt août 2026) présente SG-WAM, une méthode de guidage sémantique pour les modèles dits "World-Action Models" (WAM), une famille d'architectures utilisées en manipulation robotique qui prédisent à la fois une vidéo future de la scène et les actions du robot à partir d'une observation visuelle et d'une instruction en langage naturel. Le constat de départ des auteurs est que la plupart des WAM existants s'appuient surtout sur l'image et peu sur le texte, car les encodeurs de texte classiques traitent l'instruction indépendamment de ce que voit le robot. Résultat, la vidéo prédite s'écarte souvent du sens réel de la consigne, ce qui dégrade la précision des actions calculées. Pour corriger cela, SG-WAM ajoute un planificateur basé sur un modèle vision-langage (VLM), entraîné à produire deux types de prévisions sémantiques: une prévision "ancrée dans le texte", qui identifie les bons objets cibles mentionnés dans l'instruction, et une prévision "consciente de l'espace", qui restitue la géométrie de la scène pour une manipulation précise. Ces prévisions sont injectées comme guidage de haut niveau dans le WAM, pour aligner génération vidéo et prédiction d'action sur l'instruction donnée. Les auteurs rapportent des expériences en simulation et en conditions réelles.

Sur le fond, ce travail s'attaque à un point de friction classique des architectures VLA et WAM: la tendance des modèles à bien fonctionner en démonstration contrôlée mais à perdre l'instruction de vue dès que la scène contient plusieurs objets similaires ou une ambiguïté spatiale. Pour les équipes qui évaluent des piles de manipulation robotique en entrepôt ou en usine, ce type de contribution touche directement la fiabilité du suivi d'instruction, un critère souvent plus déterminant que la vitesse d'exécution pour la mise en production. Il s'agit toutefois d'une publication académique, testée sur des protocoles expérimentaux et non d'un produit commercialisé ni d'un déploiement industriel chiffré.

Le papier s'inscrit dans la lignée des travaux qui cherchent à combler l'écart entre modèles purement vision-action et modèles de "monde" capables d'anticiper les conséquences physiques d'une action avant de l'exécuter. L'abstract ne précise ni les benchmarks utilisés, ni de calendrier de mise à disposition du code, ni de partenariat industriel.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

SG-WAM : modélisation du monde auto-guidée dans un espace de politiques géométriquement conscient
1arXiv cs.RO 

SG-WAM : modélisation du monde auto-guidée dans un espace de politiques géométriquement conscient

Traduction et synthèse de l'article, en français, prêt à publier : SG-WAM (Self-Guided World Modeling in Geometry-Aware Policy Space) est un nouveau framework de recherche en robotique, publié sur arXiv (référence 2608.01397v1), qui s'attaque aux modèles World Action (WAM), ces systèmes qui couplent génération d'actions et prédiction des états futurs de la scène. La méthode introduit des "dynamics tokens" apprenables et un module appelé Self-Guided World Predictor, chargé de prévoir l'état latent futur de ces tokens en fonction des actions du robot. La supervision provient d'une copie à moyenne mobile exponentielle (EMA) du même réseau de politique, ce qui garantit une cohérence avec l'espace de représentation utilisé par le module de génération d'actions. Une supervision géométrique additionnelle structure les tokens d'image de la politique, apportant un ancrage spatial aux dynamics tokens. L'ensemble, prédiction latente, ancrage géométrique et génération d'actions par flow matching, est optimisé conjointement de bout en bout. Construit sur un modèle de seulement 0,9 milliard de paramètres, sans pré-entraînement embodied à grande échelle, SG-WAM atteint 98,5% de taux de réussite moyen sur le benchmark LIBERO et 73% sur LIBERO-Plus, tout en dépassant des baselines non précisément nommées dans l'abstract, aussi bien en conditions réelles similaires à l'entraînement qu'en généralisation hors distribution. L'enjeu identifié est concret: les WAM existants modélisent la dynamique future soit dans un espace d'observation brut, coûteux en calcul et peu aligné avec l'action, soit dans un espace latent auxiliaire non structuré pour la géométrie. En unifiant les deux dans l'espace même de la politique, SG-WAM évite ce compromis. Le résultat le plus notable reste la performance obtenue avec un modèle compact et sans pré-entraînement massif, ce qui questionne l'hypothèse dominante selon laquelle les modèles VLA nécessitent systématiquement une échelle de données et de paramètres considérable pour généraliser en conditions réelles. Le travail s'inscrit dans une lignée de recherche académique sur les world models appliqués à la manipulation robotique, où la prédiction d'état futur vient de plus en plus compléter les architectures de politique conditionnées par le langage. Il s'agit ici d'une contribution de recherche publiée en preprint, non d'un système déployé, et les baselines comparées ne sont pas explicitement identifiées dans le résumé, un point à vérifier dans le papier complet avant toute reprise de ces chiffres.

RecherchePaper
1 source
Robust-WAM : concilier préentraînement génératif et anticipation sémantique dans les modèles monde-action
2arXiv cs.RO 

Robust-WAM : concilier préentraînement génératif et anticipation sémantique dans les modèles monde-action

Des chercheurs présentent Robust-WAM, une méthode de post-entraînement destinée aux World-Action Models (WAM), ces modèles qui adaptent des générateurs vidéo pré-entraînés (VGM) pour prédire les actions d'un robot à partir de flux visuels. Le papier, publié sur arXiv sous la référence 2608.05903v1, part d'un constat technique précis: la plupart des WAM s'appuient sur un espace latent de variational autoencoder (VAE), optimisé pour la reconstruction pixel par pixel, ce qui rend la prédiction d'actions fragile dès que l'apparence visuelle change (éclairage, texture, angle de caméra). Des travaux récents avaient contourné le problème en construisant des WAM dans un espace latent sémantique, plus robuste aux变... aux variations d'apparence, mais incapables de profiter du pré-entraînement à grande échelle réalisé uniquement dans l'espace VAE. Robust-WAM propose de garder le chemin génératif basé VAE tout en ajoutant un objectif léger d'alignement sémantique prospectif sur le flux d'actions: des tokens de requête apprenables captent la sémantique des scènes futures en alignant leurs états cachés sur les représentations sémantiques des images futures réelles, avec un encodage positionnel calé sur les tokens d'action correspondants pour garantir la correspondance temporelle. L'enjeu dépasse la seule prouesse technique. Les modèles VLA et WAM affichent souvent de bonnes performances en conditions contrôlées mais se dégradent nettement face à des variations visuelles hors distribution, un frein connu au déploiement industriel de robots hors laboratoire. En montrant qu'on peut conserver les bénéfices du pré-entraînement massif sur vidéo tout en gagnant en robustesse, sans sacrifier les performances en distribution, ce travail répond directement à l'écart souvent pointé entre démonstrations impressionnantes et fiabilité réelle sur le terrain. Robust-WAM s'inscrit dans la lignée des travaux qui détournent les modèles de génération vidéo grand public vers le contrôle robotique, plutôt que de concevoir des architectures dédiées. Il se positionne comme une brique de post-entraînement compatible avec plusieurs WAM existants, testée sur des benchmarks de simulation hors distribution et sur un banc robotique réel, avec des gains de taux de réussite constatés sur plusieurs modèles de référence.

RechercheActu
1 source
Reconstruction ou sémantique ? Ce qui rend un espace latent utile pour les modèles du monde en robotique
3arXiv cs.RO 

Reconstruction ou sémantique ? Ce qui rend un espace latent utile pour les modèles du monde en robotique

Une étude soumise sur arXiv le 8 mai 2025 (arXiv:2605.06388) remet en question le choix dominant des espaces latents dans les modèles de monde pour la robotique. Les auteurs comparent six encodeurs, répartis en deux familles, selon un protocole d'évaluation commun sur le dataset BridgeV2, référence de manipulation robotique généraliste. Les encodeurs de reconstruction testés sont VAE (standard actuel) et Cosmos (NVIDIA) ; les encodeurs sémantiques incluent V-JEPA 2.1 (Meta), Web-DINO et SigLIP 2 (Google). Le cadre évalué est celui des modèles de diffusion latente conditionnés par l'action (LDM), utilisés comme proxy de simulation pour tester des politiques de contrôle robot sans déploiement physique. L'évaluation repose sur trois axes : fidélité visuelle pixel-level, performance en planification et évaluation de politiques en aval, et qualité intrinsèque des représentations latentes. Les résultats invalident une hypothèse implicite courante dans le domaine : une bonne reconstruction pixel ne suffit pas à produire un bon modèle de monde opérationnel. VAE et Cosmos atteignent les meilleurs scores de fidélité visuelle, mais V-JEPA 2.1 domine sur l'axe le plus critique, la performance des politiques, tandis que Web-DINO et SigLIP 2 excellent sur les deux axes restants, et ce à toutes les échelles de modèles testées. Pour un intégrateur ou un labo qui construit des pipelines sim-to-real, cela implique que le choix de l'encodeur dans la stack LDM n'est pas un détail d'implémentation : il conditionne directement la qualité des politiques apprises. La fidélité visuelle, souvent retenue comme métrique de validation principale, s'avère un indicateur trompeur du potentiel d'un modèle de monde pour le contrôle robotique. Ce travail s'inscrit dans une course de fond autour des modèles de monde pour la robotique, impliquant des acteurs comme Physical Intelligence (pi-0), Figure AI et des équipes académiques autour des RoboVLMs. L'adoption des LDMs comme infrastructure d'évaluation de politiques s'est accélérée depuis 2023 avec l'essor des VLAs (Vision-Language-Action models). Le VAE reste l'encodeur par défaut dans la majorité des implémentations ouvertes, héritage direct des pipelines de diffusion image (Stable Diffusion, LDM de Rombach et al., 2022). Ce preprint, non encore évalué par des pairs, plaide pour un pivot vers les encodeurs à représentations sémantiques, une direction qui converge avec les travaux de Meta sur V-JEPA 2 et de Google sur SigLIP. Les étapes suivantes naturelles incluraient une validation sur des datasets robotiques plus diversifiés et des expériences en déploiement physique réel pour confirmer le transfert sim-to-real.

RechercheOpinion
1 source
Explicit guidage cinématique à partir de concepts analytiques pour les modèles vision-langage-action
4arXiv cs.RO 

Explicit guidage cinématique à partir de concepts analytiques pour les modèles vision-langage-action

Une équipe de recherche publie sur arXiv (référence 2607.26513v1) un nouveau module baptisé Concept Expert, conçu pour les modèles Vision-Language-Action (VLA) utilisés en manipulation robotique. Le constat de départ est simple : la plupart des VLA actuels s'appuient uniquement sur des entrées 2D et ignorent la structure tridimensionnelle réelle des objets, ce qui limite leur précision dans les tâches de manipulation fine. Le Concept Expert construit ce que les auteurs appellent des "concepts analytiques exécutables", des sortes de plans programmatiques explicites décrivant chaque objet. Le mécanisme fonctionne en deux temps : avant l'inférence, il exploite des modèles de fondation visuels (VFM) pour estimer les paramètres cinématiques et structurels initiaux d'un objet ; ensuite, pendant la manipulation, le VLA suit et met à jour dynamiquement ces paramètres pour rester aligné avec ce qu'il observe en temps réel. Ces concepts servent ensuite à guider le fine-tuning du modèle, via des récompenses programmatiques denses et un guidage spatial précis. Les auteurs rapportent des gains constants de taux de succès et d'efficacité d'apprentissage, en apprentissage supervisé comme en renforcement. L'intérêt de cette approche pour l'industrie robotique tient à un problème persistant des modèles VLA à grande échelle : leur difficulté à généraliser des manipulations précises sans passer par une compréhension géométrique explicite des objets manipulés. En intégrant une représentation 3D structurée directement dans le pipeline d'apprentissage, plutôt que de compter uniquement sur des corrélations apprises à partir d'images 2D, cette méthode s'attaque frontalement à l'écart entre démonstrations en laboratoire et robustesse en conditions réelles, un point sensible pour les intégrateurs qui déploient des VLA de type Pi-0, GR00T N2 ou Helix sur des tâches industrielles exigeant une précision fine (préhension, insertion, alignement). Si les gains annoncés se confirment sur des bancs d'essai plus larges, cela pourrait renforcer la crédibilité des approches hybrides combinant fondations visuelles 3D et bout-en-bout, plutôt que le tout-apprentissage pur actuellement dominant chez la plupart des labos. Ce travail s'inscrit dans une tendance de fond de la recherche en VLA post-training, où plusieurs équipes cherchent à injecter des a priori structurels (géométrie, physique, cinématique) dans des modèles historiquement entraînés de façon purement data-driven sur des vidéos ou démonstrations téléopérées. Les grands acteurs du secteur, qu'il s'agisse des laboratoires derrière Pi-0 ou GR00T, explorent des voies similaires pour combler le fossé entre performance en démonstration et fiabilité en déploiement réel. La publication, encore au stade de preprint arXiv, ne précise pas de partenariat industriel ni de calendrier de transfert vers des plateformes commerciales ; elle reste pour l'instant une contribution méthodologique dont l'impact concret dépendra de sa reproduction et de son adoption par des équipes travaillant sur des bras robotiques ou des humanoïdes en conditions réelles.

RecherchePaper
1 source