Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
CausalWAM : apprendre les causes des actions dans les modèles du monde et d'action
RecherchearXiv cs.RO 

CausalWAM : apprendre les causes des actions dans les modèles du monde et d'action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent CausalWAM (CWAM), une méthode qui contraint les « world action models » (WAM) à produire leurs actions uniquement à partir des variables latentes qui les causent réellement. Un WAM apprend des variables latentes à partir des observations, puis s'en sert à la fois pour prédire l'évolution de la scène et pour générer des actions. La prédiction doit couvrir toute la scène, alors que seule une partie de celle-ci détermine les actions. Entraîné sur des démonstrations, un WAM peut imiter correctement tout en mélangeant les variables utiles à l'action avec des variables de nuisance, sans garantie de les séparer. Les auteurs ajoutent à une tête d'action déjà pré-entraînée un chemin de routage parcimonieux (sparse routing), sans toucher à l'objectif de modélisation du monde. Ils démontrent qu'avec une contrainte de parcimonie, les latents utilisés pour agir forment une fonction inversible des seules variables causales de l'action, et que la structure est identifiée à une permutation près. Les expériences portent sur des données synthétiques et sur des robots réels. Le résumé ne donne aucun chiffre, aucun nom de robot ni aucune tâche. L'« efficacité » annoncée en succès en boucle fermée reste donc à vérifier dans le papier complet.

L'intérêt est surtout méthodologique. Les politiques de type VLA et WAM sont souvent jugées sur des démonstrations réussies, sans savoir si le modèle s'appuie sur les bons indices ou sur des corrélations parasites du décor. Une identifiabilité démontrée sans hypothèse de forte dépendance temporelle, ni sur l'évolution des régimes non observés, ni sur l'indépendance statistique entre latents causaux et reste de la scène, s'attaque à une fragilité connue : l'écart entre démo et déploiement quand l'environnement change. Pour un intégrateur, cela touche directement la robustesse hors distribution. La méthode se greffe aussi sur un modèle existant au lieu d'exiger un réentraînement complet, ce qui facilite l'adoption. Il s'agit toutefois d'un résultat de recherche, ni d'un produit ni d'un déploiement.

Ce travail s'inscrit dans la montée des modèles de monde couplés à l'action, qui cherchent à dépasser les politiques purement imitatives, et dans un courant plus large d'apprentissage de représentations causales. Le papier est une prépublication (arXiv 2610.42096v1), sans relecture par les pairs, et aucune annonce de code, de pilote industriel ou de calendrier n'accompagne le résumé. La prochaine étape sera la comparaison à des WAM de référence sur des benchmarks partagés et sur des tâches de manipulation variées.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

{\Delta}WAM : distiller des champs tangents d'action dans des modèles du monde et d'action
1arXiv cs.RO 

{\Delta}WAM : distiller des champs tangents d'action dans des modèles du monde et d'action

Des chercheurs proposent ΔWAM, une méthode d'entraînement qui distille des « Action Tangent Fields » dans des World Action Models (WAM), publiée sur arXiv (2610.09734). Les WAM sont des politiques robotiques qui complètent la supervision d'actions, rare, par la prédiction dense du futur. Le principe de ΔWAM est de représenter la dynamique future dans un espace Residual-VAE, où le latent futur se retrouve à partir du latent courant et de son résidu. Un modèle du monde conditionné par l'action (ACWM) sert ensuite de sonde. Il mesure, par un développement de Taylor local au premier ordre, comment une variation d'action modifie ce résidu. Cette structure est distillée dans le WAM pour orienter sa supervision par débruitage vers les dynamiques liées à l'action. Les auteurs distillent aussi le débruitage multi-étapes du VideoDiT en une seule étape, afin d'accélérer l'inférence. Les tests portent sur LIBERO-Plus, RoboTwin et RoboTwin2.0-Plus. La méthode améliore de façon constante la robustesse face aux variations d'éclairage, d'arrière-plan, de caméra et d'agencement de scène. Le résumé ne donne aucun chiffre de gain. Cette approche s'attaque à un défaut des WAM actuels. L'essentiel du futur prédictible est de l'apparence et de la persistance de scène, pas de la dynamique causée par l'action. Une grande part de la capacité de prédiction est donc consacrée à des pixels sans rapport avec la commande. Les auteurs proposent une lecture unifiée. Le flux optique, les représentations centrées sur le mouvement et les actions latentes seraient des variantes d'une même idée : plus la supervision contient de variation pertinente pour l'action, plus elle est efficace. Pour les intégrateurs, le point notable est la robustesse aux perturbations d'environnement, qui est souvent ce qui sépare une démo de laboratoire d'un déploiement en atelier. Les auteurs affirment que, sans pré-entraînement embodied à grande échelle, ΔWAM résiste mieux à plusieurs décalages de distribution que des politiques pré-entraînées. Cela suggère que la qualité du signal de supervision peut compenser en partie le volume de données. La distillation en une étape vise aussi la latence d'inférence, un frein pour les modèles vidéo en boucle de contrôle. Ces résultats viennent d'une préprint et de benchmarks de simulation. Ils n'ont été validés ni sur robot réel ni en production, et leur ampleur reste inconnue sans les tableaux. Ces travaux s'inscrivent dans la montée des politiques à modèle du monde et des architectures vision-langage-action (VLA). Les approches fondées sur des modèles vidéo y sont en concurrence avec les VLA purement réactifs. Le benchmark LIBERO-Plus et la variante RoboTwin2.0-Plus relèvent d'une tendance récente à tester les politiques sous perturbations systématiques, car les scores sur benchmarks standards masquaient une fragilité réelle. Les auteurs concluent que la supervision d'un WAM doit rester riche en information tout en concentrant sa capacité prédictive sur les directions où l'action modifie le futur. Aucune date de code, de publication des poids ni de test sur matériel n'est annoncée. La suite logique serait une validation sur robots physiques et une comparaison directe avec les grands modèles pré-entraînés.

RecherchePaper
1 source
Long-WAM : étendre le contexte des modèles monde-action
2arXiv cs.RO 

Long-WAM : étendre le contexte des modèles monde-action

Des chercheurs publient Long-WAM, un cadre modèle-système conçu pour étendre le contexte visuel des world-action models (WAM) causaux, ces architectures qui prédisent à la fois les futures images et les actions d'un robot. Le travail, déposé sur arXiv, repose sur un constat central : disposer d'un historique n'implique pas de s'en servir. Les historiques longs ne rapportent beaucoup que si le modèle vidéo de base a été préentraîné de façon autorégressive (AR). Les auteurs apprennent d'abord la prédiction causale sur des vidéos de robots et des vidéos égocentriques sans étiquettes d'action, puis préservent cette structure historique-futur lors de l'adaptation aux actions. Sur RoboCasa GR-1, passer de 0,0 à 19,2 secondes de contexte fait grimper le taux de succès de 63,3 % à 78,7 %. Une initialisation préentraînée de manière bidirectionnelle n'en tire aucun gain net. Long-WAM affiche aussi les meilleurs résultats parmi les méthodes comparées sur LIBERO-Long, RoboTwin 2.0 et DOMINO. L'intérêt tient à deux points. D'abord, le résultat contredit l'idée répandue qu'il suffit d'allonger la fenêtre de contexte pour obtenir de la mémoire utile : le mode de préentraînement vidéo pèse davantage que la longueur brute de l'historique. Ensuite, la contrainte temps réel est traitée de front. L'encodage des observations en flux continu, l'exécution asynchrone et l'accélération spécifique à chaque matériel permettent un déploiement sur RTX 5090, DGX Spark et Jetson AGX Thor, sans supprimer la prédiction du futur. Sur RTX 5090, chaque bloc d'actions, prédiction du latent vidéo futur comprise, demande 107,4 ms. Sur robots réels, Unitree G1 et YAM, le système gère des tâches dynamiques et à long horizon. Il atteint 95 % de réussite à l'empilement dynamique de gobelets, là où Pi0.5 et Fast-WAM échouent sur les 20 essais. Ces chiffres viennent des auteurs, sur un jeu de 20 essais et une tâche choisie par eux. Ils méritent donc une réplication indépendante avant d'être généralisés. Ce travail s'inscrit dans la montée des WAM, qui concurrencent les politiques vision-langage-action (VLA) comme Pi0.5 en exploitant la vidéo comme signal d'apprentissage dense. Fast-WAM, l'autre référence directe de l'article, cherchait déjà à rendre ces modèles assez rapides pour le contrôle. Long-WAM ajoute la mémoire à cette équation, avec des benchmarks surtout simulés, et le pilotage de robots d'Unitree et de YAM, plateformes accessibles aux laboratoires. Les auteurs indiquent que le modèle sert aussi d'exécuteur doté de mémoire, complémentaire d'une planification de plus haut niveau dans des tâches composites. Il s'agit d'une publication de recherche, sans produit ni déploiement industriel annoncé. La suite dépendra de la publication éventuelle du code et des poids, et de la tenue des résultats hors des tâches de démonstration.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Trace-WAM : apprendre à agir par la prédiction de mouvement 3D pour les modèles d'action du monde
3arXiv cs.RO 

Trace-WAM : apprendre à agir par la prédiction de mouvement 3D pour les modèles d'action du monde

Des chercheurs proposent Trace-WAM, une architecture de World Action Model (WAM) publiée en préprint sur arXiv. Un WAM apprend à piloter un robot en couplant la prédiction de vidéo future et la génération d'actions. Trace-WAM ajoute à cet apprentissage un objectif auxiliaire: prédire le mouvement 3D futur de points suivis dans la scène. Cette supervision combine la correspondance temporelle des points, leur déplacement dans le plan image et leur variation de profondeur. L'ensemble repose sur une architecture à trois branches de type Mixture-of-Transformer (Tri-MoT), qui entraîne conjointement un expert vidéo, un expert mouvement et un expert action. L'expert mouvement prédit les trajectoires à partir des features visuelles courantes, et l'expert action ne consomme pas ces trajectoires prédites. À l'inférence, le système garde donc un chemin de politique classique: une seule passe visuelle, suivie du débruitage de l'action. Les tests portent sur RoboCasa-GR1, LIBERO et LIBERO-Plus, avec de bons résultats annoncés en distribution et en généralisation hors distribution, surtout face à Fast-WAM quand les démonstrations sont rares ou que la distribution change. L'intérêt tient à l'argument central: pour manipuler, il faut surtout savoir comment évoluent le robot et les objets pertinents, pas reconstruire l'apparence et l'arrière-plan de toute la scène. Si cela se confirme, on pourrait obtenir des représentations plus utiles pour l'action sans alourdir l'inférence, ce qui compte pour la latence en production. Le gain annoncé en régime de peu de démonstrations parle aux intégrateurs, car la collecte de données reste le principal coût de déploiement. Il faut toutefois rester prudent: le résumé ne donne aucun chiffre, et les évaluations semblent limitées à des benchmarks simulés, sans test sur robot réel ni mesure de temps de cycle. Trace-WAM s'inscrit dans le passage des VLA (vision-language-action) vers des modèles qui intègrent une prédiction du monde, avec Fast-WAM comme point de comparaison direct. RoboCasa-GR1 évalue des tâches de type humanoïde en simulation, tandis que LIBERO-Plus teste la robustesse aux perturbations. La suite logique serait une validation sur matériel réel et une comparaison avec les grandes politiques généralistes actuelles, ce que le préprint n'annonce pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
UniWAM : modèle unifié du monde et de l'action
4arXiv cs.RO 

UniWAM : modèle unifié du monde et de l'action

UniWAM, présenté sur arXiv (2610.02054, première version), est une architecture unifiée qui combine trois blocs : un « raisonneur physique » issu d'un modèle vision-langage préentraîné, un générateur de monde (vidéo) et un prédicteur d'actions. L'ensemble apprend conjointement la compréhension sémantique du monde physique, la génération visuelle et la prédiction d'actions. Les auteurs ont construit un pipeline de nettoyage et d'annotation pour les données égocentriques humaines et les données robot. Les actions bas niveau sont exprimées en langage naturel, afin de préserver les capacités linguistiques du modèle de base. Le préentraînement répartit les supervisions entre composants : VQA (questions-réponses visuelles), vidéos égocentriques humaines et démonstrations robot. Au post-entraînement, une augmentation par bruit visuel sur le futur réduit la dépendance à des prédictions précises, et un flow matching conditionné par l'historique d'actions initialise la génération d'actions. Selon les auteurs, cela réduit nettement le nombre d'étapes de débruitage sans perte de performance. Ils revendiquent l'état de l'art en performance in-distribution, robustesse, généralisation, suivi d'instructions et tâches longues. Le résumé ne donne ni chiffres ni noms de benchmarks. L'intérêt est de s'attaquer à un compromis connu. Les modèles VLA (vision-langage-action) héritent du raisonnement des VLM, mais une supervision limitée aux actions leur donne peu d'ancrage dans la dynamique physique. À l'inverse, les modèles monde-action, bâtis sur la génération vidéo, captent bien les régularités spatio-temporelles mais comprennent et raisonnent moins bien hors distribution. Unifier les deux dans un seul modèle est une réponse directe à ce problème de robustesse, qui compte pour les intégrateurs confrontés au fossé entre démo et déploiement. La réduction des étapes de débruitage compte aussi pour la latence de contrôle, point faible des approches fondées sur la vidéo. Le résultat le plus transposable est la loi d'échelle log-linéaire du co-entraînement humain-robot. Si elle se confirme, elle soutient l'idée que les vidéos humaines, bien moins chères que la téléopération, peuvent servir de levier de données. Prudence toutefois : il s'agit d'un préprint non évalué par les pairs, sans test annoncé sur robot en production. Ce travail s'inscrit dans la course entre VLA (Pi-0 de Physical Intelligence, GR00T de NVIDIA, Helix de Figure) et modèles monde-action, qui exploitent la génération vidéo pour la planification. Il prolonge aussi la tendance à exploiter les données égocentriques humaines pour pallier la rareté des démonstrations robot. Le résumé ne cite ni équipe, ni plateforme robotique, ni calendrier de publication du code ou des poids. Il faudra donc attendre le texte complet pour juger du protocole, de la comparaison avec les références et de la validation sur matériel réel.

RecherchePaper
1 source