RecherchearXiv cs.RO 19 octobre 2026

LAW : unifier langage, action et modèle du monde pour une intelligence physique à base d'agents

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

LAW, pour Language, Action and World modeling, est un framework en boucle fermée publié sur arXiv (2610.23334) qui associe un modèle vision-langage (VLM) et un modèle monde-action (WAM, world-action model, capable de prédire conjointement les actions et les états futurs du monde). Le VLM de 2 milliards de paramètres planifie les sous-tâches restantes, estime la valeur des actions proposées par le WAM et les fusionne, puis évalue de façon asynchrone l'état d'exécution pour décider de poursuivre ou de passer à la sous-tâche suivante. Côté WAM, une architecture Mixture-of-Transformer Experts combine calcul spécifique à chaque modalité et calcul partagé pour modéliser conjointement vidéo et actions. Une mémoire visuelle hiérarchique à double flux fournit le contexte temporel aux deux modèles. Sur le benchmark simulé RoboTwin (50 tâches), LAW atteint 94,21 % de réussite moyenne, et 95,56 % avec le backbone OpenWAM-alpha, ce que les auteurs présentent comme un nouvel état de l'art open source. Sur trois tâches longues sur robot réel, il obtient 65 % de réussite moyenne, contre 28,33 % pour pi-0.5 et 25 % pour Fast-WAM.

L'intérêt pour l'industrie tient à la manière dont le résultat est obtenu : la planification sémantique est confiée à un petit VLM, qui surpasse des variantes équipées d'Embodied-R1.5 et de GPT-5.5 High. Cela suggère que, pour le pilotage de tâches longues, un modèle spécialisé et léger peut valoir un très grand modèle généraliste, avec des implications sur la latence et le coût d'embarquement. L'apprentissage de valeur par sous-tâche, qui conserve la supervision des préfixes réussis de trajectoires ayant échoué, répond aussi à un problème pratique : exploiter les données d'échec plutôt que les jeter. À nuancer toutefois : RoboTwin est un benchmark simulé, saturé autour de 95 %, et l'évaluation réelle ne porte que sur trois tâches, sans précision ici sur le nombre d'essais ni sur les plateformes. L'écart de 65 % contre 28 % face à pi-0.5 est net, mais reste une comparaison de laboratoire, loin d'un déploiement en production.

Ce travail s'inscrit dans la convergence entre modèles VLA (vision-langage-action) comme pi-0.5 de Physical Intelligence et modèles monde-action, qui apprennent à prédire la vidéo future pour guider le contrôle, à l'image de Fast-WAM. Le débat porte sur la meilleure répartition entre raisonnement symbolique, prédiction du monde et génération d'actions. LAW propose une architecture hiérarchique où le langage sert de pivot, une approche proche de celles des systèmes à double vitesse de Figure (Helix) ou de NVIDIA (GR00T). Il s'agit d'un preprint non évalué par des pairs. Les prochaines étapes à surveiller sont la publication du code et des poids, des tests sur davantage de tâches et de plateformes, et une reproduction indépendante.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 World models

À lire aussi

1arXiv cs.RO

ACE-Brain-0.5 : un modèle fondation incarné unifié pour l'IA physique à base d'agents

Une équipe de recherche présente ACE-Brain-0.5, un modèle de fondation embarqué unifié pour l'IA physique agentique, dans un article publié sur arXiv début juillet 2026. Le système s'appuie sur un backbone unique de 8 milliards de paramètres qui assure quatre fonctions simultanées : ancrage des objets et des affordances dans la scène, raisonnement spatial en 3D et en vue égocentrique, décomposition d'instructions en sous-objectifs, génération d'actions de navigation et de manipulation, et estimation de la progression pour vérifier ou corriger l'exécution. Une cinquième fonction, l'auto-amélioration, repose sur un cadre externe qui met à jour les schémas de tâches, la mémoire spatiale et les cas de récupération d'échec à partir des données de déploiement. Le modèle s'appuie sur un prédécesseur, ACE-Brain-0, et introduit une méthode nommée SSR+ (Scaffold-Specialize-Reconcile avec une étape de Réactivation après fusion des vecteurs de tâches) pour combiner ces capacités sans qu'elles n'interfèrent entre elles. Sur quinze bancs d'essai, ACE-Brain-0.5 surpasse son prédécesseur sur 14 des 18 tests de perception spatiale et d'ancrage, tout en restant compétitif en navigation et manipulation. Cette approche illustre une tendance de fond dans la robotique humanoïde et les agents physiques : le passage de politiques bout-en-bout, souvent dépourvues de raisonnement spatial explicite, vers des architectures qui unifient perception, planification, action et auto-évaluation dans une représentation partagée. C'est un pari différent de celui des modèles VLA généralistes type Pi-0 ou GR00T N2, qui privilégient l'apprentissage direct d'une politique d'action : ici, l'accent est mis sur la boucle fermée complète, avec vérification et récupération d'erreur intégrées, un point souvent négligé dans les démonstrations spectaculaires mais peu robustes du secteur. Le papier ne précise pas de partenariat industriel ni de déploiement sur plateforme commerciale à ce stade : il s'agit d'un travail de recherche fondamentale, positionné comme une étape vers une IA physique agentique plus générale, sans calendrier de mise en production annoncé.

RechercheOpinion

1 source

2arXiv cs.RO

Magic-W0 : un modèle fondation monde-action structuré pour l'intelligence physique

Magic-W0, un modèle de fondation « monde-action » (WAM, world-action model), est présenté dans un preprint arXiv (2609.39870v1) dont les auteurs ne sont pas précisés dans le résumé. Le modèle code chaque interaction comme une « Structured World Transition » en trois blocs. L'état courant associe le contexte vision-langage à une géométrie 3D de la scène. La transition est décrite par un mouvement 3D qui capture les changements tridimensionnels induits par l'action. L'état futur est exprimé sous forme de sémantique décrivant le résultat attendu de la tâche. L'architecture aligne couche par couche la prédiction du monde et la génération d'actions continues : les hypothèses d'action en cours conditionnent la prédiction de transition, et les représentations prédites alimentent en retour la génération d'actions. Le pré-entraînement combine manipulation humaine égocentrique, données UMI (interface de collecte par préhenseur portable), données de robots réels et simulation. La supervision porte sur des représentations latentes (géométrie, mouvement 3D, sémantique future) issues de modèles visuels préentraînés. Sur le benchmark RoboDojo-Sim, Magic-W0 obtient un score moyen de 27,10, le plus élevé parmi les WAM comparés. Les auteurs annoncent aussi de bonnes performances sur plusieurs tâches sur robot réel après un fine-tuning avec peu de données. L'intérêt tient à la critique que formule le papier : la plupart des WAM prédisent des images futures ou des latents génériques, peu exploitables pour le contrôle, et pas forcément liés à l'action. Magic-W0 propose une représentation explicitement géométrique et orientée contrôle. Des tests d'intervention à l'inférence montrent que ces représentations réagissent de façon systématique aux changements d'action candidate, et que l'information d'action circule via les représentations 3D jusqu'aux prédictions sémantiques. C'est un argument de causalité plus solide que la simple qualité visuelle. Pour un intégrateur, la promesse est une adaptation rapide à de nouvelles tâches avec peu de données, point critique du coût de déploiement. Il faut toutefois relativiser. Le score de 27,10 n'a de sens que par rapport aux WAM comparés, sans valeur absolue ni écart précisé dans le résumé. Les tâches réelles ne sont pas détaillées : ni taux de réussite, ni volume de données de fine-tuning, ni plateforme robotique. On reste donc au stade du résultat de recherche, sans produit livré ni déploiement. Ce travail s'inscrit dans la montée des modèles VLA (vision-langage-action) et de leurs extensions « monde », qui cherchent à doter les politiques d'une dynamique de l'environnement conditionnée par l'action, au-delà de la simple imitation. Le recours massif aux vidéos humaines égocentriques et aux données UMI reflète la tendance à contourner le coût de la téléopération robot. Magic-W0 se positionne face aux autres WAM et aux politiques fondées sur la reconstruction vidéo, dont le résumé ne cite pas les noms. Les prochaines étapes à surveiller sont la publication du code et des poids, une évaluation indépendante de RoboDojo-Sim, et surtout des résultats détaillés sur robot réel, seuls capables de dire si la structure 3D apporte un gain tangible face aux approches VLA génériques.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Real2Sim à base d'agents : modélisation physique du monde par agents vision-langage

Optimus, Figure, Gr00t... la robotique humanoïde progresse vite en démos mais bute toujours sur un même verrou technique : reconstruire un environnement réel en simulation physique exploitable. Un article arXiv (2607.19190) présente Agentic Real2Sim, un framework qui utilise des agents vision-langage (VLA) pour automatiser cette conversion. Concrètement, à partir d'un simple enregistrement d'une interaction robot-objet dans le monde réel, le système génère un "jumeau épisodique" simulable, préservant les observations visuelles, les géométries de la scène, les états des objets et les mouvements du robot. Les auteurs ont testé leur approche sur trois familles de scénarios distinctes habituellement traitées par des pipelines séparés : manipulation d'objets rigides, interaction avec des objets déformables, et mouvements humanoïdes. Point notable, le framework peut fonctionner avec un modèle vision-langage open-weight, à une fraction du coût des modèles frontier (type GPT-4V ou équivalents propriétaires), tout en obtenant un taux de conversion réussie comparable. L'enjeu dépasse la seule prouesse académique. Le goulot d'étranglement du "real2sim" est aujourd'hui l'un des principaux freins à l'entraînement de politiques robotiques par apprentissage : sans environnement simulé fidèle, impossible d'entraîner ou d'évaluer massivement des modèles de contrôle sans multiplier les essais coûteux sur robot physique. Actuellement, ce travail repose sur du réglage manuel de modèles de vision, du nettoyage de maillages 3D et de l'alignement de repères de coordonnées, un processus lent et peu reproductible d'un labo à l'autre. Automatiser cette étape via des agents autonomes, capables de prendre eux-mêmes les décisions de pipeline, pourrait accélérer la constitution de jeux de données d'entraînement pour les politiques de type VLA, un sujet clé alors que des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) cherchent à démontrer que leurs modèles généralisent au-delà des données d'entraînement. Ce travail s'inscrit dans une tendance plus large de recherche visant à combler l'écart entre simulation et réel (le "sim-to-real gap"), longtemps considéré comme l'un des obstacles majeurs à la robotique généraliste. Il ne s'agit ici que d'une publication de recherche, avec un site de projet public, et non d'un produit commercial ou d'un déploiement industriel : les auteurs eux-mêmes le présentent comme "un premier pas" vers une conversion real2sim généralisable et à l'échelle, sans préciser de calendrier de mise à disposition ou d'intégration dans des pipelines industriels existants.

RecherchePaper

1 source

4arXiv cs.RO

De l'IA du monde à l'IA incarnée : une feuille de route pour l'intelligence physique en monde ouvert

Publié sur arXiv le 14 juillet 2026 (arXiv:2607.11689), cet article de synthèse dresse un état des lieux des modèles d'action pour la robotique et propose une feuille de route vers ce que les auteurs nomment le « cerveau incarné » (embodied brain). Le texte retrace l'évolution des politiques vision-langage-action (VLA) vers les World Action Models (WAM), des systèmes qui relient une intervention candidate à ses conséquences prédites avant exécution. Trois failles couplées freinent le secteur selon les auteurs: des espaces d'action et cibles de prédiction incompatibles d'un modèle à l'autre, une absence de standardisation des jeux de données et des protocoles d'évaluation, et des interfaces d'exécution trop fermées pour permettre la réutilisation entre systèmes. Plutôt qu'un nouveau modèle entraîné, le papier propose une architecture cible: le cerveau incarné intégrerait un contexte multimodal, comparerait plusieurs interventions candidates, puis émettrait des requêtes de transition d'état ou de capacité plutôt que des commandes moteur directes, les WAM servant de prototypes pour ces fonctions prédictives. Pour les intégrateurs et décideurs en robotique, ce travail nomme un problème concret: chaque laboratoire, qu'il s'agisse de Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2 ou Figure avec Helix, construit son propre espace d'action et son propre format de données, rendant quasi impossible la comparaison directe des performances ou la réutilisation d'un modèle entre un bras robotique et un humanoïde. En proposant des contrats partagés entre modèles, données, tâches et morphologies, et un post-entraînement en boucle fermée transformant les interactions vérifiées en expérience réutilisable, la feuille de route vise à sortir la robotique généraliste du stade de la démonstration isolée. C'est une contribution méthodologique plus qu'un résultat expérimental: elle ne prouve pas qu'un tel système fonctionne à l'échelle, mais formalise ce qui manque pour y parvenir, un constat qui recoupe les critiques récurrentes sur l'écart entre vidéos de démonstration sélectionnées et déploiements robustes en conditions réelles. Le papier s'inscrit dans la continuité des travaux sur les modèles d'action et les world models, qui ont convergé avec l'essor des VLA avant que des approches hybrides, combinant prédiction du monde et politique d'action, ne donnent naissance aux WAM. Les auteurs ne mentionnent aucun déploiement propre mais positionnent leur cadre face aux systèmes existants de Physical Intelligence, NVIDIA et Figure, sans citer d'acteur français ou européen dans cette revue. La suite annoncée est l'adoption progressive de ces contrats partagés par la communauté de recherche, préalable jugé nécessaire à l'émergence d'agents physiques réellement adaptatifs et auto-améliorants hors laboratoire.

RecherchePaper

1 source