RecherchearXiv cs.RO 19 octobre 2026

STRIPS-WM : apprendre des modèles du monde propositionnels de type STRIPS, ancrés à partir d'images

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

STRIPS-WM est un cadre d'apprentissage décrit dans un article arXiv (2606.06832, deuxième version) qui apprend à un robot des modèles du monde de type STRIPS, ancrés dans l'image, à partir de seules transitions visuelles. Le robot reçoit uniquement des triplets composés de l'image courante, de l'action de haut niveau exécutée et de l'image résultante. Au test, on lui donne une image de départ et une image cible, et il doit produire une séquence d'actions qui atteint le but. La méthode procède en quatre temps. Elle induit d'abord un graphe de transitions abstrait et fini à partir des images. Elle apprend ensuite des prédicats binaires latents, puis un opérateur propositionnel ancré par étiquette d'action, avec préconditions parcimonieuses et effets d'ajout et de suppression. Enfin, ces prédicats sont distillés dans un encodeur visuel, ce qui permet de lancer un planificateur classique directement sur des images inédites. Les expériences portent sur des tâches de réarrangement visuel. L'article affirme un meilleur taux de succès image-vers-plan que les références testées: déroulés visuels (visual rollout), recherche dans un graphe latent et approches latentes-symboliques. Le résumé ne fournit ni chiffres, ni liste de tâches, ni robot physique.

L'enjeu touche un point sensible de la manipulation à long horizon: les politiques de bout en bout, dont les VLA (vision-language-action), voient leurs erreurs se cumuler quand la séquence s'allonge, et leur raisonnement reste difficile à auditer. Ici, le modèle appris est un ensemble d'opérateurs explicites et lisibles, que l'on peut inspecter, vérifier et confier à des planificateurs éprouvés. Pour un intégrateur ou un responsable industriel, cette lisibilité compte autant que le taux de succès, car elle facilite la validation et le diagnostic des pannes. Il faut toutefois rester prudent: il s'agit d'un préprint évalué sur du réarrangement, avec des actions de haut niveau supposées données et étiquetées. Il ne prouve ni la robustesse en atelier, ni le passage à des scènes non structurées, ni une exécution bas niveau fiable. Les comparaisons se limitent aux références choisies par les auteurs.

Le travail s'inscrit dans la longue tradition de la planification symbolique (STRIPS date de 1971) et de la recherche de représentations symboliques apprises, qui butait sur l'obtention d'opérateurs à partir de pixels bruts. Il se place face aux modèles du monde latents et aux déroulés vidéo, plus généraux mais sans garantie de cohérence logique. Les suites probables sont des tests sur des tâches plus variées, des actions moins supervisées et une validation sur robot réel. Aucun pilote industriel ni calendrier n'est annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage natif de prior d'action à partir de vidéos pour les modèles d'action du monde

Des chercheurs publient sur arXiv (2610.03391) NAVA-WAM, un « world action model » (WAM) qui apprend une politique d'action directement à partir de vidéos sans annotation d'actions. Un WAM combine la prédiction de la dynamique visuelle future et celle des actions du robot. Jusqu'ici, ces modèles dépendaient de trajectoires robotiques annotées avec les actions, rares et coûteuses à collecter. NAVA-WAM s'entraîne en deux étapes. Le pré-entraînement porte sur des vidéos d'observation seule : une supervision par flow matching sur les transitions visuelles futures est propagée, via une attention jointe structurée par transitions, jusqu'à l'Action-DiT, le module de diffusion qui produit les actions. Celui-ci acquiert ainsi des « priors » d'action. La seconde étape affine l'Action-DiT sur des démonstrations étiquetées par un flow matching conjoint vidéo-action. Une attention asymétrique découple la branche visuelle du débruitage itératif des actions, ce qui permet une inférence rapide, limitée aux actions. Les auteurs affirment de meilleurs résultats que les approches antérieures, en distribution comme hors distribution, une bonne efficacité en nombre d'étiquettes d'action et une généralisation sur robot réel. Le résumé ne fournit ni score chiffré, ni liste de tâches, ni nom de plateforme robotique. L'enjeu est celui du goulot d'étranglement des données. Les modèles vision-langage-action (VLA) et leurs variantes à modèle de monde se heurtent au coût de la téléopération. Les vidéos humaines ou robotiques sans étiquettes, elles, existent en grande quantité. Les méthodes actuelles les exploitent par deux voies indirectes : pré-entraîner des représentations visuelles qu'il faut ensuite adapter au contrôle, ou inférer des « actions latentes » à ancrer ensuite sur des commandes robot. NAVA-WAM supprime ces intermédiaires, ce qui limiterait les pertes de transfert et la complexité d'un modèle d'action latente séparé. Si le résultat tient à grande échelle, le volume de données robotiques annotées nécessaires pour une nouvelle tâche ou un nouvel embodiment pourrait baisser. Un intégrateur pourrait alors réutiliser des vidéos de ses propres lignes. Prudence toutefois : il s'agit d'un preprint non évalué par des pairs. Les gains annoncés restent à confirmer par des benchmarks indépendants, avec des détails sur la quantité de vidéos et la diversité des tâches réelles testées. Ce travail s'inscrit dans la course aux WAM et aux politiques apprises de vidéo, face aux VLA entraînés sur démonstrations (Pi-0, GR00T) et aux approches par actions latentes. Les prochaines étapes à surveiller sont la publication du code et des poids, des évaluations sur des corpus vidéo plus larges, et une comparaison directe avec les modèles de fondation industriels. Les auteurs ne signalent aucun partenaire industriel ni déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

FutureWorlds : apprendre des modèles du monde robotiques à partir de futurs alternatifs

Des chercheurs publient FutureWorlds, un cadre d'apprentissage de modèles du monde robotiques (world models) qui prédisent la scène future en fonction des actions du robot. Il repose sur un modèle autorégressif discret multimodal. Pendant l'apprentissage par renforcement, il applique une diverse beam search pour produire plusieurs futurs candidats qui équilibrent confiance et diversité. Chaque candidat dispose d'une mémoire bornée qui conserve les états de la scène, de sorte que la génération et le scoring de la politique s'appuient sur le même historique. Les auteurs proposent aussi MemSPO (Memory-Conditioned Search-Guided Policy Optimization). Cette méthode convertit les récompenses de trajectoires vidéo en avantages relatifs au sein d'un groupe de candidats, puis s'en sert pour optimiser le modèle. Sur RT-1, BridgeV2 et RoboCasa, la LPIPS (métrique de distance perceptuelle) à 32 images baisse de 14,78 %, 20,84 % et 9,12 % par rapport à la meilleure référence de chaque jeu de données. Selon les auteurs, 200 mises à jour MemSPO suffisent pour améliorer encore la qualité et prolonger la prédiction au-delà de l'horizon d'entraînement. Le code et la page projet sont publiés sur GitHub. L'enjeu tient à la manière dont on exploite les prédictions d'un world model. Prédire un futur plausible ne suffit pas. Il faut comparer plusieurs futurs pour en tirer un signal d'apprentissage. Quand les candidats se ressemblent, la comparaison apporte peu d'information. Quand ils divergent, chacun exige un historique propre, ce qui fait grossir le coût de mémoire et le risque d'incohérence. En traitant ces deux contraintes ensemble, FutureWorlds vise des simulateurs appris plus fiables pour évaluer des politiques VLA (vision-langage-action) ou pour générer des données d'entraînement. Les ablations sur la mémoire, l'analyse de sensibilité au décodage et l'évaluation par flux optique indiquent que le gain dépasse l'aspect visuel, avec un mouvement mieux prédit et des états d'objets plus cohérents. Les limites sont nettes : les résultats sont des métriques de génération vidéo hors ligne, sans test sur robot réel. Les gains sont mesurés contre des références choisies par les auteurs. Rien n'indique non plus que la qualité de prédiction se traduise en meilleures politiques de contrôle. Le travail s'inscrit dans la montée des world models pour la robotique. RT-1, BridgeV2 et RoboCasa sont des corpus de manipulation devenus des bancs d'essai courants pour ces modèles. Les approches concurrentes reposent surtout sur la diffusion vidéo ou sur des modèles autorégressifs entraînés par maximum de vraisemblance. Les auteurs misent plutôt sur le post-entraînement par renforcement, à l'image de ce qui a réussi pour les grands modèles de langage. La suite logique consisterait à utiliser ces world models comme simulateurs pour entraîner des politiques, puis à valider sur matériel réel. Cela reste à démontrer. Cette publication est une préversion arXiv (v1) qui n'a pas encore été relue par des pairs. Aucun acteur européen n'y est mentionné.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

LD4WAM : apprendre les dynamiques latentes à partir de vidéos humaines pour des modèles d'action du monde

Des chercheurs ont publié en août 2026 sur arXiv un article présentant LD4WAM, une méthode pour entraîner des World Action Models à partir de vidéos humaines plutôt que de données de téléopération, coûteuses à collecter. Le système associe un Latent Dynamics Model, entraîné par reconstruction sémantique et alignement sur le mouvement réel, à un World Dynamics Action Model en mixture-of-transformers, qui génère des vidéos futures puis en extrait, via des requêtes apprenables, une dynamique latente conditionnant les actions du robot. Pré-entraîné sur un jeu de données unifié de plus de 5 000 heures de vidéos humaines et robotiques, le modèle affiche de bons résultats dans le simulateur RoboTwin et sur des robots réels équipés de pinces et de mains dexterisées, avec une généralisation à des objets et arrière-plans inédits. L'enjeu dépasse la prouesse technique. La vidéo humaine est bien plus abondante et moins chère à collecter que les démonstrations téléopérées, mais son exploitation butait sur un dilemme entre prédiction vidéo pixel par pixel, riche mais non actionnable, et retargeting du mouvement vers le squelette du robot, actionnable mais marqué par un fossé visuel entre corps humain et robot. En proposant une dynamique latente alignée sur le mouvement, agnostique à l'embodiment, LD4WAM cherche à combler ce fossé, ce qui pourrait réduire la dépendance des laboratoires aux campagnes de téléopération pour entraîner des politiques de manipulation, un des principaux goulots d'étranglement du passage à l'échelle des modèles vision-langage-action. Ce travail s'inscrit dans une vague de recherche plus large sur les modèles de monde en robotique, aux côtés d'efforts comme GR00T de NVIDIA, pi-0 de Physical Intelligence ou Helix de Figure, qui explorent aussi l'exploitation de données hétérogènes pour des politiques généralistes. LD4WAM se positionne explicitement contre les deux paradigmes qui l'ont précédé, prédiction vidéo pure et retargeting de mouvement. Il s'agit pour l'instant d'un article déposé sur arXiv, non encore relu par les pairs, sans code publié ni partenariat industriel annoncé, et les démonstrations réelles restent limitées au laboratoire, sans détail sur le taux de réussite.

RecherchePaper

1 source

4arXiv cs.RO

Grounded-Dreamer : apprentissage robotique à partir de données synthétiques d'un modèle du monde, avec ancrage physique

Des chercheurs proposent Grounded-Dreamer, un cadre logiciel (arXiv 2610.13164, première version) qui génère des données de manipulation robotique synthétiques sans aucune démonstration par téléopération humaine. Le point de départ est un petit ensemble d'images réelles montrant l'état initial d'une tâche. À partir de ces images, la méthode reconstruit automatiquement les objets pertinents et la géométrie de la caméra, les aligne dans un simulateur doté d'un moteur physique, puis y collecte des trajectoires physiquement valides. Ces trajectoires servent à post-entraîner deux modèles: un modèle du monde vidéo, qui produit des séquences de manipulation visuellement réalistes, et un modèle de dynamique inverse, qui en déduit les actions du robot correspondantes. Chaque trajectoire générée est ensuite rejouée dans la simulation reconstruite, et seules celles qui accomplissent réellement la tâche sont conservées. Les politiques déployées sur robot réel sont entraînées uniquement sur ces trajectoires filtrées. Le résumé de l'article annonce des tâches testées en conditions réelles et une amélioration « substantielle » de l'apprentissage, sans fournir de taux de réussite, de nombre de tâches, de volume de données ni de plateforme robotique. Ces éléments restent donc à vérifier dans le texte complet. L'enjeu touche le goulot d'étranglement le plus coûteux de la robotique d'apprentissage: la collecte de données étiquetées par action. La téléopération reste chère et peu extensible, la simulation pure souffre d'un écart visuel (sim-to-real gap), et les vidéos humaines n'ont pas d'annotations propres à l'embodiment du robot. Grounded-Dreamer tente de cumuler le réalisme visuel des modèles génératifs et la fiabilité physique d'un simulateur, qui joue le rôle de juge. Le filtrage par rejeu est l'idée la plus intéressante: il traite l'hallucination physique des modèles vidéo, leur principal défaut pour générer des actions exploitables, comme un problème de vérification plutôt que de modélisation parfaite. Pour un intégrateur ou un décideur industriel, la promesse est de réduire le coût marginal de nouvelles tâches à quelques photos de la scène. Il faut cependant rester prudent: la validité des données dépend de la qualité de la reconstruction des objets, et les objets déformables, articulés ou à contacts complexes risquent de rester difficiles. Le filtre ne garantit que ce que le simulateur sait modéliser. Ce travail s'inscrit dans la course aux « world models » pour la robotique, où les modèles vidéo génératifs servent de moteurs de données ou de simulateurs, en concurrence avec les approches fondées sur la téléopération à grande échelle, les données humaines égocentriques et les pipelines de simulation avec randomisation de domaine. Les modèles fondation de type VLA (vision-langage-action) dépendent tous de données d'actions rares, ce qui motive ce type de synthèse. À ce stade, il s'agit d'un préprint non évalué par des pairs, sans produit ni déploiement industriel annoncé. La suite logique serait une validation sur davantage de tâches, de morphologies et de scènes encombrées, ainsi qu'une comparaison chiffrée avec la téléopération à budget équivalent.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source