Aller au contenu principal
DriftWorld : modélisation rapide du monde par dérive
RecherchearXiv cs.RO 

DriftWorld : modélisation rapide du monde par dérive

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent DriftWorld dans un article publié sur arXiv (2607.15065v1), un modèle du monde conditionné par l'action destiné à la planification robotique. Contrairement aux modèles de diffusion classiques qui nécessitent un débruitage itératif à chaque inférence, DriftWorld apprend pendant l'entraînement un "drift" conditionné par l'action, ce qui lui permet de générer les images futures à partir de l'observation courante et d'une séquence d'actions candidates en une seule passe avant. Résultat : plus de 30 images par seconde, soit une vitesse 17 fois supérieure en moyenne aux modèles de diffusion de référence. Les auteurs évaluent leur approche sur les benchmarks standards de manipulation robotique par vision, Bridge-V2, RT-1, Language Table, Push-T et Robomimic, où DriftWorld atteint des performances de décision état de l'art tout en consommant nettement moins de temps de calcul à l'inférence. Le modèle sert aussi de simulateur hors ligne pour classer des politiques de robots réels, avec des scores de rollout corrélés jusqu'à 0,99 avec la vérité terrain.

Cette avancée cible un goulot d'étranglement bien identifié : les modèles du monde basés sur la diffusion permettent d'imaginer les conséquences d'une action avant de l'exécuter, mais leur lenteur limite la recherche d'actions à grande échelle en temps réel, un frein direct pour le contrôle robotique embarqué. En rendant chaque rollout quasi instantané sans sacrifier la précision, DriftWorld ouvre la voie à une exploration beaucoup plus large de l'espace des actions au moment de la décision, un enjeu central pour les intégrateurs qui cherchent à déployer des politiques robustes sans multiplier les essais physiques coûteux. Sa capacité à évaluer des politiques hors ligne avec une forte corrélation à la réalité terrain en fait aussi un outil potentiel pour tester des comportements robotiques avant tout déploiement réel.

Le papier s'inscrit dans la lignée des travaux récents sur les modèles du monde vidéo pour la robotique, où la diffusion domine depuis plusieurs années malgré son coût d'inférence. Il s'agit ici d'une contribution de recherche académique, sans annonce de produit ni de déploiement industriel : les auteurs positionnent les modèles à drift comme une alternative crédible pour l'imagination rapide au service de la planification et de l'évaluation de politiques, sans préciser à ce stade de calendrier d'intégration commerciale.

À lire aussi

Modélisation unifiée du monde par actions visuelles masquées
1arXiv cs.RO 

Modélisation unifiée du monde par actions visuelles masquées

Des chercheurs présentent Masked Visual Actions, une nouvelle interface de contrôle en espace pixel pour les modèles de monde robotiques, décrite dans un article déposé sur arXiv (2607.19343v1). La méthode consiste à exprimer une action sous forme de trajectoire partiellement révélée d'une entité arbitraire dans une vidéo. Concrètement, révéler le mouvement du robot transforme le modèle en modèle de dynamique directe, capable de prédire comment la scène va réagir à une commande motrice bas niveau. À l'inverse, révéler le mouvement souhaité d'un objet permet au même modèle de retrouver le comportement robotique nécessaire pour produire ce résultat, une forme de modélisation inverse. Le système a été affiné avec seulement 15 heures d'exemples masqués, combinant vidéos réelles et données de simulation. Un unique point de contrôle (checkpoint) obtient une bonne fidélité visuelle et un contrôle fiable sur des scènes variées et plusieurs types d'embodiments robotiques différents. L'intérêt de cette approche pour le secteur tient à l'unification qu'elle propose entre prévision et contrôle au sein d'un seul modèle vidéo, sans représentation d'action spécifique par plateforme. Pour les équipes qui développent des politiques de manipulation, les "rollouts imaginés" produits par le modèle montrent une corrélation avec les résultats d'exécution réelle, ce qui ouvre la voie à évaluer des politiques robotiques sans multiplier les essais physiques coûteux. Le modèle sert aussi d'outil de planification, en classant des futurs candidats pour orienter la prise de décision, et de générateur de trajectoires robotiques à partir d'un mouvement d'objet cible. Avec seulement 15 heures de données de finetuning, ces résultats suggèrent qu'un modèle vidéo pré-entraîné peut absorber l'essentiel des priors physiques nécessaires, réduisant la dépendance à de vastes jeux de données de téléopération spécifiques à chaque robot. Ces travaux s'inscrivent dans la dynamique plus large des modèles de monde vidéo appliqués à la robotique, aux côtés d'approches comme les architectures VLA (vision-langage-action) ou les modèles génératifs de type Genie. La contribution ici porte spécifiquement sur le mode d'expression de l'action en pixels, plutôt que sur une nouvelle architecture réseau. L'article ne précise pas de partenariat industriel ni de déploiement matériel; il s'agit à ce stade d'une démonstration de recherche évaluée en simulation et en environnement contrôlé, dont la généralisation à des déploiements robotiques en production reste à établir.

RecherchePaper
1 source
KineWorld : champs de transport induits par l'action pour la modélisation du monde incarnée
2arXiv cs.RO 

KineWorld : champs de transport induits par l'action pour la modélisation du monde incarnée

KineWorld, un cadre de modélisation du monde incarné publié sur arXiv (2610.06349, version 2), propose de réorienter la supervision générative vers les zones de l'image où le robot agit réellement. Le système repose sur deux briques. Kinematic Transport Lifting (KTL) construit des champs de transport alignés sur la caméra, dérivés d'un rendu du robot, à partir des mouvements commandés. Transport-Aware World Diffusion (TAWD) calibre le support de ces mouvements sur la grille de latents vidéo, puis repondère la perte de flow matching sur les images RGB futures, via un mélange normalisé entre une distribution uniforme et une distribution concentrée sur le transport. L'entraînement utilise des données de manipulation bimanuelle ALOHA-AgileX issues de RoboTwin 2.0. Les auteurs rapportent un EWMScore-P de 68,95 en évaluation monovue et un TWB-Score de 54,82 en évaluation multivue. L'enjeu est de corriger un défaut connu des modèles du monde conditionnés par l'action. Ces modèles prédisent les conséquences visuelles d'une action avant son exécution, mais leurs objectifs de génération pondèrent tous les pixels de manière égale. Or les changements décisifs pour l'interaction (une pince qui se referme, un objet qui bascule) occupent une faible portion de l'image. Même avec un conditionnement explicite par le mouvement, la perte tend à privilégier l'apparence globale au détriment de ces zones. En utilisant la cinématique du robot pour décider où concentrer la supervision, et plus seulement comme signal d'entrée, KineWorld plaide pour passer de l'ajustement d'apparence à la modélisation des conséquences de l'action. Cette distinction compte pour qui veut employer ces modèles en planification ou en évaluation de politiques, où la fidélité de la dynamique de contact prime sur la qualité visuelle moyenne. Les scores avancés restent toutefois difficiles à interpréter hors contexte. L'article ne donne ici aucun point de comparaison chiffré avec d'autres méthodes, et l'évaluation se fait sur un seul type de plateforme, en simulation. Ce travail s'inscrit dans la montée des modèles du monde pour la robotique, où la vidéo générative sert de simulateur appris pour anticiper les effets d'une action ou tester des politiques sans matériel. RoboTwin 2.0 est devenu un banc d'essai de référence pour la manipulation bimanuelle en simulation, et les métriques EWMScore et TWB-Score relèvent de benchmarks dédiés aux modèles du monde incarnés. Aucune validation sur robot réel, aucun déploiement ni calendrier de suite n'est annoncé dans ce résumé. Il s'agit donc d'une contribution de recherche, dont la valeur dépendra de sa reproductibilité et de sa capacité à se généraliser à d'autres morphologies, au-delà du dispositif à deux bras étudié.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Modélisation du monde conditionnée par le langage pour la navigation visuelle
3arXiv cs.RO 

Modélisation du monde conditionnée par le langage pour la navigation visuelle

Une équipe de chercheurs publie sur arXiv (2603.26741, version 2) un travail sur la navigation visuelle conditionnée par le langage, baptisée LCVN. Dans cette tâche, un agent incarné doit suivre une instruction en langage naturel en ne disposant que d'une observation égocentrique initiale, sans image du but. La perception et le contrôle continu doivent donc être guidés uniquement par le texte. Les auteurs introduisent le jeu de données LCVN, qui regroupe 39 016 trajectoires et 117 048 instructions vérifiées par des humains, couvrant des environnements et des styles de consigne variés. Ils comparent deux approches. La première, l'imagination latente, associe un modèle du monde à base de diffusion (LCVN-WM), qui imagine les observations futures, à un agent acteur-critique (LCVN-AC) dont la politique est apprise entièrement dans cet espace latent imaginé. La seconde, la prédiction autorégressive unifiée (LCVN-Uni), utilise un seul backbone multimodal qui prédit actions et observations en une passe sur une séquence de tokens partagée. Les résultats montrent que les deux approches sont complémentaires. L'imagination latente produit des déroulés plus cohérents dans le temps, tandis que la prédiction unifiée généralise mieux à des environnements jamais vus. Pour un ingénieur robotique ou un intégrateur, l'enseignement porte sur l'arbitrage d'architecture entre un modèle du monde explicite, utile pour la planification, et un modèle unique de type VLA (vision-langage-action), plus robuste hors distribution. Des ablations isolent l'effet du guidage linguistique, des signaux de conditionnement et du style d'instruction. Elles permettent de savoir si le goulot d'étranglement vient de l'ancrage du langage ou de la modélisation de la dynamique. Cette distinction est précieuse pour orienter les investissements, entre meilleures données langagières et meilleurs modèles dynamiques. Il faut cependant rester prudent : il s'agit d'un travail académique évalué sur un benchmark, sans déploiement sur robot physique annoncé. Il ne dit rien du transfert sim-to-real ni des temps de latence en conditions industrielles. Ce travail s'inscrit dans la longue tradition de la navigation visuelle conditionnée par un but image, qui sert de banc d'essai à l'IA incarnée depuis des années. Il rejoint la tendance actuelle qui combine modèles du monde génératifs et politiques linguistiques, portée par des modèles du monde comme ceux de la famille Genie ou Cosmos et par les VLA généralistes (Pi-0, GR00T, Helix), qui visent surtout la manipulation. La navigation par instruction reste moins couverte par ces modèles. Le jeu de données, relativement volumineux pour la tâche, peut servir de référence commune. Aucune suite commerciale ni calendrier de pilote n'est annoncé. La prochaine étape logique serait de tester ces approches hybrides sur du matériel réel, ou d'unifier imagination latente et prédiction autorégressive dans une même architecture.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Real2Sim à base d'agents : modélisation physique du monde par agents vision-langage
4arXiv cs.RO 

Real2Sim à base d'agents : modélisation physique du monde par agents vision-langage

Optimus, Figure, Gr00t... la robotique humanoïde progresse vite en démos mais bute toujours sur un même verrou technique : reconstruire un environnement réel en simulation physique exploitable. Un article arXiv (2607.19190) présente Agentic Real2Sim, un framework qui utilise des agents vision-langage (VLA) pour automatiser cette conversion. Concrètement, à partir d'un simple enregistrement d'une interaction robot-objet dans le monde réel, le système génère un "jumeau épisodique" simulable, préservant les observations visuelles, les géométries de la scène, les états des objets et les mouvements du robot. Les auteurs ont testé leur approche sur trois familles de scénarios distinctes habituellement traitées par des pipelines séparés : manipulation d'objets rigides, interaction avec des objets déformables, et mouvements humanoïdes. Point notable, le framework peut fonctionner avec un modèle vision-langage open-weight, à une fraction du coût des modèles frontier (type GPT-4V ou équivalents propriétaires), tout en obtenant un taux de conversion réussie comparable. L'enjeu dépasse la seule prouesse académique. Le goulot d'étranglement du "real2sim" est aujourd'hui l'un des principaux freins à l'entraînement de politiques robotiques par apprentissage : sans environnement simulé fidèle, impossible d'entraîner ou d'évaluer massivement des modèles de contrôle sans multiplier les essais coûteux sur robot physique. Actuellement, ce travail repose sur du réglage manuel de modèles de vision, du nettoyage de maillages 3D et de l'alignement de repères de coordonnées, un processus lent et peu reproductible d'un labo à l'autre. Automatiser cette étape via des agents autonomes, capables de prendre eux-mêmes les décisions de pipeline, pourrait accélérer la constitution de jeux de données d'entraînement pour les politiques de type VLA, un sujet clé alors que des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) cherchent à démontrer que leurs modèles généralisent au-delà des données d'entraînement. Ce travail s'inscrit dans une tendance plus large de recherche visant à combler l'écart entre simulation et réel (le "sim-to-real gap"), longtemps considéré comme l'un des obstacles majeurs à la robotique généraliste. Il ne s'agit ici que d'une publication de recherche, avec un site de projet public, et non d'un produit commercial ou d'un déploiement industriel : les auteurs eux-mêmes le présentent comme "un premier pas" vers une conversion real2sim généralisable et à l'échelle, sans préciser de calendrier de mise à disposition ou d'intégration dans des pipelines industriels existants.

RecherchePaper
1 source