RecherchearXiv cs.RO 18 septembre 2026

WorldContact : un modèle du monde centré sur le contact pour l'apprentissage robotique à grande échelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié sur arXiv sous la référence 2609.19600v1 présente WorldContact, un modèle du monde ("world model") centré sur le contact, conçu pour la manipulation d'objets déformables comme les sacs de courses en plastique. Le système est construit à partir d'un nombre limité de trajectoires de haute qualité et prédit la dynamique des objets avec des pas de temps plus larges que le simulateur numérique classique dont il s'inspire, ce dernier nécessitant de très petits pas d'intégration pour capter les mouvements rapides et éviter l'interpénétration des surfaces. Les auteurs ont testé WorldContact sur 16 tâches de manipulation de sacs de courses. Sur un seul GPU Nvidia H100, les mesures de state-rollout montrent une accélération d'un facteur 10 par rapport au simulateur source, un chiffre qui exclut toutefois le rendu graphique et les entrées-sorties disque, ce qui limite sa comparabilité directe avec un temps d'exécution complet. Les données générées ont servi à affiner une politique vision-langage-action (VLA) existante, ensuite déployée sur un robot réel. Sur la tâche de levage de sac, le taux de réussite au premier essai passe de 65%, lorsque la politique est entraînée uniquement sur les données du simulateur d'origine, à 95% une fois le jeu de données enrichi par WorldContact.

Ce résultat s'attaque à un goulot d'étranglement bien identifié dans la robotique de manipulation: l'expérience physique réelle nécessaire pour adapter un robot à un nouvel objet ou une nouvelle tâche reste coûteuse à collecter, et les objets déformables comme les tissus ou les emballages souples aggravent le problème car leur simulation fine est lente. Un modèle du monde dix fois plus rapide que la simulation physique classique, capable de produire des données d'entraînement synthétiques exploitables pour affiner une politique VLA, offre une piste concrète pour réduire ce coût. Le saut de 65% à 95% de succès sur un robot réel constitue une preuve empirique, quoique limitée à un seul type de tâche, que l'augmentation de données via world model peut combler une partie de l'écart entre simulation et réalité pour la manipulation déformable, un domaine où les politiques génériques peinent généralement à généraliser.

L'étude s'inscrit dans la tendance croissante des modèles du monde appris comme alternative ou complément aux simulateurs physiques classiques en robotique, ces derniers étant pénalisés par leurs contraintes d'intégration numérique sur les phénomènes de contact rapide. L'abstract ne précise ni l'affiliation des auteurs ni de calendrier de déploiement au-delà de la validation expérimentale sur robot réel; les résultats, obtenus sur 16 tâches centrées sur un seul type d'objet, relèvent d'une preuve de concept plutôt que d'un système prêt à l'industrialisation, la généralisation à d'autres catégories d'objets déformables restant à démontrer.

Dans nos dossiers

IA physique & VLA World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Hi-WM : un modèle du monde centré sur l'humain pour l'entraînement robotique à grande échelle

Une équipe de recherche présente Hi-WM (Human-in-the-World-Model), un cadre de post-entraînement pour politiques robotiques généralisées, publié sur arXiv (2604.21741). L'approche remplace l'exécution physique par un modèle du monde appris : la politique est d'abord déroulée en boucle fermée dans ce simulateur interne, et lorsqu'une trajectoire devient incorrecte ou risquée, un opérateur humain intervient directement dans le modèle pour fournir des actions correctives courtes. Hi-WM met en cache les états intermédiaires et supporte le rollback et le branchement, ce qui permet de réutiliser un seul état d'échec pour générer plusieurs continuations correctives distinctes. Les trajectoires ainsi produites sont réinjectées dans le jeu d'entraînement. Évalué sur trois tâches de manipulation réelle (objets rigides et déformables) avec deux architectures de politique différentes, le système affiche un gain de 37,9 points en taux de succès réel par rapport à la politique de base, et de 19,0 points par rapport à une ligne de base en boucle fermée dans le modèle du monde. La corrélation entre les évaluations dans le modèle et les performances réelles atteint r = 0,953. Ce résultat adresse un goulot d'étranglement structurel du déploiement robotique : le post-entraînement actuel exige du temps robot, des resets de scène, une supervision opérateur en continu, autant de contraintes qui rendent la correction itérative coûteuse à l'échelle. En décorrélant la phase corrective de l'exécution physique, Hi-WM densifie la supervision précisément là où la politique échoue, sans mobiliser le matériel. La forte corrélation sim-to-real (r > 0,95) est notable : elle suggère que le modèle du monde est suffisamment fidèle pour qualifier les politiques avant déploiement, ce qui contredit en partie l'hypothèse que l'évaluation dans le modèle reste trop éloignée des conditions réelles pour être exploitable. Les modèles du monde conditionnés sur les actions sont étudiés depuis plusieurs années principalement pour la génération de données synthétiques et l'évaluation de politiques, notamment dans les travaux autour des VLA (Vision-Language-Action models) et des politiques généralisées comme celles portées par Physical Intelligence (Pi-0) ou les recherches internes de Google DeepMind. Hi-WM repositionne ces modèles comme substrat correctif actif, une troisième fonction jusqu'ici peu explorée. Les suites naturelles incluent l'extension à des tâches de locomotion, la réduction du coût de construction du modèle du monde, et l'intégration dans des pipelines de fine-tuning continu pour robots déployés en environnement industriel variable.

RechercheOpinion

1 source

2arXiv cs.RO

CoMo : apprendre le mouvement latent continu depuis des vidéos internet pour un apprentissage robotique à grande échelle

Des chercheurs ont publié sur arXiv (référence 2505.17006, version 3) une méthode baptisée CoMo, pour "Continuous Motion", conçue pour extraire automatiquement des représentations continues du mouvement à partir de vidéos issues d'Internet, et les réutiliser comme étiquettes d'action pour entraîner des politiques robotiques. CoMo repose sur deux mécanismes distincts : une différence temporelle précoce (Td) appliquée en amont de l'encodeur pour rendre plus difficile l'apprentissage par raccourcis visuels (les modèles ont tendance à coder l'arrière-plan statique plutôt que le mouvement lui-même), et un apprentissage contrastif temporel (Tcl) qui construit des paires positives avec un décalage temporel réduit vers le futur, et des paires négatives en inversant la direction du temps. Le résultat est un espace latent continu, entraîné sur des vidéos à grande échelle, capable de générer des pseudo-étiquettes d'action pour des vidéos jamais vues en phase d'inférence. Des expériences en simulation et en conditions réelles montrent des gains de performance par rapport aux approches discrètes, aussi bien avec des architectures diffusion que autorégressives. L'enjeu industriel est direct : l'un des goulots d'étranglement du robot learning est la rareté des démonstrations téléopérées, coûteuses à collecter. Si une méthode peut extraire un signal d'action utilisable depuis des vidéos YouTube ou des caméras industrielles non étiquetées, elle réduit mécaniquement le coût de constitution des datasets. La contribution principale de CoMo face aux méthodes discrètes par quantification vectorielle (VQ) est de supprimer la perte d'information liée à la projection dans un codebook de petite taille, et surtout de combler le fossé de distribution entre un espace discret de tokens visuels et un espace d'actions continues à valeurs réelles, fossé qui pénalise l'apprentissage conjoint d'une politique unifiée. La généralisation zéro-shot annoncée est la prétention la plus forte : elle signifie que CoMo pourrait étiqueter des vidéos de nouveaux environnements ou tâches sans ré-entraînement, ce qui reste à valider sur des benchmarks standardisés ; l'abstract ne cite pas de métriques numériques précises. Ce travail s'inscrit dans un axe de recherche très actif depuis 2023, qui cherche à exploiter Internet comme source de supervision pour les robots, aux côtés de méthodes comme RT-2 de Google DeepMind, Pi-0 de Physical Intelligence, ou encore les travaux sur les VLA (Vision-Language-Action models) d'UC Berkeley et du MIT. Les approches discrètes concurrentes (type GROOT ou méthodes VQ-VAE appliquées à la vidéo) souffrent précisément des limitations que CoMo prétend résoudre. La prochaine étape naturelle serait une validation sur des benchmarks robotiques communautaires comme RLBench, LIBERO ou BridgeData V2, et un test à l'échelle de données réellement "internet-scale" pour confirmer si la généralisation zéro-shot tient face à la diversité des distributions visuelles du monde réel.

RecherchePaper

1 source

3arXiv cs.RO

Représentation visuelle 3D consciente de la dynamique pour l'apprentissage robotique à grande échelle

Un article arXiv (identifiant 2512.00074, quatrième révision, type "replace") présente AFRO, un framework d'apprentissage auto-supervisé de représentations visuelles 3D destiné à la robotique. Contrairement aux méthodes de pré-entraînement 3D classiques, performantes en reconnaissance et segmentation d'images mais souvent inefficaces pour la manipulation robotique, AFRO n'utilise ni supervision par action ni reconstruction géométrique explicite du monde observé. Le système traite la prédiction d'état comme un processus de diffusion génératif et apprend simultanément la dynamique directe et inverse dans un espace latent partagé, afin de capturer la structure causale des transitions état-action-état. Pour éviter les fuites d'information entre représentation visuelle et apprentissage de l'action, les auteurs introduisent une différenciation de caractéristiques (feature differencing) et une supervision de cohérence inverse. Combiné à une politique de type Diffusion Policy, AFRO est testé sur 16 tâches de manipulation en simulation et 4 tâches en conditions réelles, avec des gains substantiels de taux de réussite face aux approches de pré-entraînement existantes. Une page projet dédiée (kolakivy.github.io/AFRO) accompagne la publication. Ce travail cible un point de friction bien identifié dans la recherche en apprentissage robotique: les représentations visuelles pré-entraînées sur des tâches de vision classique ne capturent pas la dynamique physique nécessaire à la manipulation fine, et la reconstruction géométrique explicite, coûteuse en calcul, s'avère largement redondante pour cet usage. En démontrant qu'un pré-entraînement centré sur la dynamique état-action-état, sans supervision par action ni reconstruction, surpasse les approches existantes et passe mieux à l'échelle avec le volume de données et la complexité des tâches, AFRO apporte un argument concret dans le débat sur la conception des architectures de pré-entraînement pour les politiques robotiques, notamment celles reposant sur des modèles de diffusion. L'article s'inscrit dans la lignée des travaux sur les représentations 3D auto-supervisées pour la robotique, un axe de recherche actif face aux limites constatées des méthodes héritées de la vision par ordinateur classique. La publication d'une quatrième révision suggère un article retravaillé après retours de la communauté, sans qu'aucun calendrier de déploiement industriel ne soit mentionné: il s'agit à ce stade d'une contribution de recherche évaluée en simulation et sur un nombre restreint de tâches réelles, non d'un produit ou d'un pilote commercial.

RecherchePaper

1 source

4arXiv cs.RO

ViTacWorld : passage à l'échelle des modèles du monde visuo-tactiles pour la manipulation robotique riche en contacts

Des chercheurs présentent ViTacWorld, un modèle de monde visuo-tactile conditionné par l'action, conçu pour la manipulation robotique riche en contacts, décrit dans une prépublication arXiv (2607.22530v1). Le système s'appuie sur des jeux de données tactiles réels publics combinés à un environnement de simulation construit spécifiquement pour l'occasion, afin de générer à grande échelle des trajectoires visuo-tactiles-actions. Le modèle est d'abord préentraîné sur de larges volumes de trajectoires réelles et simulées, puis affiné avec des rollouts de politiques collectés en conditions réelles pour mieux coller aux comportements de manipulation visés. À partir d'une séquence d'actions du robot, ViTacWorld prédit conjointement les observations visuelles et le retour tactile correspondants, permettant de générer des rollouts visuo-tactiles-actions complets. Les auteurs présentent cela comme le premier cadre exploitant un modèle de monde pour la génération de trajectoires visuo-tactiles-actions et l'évaluation de politiques robotiques. L'enjeu central est le coût et la rareté des données tactiles réelles, qui freinent l'apprentissage robotique basé sur le toucher : matériel spécifique, collecte coûteuse, diversité de tâches et de scènes limitée. En misant sur le fait que le signal tactile, directement ancré dans le contact physique, souffre d'un écart simulation-vers-réel plus faible que la seule vision, ViTacWorld propose une voie pour combler ce manque de données sans multiplier les campagnes de collecte sur robot réel. Pour les équipes de recherche en manipulation fine (assemblage, insertion, préhension d'objets déformables), cela ouvre deux usages concrets : générer des données synthétiques pour améliorer des politiques tactiles en aval, et évaluer des politiques existantes en prédisant leurs résultats visuo-tactiles sous des séquences d'actions contrôlées, sans passer systématiquement par des essais physiques. C'est un signal de plus que les modèles de monde, déjà répandus en vision, commencent à s'étendre à d'autres modalités sensorielles pour la robotique de contact. Ce travail s'inscrit dans la lignée des modèles de monde appliqués à la robotique, jusqu'ici centrés presque exclusivement sur la modalité visuelle, et dans la continuité des efforts pour réduire la dépendance de l'apprentissage tactile aux capteurs propriétaires et aux collectes sur site. Les expériences menées par les auteurs sur des tâches de manipulation riches en contacts montrent que ViTacWorld génère des rollouts physiquement cohérents, améliore les performances de politiques via une augmentation de données scalable, et permet une évaluation de politiques conditionnée par l'action. Le projet est documenté sur vitacworld.github.io. L'article ne mentionne aucun partenariat industriel ni déploiement commercial à ce stade : il s'agit d'une contribution de recherche dont la portée réelle dépendra de sa reproduction sur des plateformes robotiques variées et de son adoption par des équipes travaillant sur l'assemblage ou la manipulation fine en environnement industriel.

RecherchePaper

1 source