RynnWorld-4D : des modèles du monde incarnés en 4D pour la manipulation robotique
Des chercheurs (l'article ne precise pas d'affiliation institutionnelle dans le resume) publient sur arXiv, le 7 juillet 2026, RynnWorld-4D, un modele generatif de monde en 4D pour la manipulation robotique. Le systeme produit simultanement, a partir d'une seule image RGB-D et d'une instruction en langage naturel, des images RGB futures, des cartes de profondeur et des flux optiques, le tout dans un unique processus de diffusion. Son architecture a trois branches combine attention cross-modale et RoPE 3D image par image pour que l'apparence visuelle, la geometrie et le mouvement evoluent de maniere coherente. Pour l'entrainer, les auteurs ont constitue Rynn4DDataset 1.0, un jeu de donnees de plus de 254,4 millions d'images issues de videos de manipulation, a la fois humaines en vue egocentrique et robotiques, avec des pseudo-etiquettes de profondeur et de flux optique. Un module derive, RynnWorld-4D-Policy, exploite directement les representations internes du modele en un seul passage avant, sans les etapes couteuses de debruitage iteratif, pour generer des actions robotiques en boucle fermee.
L'interet de cette approche tient a l'hypothese qu'elle teste: en combinant RGB, profondeur et flux optique plutot qu'en travaillant sur de simples pixels 2D, la representation obtenue se rapprocherait davantage des commandes bas niveau de l'effecteur, reduisant l'ecart classique entre prediction du monde et apprentissage de politique. Sur des taches reelles de manipulation bimanuelle dexterite, les auteurs rapportent des resultats a l'etat de l'art, en particulier sur les taches exigeant precision spatiale et coordination temporelle, deux points ou les approches VLA generalistes butent souvent en conditions reelles.
Il s'agit pour l'instant d'un travail de recherche publie en preprint, sans deploiement industriel ni produit commercialise. Il s'inscrit dans la lignee des modeles de monde appliques a la robotique, aux cotes d'approches comme GR00T N2 ou Pi-0, mais mise sur une fusion multimodale plus riche et un passage a l'echelle des donnees d'entrainement. Les prochaines etapes attendues concernent la generalisation a d'autres plateformes robotiques et la validation hors des benchmarks controles du laboratoire.
Dans nos dossiers
