Harga Dataproc Serverless
Harga Dataproc Serverless untuk Spark didasarkan pada jumlah Data Compute Unit (DCU), jumlah akselerator yang digunakan, dan jumlah penyimpanan acak yang digunakan. DCU, akselerator, dan penyimpanan shuffle ditagih per detik, dengan biaya minimum 1 menit untuk DCU dan penyimpanan acak, serta biaya minimum 5 menit untuk akselerator.
Setiap vCPU Dataproc dihitung sebagai 0,6 DCU. RAM ditagih secara berbeda di bawah dan di atas 8 GB. Setiap gigabyte RAM di bawah 8G gigabyte per vCPU dihitung sebagai 0,1 DCU, dan setiap gigabyte RAM di atas 8G gigabyte per vCPU dihitung sebagai 0,2 DCU. Memori yang digunakan oleh driver dan eksekutor Spark serta penggunaan memori sistem dihitung dalam penggunaan DCU.
Secara default, setiap batch Dataproc Serverless untuk Spark dan workload interaktif memakai minimum 12 DCU selama durasi workload: driver menggunakan 4 vCPU dan RAM 16 GB serta menggunakan 4 DCU, dan masing-masing dari kedua eksekutor tersebut menggunakan 4 vCPU dan RAM 16 GB, serta menggunakan 4 DCU. Anda dapat menyesuaikan jumlah vCPU dan jumlah memori per vCPU dengan menetapkan properti Spark. Tidak ada biaya tambahan yang berlaku untuk VM Compute Engine atau Persistent Disk.
Harga Unit Komputasi Data (DCU)
Tarif DCU yang ditampilkan di bawah ini adalah tarif per jam. Layanan ini dihitung secara prorata dan ditagih per detik, dengan tagihan minimum 1 menit.
Workload interaktif Dataproc Serverless untuk Spark dikenai biaya di Premium.
Harga penyimpanan shuffle
Tarif penyimpanan shuffle yang ditunjukkan di bawah ini adalah tarif bulanan. Tarif ini diprorata dan ditagih per detik, dengan biaya minimum 1 menit untuk penyimpanan shuffle standar, dan biaya minimum 5 menit untuk penyimpanan shuffle Premium. Penyimpanan shuffle Premium hanya dapat digunakan dengan Unit Komputasi Premium.
Harga akselerator
Tarif akselerator yang ditampilkan di bawah adalah tarif per jam. Layanan ini dihitung secara prorata dan ditagih per detik, dengan biaya minimum 5 menit.
Contoh penghitungan harga
Jika workload batch Dataproc Serverless untuk Spark berjalan dengan 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) selama 24 jam di region us-central1 dan menggunakan penyimpanan acak sebesar 25 GB, penghitungan harganya adalah sebagai berikut.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
Catatan:
- Contoh ini mengasumsikan bahwa satu bulan terdiri dari 30 hari. Karena durasi workload batch adalah satu hari, kecepatan penyimpanan acak bulanan dibagi 30.
Jika workload batch Dataproc Serverless untuk Spark berjalan dengan 12 DCU dan 2 GPU L4 (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4) selama 24 jam di region us-central1 dan menggunakan penyimpanan acak sebesar 25 GB, penghitungan harganya adalah sebagai berikut.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
Catatan:
- Contoh ini mengasumsikan bahwa satu bulan terdiri dari 30 hari. Karena durasi workload batch adalah satu hari, kecepatan penyimpanan acak bulanan dibagi 30.
Jika workload interaktif Dataproc Serverless untuk Spark dijalankan dengan 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) selama 24 jam di region us-central1 dan menggunakan penyimpanan acak sebesar 25 GB, penghitungan harganya adalah sebagai berikut:
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
Catatan:
- Contoh ini mengasumsikan bahwa satu bulan terdiri dari 30 hari. Karena durasi workload batch adalah satu hari, kecepatan penyimpanan acak bulanan dibagi 30.
Contoh estimasi harga
Saat workload batch selesai, Dataproc Serverless untuk Spark menghitung UsageMetrics yang berisi perkiraan total resource penyimpanan DCU, akselerator, dan shuffle yang digunakan oleh workload yang diselesaikan. Setelah menjalankan beban kerja, Anda dapat menjalankan perintah gcloud dataproc batches describe BATCH_ID untuk melihat metrik penggunaan workload guna membantu memperkirakan biaya menjalankan workload.
Contoh:
Dataproc Serverless untuk Spark menjalankan workload di cluster ephemeral dengan satu master dan worker. Setiap node menggunakan 4 DCU (defaultnya adalah 4 DCU per
core—lihat spark.dataproc.driver.disk.size)
dan penyimpanan shuffle 400 GB
(defaultnya adalah 100 GB per core—lihat
spark.driver.cores).
Runtime workload adalah 60 detik. Selain itu, setiap pekerja memiliki 1 GPU untuk total
2 di seluruh cluster.
Pengguna menjalankan gcloud dataproc batches describe BATCH_ID --region REGION
untuk mendapatkan metrik penggunaan. Output perintah mencakup cuplikan berikut
(milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 =
720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 =
120000, dan shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
Penggunaan resource Google Cloud lainnya
Workload Dataproc Serverless untuk Spark secara opsional dapat memanfaatkan resource berikut, masing-masing ditagih berdasarkan harganya sendiri, termasuk, tetapi tidak terbatas pada:
Langkah berikutnya
- Baca dokumentasi Dataproc Serverless.
- Mulai menggunakan Dataproc Serverless.
- Coba Kalkulator harga.