Harga Dataproc Serverless
Harga Dataproc Serverless untuk Spark didasarkan pada jumlah Unit Komputasi Data (DCU), jumlah akselerator yang digunakan, dan jumlah penyimpanan shuffle yang digunakan. DCU, akselerator, dan shuffle storage ditagih per detik, dengan biaya minimum 1 menit untuk DCU dan shuffle storage, serta biaya minimum 5 menit untuk akselerator.
Setiap vCPU Dataproc dihitung sebagai 0,6 DCU. RAM ditagih secara berbeda di bawah dan di atas 8 GB. Setiap gigabyte RAM di bawah 8G gigabyte per vCPU dihitung sebagai 0,1 DCU, dan setiap gigabyte RAM di atas 8G gigabyte per vCPU dihitung sebagai 0,2 DCU. Memori yang digunakan oleh driver dan eksekutor Spark serta penggunaan memori sistem dihitung dalam penggunaan DCU.
Secara default, setiap workload batch dan interaktif Dataproc Serverless untuk Spark menggunakan minimum 12 DCU selama durasi workload: driver menggunakan 4 vCPU dan 16 GB RAM serta menggunakan 4 DCU, dan masing-masing dari 2 eksekutor tersebut menggunakan 4 vCPU dan 16 GB RAM serta menggunakan 4 DCU. Anda dapat menyesuaikan jumlah vCPU dan jumlah memori per vCPU dengan menetapkan properti Spark. Tidak ada biaya tambahan yang berlaku untuk VM Compute Engine atau Persistent Disk.
Harga Unit Komputasi Data (DCU)
Tarif DCU yang ditampilkan di bawah ini adalah tarif per jam. Tarif ini diprorata dan ditagih per detik, dengan biaya minimum 1 menit.
Dataproc Serverless untuk workload interaktif Spark dikenai biaya Premium.
Harga penyimpanan shuffle
Tarif penyimpanan shuffle yang ditunjukkan di bawah ini adalah tarif bulanan. Tarif ini diprorata dan ditagih per detik, dengan biaya minimum 1 menit untuk penyimpanan shuffle standar, dan biaya minimum 5 menit untuk penyimpanan shuffle Premium. Penyimpanan shuffle Premium hanya dapat digunakan dengan Unit Komputasi Premium.
Harga akselerator
Tarif akselerator yang ditampilkan di bawah ini adalah tarif per jam. Tarif ini diprorata dan ditagih per detik, dengan biaya minimum 5 menit.
Contoh penghitungan harga
Jika workload batch Dataproc Serverless untuk Spark berjalan dengan 12 DCU
(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)
selama 24 jam di region us-central1 dan menggunakan penyimpanan shuffle 25 GB, perhitungan harganya adalah sebagai berikut.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
Catatan:
- Contoh ini mengasumsikan satu bulan memiliki 30 hari. Karena durasi workload batch adalah satu hari, tarif penyimpanan shuffle bulanan dibagi 30.
Jika workload batch Dataproc Serverless untuk Spark berjalan dengan 12 DCU dan 2 GPU L4 (spark.driver.cores=4,spark.executor.cores=4,
spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium,
spark.dataproc.executor.compute.tier=premium,
spark.dataproc.executor.disk.tier=premium,
spark.dataproc.executor.resource.accelerator.type=l4) selama 24 jam di region us-central1 dan menggunakan penyimpanan shuffle 25 GB, perhitungan harganya adalah sebagai berikut.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
Catatan:
- Contoh ini mengasumsikan satu bulan memiliki 30 hari. Karena durasi workload batch adalah satu hari, tarif penyimpanan shuffle bulanan dibagi 30.
Jika workload interaktif Dataproc Serverless untuk Spark berjalan dengan 12 DCU
(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)
selama 24 jam di region us-central1 dan menggunakan penyimpanan shuffle 25 GB, perhitungan harganya adalah sebagai berikut:
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
Catatan:
- Contoh ini mengasumsikan satu bulan memiliki 30 hari. Karena durasi workload batch adalah satu hari, tarif penyimpanan shuffle bulanan dibagi 30.
Contoh estimasi harga
Saat workload batch selesai, Dataproc Serverless untuk Spark akan menghitung UsageMetrics, yang berisi perkiraan total DCU, akselerator, dan resource penyimpanan shuffle yang digunakan oleh workload yang telah selesai. Setelah menjalankan workload, Anda dapat menjalankan perintah gcloud dataproc batches describe BATCH_ID untuk melihat metrik penggunaan workload guna membantu Anda memperkirakan biaya menjalankan workload.
Contoh:
Dataproc Serverless untuk Spark menjalankan workload di cluster ephemeral dengan satu master dan worker. Setiap node menggunakan 4 DCU (defaultnya adalah 4 DCU per
core—lihat spark.dataproc.driver.disk.size)
dan penyimpanan shuffle 400 GB
(defaultnya adalah 100 GB per core—lihat
spark.driver.cores).
Runtime workload adalah 60 detik. Selain itu, setiap worker memiliki 1 GPU, sehingga totalnya ada 2 GPU di seluruh cluster.
Pengguna menjalankan gcloud dataproc batches describe BATCH_ID --region REGION
untuk mendapatkan metrik penggunaan. Output perintah mencakup cuplikan berikut (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000, dan shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
Penggunaan resource Google Cloud lainnya
Workload Dataproc Serverless untuk Spark secara opsional dapat memanfaatkan resource berikut, masing-masing ditagih berdasarkan harganya sendiri, termasuk, tetapi tidak terbatas pada:
Langkah berikutnya
- Baca dokumentasi Dataproc Serverless.
- Mulai menggunakan Dataproc Serverless.
- Coba Kalkulator harga.