Harga Dataproc Serverless
Harga Dataproc Serverless untuk Spark didasarkan pada jumlah Data Compute Unit (DCU), jumlah akselerator yang digunakan, dan jumlah penyimpanan acak yang digunakan. DCU, akselerator, dan penyimpanan shuffle dikenai biaya per detik, dengan biaya minimum 1 menit untuk DCU dan penyimpanan acak, serta biaya minimum 5 menit untuk akselerator.
Setiap vCPU Dataproc dihitung sebagai 0,6 DCU. RAM ditagih secara berbeda di bawah dan di atas 8 GB. Setiap gigabyte RAM di bawah 8G gigabyte per vCPU dihitung sebagai 0,1 DCU, dan setiap gigabyte RAM di atas 8G gigabyte per vCPU dihitung sebagai 0,2 DCU. Memori yang digunakan oleh driver dan eksekutor Spark serta penggunaan memori sistem dihitung dalam penggunaan DCU.
Secara default, setiap Dataproc Serverless untuk batch Spark dan workload interaktif menggunakan minimal 12 DCU selama durasi beban kerja: driver menggunakan 4 vCPU dan RAM 16 GB serta menggunakan 4 DCU, dan masing-masing dari 2 eksekutor tersebut menggunakan 4 vCPU dan RAM 16 GB serta memakai 4 DCU. Anda dapat menyesuaikan jumlah vCPU dan jumlah memori per vCPU dengan menetapkan properti Spark. Tidak ada biaya tambahan yang berlaku untuk VM Compute Engine atau Persistent Disk.
Harga Unit Komputasi Data (DCU)
Tarif DCU yang ditampilkan di bawah ini adalah tarif per jam. Tarif ini diprorata dan ditagih per detik, dengan tagihan minimum 1 menit jika shuffle standar digunakan, dan biaya minimum 5 menit jika penyimpanan shuffle Premium digunakan.
Dataproc Serverless untuk workload interaktif Spark dikenai biaya Premium.
Harga penyimpanan shuffle
Tarif penyimpanan shuffle yang ditunjukkan di bawah ini adalah tarif bulanan. Tarif ini diprorata dan ditagih per detik, dengan biaya minimum 1 menit untuk penyimpanan shuffle standar, dan biaya minimum 5 menit untuk penyimpanan shuffle Premium. Penyimpanan shuffle Premium hanya dapat digunakan dengan Unit Komputasi Premium.
Harga akselerator
Tarif akselerator yang ditampilkan di bawah ini adalah tarif per jam. Ini dihitung secara prorata dan ditagih per detik, dengan biaya minimum 5 menit.
Contoh penghitungan harga
Jika workload Dataproc Serverless untuk batch Spark berjalan dengan 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) selama 24 jam di region us-central1 dan menggunakan penyimpanan shuffle sebesar 25 GB, perhitungan harganya adalah sebagai berikut.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
Catatan:
- Contoh ini mengasumsikan sebulan penuh 30 hari. Karena durasi beban kerja batch adalah satu hari, tingkat penyimpanan acak bulanan dibagi dengan 30.
Jika workload Dataproc Serverless untuk batch Spark berjalan dengan 12 DCU dan 2
GPU L4 (spark.driver.cores=4,spark.executor.cores=4,
spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium,
spark.dataproc.executor.compute.tier=premium,
spark.dataproc.executor.disk.tier=premium,
spark.dataproc.executor.resource.accelerator.type=l4) selama 24 jam di
region us-central1 dan menggunakan penyimpanan shuffle sebesar 25 GB, perhitungan harganya
adalah sebagai berikut.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
Catatan:
- Contoh ini mengasumsikan sebulan penuh 30 hari. Karena durasi beban kerja batch adalah satu hari, tingkat penyimpanan acak bulanan dibagi dengan 30.
Jika workload interaktif Dataproc Serverless untuk Spark berjalan dengan 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) selama 24 jam di region us-central1 dan menggunakan penyimpanan shuffle sebesar 25 GB, perhitungan harganya adalah sebagai berikut:
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
Catatan:
- Contoh ini mengasumsikan sebulan penuh 30 hari. Karena durasi beban kerja batch adalah satu hari, tingkat penyimpanan acak bulanan dibagi dengan 30.
Contoh estimasi harga
Saat beban kerja batch selesai, Dataproc Serverless for Spark menghitung UsageMetrics, yang berisi perkiraan total resource penyimpanan DCU, akselerator, dan shuffle yang digunakan oleh beban kerja yang telah selesai. Setelah menjalankan beban kerja,
Anda dapat menjalankan perintah gcloud dataproc batches describe BATCH_ID
untuk melihat metrik penggunaan beban kerja guna membantu Anda memperkirakan biaya menjalankan
beban kerja.
Contoh:
Dataproc Serverless untuk Spark menjalankan workload di cluster ephemeral dengan satu master dan worker. Setiap node menggunakan 4 DCU (defaultnya adalah 4 DCU per
core—lihat spark.dataproc.driver.disk.size)
dan penyimpanan shuffle 400 GB
(defaultnya adalah 100 GB per core—lihat
spark.driver.cores).
Runtime workload adalah 60 detik. Selain itu, setiap pekerja memiliki 1 GPU dengan total
2 di seluruh cluster.
Pengguna menjalankan gcloud dataproc batches describe BATCH_ID --region REGION
untuk mendapatkan metrik penggunaan. Output perintah menyertakan cuplikan berikut
(milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 =
720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 =
120000, dan shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
Penggunaan resource Google Cloud lainnya
Workload Dataproc Serverless untuk Spark secara opsional dapat memanfaatkan resource berikut, masing-masing ditagih berdasarkan harganya sendiri, termasuk, tetapi tidak terbatas pada:
Langkah selanjutnya
- Baca dokumentasi Dataproc Serverless.
- Mulai menggunakan Dataproc Serverless.
- Coba Kalkulator harga.