Harga Dataproc Serverless
Harga Dataproc Serverless untuk Spark didasarkan pada jumlah Data Compute Unit (DCU), jumlah akselerator yang digunakan, dan jumlah penyimpanan acak data DCU, akselerator, dan penyimpanan acak ditagih per detik, dengan Pengisian daya minimum 1 menit untuk DCU dan penyimpanan acak, dan minimum 5 menit biaya untuk akselerator.
Setiap vCPU Dataproc dihitung sebagai 0,6 DCU. RAM ditagih secara berbeda di bawah dan di atas 8 GB. Setiap gigabyte RAM di bawah 8G gigabyte per vCPU dihitung sebagai 0,1 DCU, dan setiap gigabyte RAM di atas 8G gigabyte per vCPU dihitung sebagai 0,2 DCU. Memori yang digunakan oleh driver dan eksekutor Spark serta penggunaan memori sistem dihitung dalam penggunaan DCU.
Secara default, setiap workload interaktif dan batch Dataproc Serverless untuk Spark menggunakan minimal 12 DCU selama durasi beban kerja: driver menggunakan 4 vCPU dan RAM 16 GB serta mengkonsumsi 4 DCU, dan masing-masing dari 2 eksekutor menggunakan 4 vCPU dan RAM 16 GB serta menggunakan 4 DCU. Anda dapat menyesuaikan jumlah vCPU dan jumlah memori per vCPU dengan menetapkan Properti Spark. Tidak ada biaya tambahan yang berlaku untuk VM Compute Engine atau Persistent Disk.
Harga Unit Komputasi Data (DCU)
Tarif DCU yang ditampilkan di bawah ini adalah tarif per jam. Tarif ini dihitung secara prorata dan ditagih per
detik, dengan pengisian daya minimum 1 menit.
Workload interaktif Dataproc Serverless untuk Spark dikenai biaya di Premium.
Harga penyimpanan shuffle
Tarif penyimpanan shuffle yang ditunjukkan di bawah ini adalah tarif bulanan. Tarif ini diprorata dan ditagih per detik, dengan biaya minimum 1 menit untuk penyimpanan shuffle standar, dan biaya minimum 5 menit untuk penyimpanan shuffle Premium. Penyimpanan shuffle Premium hanya dapat digunakan dengan Unit Komputasi Premium.
Harga akselerator
Tarif akselerator yang ditampilkan di bawah adalah tarif per jam. Tarif ini dihitung secara prorata dan ditagih per
detik, dengan pengisian daya minimum 5 menit.
Contoh penghitungan harga
Jika workload batch Dataproc Serverless untuk Spark dijalankan dengan 12 DCU
(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)
selama 24 jam di region us-central1 dan
menggunakan penyimpanan acak sebesar 25 GB,
penghitungan harganya adalah sebagai berikut.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
Catatan:
- Contoh ini mengasumsikan bahwa satu bulan terdiri dari 30 hari. Karena durasi beban kerja batch adalah satu hari, tingkat penyimpanan acak bulanan dibagi 30.
Jika workload batch Dataproc Serverless untuk Spark dijalankan dengan 12 DCU dan 2
GPU L4 (spark.driver.cores=4,spark.executor.cores=4,
spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium,
spark.dataproc.executor.compute.tier=premium,
spark.dataproc.executor.disk.tier=premium,
spark.dataproc.executor.resource.accelerator.type=l4) selama 24 jam di
region us-central1 dan menggunakan penyimpanan shuffle sebesar 25 GB, yang merupakan perhitungan harga
adalah sebagai berikut.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
Catatan:
- Contoh ini mengasumsikan bahwa satu bulan terdiri dari 30 hari. Karena durasi beban kerja batch adalah satu hari, tingkat penyimpanan acak bulanan dibagi 30.
Jika workload interaktif Dataproc Serverless untuk Spark dijalankan dengan 12 DCU
(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)
selama 24 jam di region us-central1 dan
menggunakan penyimpanan acak sebesar 25 GB,
penghitungan harga adalah sebagai berikut:
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
Catatan:
- Contoh ini mengasumsikan bahwa satu bulan terdiri dari 30 hari. Karena durasi beban kerja batch adalah satu hari, tingkat penyimpanan acak bulanan dibagi 30.
Contoh estimasi harga
Saat workload batch selesai, Dataproc Serverless untuk Spark akan menghitung
UsageMetrics,
yang berisi perkiraan total DCU, akselerator, dan shuffle
sumber daya penyimpanan yang dikonsumsi oleh
beban kerja yang diselesaikan. Setelah menjalankan beban kerja,
Anda dapat menjalankan gcloud dataproc batches describe BATCH_ID
untuk melihat metrik penggunaan workload guna membantu Anda memperkirakan biaya operasi
beban kerja.
Contoh:
Dataproc Serverless untuk Spark menjalankan workload di cluster ephemeral dengan satu master dan worker. Setiap node menggunakan 4 DCU (defaultnya adalah 4 DCU per
core—lihat spark.dataproc.driver.disk.size)
dan penyimpanan shuffle 400 GB
(defaultnya adalah 100 GB per core—lihat
spark.driver.cores).
Runtime workload adalah 60 detik. Selain itu, setiap pekerja memiliki 1 GPU untuk total
2 di seluruh gugus.
Pengguna menjalankan gcloud dataproc batches describe BATCH_ID --region REGION
untuk mendapatkan metrik penggunaan. Output perintah menyertakan cuplikan berikut
(milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 =
720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 =
120000, dan shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
Penggunaan resource Google Cloud lainnya
Workload Dataproc Serverless untuk Spark secara opsional dapat memanfaatkan resource berikut, masing-masing ditagih berdasarkan harganya sendiri, termasuk, tetapi tidak terbatas pada:
Langkah berikutnya
- Baca dokumentasi Dataproc Serverless.
- Mulai menggunakan Dataproc Serverless.
- Coba Kalkulator harga.