Kuota Dataproc Serverless

Dataproc Serverless memiliki batas kuota API yang diberlakukan di tingkat project dan region. Kuota ini disetel ulang setiap enam puluh detik (satu menit).

Menangani Error Kuota Dataproc Serverless: Jika Anda melebihi batas kuota Dataproc Serverless, pesan RESOURCE_EXHAUSTED (HTTP code 429) akan ditampilkan, dan permintaan Dataproc Serverless API yang terkait akan gagal. Namun, karena kuota Dataproc Serverless project diperbarui setiap enam puluh detik, Anda dapat mencoba kembali permintaan dalam waktu satu menit setelah kegagalan tersebut.

Tabel berikut mencantumkan jenis kuota, batas kuota, dan metode Dataproc Serverless API per project spesifik dan default yang diberlakukan.

Jenis Kuota	Batas	Metode atau Deskripsi API
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (membatalkan kuota operasi batch sama dengan membatalkan kuota operasi cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5000	Batas jumlah total operasi aktif serentak dari semua jenis dalam project di suatu region.

Meningkatkan Batas Kuota Resource: Buka halaman Kuota IAM & Admin Google Cloud, lalu pilih resource yang ingin diubah. Kemudian, klik Edit Kuota di bagian atas halaman untuk memulai proses penambahan kuota. Jika resource yang ingin Anda tingkatkan tidak terlihat di halaman ini, dan filter saat ini adalah "Kuota dengan penggunaan", ubah filter menjadi "Semua kuota" dengan mengklik menu drop-down "Jenis kuota".

Kuota Google Cloud lainnya

Batch Dataproc Serverless menggunakan produk Google Cloud lainnya. Produk-produk ini memiliki kuota level project, yang mencakup kuota yang berlaku pada penggunaan Dataproc Serverless. Beberapa layanan diwajibkan untuk menggunakan Dataproc Serverless, seperti Compute Engine dan Cloud Storage. Layanan lain, seperti BigQuery dan Bigtable, dapat digunakan dengan Dataproc Serverless secara opsional.

Layanan wajib

Layanan berikut, yang memberlakukan batas kuota, diperlukan untuk membuat batch Dataproc Serverless.

Compute Engine

Batch Dataproc Serverless menggunakan kuota resource Compute Engine berikut:

Tingkat Compute	Kuota
Standard	CPUS
Premium	N2_CPUS
Tingkat Disk	Kuota
Standard	DISKS_TOTAL_GB
Premium	LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY dengan Keluarga VM N2
Akselerator GPU	Kuota
L4	NVIDIA_L4_GPUS
A100 40GB	NVIDIA_A100_GPUS
A100 80GB	NVIDIA_A100_80GB_GPUS

Kuota Compute Engine dibagi menjadi dua, yaitu batas regional dan batas global. Batas ini berlaku untuk batch yang Anda buat. Misalnya, untuk menjalankan batch Spark dengan 4 core driver (spark.driver.cores=4) dan dua eksekutor dengan masing-masing 4 core (spark.executor.cores=4), Anda akan menggunakan 12 CPU virtual (4 * 3). Penggunaan batch ini akan mengurangi batas kuota regional sebesar 24 CPU virtual.

Kuota uji coba gratis: Jika Anda menggunakan uji coba gratis Compute Engine, project Anda akan memiliki batas 8 CPU. Untuk meningkatkan batas ini, Anda harus mengaktifkan penagihan pada project.

Resource batch default

Saat Anda membuat batch dengan setelan default, resource Compute Engine berikut akan digunakan:

Item	Resource yang digunakan
CPU virtual	12
Instance Mesin Virtual (VM)	3
Persistent disk	1.200 GiB

Cloud Logging

Dataproc Serverless menyimpan output batch dan log di Cloud Logging. Kuota Cloud Logging berlaku untuk batch Dataproc Serverless Anda.

Layanan opsional

Layanan berikut, yang memiliki batas kuota, dapat digunakan secara opsional dengan batch Dataproc Serverless.

BigQuery

Saat membaca atau menulis data ke BigQuery, maka kuota BigQuery akan berlaku.

Bigtable

Saat membaca atau menulis data ke Bigtable, kuota Bigtable akan berlaku.