Kuota Dataproc

Halaman ini mencantumkan batas kuota Dataproc API, yang diberlakukan di tingkat project dan region. Kuota ini direset setiap enam puluh detik (satu menit).

Jika Anda menjalankan beban kerja Dataproc Serverless, lihat Kuota Dataproc Serverless.

Menangani Error Kuota Dataproc: Jika Anda melebihi batas kuota Dataproc, pesan RESOURCE_EXHAUSTED (kode HTTP 429) akan ditampilkan, dan permintaan Dataproc API yang terkait akan gagal. Namun, karena kuota Dataproc project diperbarui setiap enam puluh detik, Anda dapat mencoba kembali permintaan dalam waktu satu menit setelah kegagalan tersebut.

Tabel berikut mencantumkan jenis kuota, batas kuota, dan metode Dataproc API per project spesifik dan default yang diberlakukan.

Jenis Kuota	Batas	Metode API yang Berlaku
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob, UpdateJob, CancelJob, DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7500	Semua operasi lain (terutama operasi Get)

Meningkatkan Batas Kuota Resource: Buka halaman IAM & admin→Kuota Google Cloud, lalu pilih resource yang ingin diubah. Kemudian, klik Edit Kuota di bagian atas halaman untuk memulai proses penambahan kuota. Jika resource yang ingin Anda tingkatkan tidak terlihat di halaman ini, dan filter saat ini adalah "Kuota dengan penggunaan", ubah filter menjadi "Semua kuota" dengan mengklik menu drop-down "Jenis kuota".

Tabel berikut mencantumkan batas tambahan pada total operasi dan tugas aktif di tingkat project dan region.

Jenis kuota	Batas	Deskripsi
ActiveOperationsPerProjectPerRegion	5000	Batas jumlah total operasi aktif serentak dari semua jenis dalam satu project di satu database regional
ActiveJobsPerProjectPerRegion	5000	Batas jumlah total tugas aktif dalam status NON_TERMINAL dalam satu project dalam satu database regional

Meningkatkan batas total operasi dan tugas aktif: Buka tiket dukungan Google.

Kuota Google Cloud lainnya

Cluster Dataproc menggunakan produk Google Cloud lainnya. Produk-produk ini memiliki kuota level project, yang mencakup kuota yang berlaku pada penggunaan Dataproc. Beberapa layanan diwajibkan untuk menggunakan Dataproc, seperti Compute Engine dan Cloud Storage. Layanan lain, seperti BigQuery dan Bigtable, dapat digunakan dengan Dataproc secara opsional.

Layanan wajib

Layanan berikut, yang memberlakukan batas kuota, otomatis (dan wajib) digunakan untuk membuat cluster Dataproc.

Compute Engine

Cluster Dataproc menggunakan virtual machine Compute Engine. Kuota Compute Engine dibagi menjadi dua, yaitu batas regional dan batas global. Batas ini berlaku pada kluster yang Anda buat. Misalnya, untuk membuat cluster dengan satu node master n1-standard-4 dan dua node pekerja n1-standard-4, Anda akan menggunakan 12 CPU virtual (4 * 3). Penggunaan cluster ini akan mengurangi batas kuota regional sebesar 24 CPU virtual.

Kuota uji coba gratis: Jika Anda menggunakan uji coba gratis Compute Engine, project Anda akan memiliki batas 8 CPU. Untuk meningkatkan batas ini, Anda harus mengaktifkan penagihan pada project.

Kluster default

Saat Anda membuat cluster Dataproc dengan setelan default, resource Compute Engine berikut akan digunakan.

Item	Resource yang digunakan
CPU virtual	12
Instance Mesin Virtual (VM)	3
Persistent disk	1.500 GB

Cloud Logging

Dataproc menyimpan output driver dan log cluster di Cloud Logging. Kuota Cloud Logging berlaku untuk cluster Dataproc Anda.

Layanan opsional

Layanan berikut, yang memiliki batas kuota, dapat digunakan secara opsional dengan cluster Dataproc.

BigQuery

Saat membaca atau menulis data ke BigQuery, maka kuota BigQuery akan berlaku.

Bigtable

Saat membaca atau menulis data ke Bigtable, maka kuota Bigtable akan berlaku.