Dataproc Serverless memiliki batas kuota API yang diterapkan pada level project dan region. Kuota ini disetel ulang setiap enam puluh detik (satu menit).
Tabel berikut mencantumkan jenis kuota, batas kuota, dan metode Dataproc Serverless API per project spesifik dan default yang diterapkan.
Jenis Kuota | Batas | Metode API yang Berlaku |
---|---|---|
ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (pembatalan kuota operasi batch digunakan bersama dengan membatalkan kuota operasi cluster). |
BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch, ListBatches, GetSession, ListSessions |
Kuota Google Cloud lainnya
Batch Dataproc Serverless menggunakan produk Google Cloud lainnya. Produk-produk ini memiliki kuota level project, yang mencakup kuota yang berlaku untuk penggunaan Dataproc Serverless. Beberapa layanan wajib menggunakan Dataproc Serverless, seperti Compute Engine dan Cloud Storage. Layanan lain, seperti BigQuery dan Bigtable, dapat digunakan secara opsional dengan Dataproc Serverless.
Layanan wajib
Layanan berikut, yang menerapkan batas kuota, diperlukan untuk membuat batch Serverless Dataproc.
Compute Engine
Batch serverless Dataproc menggunakan kuota resource Compute Engine berikut:
Tingkat Komputasi | Kuota |
---|---|
Standar | CPUS |
Premium | N2_CPUS |
Tingkat Disk | Kuota |
Standar | DISKS_TOTAL_GB |
Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY dengan Tipe VM N2 |
Akselerator GPU | Kuota |
L4 | NVIDIA_L4_GPUS |
A100 40GB | NVIDIA_A100_GPUS |
A100 80GB | NVIDIA_A100_80GB_GPUS |
Kuota Compute Engine dibagi menjadi dua, yaitu batas regional dan batas global. Batas ini berlaku untuk batch yang Anda buat. Misalnya, untuk menjalankan batch Spark dengan 4 core driver (spark.driver.cores=4
) dan dua eksekutor yang masing-masing memiliki 4 core (spark.executor.cores=4
), Anda akan menggunakan 12 CPU virtual (4 * 3
). Penggunaan batch ini akan dihitung terhadap batas kuota regional 24 CPU virtual.
Resource batch default
Saat Anda membuat batch dengan setelan default, resource Compute Engine berikut akan digunakan:
Item | Resource yang digunakan |
---|---|
CPU virtual | 12 |
Instance Mesin Virtual (VM) | 3 |
Persistent disk | 3.000 GB |
Cloud Logging
Dataproc Serverless menyimpan output batch dan log di Cloud Logging. Kuota Cloud Logging berlaku untuk batch Dataproc Serverless Anda.
Layanan opsional
Layanan berikut, yang memiliki batas kuota, dapat digunakan secara opsional dengan batch Dataproc Serverless.
BigQuery
Saat membaca atau menulis data ke BigQuery, maka kuota BigQuery akan berlaku.
Bigtable
Saat membaca atau menulis data ke Bigtable, maka kuota Bigtable akan berlaku.