Dokumen ini mencantumkan kuota dan batas sistem yang berlaku untuk Cloud Composer.
- Kuota menentukan jumlah resource bersama yang dapat dihitung dan dapat Anda gunakan. Kuota ditentukan oleh layanan Google Cloud seperti Cloud Composer.
- Batas sistem adalah nilai tetap yang tidak dapat diubah.
Google Cloud menggunakan kuota untuk membantu memastikan keadilan dan mengurangi lonjakan penggunaan dan ketersediaan resource. Kuota membatasi jumlah resource Google Cloud yang dapat digunakan project Google Cloud Anda. Kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan. Misalnya, kuota dapat membatasi jumlah panggilan API ke layanan, jumlah load balancer yang digunakan secara bersamaan oleh project Anda, atau jumlah project yang dapat Anda buat. Kuota melindungi komunitas pengguna Google Cloud dengan mencegah kelebihan beban layanan. Kuota juga membantu Anda mengelola resource Google Cloud Anda sendiri.
Sistem Kuota Cloud melakukan hal berikut:
- Memantau pemakaian produk dan layanan Google Cloud oleh Anda
- Membatasi pemakaian resource tersebut
- Memberikan cara untuk meminta perubahan pada nilai kuota
Pada umumnya, saat Anda mencoba menggunakan resource lebih dari kuota yang diizinkan, sistem akan memblokir akses ke resource, dan tugas yang Anda coba lakukan akan gagal.
Kuota umumnya berlaku di level project Google Cloud. Penggunaan resource di satu project tidak memengaruhi kuota yang tersedia di project lain. Dalam project Google Cloud, kuota dibagikan ke semua aplikasi dan alamat IP.
Untuk menyesuaikan sebagian besar kuota, gunakan Konsol Google Cloud. Untuk mengetahui informasi selengkapnya, lihat Meminta penyesuaian kuota.
Ada juga batas sistem pada resource Cloud Composer. Batas sistem tidak dapat diubah.
Kuota Cloud Composer
Kuota di bagian ini hanya berlaku untuk Cloud Composer API dan alat yang menggunakan Cloud Composer API:
- Antarmuka Cloud Composer di konsol Google Cloud
- Perintah
gcloud composer
dangcloud beta composer
- Cloud Composer REST API
- Cloud Composer RPC API
- Terraform, untuk operasi dengan lingkungan Cloud Composer
Kuota di bagian ini tidak berlaku untuk layanan apa pun yang Anda gunakan di DAG Airflow. Layanan tersebut menggunakan kuotanya sendiri.
Cloud Composer memiliki kuota API berikut:
Nama kuota | Batas |
---|---|
Permintaan baca per project | 1.000 unit kuota per menit |
Permintaan tulis per project | 25.000 unit kuota per hari |
Permintaan tulis per project | 1.500 unit kuota per menit |
Menyimpan permintaan snapshot per project | 5.000 unit kuota per hari |
Menyimpan permintaan snapshot per project | 250 unit kuota per menit |
Menyimpan permintaan snapshot per project per lingkungan | 2.600 unit kuota per hari |
Memuat permintaan snapshot per project | 2.500 unit kuota per hari |
Memuat permintaan snapshot per project | Kuota 150 per menit |
Memuat permintaan snapshot per project per lingkungan | 700 unit kuota per hari |
Panggilan Cloud Composer API memiliki biaya berikut, dalam unit kuota:
Operasi | Biaya dalam unit kuota | Jenis permintaan |
---|---|---|
Semua operasi | 1 | Baca |
environments.create | 100 | Tulis |
environments.patch | 100 | Tulis |
environments.delete | 100 | Tulis |
environments.databaseFailover | 100 | Tulis |
environments.restartWebServer | 100 | Tulis |
environments.checkUpgrade | 100 | Tulis |
environments.executeAirflowCommand | 25 | Tulis |
environments.stopAirflowCommand | 25 | Tulis |
environments.saveSnapshot | 50 | Menyimpan snapshot |
environments.loadSnapshot | 50 | Memuat snapshot |
Contoh penghitungan kuota
Satu permintaan
environments.create
menggunakan 100 unit kuota dari kuota Tulis.Ada dua kuota tersebut untuk permintaan tulis:
- Permintaan tulis per project per hari
- Permintaan tulis per project per menit
Operasi ini menggunakan 100 unit kuota dari setiap kuota.
Jika Anda menjalankan permintaan
environments.restartWebServer
setelah itu, 100 unit kuota lainnya akan digunakan dari kuota yang sama, karenaenvironments.restartWebServer
berbagi kuota dengan permintaanenvironments.create
.Satu permintaan
environments.saveSnapshot
menggunakan 50 unit kuota dari tiga kuota:- Menyimpan permintaan snapshot per project per hari
- Menyimpan permintaan snapshot per project per menit
- Menyimpan permintaan snapshot per project per lingkungan per hari
Ketiga kuota ini membatasi jumlah maksimum permintaan
environments.saveSnapshot
. Masing-masing melakukannya dengan cara yang berbeda.Batas kuota Simpan permintaan snapshot per project per hari adalah 2.500 unit kuota. Anda dapat menjalankan hingga 50 permintaan
environments.saveSnapshot
dalam project setiap hari.Batas kuota Simpan permintaan snapshot per project per menit adalah 150 unit kuota. Dalam satu menit, Anda hanya dapat menjalankan maksimal tiga permintaan
environments.saveSnapshot
dalam project.Terakhir, batas kuota Simpan permintaan snapshot per project per lingkungan per hari adalah 750 unit kuota. Anda dapat menjalankan hingga 15 permintaan
environments.saveSnapshot
setiap hari untuk satu lingkungan. Jika semua unit kuota digunakan untuk lingkungan tertentu, Anda masih dapat menjalankan permintaanenvironments.saveSnapshot
untuk lingkungan lain dalam project Anda.
Kuota untuk layanan lain
Cloud Composer menggunakan layanan Google Cloud lainnya. Layanan ini memiliki kuota level project, yang berlaku saat Anda menggunakan Cloud Composer.
Misalnya, kuota untuk Cloud Storage berlaku untuk semua bucket yang terkait dengan lingkungan di project Anda. Sebagai contoh lain, cluster lingkungan menggunakan Google Kubernetes Engine, sehingga kuota untuk GKE berlaku untuk semua cluster yang terkait dengan lingkungan di project Anda.
Kuota untuk layanan yang digunakan oleh Cloud Composer
Layanan berikut digunakan oleh Cloud Composer. Layanan ini memiliki batas kuota sendiri:
- Kuota Cloud Deployment Manager
- Kuota Google Kubernetes Engine
- Kuota Compute Engine
- Kuota Cloud Storage
- Kuota Pub/Sub
- Kuota Cloud Logging
- Kuota Cloud Monitoring
- Kuota Cloud Build (berlaku untuk lingkungan yang menggunakan paket PyPI kustom)
- Kuota Artifact Registry
- Kuota Identity and Access Management
- Kuota Virtual Private Cloud (tidak berlaku untuk lingkungan yang menggunakan Private Service Connect)
- Kuota Resource Manager
- Kuota Direktori Layanan
Kuota untuk layanan opsional
Anda dapat menggunakan operator Airflow dengan layanan Google Cloud. Setiap layanan yang Anda gunakan dalam DAG tunduk pada kuota layanan tersebut.