Dokumen ini mencantumkan kuota dan batas sistem yang berlaku untuk Dataform.
- Kuota menentukan jumlah resource bersama yang dapat dihitung dan dapat Anda gunakan. Kuota ditentukan oleh layanan Google Cloud seperti Dataform.
- Batas sistem adalah nilai tetap yang tidak dapat diubah.
Google Cloud menggunakan kuota untuk membantu memastikan keadilan dan mengurangi lonjakan penggunaan dan ketersediaan resource. Kuota membatasi jumlah resource Google Cloud yang dapat digunakan project Google Cloud Anda. Kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan. Misalnya, kuota dapat membatasi jumlah panggilan API ke layanan, jumlah load balancer yang digunakan secara bersamaan oleh project Anda, atau jumlah project yang dapat Anda buat. Kuota melindungi komunitas pengguna Google Cloud dengan mencegah kelebihan beban layanan. Kuota juga membantu Anda mengelola resource Google Cloud Anda sendiri.
Sistem Kuota Cloud melakukan hal berikut:
- Memantau pemakaian produk dan layanan Google Cloud oleh Anda
- Membatasi pemakaian resource tersebut
- Memberikan cara untuk meminta perubahan pada nilai kuota
Pada umumnya, saat Anda mencoba menggunakan resource lebih dari kuota yang diizinkan, sistem akan memblokir akses ke resource, dan tugas yang Anda coba lakukan akan gagal.
Kuota umumnya berlaku di level project Google Cloud. Penggunaan resource di satu project tidak memengaruhi kuota yang tersedia di project lain. Dalam project Google Cloud, kuota dibagikan ke semua aplikasi dan alamat IP.
Ada juga batas sistem pada resource Dataform. Batas sistem tidak dapat diubah.
Pengisian kuota
Kuota harian diisi ulang secara berkala sepanjang hari, yang mencerminkan intent-nya untuk memandu perilaku pembatasan kapasitas. Pemuatan ulang sesekali juga dilakukan untuk mencegah gangguan lama saat kuota habis. Lebih banyak kuota biasanya tersedia dalam hitungan menit, bukan diisi ulang secara global sekali sehari.
Meminta penambahan kuota
Untuk menambah atau mengurangi sebagian besar kuota, gunakan Konsol Google Cloud. Untuk mengetahui informasi selengkapnya, lihat Meminta kuota yang lebih tinggi.
Membatasi penggunaan kuota
Untuk mempelajari cara membatasi penggunaan resource tertentu dengan menentukan kuota yang lebih kecil daripada default, lihat Membatasi penggunaan.
Izin yang diperlukan
Untuk melihat dan memperbarui kuota Dataform di Konsol Google Cloud, Anda memerlukan izin yang sama seperti kuota Google Cloud. Untuk mengetahui informasi selengkapnya, lihat Izin kuota.
Pemecahan masalah
Untuk mengetahui informasi tentang cara memecahkan masalah error yang terkait dengan kuota dan batas Dataform, lihat Pemecahan masalah.
Kuota Dataform
Dataform memiliki kuota API berikut:
| Kuota | Batas |
|---|---|
| Total permintaan per project, per region | 6000/minute/project/region |
| Permintaan kompilasi per project, per region | 120/minute/project/region |
| Permintaan akses file per project, per region | 120/minute/project/region |
| Permintaan penginstalan paket per project, per region | 120/minute/project/region |
| Permintaan pemanggilan alur kerja per project, per region | 60/minute/project/region |
| Tindakan alur kerja per eksekusi | 5000 |
Kuota untuk layanan yang digunakan oleh Dataform
Dataform menggunakan layanan Google Cloud lainnya. Layanan ini memiliki kuota level project, yang berlaku saat Anda menggunakan Dataform.
Dataform menggunakan layanan Google Cloud berikut yang memiliki batas kuota sendiri:
Batas resource kompilasi Dataform
Dataform menerapkan batas penggunaan berikut pada resource kompilasi:
| Batas penggunaan | Nilai |
|---|---|
| Jumlah maksimum tindakan per kompilasi repositori | 5000 |
| Jumlah maksimum dependensi per tindakan dalam grafik yang dikompilasi | 50 |
| Ukuran total maksimum data berseri dari grafik tindakan yang dikompilasi | 20 MB |
| Ukuran maksimum dependensi NPM | 200 MB |
| Ukuran maksimum repositori terenkripsi CMEK | 512 MB |
| Ukuran maksimum ruang kerja di repositori yang dienkripsi CMEK | 512 MB |
Selain itu, Dataform memberlakukan batas pada penggunaan CPU dan memori selama kompilasi. Jika batas ini terlampaui saat Anda mengompilasi kode, kompilasi akan gagal dan Dataform akan menampilkan error kompilasi.
Untuk memperkirakan penggunaan resource kompilasi repositori Anda, lihat Memperkirakan penggunaan resource kompilasi repositori Anda.
Repositori Anda mungkin melebihi batas penggunaan karena alasan berikut:
- Bug loop tanpa henti dalam kode repositori.
- Bug kebocoran memori dalam kode repositori.
- Ukuran repositori besar, sekitar lebih dari 1.000 node alur kerja SQL.
- Banyak kueri serentak.
Untuk mengetahui informasi selengkapnya tentang ukuran repositori di Dataform, lihat Ringkasan ukuran repositori.