Kuota dan batas
Dokumen ini mencantumkan quotas dan quotas yang berlaku untuk BigQuery .
Kuota membatasi jumlah resource Google Cloud bersama yang dapat digunakan project Google Cloud Anda, termasuk komponen hardware, software, dan jaringan. Oleh karena itu, kuota adalah bagian dari sistem yang melakukan hal berikut:
- Memantau penggunaan atau pemakaian produk dan layanan Google Cloud oleh Anda.
- Membatasi Anda konsumsi resource tersebut, karena alasan yang mencakup memastikan keadilan dan mengurangi lonjakan penggunaan.
- Mempertahankan konfigurasi yang secara otomatis menerapkan pembatasan yang telah ditentukan.
- Menyediakan sarana untuk meminta atau membuat perubahan pada kuota.
Pada umumnya, jika kuota terlampaui, sistem akan langsung memblokir akses ke resource Google yang relevan, dan tugas yang Anda coba lakukan akan gagal. Pada umumnya, kuota berlaku untuk setiap project Google Cloud serta digunakan bersama oleh semua aplikasi dan alamat IP yang menggunakan project Google Cloud tersebut.
Untuk menambah atau mengurangi sebagian besar kuota, gunakan Konsol Google Cloud. Untuk mengetahui informasi lebih lanjut, lihat artikel Meminta kuota yang lebih tinggi.
Ada juga batasan pada resource Bigtable. Batas ini tidak terkait dengan sistem kuota. Batas tidak dapat diubah kecuali jika dinyatakan lain.
Kuota
Bagian ini menjelaskan kuota default yang berlaku untuk semua penggunaan Bigtable Anda.
Kuota operasi admin
Kuota berikut memengaruhi jumlah operasi administratif Bigtable (panggilan ke admin API) yang dapat Anda lakukan dalam waktu tertentu.
Secara umum, Anda tidak dapat meminta penambahan kuota operasi admin, kecuali jika dinyatakan lain. Pengecualian terkadang diberikan jika justifikasi yang kuat diberikan. Namun, jumlah panggilan yang dilakukan aplikasi Anda ke admin API tidak boleh meningkat saat penggunaan meningkat. Jika hal ini terjadi, sering kali pertanda bahwa kode aplikasi Anda melakukan panggilan yang tidak perlu ke admin API, dan Anda harus mengubah aplikasi, bukan meminta penambahan kuota operasi admin.
Kuota harian disetel ulang pada tengah malam Waktu Pasifik.
Nama | Deskripsi | Kuota default |
---|---|---|
Instance dan cluster | ||
Permintaan operasi baca instance dan kluster | Membaca konfigurasi untuk instance atau cluster (misalnya, nama instance atau jumlah node dalam cluster), atau membaca daftar instance |
Per hari per project: 864.000 operasi (rata-rata 10 operasi/detik) Per menit per pengguna: 1.000 operasi |
Permintaan operasi tulis instance dan kluster | Mengubah konfigurasi untuk instance atau cluster (misalnya, nama instance atau jumlah node dalam cluster), atau membuat instance baru |
Per hari per project: 500 operasi Per menit per pengguna: 100 operasi |
Profil aplikasi | ||
Permintaan operasi baca profil aplikasi | Membaca konfigurasi untuk profil aplikasi |
Per menit per project: 5.000 operasi Per menit per pengguna: 1.000 operasi |
Permintaan operasi tulis profil aplikasi | Mengubah konfigurasi untuk profil aplikasi |
Per menit per project: 500 operasi Per menit per pengguna: 100 operasi |
Tables | ||
Permintaan operasi baca tabel | Membaca konfigurasi untuk tabel (misalnya, detail tentang grup kolomnya), atau membaca daftar tabel |
Per hari per project: 864.000 operasi (rata-rata 10 operasi/detik) Per menit per pengguna: 1.000 operasi |
Permintaan operasi tulis tabel | Mengubah konfigurasi untuk tabel (misalnya, setelan pembersihan sampah memori untuk grup kolom) |
Per hari per project: 5.000 operasi Per menit per pengguna: 100 operasi |
DropRowRange metode |
Menghapus rentang baris dari tabel dalam satu operasi. |
Per hari per project: 5.000 operasi Per menit per pengguna: 100 operasi |
Cadangan | ||
Operasi pencadangan | Membuat, memperbarui, dan menghapus cadangan. |
Per hari per project:1.000 operasi Per menit per pengguna: 10 operasi1 |
Permintaan pengambilan cadangan | Mendapatkan dan mencantumkan cadangan. |
Per hari per project: 864.000 operasi |
RestoreTable metode |
Memulihkan cadangan ke tabel baru. |
Per hari per project: 5.000 operasi Per menit per pengguna: 100 operasi |
Identity and Access Management | ||
Permintaan operasi get ACL yang sangat detail | Membaca informasi tentang kebijakan IAM untuk instance Bigtable, atau menguji izin IAM untuk suatu instance. |
Per hari per project: 864.000 operasi (rata-rata 10 operasi/detik) Per menit per pengguna: 1.000 operasi |
Permintaan operasi set ACL yang sangat detail | Mengubah kebijakan IAM untuk instance Bigtable. |
Per hari per project: 864.000 operasi (rata-rata 10 operasi/detik) Per menit per pengguna: 1.000 operasi |
|
Kuota node
Project Google Cloud berisi instance Bigtable, yang merupakan container untuk cluster. Cluster mewakili layanan Bigtable sebenarnya yang berjalan dalam satu zona. Cluster berisi node, yang merupakan resource komputasi yang memungkinkan Bigtable mengelola data Anda.
Jumlah default node yang dapat Anda sediakan per zona di setiap project bergantung pada region. Anda dapat menyediakan hingga jumlah default node HDD dan jumlah default node SSD per zona dalam suatu project.
Kuota node default adalah sebagai berikut:
Region | SSD | HDD |
---|---|---|
asia-east1 | 100 | 100 |
europe-west1 | 200 | 200 |
us-central1 | 200 | 200 |
us-east1 | 50 | 50 |
us-east4 | 50 | 50 |
us-west1 | 100 | 100 |
Semua lokasi Bigtable lainnya | 30 | 30 |
Jika Anda mengaktifkan penskalaan otomatis untuk sebuah cluster, jumlah maksimum node yang dikonfigurasi akan dihitung dalam batas ini, meskipun cluster tidak diskalakan ke jumlah node tersebut. Jika perlu menyediakan lebih banyak node daripada batas default, Anda dapat meminta peningkatan.
Kuota dan ketersediaan node
Kuota node adalah jumlah maksimum node yang dapat Anda sediakan per zona di setiap project. Kuota tidak menjamin bahwa Anda akan selalu dapat menambahkan node ke cluster. Jika suatu zona berada di luar node, Anda mungkin tidak dapat menambahkan node ke cluster dalam zona tersebut, meskipun masih ada sisa kuota dalam project Anda.
Misalnya, jika Anda mencoba menambahkan 10 node SSD ke cluster yang sudah memiliki 20 node, tetapi zona tersebut kehabisan node, Anda tidak dapat menambahkan 10 node tersebut, meskipun kuota node untuk node SSD di region tersebut adalah 30.
Dalam situasi ini, kami mencoba meningkatkan resource node zona, lalu memberikan permintaan Anda setelah resource tersebut tersedia, tanpa jaminan waktu dan penyelesaian.
Node yang telah Anda sediakan akan selalu tersedia.
Melihat informasi kuota
Untuk menemukan jumlah node SSD dan HDD yang sudah dimiliki project Google Cloud Anda di setiap zona, gunakan Konsol Google Cloud. Di panel navigasi sebelah kiri, arahkan kursor ke IAM & admin, klik Quotas, lalu gunakan drop-down Service untuk memilih layanan Bigtable Admin API.
Halaman ini menampilkan baris yang menunjukkan kuota untuk setiap kombinasi layanan, jenis node, dan lokasi. Cari baris dengan subtitel Node SSD per zona atau node HDD per zona. Kolom Limit menunjukkan jumlah maksimum node yang diizinkan untuk jenis dan lokasi node yang ditentukan, dan kolom Current usage menunjukkan jumlah node yang saat ini ada. Perbedaan antara kedua angka tersebut adalah jumlah node yang dapat Anda tambahkan tanpa meminta lebih banyak.
Minta penambahan kuota node
Guna memastikan tersedia cukup waktu untuk memproses permintaan Anda, selalu rencanakan terlebih dahulu dan minta resource tambahan beberapa hari sebelum Anda mungkin membutuhkannya. Permintaan untuk peningkatan kuota node tidak dijamin akan disetujui. Untuk mengetahui informasi selengkapnya, lihat Bekerja dengan kuota.
Anda harus memiliki minimal izin level editor pada project yang berisi instance yang kuota node-nya Anda minta.
Meminta peningkatan kuota node tidak dikenakan biaya. Biaya akan meningkat hanya jika resource yang Anda gunakan melebihi batas.
- Buka halaman Kuota.
- Di halaman Kuota, pilih kuota yang ingin diubah.
- Klik tombol Edit Kuota di bagian atas halaman.
- Di panel kanan, ketik nama, email, dan nomor telepon, lalu klik Next.
- Masukkan batas kuota baru yang diminta, lalu klik Berikutnya.
- Kirim permintaan.
Batas
Bagian ini menjelaskan batas yang berlaku untuk penggunaan BigQuery. Batas telah ditetapkan dalam layanan dan tidak dapat diubah.
Profil aplikasi per instance
Jumlah maksimum profil aplikasi yang dapat dimiliki setiap instance adalah 2.000.
Membuat cadangan
- Jumlah maksimum cadangan yang dapat dibuat: 150 per tabel per cluster
- Periode retensi data minimum cadangan: 6 jam setelah waktu pembuatan awal
- Periode retensi data maksimum cadangan: 90 hari setelah tanggal pembuatan awal
Peningkatan Data
Profil aplikasi Data Boost tidak dapat mengirim lebih dari 1.000 permintaan baca per detik.
Ukuran data dalam tabel
Batas yang direkomendasikan
Rancang skema Anda untuk mempertahankan ukuran data agar tidak melebihi batas yang direkomendasikan ini.
- Grup kolom per tabel: 100
- Satu pengontrol kualitas kolom: 16 KB
- Satu nilai pada sel tabel: 10 MB
- Semua nilai pada satu baris: 100 MB
Batas sulit
Selain itu, Anda harus memastikan bahwa data Anda sesuai dengan batas berikut:
- Satu kunci baris: 4 KB
- Satu nilai pada sel tabel: 100 MB
- Semua nilai pada satu baris: 256 MB
Batas ukuran ini diukur dalam kilobyte (KB) biner, yaitu 1 KB sama dengan 210 byte, dan megabyte (MB) biner, yaitu 1 MB sama dengan 220 byte. Satuan ukur ini juga disebut sebagai kibibyte (KiB) dan mebibyte (MiB).
Batas operasi
Saat Anda mengirim beberapa mutasi ke Bigtable sebagai satu batch, batas berikut akan berlaku:
Batch mutasi kondisional, yang memanggil
CheckAndMutate
, dapat menyertakan hingga 100.000 mutasi sebenarnya dan hingga 100.000 mutasi palsu dalam batch.Dalam batch semua jenis mutasi lainnya, Anda dapat menyertakan tidak lebih dari 100.000 mutasi dalam batch.
Region per instance
Instance Bigtable dapat memiliki cluster hingga 8 region tempat Bigtable tersedia. Anda dapat membuat satu cluster di setiap zona dalam suatu region. Untuk mengetahui daftar zona yang tersedia, lihat Lokasi Bigtable.
Filter baris
Filter baris tidak boleh melebihi 20 KB. Jika menerima pesan error, Anda harus mendesain ulang atau mempersingkat filter.
Penyimpanan per node
Jika cluster tidak memiliki node yang cukup, berdasarkan beban kerjanya saat ini dan jumlah data yang disimpannya, Bigtable tidak akan memiliki resource CPU yang cukup untuk mengelola semua tablet yang terkait dengan cluster tersebut. Bigtable juga tidak dapat melakukan tugas pemeliharaan penting di latar belakang. Akibatnya, kluster mungkin tidak dapat menangani permintaan masuk dan latensi akan meningkat. Lihat Kompromi antara penggunaan penyimpanan dan performa untuk mengetahui detail selengkapnya.
Untuk mencegah masalah tersebut, pantau pemanfaatan penyimpanan kluster Anda untuk memastikan kluster memiliki node yang memadai guna mendukung jumlah data dalam kluster, berdasarkan batas berikut:
- Cluster SSD: 5 TB per node
- Cluster HDD: 16 TB per node
Nilai ini diukur dalam terabyte (TB) biner, yaitu 1 TB sama dengan 240 byte. Satuan pengukuran ini juga disebut sebagai tebibyte (TiB).
Sebagai praktik terbaik, tambahkan node yang memadai ke kluster Anda sehingga Anda hanya menggunakan 70% dari batas ini, yang membantu mengakomodasi lonjakan tiba-tiba dalam penggunaan penyimpanan. Misalnya, jika Anda menyimpan 50 TB data di cluster yang menggunakan penyimpanan SSD, Anda harus menyediakan setidaknya 15 node, yang akan menangani data hingga 75 TB. Jika Anda tidak menambahkan jumlah data ke kluster secara signifikan, Anda dapat melebihi rekomendasi ini dan menyimpan batas hingga 100%.
Tabel per instance
Bigtable mendukung maksimum 1.000 tabel di setiap instance.
Batas panjang ID
Berikut adalah panjang ID minimum dan maksimum (jumlah karakter) yang didukung oleh Bigtable.
- Profil aplikasi: 1-50 tahun
- Cadangan: 1-50
- Cluster: 6-30
- Kelompok kolom: 1-64
- Instance: 6-33 tahun
- Tabel: 1-50
- tampilan sah: 1-50
Kebijakan penggunaan
Penggunaan layanan ini harus mematuhi Persyaratan Layanan serta Kebijakan Privasi Google.