Memesan kapasitas BI Engine

Anda membeli kapasitas BigQuery BI Engine dengan membuat pemesanan. Pemesanan dilampirkan ke project dan region yang Anda identifikasi saat pemesanan dibuat. BI Engine menggunakan kapasitas ini untuk menyimpan data dalam cache. Untuk mengetahui informasi tentang ukuran pemesanan maksimum untuk BI Engine, lihat Kuota dan batas.

Saat menggunakan BigQuery BI Engine, tagihan Anda didasarkan pada kapasitas BI Engine yang dibeli untuk project Anda. Pemesanan dikenai biaya per GiB/jam, dengan harga per region sesuai dengan harga sesuai permintaan. Jika memiliki komitmen berbasis kapasitas, Anda akan memenuhi syarat untuk mendapatkan diskon hingga 100% berdasarkan komitmen aktif tersebut. Untuk mengetahui detailnya, lihat harga berbasis kapasitas.

Project pemesanan: Pemesanan BI Engine dikelola oleh ID project penagihan. Saat membeli pemesanan, pastikan Anda menentukan project ID penagihan dan region yang akan digunakan untuk mengkueri data. Project ini tidak harus sama dengan project yang berisi set data.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat dan menghapus pemesanan, minta administrator untuk memberi Anda peran IAM BigQuery Resource Admin (roles/bigquery.resourceAdmin) pada project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat pemesanan

Untuk memesan kapasitas BI Engine sesuai permintaan, ikuti langkah-langkah berikut:

Konsol

1. Di halaman BigQuery, di Administrasi, buka halaman BI Engine.

   Buka BI Engine

   Catatan: Jika diminta untuk mengaktifkan BigQuery Reservation API, klik Aktifkan.

2. Klik Buat pemesanan.

3. Di halaman Buat pemesanan, untuk Langkah 1:

   • Verifikasi nama project Anda.
   • Pilih lokasi Anda. Lokasi harus cocok dengan lokasi set data yang Anda kueri.

   • Sesuaikan penggeser ke jumlah kapasitas memori yang Anda pesan. Contoh berikut menetapkan kapasitas ke 2 GB. Ukuran maksimum saat ini adalah 250 GB. Anda dapat meminta peningkatan kapasitas pemesanan maksimum untuk project Anda. Peningkatan pemesanan tersedia di sebagian besar wilayah, dan dapat memerlukan waktu pemrosesan antara 3 hari hingga satu minggu.

     

4. Klik Berikutnya.

5. Tabel pilihan (opsional). Tabel pilihan memungkinkan Anda membatasi akselerasi BI Engine ke kumpulan tabel tertentu. Semua tabel lainnya menggunakan slot BigQuery reguler.

   Di kolom ID Tabel, tentukan tabel yang ingin dipercepat menggunakan pola: PROJECT.DATASET.TABLE.

   Ganti kode berikut:

   • PROJECT: project ID Google Cloud Anda
   • DATASET: set data
   • TABLE: tabel yang ingin diakselerasi

6. Klik Berikutnya.

7. Untuk Langkah 3, tinjau detail pemesanan Anda, lalu klik Buat.

Setelah mengonfirmasi pemesanan, detailnya akan ditampilkan di halaman Pemesanan.

SQL

Gunakan pernyataan DDL ALTER BI_CAPACITY SET OPTIONS untuk membuat atau mengubah reservasi BI Engine.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, masukkan pernyataan berikut:

   ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
   SET OPTIONS (
     size_gb = VALUE,
     preferred_tables =
       ['TABLE_PROJECT_ID.DATASET.TABLE1',
       'TABLE_PROJECT_ID.DATASET.TABLE2']);

   Ganti kode berikut:

   • PROJECT_ID: ID opsional project yang akan mendapatkan manfaat dari akselerasi BI Engine. Jika dihilangkan, project default akan digunakan.
   • LOCATION_ID: Lokasi tempat data perlu disimpan dalam cache, diawali dengan region-. Contoh: region-us, region-us-central1.
   • VALUE: ukuran INT64 pemesanan untuk kapasitas BI Engine dalam gigabyte, 1 hingga 250 GB. Anda dapat meminta peningkatan kapasitas reservasi maksimum untuk project Anda. Peningkatan pemesanan tersedia di sebagian besar region, dan dapat memerlukan waktu pemrosesan antara 3 hari hingga satu minggu. Menetapkan VALUE akan menggantikan nilai yang sudah ada, jika ada. Menetapkan ke NULL akan menghapus nilai untuk opsi tersebut.
   • TABLE_PROJECT_ID.DATASET.TABLE: daftar opsional tabel yang dirujuk tempat akselerasi harus diterapkan. Format: TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE. Jika project dihilangkan, maka project default akan digunakan.

3. Klik Run.

Untuk informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

bq

Gunakan perintah bq update dan berikan pernyataan bahasa definisi data (DDL) sebagai parameter kueri:

bq --project_id=PROJECT_ID update \
    --bi_reservation_size=SIZE \
    --location=LOCATION \
    --reservation

Ganti kode berikut:

• PROJECT_ID: ID project Anda
• SIZE: kapasitas memori pemesanan dalam gigabyte, 1 hingga 250 GB. Anda dapat meminta peningkatan kapasitas reservasi maksimum untuk project Anda. Peningkatan pemesanan tersedia di sebagian besar wilayah, dan dapat memerlukan waktu pemrosesan antara 3 hari hingga satu minggu.
• LOCATION: lokasi set data yang Anda buat kuerinya

Memperkirakan dan mengukur kapasitas

Untuk memperkirakan persyaratan kapasitas pemesanan BI Engine, ikuti langkah-langkah berikut:

1. Lihat tampilan TOTAL_LOGICAL_BYTES untuk menentukan ukuran logis tabel, dan gunakan untuk pemesanan BI Engine awal Anda. Contoh:

   SELECT
     SUM(TOTAL_LOGICAL_BYTES) / 1024.0 / 1024.0 / 1024.0 AS logical_size_gb
   FROM
     `region-us.INFORMATION_SCHEMA.TABLE_STORAGE`
   WHERE
     TABLE_NAME IN UNNEST(["Table1", "Table2"]);

   Misalnya, untuk kueri terhadap kumpulan tabel yang berisi total data sebesar 200 GiB, sebagai praktik terbaik, Anda dapat memulai dengan pemesanan BI Engine sebesar 200 GiB. Kueri yang lebih selektif yang hanya menggunakan subkumpulan kolom atau partisi yang tersedia dapat dimulai dengan ukuran reservasi yang lebih kecil.

2. Jalankan semua kueri yang memerlukan pengoptimalan dan dibuat di project dan region yang sama dengan pemesanan BI Engine. Tujuannya adalah untuk memperkirakan beban kerja yang perlu Anda optimalkan. Peningkatan beban memerlukan lebih banyak memori untuk menangani kueri. Data dimuat ke BI Engine setelah kueri diterima.

3. Bandingkan reservasi RAM BI Engine dengan jumlah byte yang digunakan, reservation/used_bytes, di metrik bigquerybiengine Cloud Monitoring.

4. Sesuaikan kapasitas reservasi Anda berdasarkan hasilnya. Dalam banyak kasus penggunaan, reservasi yang lebih kecil dapat mempercepat sebagian besar kueri Anda, sehingga menghemat uang dan resource. Untuk informasi selengkapnya tentang Memantau untuk BI Engine, lihat Pemantauan BI Engine.

Faktor-faktor berikut memengaruhi ukuran reservasi BI Engine:

• BI Engine hanya meng-cache kolom dan baris yang sering diakses dan diperlukan untuk memproses kueri.
• Jika reservasi digunakan sepenuhnya, BI Engine akan mencoba mengurangi beban data yang paling jarang digunakan untuk mengosongkan kapasitas bagi kueri baru.
• Jika beberapa kueri yang membutuhkan komputasi intensif menggunakan set data yang sama, BI Engine akan memuat salinan data tambahan untuk mendistribusikan ulang dan mengoptimalkan waktu respons.

Mengubah reservasi

Untuk mengubah reservasi yang ada, selesaikan langkah-langkah berikut:

Konsol

Untuk menentukan kumpulan tabel untuk akselerasi di pemesanan yang ada, ikuti langkah-langkah berikut:

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di menu navigasi BigQuery, klik BI Engine.

   Jika project Anda dikonfigurasi untuk tabel pilihan, kumpulan tabel akan ditampilkan di kolom Tabel Pilihan.

   

3. Pada baris untuk pemesanan yang ingin Anda edit, klik ikon di kolom Tindakan, lalu pilih Edit.

4. Sesuaikan penggeser GiB of Capacity ke jumlah kapasitas memori yang Anda simpan. Klik Next.

5. Tabel pilihan: Untuk menentukan kumpulan tabel untuk akselerasi di pemesanan yang ada, di kolom ID Tabel, tentukan tabel yang ingin dipercepat menggunakan pola: PROJECT.DATASET.TABLE.

   Ganti kode berikut:

   • PROJECT: project ID Google Cloud Anda
   • DATASET: set data
   • TABLE: tabel yang ingin diakselerasi

   Diperlukan waktu hingga sepuluh detik untuk menerapkan perubahan. Hanya tabel dalam daftar tabel pilihan yang dapat menggunakan akselerasi BI Engine.

   Klik Berikutnya.

6. Konfirmasi reservasi yang telah diubah. Jika Anda setuju, klik Update.

SQL

Anda dapat menggunakan pernyataan DDL ALTER BI_CAPACITY SET OPTIONS untuk membuat atau mengubah reservasi BI Engine.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, masukkan pernyataan berikut:

   ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
   SET OPTIONS (
     size_gb = VALUE,
     preferred_tables =
       [`TABLE_PROJECT_ID.DATASET.TABLE1`,
       `TABLE_PROJECT_ID.DATASET.TABLE2`]);

   Ganti kode berikut:

   • PROJECT_ID: ID opsional project yang akan mendapatkan manfaat dari akselerasi BI Engine. Jika dihilangkan, project default akan digunakan.
   • LOCATION_ID: lokasi tempat data perlu di-cache, diawali dengan region-. Contoh: region-us, region-us-central1.
   • VALUE: ukuran INT64 pemesanan untuk kapasitas BI Engine dalam gigabyte, 1 hingga 250 GB. Anda dapat meminta peningkatan kapasitas reservasi maksimum untuk project Anda. Peningkatan pemesanan tersedia di sebagian besar region, dan dapat memerlukan waktu pemrosesan antara 3 hari hingga satu minggu. Menetapkan VALUE akan menggantikan nilai yang sudah ada, jika ada. Menetapkan ke NULL akan menghapus nilai untuk opsi tersebut.
   • TABLE_PROJECT_ID.DATASET.TABLE: daftar opsional tabel pilihan tempat akselerasi harus diterapkan. Format: TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE. Jika project dihilangkan, maka project default akan digunakan.

3. Klik Run.

Untuk informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

Hapus pemesanan

Untuk menghapus pemesanan kapasitas, ikuti langkah-langkah berikut:

Konsol

1. Di halaman BigQuery, di Administrasi, buka halaman BI Engine.

   Buka BI Engine

2. Di bagian Pemesanan, cari pemesanan Anda.

3. Di kolom Tindakan, klik ikon di sebelah kanan pemesanan, lalu pilih Hapus.

4. Dalam dialog Hapus pemesanan?, masukkan Delete, lalu klik HAPUS.

SQL

Menetapkan opsi kapasitas BI Engine.

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, masukkan pernyataan berikut:

   ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
   SET OPTIONS (
     size_gb = 0);

   Ganti kode berikut:

   • PROJECT_ID: ID opsional project yang akan mendapatkan manfaat dari akselerasi BI Engine. Jika dihilangkan, project default akan digunakan.
   • LOCATION_ID: lokasi tempat data perlu di-cache, diawali dengan region-. Contoh: region-us, region-us-central1.

   Saat Anda menghapus semua pemesanan kapasitas dalam sebuah project, BI Engine akan dinonaktifkan untuk project tersebut.

3. Klik Run.

Untuk informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

bq

Gunakan perintah bq update dan berikan pernyataan DDL sebagai parameter kueri.

bq --project_id="PROJECT_ID" \
update --reservation
    --bi_reservation_size=0 \
    --location=LOCATION

Ganti kode berikut:

• PROJECT_ID: ID project Anda
• LOCATION: lokasi set data yang Anda buat kuerinya

Memverifikasi informasi BI Engine

Anda dapat memperoleh informasi tentang kapasitas BI Engine dengan meng-kueri tabel INFORMATION_SCHEMA.

Memverifikasi status reservasi

Untuk memverifikasi status pemesanan, termasuk kumpulan tabel pilihan, lihat tampilan INFORMATION_SCHEMA.BI_CAPACITIES menggunakan kueri SQL. Misalnya:

SELECT
  *
FROM
  `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITIES`;

Di Konsol Google Cloud, hasil kueri SQL ini terlihat mirip dengan gambar berikut:

Melihat perubahan reservasi

Untuk melihat histori perubahan pemesanan tertentu, gunakan tampilan INFORMATION_SCHEMA.BI_CAPACITY_CHANGES menggunakan kueri SQL. Contoh:

SELECT
  *
FROM
  `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITY_CHANGES`
ORDER BY
  change_timestamp DESC
LIMIT 3;

Di Konsol Google Cloud, hasil kueri SQL ini terlihat mirip dengan gambar berikut:

Langkah selanjutnya

• Pelajari BI Engine lebih lanjut.
• Pelajari harga BI Engine.
• Menganalisis data dengan Looker Studio.
• Memantau BI Engine