Pengantar pengelolaan beban kerja

Dengan pengelolaan workload BigQuery, Anda dapat mengontrol resource dan fitur yang tersedia untuk analisis data di organisasi serta menentukan model penagihan. Kapasitas komputasi BigQuery, yang diukur dalam slot, dapat dibeli dalam reservasi dan komitmen yang kemudian Anda tetapkan di seluruh organisasi Anda untuk melakukan tugas.

BigQuery menawarkan dua model pengelolaan workload untuk analisis data, yang juga dikenal sebagai compute. Dengan penagihan On-demand, Anda membayar untuk byte yang diproses saat membuat kueri data. Dengan penagihan berbasis kapasitas, Anda mencadangkan kapasitas pemrosesan untuk workload dengan opsi peningkatan dan penurunan kapasitas secara otomatis.

Anda dapat beralih antara model penagihan sesuai permintaan dan model penagihan berbasis kapasitas kapan saja, atau Anda dapat memilih untuk menggabungkan kedua model tersebut. Model berbasis kapasitas memberi Anda kontrol eksplisit atas slot dan kapasitas pemrosesan, tetapi model on demand tidak melakukannya.

Kompromi pemesanan.

Model berikut menentukan cara Anda mengelola beban kerja dan cara Anda ditagih:

  • Harga on demand: Secara default, Anda ditagih untuk data yang dipindai oleh kueri. Anda memiliki kapasitas pemrosesan kueri tetap per project, dan Anda hanya membayar untuk jumlah byte yang diproses saat Anda menggunakannya.

  • Harga berbasis kapasitas: Anda membeli kapasitas pemrosesan kueri khusus atau penskalaan otomatis dengan tarif diskon. Kapasitas diukur dalam slot yang Anda alokasikan ke beban kerja atau bagian dari organisasi Anda. Penagihan berbasis kapasitas menawarkan opsi komitmen, yang memungkinkan Anda berkomitmen pada tingkat kapasitas pemrosesan yang konsisten selama periode 1 atau 3 tahun dengan harga diskon. Tidak ada biaya untuk byte yang diproses saat menggunakan model berbasis kapasitas. Keunggulan harga berbasis kapasitas mencakup:

    • Biaya. Sebagai praktik terbaik, Anda dapat menetapkan penggunaan analisis bulanan minimum sebagai komitmen berbasis kapasitas BigQuery untuk mengurangi biaya.
    • Prediktabilitas. Slot berbasis kapasitas memungkinkan biaya bulanan yang lebih konsisten.
    • Pembelian terpusat: Anda dapat membeli dan mengalokasikan slot untuk seluruh organisasi Anda, bukan untuk setiap project yang menggunakan BigQuery.
    • Fleksibilitas. Anda dapat memilih kapasitas kapasitas yang akan dialokasikan ke workload atau mengizinkan BigQuery secara otomatis menskalakan kapasitas berdasarkan persyaratan workload Anda. Anda akan ditagih per detik dengan periode penggunaan minimum satu menit.

Membuat komitmen kapasitas bersifat opsional saat menangani reservasi yang menggunakan edisi BigQuery, tetapi dapat mengurangi biaya untuk workload status stabil.

Anda dapat menggabungkan model penagihan. Misalnya, Anda dapat menjalankan beberapa workload dengan harga on-demand dan workload lainnya dengan harga berdasarkan kapasitas. Karena model penagihan ditentukan per project, Anda perlu menggunakan beberapa project untuk tugas kueri. Untuk lebih memahami harga BigQuery untuk reservasi, lihat referensi berikut:

Slot

Kapasitas pemrosesan di BigQuery diukur dalam slot. Slot mewakili CPU virtual yang digunakan untuk mengkueri data. Secara umum, akses ke lebih banyak slot memungkinkan Anda menjalankan lebih banyak kueri serentak, dan kueri yang kompleks dapat berjalan lebih cepat. Model penetapan harga berbasis kapasitas memungkinkan Anda memesan volume slot. Kueri Anda berjalan dalam kapasitas tersebut, dan Anda membayar kapasitas tersebut secara terus-menerus setiap detik setelah di-deploy. Misalnya, jika Anda membeli 2.000 slot BigQuery, kueri secara keseluruhan dibatasi untuk menggunakan 2.000 CPU virtual pada waktu tertentu. Anda memiliki kapasitas ini sampai Anda menghapusnya, dan Anda membayar untuk 2.000 slot sampai Anda menghapusnya.

Untuk mempelajari slot dan cara penggunaannya lebih lanjut, lihat Memahami slot.

Kuota slot

Kuota slot menyediakan pengamanan untuk BigQuery. Jenis kuota bergantung pada model penetapan harga slot:

  • Model harga on-demand: Kuota slot per project dengan kemampuan burst sementara sudah cukup untuk sebagian besar pengguna. Bergantung pada workload Anda, akses ke lebih banyak slot dapat meningkatkan performa kueri. Untuk memeriksa jumlah slot yang digunakan akun Anda, lihat Pemantauan BigQuery.

  • Model harga berbasis kapasitas: Kuota dan batas reservasi menentukan jumlah maksimum slot yang dapat Anda beli di suatu lokasi. Anda hanya ditagih untuk reservasi dan komitmen, bukan untuk kuota.

Untuk mengetahui informasi tentang cara meningkatkan kuota slot, lihat Meminta penambahan kuota.

Pemesanan

Slot dibeli, ditetapkan ke resource, dan dialokasikan ke tugas dalam kumpulan yang disebut reservasi. Reservasi memungkinkan Anda menetapkan slot dengan cara yang sesuai bagi organisasi Anda. Misalnya, Anda dapat membuat reservasi bernama prod untuk workload produksi, dan reservasi terpisah bernama test untuk pengujian, sehingga tugas pengujian tidak bersaing untuk resource workload produksi. Atau, Anda dapat membuat reservasi untuk departemen yang berbeda di organisasi Anda.

Jika Anda membeli komitmen slot sebelum membuat reservasi, maka reservasi bernama default akan otomatis dibuat untuk memudahkan Anda. Reservasi default tidak memiliki perilaku khusus. Anda dapat membuat reservasi tambahan jika perlu atau menggunakan reservasi default.

Untuk informasi tentang harga, lihat harga berdasarkan kapasitas dan harga on demand.

Batasan reservasi

  • Reservasi yang Anda buat tidak dibagikan kepada organisasi lain.
  • Anda harus membuat pemesanan terpisah dan project administrasi terpisah untuk setiap organisasi.
  • Setiap organisasi dapat memiliki maksimal 10 project administrasi dengan komitmen aktif di satu lokasi.
  • Kapasitas yang tidak ada aktivitasnya tidak dapat dibagikan antar-organisasi atau antar-project administrasi yang berbeda dalam satu organisasi.
  • Komitmen adalah resource regional. Komitmen yang dibeli di satu region atau multi-region tidak dapat digunakan di region atau multi-region lain. Komitmen tidak dapat dipindahkan antar-region atau antara region dan multi-region.
  • Komitmen yang dibeli dalam satu project administrasi tidak dapat dipindahkan ke project administrasi lain.
  • Komitmen yang dibeli dengan satu edisi tidak dapat digunakan dengan pemesanan edisi lainnya.
  • Slot yang tidak ada aktivitasnya tidak dibagikan antara pemesanan dari edisi yang berbeda.
  • Slot yang diskalakan otomatis tidak dapat dibagikan karena akan diperkecil skalanya saat tidak lagi diperlukan.

Penetapan reservasi

Untuk menggunakan slot yang dibeli, Anda harus assign satu atau beberapa project, folder, atau organisasi ke reservasi. Reservasi adalah level terendah tempat Anda dapat menentukan penetapan slot. Saat tugas dalam project berjalan, tugas tersebut menggunakan slot dari reservasi yang ditetapkan. Resource dapat mewarisi penetapan dari induknya dalam hierarki resource. Jika tidak ditetapkan ke reservasi, project akan mewarisi penetapan folder atau organisasi induk, jika ada.

Project menggunakan satu pemesanan paling spesifik dalam hierarki resource yang ditetapkan. Penetapan folder menggantikan penetapan organisasi, dan penetapan project menggantikan penetapan folder.

Jika project tidak memiliki reservasi yang ditetapkan atau diwariskan, tugas tersebut akan menggunakan harga on demand. Untuk mengetahui informasi selengkapnya tentang hierarki resource, lihat Mengatur resource BigQuery.

Materi dapat diberikan ke None untuk mewakili ketidakhadiran tugas. Project yang ditetapkan ke None selalu menggunakan harga on demand. Kasus penggunaan umum untuk penetapan None adalah menetapkan organisasi ke reservasi, lalu menggunakan None untuk mengeluarkan project atau folder tertentu dari reservasi tersebut. Untuk mengetahui informasi selengkapnya, lihat Menetapkan project ke None.

Saat membuat penetapan, Anda menentukan jenis tugas untuk penetapan tersebut:

  • QUERY: Gunakan pemesanan ini untuk tugas kueri, termasuk kueri SQL, DDL, DML, dan BigQuery ML.

  • PIPELINE: Gunakan pemesanan ini untuk tugas pemuatan dan ekstraksi.

    Secara default, tugas pemuatan dan ekstraksi gratis dan menggunakan kumpulan slot bersama. BigQuery tidak menjamin ketersediaan kapasitas untuk penyimpanan bersama ini atau throughput yang Anda lihat. Jika Anda memuat data dalam jumlah besar, tugas Anda mungkin menunggu hingga slot tersedia. Dalam hal ini, sebaiknya Anda membeli slot khusus dan menetapkan tugas PIPELINE untuk slot tersebut. Sebagai praktik terbaik, buat reservasi tambahan khusus dengan mengaktifkan Abaikan slot tidak ada aktivitas. Untuk mengetahui informasi selengkapnya tentang slot tidak ada aktivitas, lihat Slot tidak ada aktivitas.

    Saat tugas pemuatan dan ekstraksi ditetapkan ke reservasi, tugas tersebut akan kehilangan akses ke kumpulan gratis. Anda harus Memantau pemanfaatan resource dan tugas untuk memastikan reservasi Anda memiliki kapasitas yang cukup untuk berperforma lebih baik daripada menggunakan penyimpanan gratis.

  • BACKGROUND: Gunakan reservasi ini saat Anda memilih untuk menggunakan reservasi sendiri untuk menjalankan tugas pengelolaan indeks penelusuran BigQuery atau tugas latar belakang pengambilan data perubahan BigQuery (CDC). Gunakan juga reservasi ini saat Anda mereplikasi database sumber ke BigQuery dengan operasi penerapan di latar belakang Datastream. Reservasi BACKGROUND tidak tersedia dalam edisi Standar.

  • ML_EXTERNAL: Gunakan pemesanan ini untuk kueri BigQuery ML yang menggunakan layanan eksternal BigQuery. Untuk mengetahui informasi selengkapnya, lihat Menetapkan slot ke workload BigQuery ML. Reservasi ML_EXTERNAL tidak tersedia dalam edisi Standar.

Anda tidak dapat mengalokasikan slot ke penetapan tertentu. Penjadwal BigQuery menangani alokasi slot untuk penetapan dalam reservasi. Untuk mengetahui informasi selengkapnya tentang cara slot digunakan, lihat Alokasi slot dalam reservasi.

Memahami pengelolaan workload

Reservasi BigQuery adalah resource cakupan organisasi yang biasanya dimiliki oleh project, tetapi dapat digunakan oleh project lain dalam organisasi. Anda membeli reservasi secara terpusat untuk digunakan di seluruh organisasi. Anda dapat mewajibkan masing-masing departemen atau divisi untuk mengelola reservasi mereka dengan membeli kapasitas komitmen dan menetapkan kapasitas tersebut ke departemen atau divisi tersebut. Project administrasi terkait dengan akun Penagihan Cloud yang ditagih sesuai kapasitas.

Anda dapat menggunakan organisasi Google Cloud yang berbeda untuk setiap departemen atau divisi Anda. Dalam skenario ini, Anda menentukan project administrasi untuk setiap departemen dan mengelola reservasi untuk departemen tersebut dari project administrasi. Tidak ada pembagian kapasitas yang sudah di-commit atau tidak ada aktivitas di seluruh organisasi.

Slot tanpa aktivitas dan yang belum dialokasikan hanya dibagikan di seluruh pemesanan yang dibuat di project administrasi yang sama dan dalam edisi yang sama. Jika Anda menggunakan lebih dari satu project administrasi, slot tidak akan dibagikan di seluruh pemesanan dalam project administrasi yang berbeda.

Mengelola workload organisasi

Saat Anda membuat komitmen dan pemesanan, keduanya akan dikaitkan dengan project Google Cloud. Project ini mengelola resource Pemesanan BigQuery, dan merupakan sumber utama penagihan untuk resource tersebut. Project ini tidak harus sama dengan project yang menyimpan tugas BigQuery Anda.

Sebagai praktik terbaik, buat project khusus untuk resource Reservasi. Project ini disebut project administrasi karena memusatkan penagihan dan pengelolaan komitmen Anda. Beri project ini nama deskriptif seperti bq-COMPANY_NAME-admin. Kemudian, buat satu atau beberapa project terpisah untuk menyimpan tugas BigQuery Anda.

Hanya project dalam resource Organisasi yang sama dengan project administrasi yang dapat ditetapkan ke pemesanan. Jika project administrasi bukan bagian dari Organisasi, hanya project tersebut yang dapat menggunakan slot yang ditetapkan untuk project tersebut.

Project administrasi ditagih untuk slot yang di-commit. Project yang menggunakan slot dari reservasi yang dimiliki oleh project administrasi tidak akan ditagih untuk slot tersebut. Anda dapat membeli lebih dari satu jenis paket (misalnya, komitmen satu tahun dan tiga tahun) dan menempatkan slot ke project administrasi yang sama.

Sebagai praktik terbaik, buat satu project administrasi untuk semua reservasi. Menggunakan project administrasi tunggal akan menyederhanakan cara Anda mengelola penagihan dan mengalokasikan slot. Anda hanya boleh mengaktifkan BigQuery Reservasi API pada project administrasi sehingga semua komitmen dikelola melalui project ini.

Pengelolaan departemen dan workload

Anda dapat menggunakan Pemesanan BigQuery untuk memisahkan kapasitas komitmen di seluruh workload, tim, atau departemen dengan membuat pemesanan tambahan dan menetapkan project ke pemesanan ini. Reservasi adalah kumpulan resource terpisah yang dapat memanfaatkan kapasitas nonaktif di seluruh organisasi Anda.

Misalnya, Anda mungkin memiliki total kapasitas komitmen sebanyak 1.000 slot dan tiga jenis workload: data science, ELT, dan BI.

  • Anda dapat membuat pemesanan ds dengan 500 slot, dan menetapkan semua project Google Cloud yang relevan ke pemesanan ds.
  • Anda dapat membuat pemesanan elt dengan 300 slot, dan menetapkan project yang Anda gunakan untuk workload ELT ke pemesanan elt.
  • Anda dapat membuat pemesanan bi dengan 200 slot, dan menetapkan project yang terhubung ke alat BI Anda ke pemesanan bi.

Penghapusan komitmen.

Daripada membagi kapasitas di seluruh workload, Anda dapat memilih untuk membuat pemesanan untuk masing-masing tim atau departemen.

Mengelola pemesanan di berbagai region

Pemesanan adalah resource regional. Slot yang dibeli dan pemesanan yang dibuat di satu region tidak dapat digunakan di region lain. Project, folder, dan organisasi dapat ditetapkan ke pemesanan di satu region dan dijalankan sesuai permintaan di region lain. Untuk mengelola reservasi di wilayah lain, lakukan hal berikut:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Pengelolaan Kapasitas.

  3. Dalam daftar Lokasi, pilih region tempat Anda ingin mengelola reservasi.

    Setelah memilih region, Anda dapat membuat reservasi, membuat komitmen, dan menetapkan project ke reservasi.

Komitmen

Komitmen kapasitas adalah pembelian slot untuk jangka waktu tertentu. Slot dapat dibeli dengan 100 peningkatan slot, hingga kuota slot Anda. Komitmen kapasitas bersifat opsional, tetapi dapat menghemat biaya untuk workload status stabil. Tidak ada batasan jumlah komitmen yang dapat Anda buat. Anda akan ditagih sejak pembelian komitmen Anda berhasil. Untuk informasi harga saat ini, lihat harga komitmen kapasitas.

  • Komitmen tiga tahun. Anda membeli komitmen tiga tahun. Anda dapat memilih apakah akan memperpanjang atau beralih ke jenis paket komitmen yang berbeda setelah 3*365 hari.

  • Komitmen tahunan. Anda membeli komitmen 365 hari. Anda dapat memilih apakah akan memperpanjang atau mengonversi ke jenis paket komitmen yang berbeda setelah 365 hari.

Pada akhir periode komitmen, komitmen Anda akan diperpanjang berdasarkan paket perpanjangan yang dipilih.

Anda akan ditagih setiap bulan untuk paket komitmen tahunan atau tiga tahun. Namun, komitmen keuangan Anda berlaku untuk seluruh periode komitmen dan tidak dapat dibatalkan setiap bulan. Penggunaan Anda akan diperbarui di laporan penagihan setiap hari, dan dapat dilihat kapan saja.

Komitmen slot bergantung pada ketersediaan kapasitas. Saat Anda mencoba membeli komitmen slot, tidak ada jaminan bahwa pembelian Anda akan berhasil. Namun, setelah pembelian komitmen Anda berhasil, kapasitas akan tersedia hingga komitmen tersebut berakhir.

Memperpanjang komitmen

Anda memilih paket perpanjangan saat membeli komitmen. Anda dapat mengubah paket perpanjangan untuk komitmen kapan saja hingga masa berlakunya habis. Tersedia paket perpanjangan berikut:

  • Tidak ada. Setelah periode komitmen berakhir, komitmen tersebut akan dihapus. Pemesanan tidak terpengaruh.
  • Tahunan. Setelah akhir periode komitmen, komitmen Anda akan diperpanjang untuk tahun berikutnya.
  • Tiga Tahun. Setelah periode komitmen berakhir, komitmen Anda akan diperpanjang selama tiga tahun berikutnya.

Untuk mengetahui informasi tentang pembelian dan perpanjangan komitmen, lihat Membuat komitmen kapasitas.

Misalnya, jika Anda membeli komitmen tahunan pada pukul 18.00 pada 5 Oktober 2019, maka Anda mulai ditagih pada detik tersebut. Anda dapat menghapus atau memperpanjang komitmen setelah pukul 18.00 pada 4 Oktober 2020, dengan memperhatikan bahwa 2020 adalah tahun kabisat. Anda dapat mengubah paket perpanjangan sebelum pukul 18.00 pada 4 Oktober 2020 sebagai berikut:

  • Jika Anda memilih untuk memperpanjang komitmen tahunan, maka pada tanggal 4 Oktober 2020 pukul 18.00, komitmen Anda akan diperpanjang untuk satu tahun lagi.
  • Jika Anda memilih untuk memperpanjang komitmen tiga tahun, maka pada 4 Oktober 2020 pukul 18.00, komitmen Anda akan diperpanjang selama tiga tahun.

Akhir masa berlaku komitmen

Setelah dibuat, komitmen tersebut hanya dapat dihapus setelah masa berlaku komitmen berakhir. Untuk menghapus komitmen tahunan atau tiga tahun, tetapkan paket perpanjangan ke NONE. Setelah masa berlaku komitmen berakhir, komitmen tersebut akan dihapus secara otomatis. Untuk mempelajari masa berlaku komitmen lebih lanjut, lihat Masa berlaku komitmen.

Jika Anda tidak sengaja membeli komitmen atau membuat kesalahan saat mengonfigurasi komitmen, hubungi Dukungan Penagihan Cloud untuk mendapatkan bantuan.

Langkah selanjutnya