Pengantar pengelolaan workload

Pengelolaan beban kerja BigQuery memungkinkan Anda mengontrol resource dan fitur yang tersedia untuk analisis data di organisasi Anda serta menentukan model penagihan. Kapasitas komputasi BigQuery, yang diukur dalam slot, dapat dibeli dalam reservasi dan komitmen yang kemudian Anda tetapkan di seluruh organisasi untuk menjalankan tugas.

BigQuery menawarkan dua model pengelolaan beban kerja untuk analisis data, yang juga dikenal sebagai komputasi. Dengan penagihan On-demand, Anda membayar untuk byte yang diproses saat membuat kueri data. Dengan penagihan berbasis kapasitas, Anda dapat mencadangkan kapasitas pemrosesan untuk beban kerja dengan opsi penskalaan otomatis kapasitas ke atas dan ke bawah.

Anda dapat beralih antara model penagihan on-demand dan berbasis kapasitas kapan saja, atau Anda dapat memilih untuk menggabungkan kedua model tersebut. Model berbasis kapasitas memberi Anda kontrol eksplisit atas slot dan kapasitas pemrosesan; model on demand tidak.

Kompromi pemesanan.

Model berikut menentukan cara Anda mengelola beban kerja dan cara Anda ditagih:

  • Harga on-demand: Secara default, Anda ditagih untuk data yang dipindai oleh kueri Anda. Anda memiliki kapasitas pemrosesan kueri per project yang tetap, dan Anda hanya membayar jumlah byte yang diproses saat menggunakannya.

  • Harga berbasis kapasitas: Anda membeli kapasitas pemrosesan kueri khusus atau penskalaan otomatis dengan tarif diskon. Kapasitas diukur dalam slot yang Anda alokasikan ke workload atau bagian organisasi Anda. Penagihan berbasis kapasitas menawarkan opsi commitments, yang memungkinkan Anda berkomitmen pada tingkat kapasitas pemrosesan yang konsisten selama periode 1 tahun atau 3 tahun dengan harga diskon. Byte yang diproses tidak dikenai biaya saat menggunakan model berbasis kapasitas. Keuntungan harga berbasis kapasitas meliputi:

    • Biaya. Sebagai praktik terbaik, Anda dapat menetapkan penggunaan analisis bulanan minimum sebagai komitmen berbasis kapasitas BigQuery untuk mengurangi biaya.
    • Dapat diperkirakan. Slot berbasis kapasitas memungkinkan biaya bulanan yang lebih konsisten.
    • Pembelian terpusat: Anda dapat membeli dan mengalokasikan slot untuk seluruh organisasi, bukan untuk setiap project yang menggunakan BigQuery.
    • Fleksibilitas. Anda dapat memilih seberapa banyak kapasitas yang akan dialokasikan ke workload atau mengizinkan BigQuery secara otomatis menskalakan kapasitas berdasarkan persyaratan workload Anda. Anda ditagih dengan kelipatan per detik dengan periode penggunaan minimum satu menit.

Membuat komitmen kapasitas bersifat opsional saat menangani pemesanan yang menggunakan edisi BigQuery, tetapi dapat mengurangi biaya untuk workload dengan status stabil.

Anda dapat menggabungkan model penagihan. Misalnya, Anda dapat menjalankan beberapa workload dengan harga on-demand dan workload lainnya dengan harga berdasarkan kapasitas. Karena model penagihan ditentukan per project, Anda perlu menggunakan beberapa project untuk tugas kueri. Untuk lebih memahami harga BigQuery untuk reservasi, lihat hal berikut:

Slot

Kapasitas pemrosesan di BigQuery diukur dalam slot. Slot mewakili CPU virtual yang digunakan untuk mengkueri data. Secara umum, akses ke lebih banyak slot memungkinkan Anda menjalankan lebih banyak kueri serentak, dan kueri yang kompleks dapat berjalan lebih cepat. Model harga berbasis kapasitas memungkinkan Anda memesan volume slot. Kueri Anda berjalan dalam kapasitas tersebut, dan Anda membayar kapasitas tersebut secara terus-menerus setiap detik setelah di-deploy. Misalnya, jika Anda membeli 2.000 slot BigQuery, kueri secara keseluruhan dibatasi untuk menggunakan 2.000 CPU virtual pada waktu tertentu. Anda memiliki kapasitas ini sampai Anda menghapusnya, dan Anda membayar untuk 2.000 slot sampai Anda menghapusnya.

Untuk mempelajari slot dan cara penggunaannya lebih lanjut, lihat Memahami slot.

Kuota slot

Kuota slot memberikan perlindungan untuk BigQuery. Jenis kuota bergantung pada model harga slot:

  • Model harga on demand: Kuota slot per project dengan kemampuan burst sementara sudah cukup bagi sebagian besar pengguna. Bergantung pada workload Anda, akses ke lebih banyak slot dapat meningkatkan performa kueri. Untuk memeriksa jumlah slot yang digunakan akun Anda, lihat pemantauan BigQuery.

  • Model harga berbasis kapasitas: Kuota dan batas reservasi menentukan jumlah maksimum slot yang dapat Anda beli di suatu lokasi. Anda hanya akan ditagih untuk pemesanan dan komitmen, bukan untuk kuota.

Untuk informasi tentang cara meningkatkan kuota slot, lihat Meminta penambahan kuota.

Pekerjaan

Tugas adalah tindakan yang dijalankan BigQuery atas nama Anda untuk memuat data, mengekspor data, melakukan kueri data, atau menyalin data.

Saat Anda menggunakan konsol Google Cloud atau alat bq untuk melakukan salah satu tugas ini, resource tugas akan otomatis dibuat, dijadwalkan, dan dijalankan. Anda juga dapat membuat tugas pemuatan, ekspor, kueri, atau penyalinan secara terprogram. Saat Anda membuat tugas secara terprogram, BigQuery menjadwalkan dan menjalankan tugas untuk Anda.

Karena tugas berpotensi memerlukan waktu lama untuk diselesaikan, tugas berjalan secara asinkron dan dapat di-polling untuk statusnya. Tindakan yang lebih singkat, seperti mencantumkan resource atau mendapatkan metadata, tidak dikelola oleh resource tugas.

Untuk mengetahui informasi selengkapnya tentang BigQuery, baca artikel Memahami tugas.

Reservasi

Slot dibeli, ditetapkan ke resource, dan dialokasikan ke tugas dalam kumpulan yang disebut reservations. Dengan pemesanan, Anda dapat menetapkan slot dengan cara yang sesuai untuk organisasi Anda. Misalnya, Anda dapat membuat pemesanan bernama prod untuk workload produksi, dan pemesanan terpisah bernama test untuk pengujian, sehingga tugas pengujian tidak bersaing untuk mendapatkan resource workload produksi. Atau, Anda dapat membuat pemesanan untuk beragam departemen di organisasi Anda.

Jika Anda membeli komitmen slot sebelum membuat pemesanan, pemesanan bernama default akan dibuat secara otomatis untuk memudahkan Anda. Pemesanan default tidak memiliki perilaku khusus. Anda dapat membuat pemesanan tambahan jika diperlukan atau menggunakan pemesanan default.

Untuk mengetahui informasi tentang harga, lihat harga berbasis kapasitas dan harga on demand.

Batasan reservasi

  • Reservasi yang Anda buat tidak dibagikan kepada organisasi lain.
  • Anda harus membuat pemesanan terpisah dan project administrasi terpisah untuk setiap organisasi.
  • Setiap organisasi dapat memiliki maksimal 10 project administrasi dengan komitmen aktif di satu lokasi.
  • Kapasitas yang tidak ada aktivitasnya tidak dapat dibagikan antar-organisasi atau antar-project administrasi yang berbeda dalam satu organisasi.
  • Komitmen dan reservasi adalah resource regional. Komitmen yang dibeli di satu region atau multi-region tidak dapat digunakan untuk pemesanan di region atau multi-region lain, meskipun lokasi satu region berada dalam lokasi multi-region. Misalnya, Anda tidak dapat menggunakan komitmen yang dibeli di multi-region EU untuk pemesanan di europe-west1.
  • Komitmen dan reservasi tidak dapat dipindahkan dari satu region atau multi-region ke region atau multi-region lainnya.
  • Komitmen yang dibeli dalam satu project administrasi tidak dapat dipindahkan ke project administrasi lain.
  • Komitmen yang dibeli dengan satu edisi tidak dapat digunakan dengan pemesanan edisi lainnya.
  • Slot yang tidak ada aktivitasnya tidak dibagikan antara pemesanan dari edisi yang berbeda.
  • Slot yang diskalakan otomatis tidak dapat dibagikan karena akan diperkecil skalanya saat tidak lagi diperlukan.

Penetapan reservasi

Untuk menggunakan slot yang dibeli, Anda harus menetapkan satu atau beberapa project, folder, atau organisasi ke pemesanan. Pemesanan adalah tingkat terendah yang dapat Anda gunakan untuk menentukan penetapan slot. Saat berjalan, tugas dalam project menggunakan slot dari pemesanan yang ditetapkan. Resource dapat mewarisi penetapan dari induknya dalam hierarki resource. Jika tidak ditetapkan ke pemesanan, project akan mewarisi penetapan folder atau organisasi induknya, jika ada.

Project menggunakan satu pemesanan paling spesifik dalam hierarki resource yang ditetapkan. Penetapan folder menggantikan penetapan organisasi, dan penetapan project menggantikan penetapan folder.

Jika project tidak memiliki pemesanan yang ditetapkan atau diwarisi, tugas akan menggunakan harga on-demand. Untuk mengetahui informasi selengkapnya tentang hierarki resource, lihat Mengatur resource BigQuery.

Resource dapat ditetapkan ke None untuk merepresentasikan tidak adanya penetapan. Project yang ditetapkan ke None selalu menggunakan harga on-demand. Kasus penggunaan umum untuk penetapan None adalah menetapkan organisasi ke pemesanan, lalu menggunakan None untuk memilih tidak menyertakan project atau folder tertentu dari pemesanan tersebut. Untuk mengetahui informasi selengkapnya, lihat Menetapkan project ke None.

Saat membuat penetapan, Anda menentukan jenis tugas untuk penetapan tersebut:

  • BACKGROUND: Gunakan pemesanan ini saat Anda memilih menggunakan pemesanan Anda sendiri untuk menjalankan tugas pengelolaan indeks penelusuran BigQuery, pengambilan data perubahan (CDC) BigQuery, atau tugas latar belakang cache metadata BigLake. Selain itu, gunakan pemesanan ini saat Anda mereplikasi database sumber ke BigQuery dengan operasi penerapan latar belakang Datastream. Reservasi BACKGROUND tidak tersedia di edisi Standar.

  • CONTINUOUS (Pratinjau): Gunakan pemesanan ini untuk tugas kueri berkelanjutan. Untuk menggunakan kueri berkelanjutan, Anda harus mendaftar ke pratinjau fitur.

  • ML_EXTERNAL: Gunakan pemesanan ini untuk kueri CREATE MODEL BigQuery ML yang menggunakan layanan eksternal BigQuery. Untuk mengetahui informasi selengkapnya, lihat Menetapkan slot ke workload BigQuery ML. Reservasi ML_EXTERNAL tidak tersedia di edisi Standar.

  • PIPELINE: Gunakan pemesanan ini untuk tugas pemuatan dan ekstraksi.

    Secara default, tugas pemuatan dan ekstraksi gratis dan menggunakan kumpulan slot bersama. BigQuery tidak menjamin ketersediaan kapasitas untuk kumpulan bersama ini atau throughput yang Anda lihat. Jika Anda memuat data dalam jumlah besar, tugas Anda mungkin harus menunggu slot tersedia. Dalam hal ini, Anda dapat membeli slot khusus dan menetapkan tugas PIPELINE ke slot tersebut. Sebagai praktik terbaik, buat pemesanan khusus tambahan dengan mengaktifkan Abaikan slot tidak ada aktivitas. Untuk mengetahui informasi selengkapnya tentang slot tidak ada aktivitas, lihat Slot tidak ada aktivitas.

    Saat tugas pemuatan dan ekstraksi ditetapkan ke suatu pemesanan, tugas tersebut akan kehilangan akses ke kumpulan gratis. Anda harus Memantau penggunaan resource dan tugas untuk memastikan reservasi Anda memiliki kapasitas yang cukup untuk berperforma lebih baik daripada menggunakan kumpulan gratis.

  • QUERY: Gunakan pemesanan ini untuk tugas kueri non-kontinu, termasuk kueri SQL, DDL, DML, dan BigQuery ML.

Anda tidak dapat mengalokasikan slot ke penetapan tertentu. Scheduler BigQuery menangani alokasi slot untuk penetapan pada pemesanan. Untuk mengetahui informasi selengkapnya tentang cara penggunaan slot, lihat Alokasi slot dalam reservasi.

Memahami pengelolaan beban kerja

Pemesanan BigQuery adalah resource cakupan organisasi yang biasanya dimiliki oleh project, tetapi dapat digunakan oleh project lain dalam organisasi. Anda membeli reservasi secara terpusat untuk digunakan di seluruh organisasi. Anda dapat mewajibkan masing-masing departemen atau divisi untuk mengelola pemesanan mereka dengan membeli kapasitas komitmen dan menetapkan kapasitas tersebut ke departemen atau divisi. Project administrasi terkait dengan akun Penagihan Cloud, yang ditagih untuk kapasitas.

Anda dapat menggunakan organisasi Google Cloud yang berbeda untuk setiap departemen atau divisi Anda. Dalam skenario ini, Anda menentukan project administrasi untuk setiap departemen dan mengelola pemesanan untuk departemen tersebut dari project administrasi. Tidak ada pembagian kapasitas komitmen atau kapasitas tanpa aktivitas di seluruh organisasi.

Slot tanpa aktivitas dan yang belum dialokasikan hanya dibagikan di seluruh pemesanan yang dibuat di project administrasi yang sama dan dalam edisi yang sama. Jika Anda menggunakan lebih dari satu project administrasi, slot tidak akan dibagikan di seluruh pemesanan dalam project administrasi yang berbeda.

Mengelola beban kerja organisasi

Saat Anda membuat komitmen dan pemesanan, keduanya akan dikaitkan dengan project Google Cloud. Project ini mengelola resource Pemesanan BigQuery, dan merupakan sumber utama penagihan untuk resource tersebut. Project ini tidak harus sama dengan project yang menyimpan tugas BigQuery Anda.

Sebagai praktik terbaik, buat project khusus untuk resource Pemesanan. Project ini disebut project administrasi karena memusatkan penagihan dan pengelolaan komitmen Anda. Beri nama deskriptif untuk project ini, seperti bq-COMPANY_NAME-admin. Kemudian, buat satu atau beberapa project terpisah untuk menyimpan tugas BigQuery Anda.

Hanya project dalam resource Organisasi yang sama dengan project administrasi yang dapat ditetapkan ke pemesanan. Jika project administrasi bukan bagian dari Organisasi, hanya project tersebut yang dapat menggunakan slot yang ditetapkan ke project tersebut.

Project administrasi akan ditagih untuk slot komitmen. Project yang menggunakan slot dari reservasi yang dimiliki oleh project administrasi tidak ditagih untuk slot tersebut. Anda dapat membeli lebih dari satu jenis paket (misalnya, komitmen satu tahun dan tiga tahun) dan memasukkan slot ke dalam project administrasi yang sama.

Sebagai praktik terbaik, buat satu project administrasi untuk semua pemesanan. Menggunakan satu project administrasi akan menyederhanakan cara Anda mengelola penagihan dan mengaloksir slot. Anda hanya boleh mengaktifkan BigQuery Reservations API di project administrasi sehingga semua komitmen dikelola melalui project ini.

Pengelolaan workload dan departemen

Anda dapat menggunakan Pemesanan BigQuery untuk memisahkan kapasitas komitmen di seluruh workload, tim, atau departemen dengan membuat pemesanan tambahan dan menetapkan project ke pemesanan ini. Pemesanan adalah kumpulan resource terpisah dengan keuntungan bahwa pemesanan dapat memanfaatkan kapasitas tanpa aktivitas di seluruh organisasi Anda.

Misalnya, Anda mungkin memiliki total kapasitas komitmen sebanyak 1.000 slot dan tiga jenis workload: data science, ELT, dan BI.

  • Anda dapat membuat pemesanan ds dengan 500 slot, dan menetapkan semua project Google Cloud yang relevan ke pemesanan ds.
  • Anda dapat membuat pemesanan elt dengan 300 slot, dan menetapkan project yang Anda gunakan untuk workload ELT ke pemesanan elt.
  • Anda dapat membuat pemesanan bi dengan 200 slot, dan menetapkan project yang terhubung ke alat BI Anda ke pemesanan bi.

Penghapusan komitmen.

Daripada membagi kapasitas di seluruh workload, Anda dapat memilih untuk membuat pemesanan untuk masing-masing tim atau departemen.

Mengelola pemesanan di berbagai region

Reservasi adalah resource regional. Slot yang dibeli dan pemesanan yang dibuat di satu region tidak dapat digunakan di region lain. Lokasi satu region tidak cocok dengan lokasi multi-region, meskipun lokasi satu region berada dalam lokasi multi-region. Misalnya, Anda tidak dapat menggunakan reservasi di multi-region EU untuk menjalankan tugas di europe-west1. Project, folder, dan organisasi dapat ditetapkan ke pemesanan di satu region dan dijalankan sesuai permintaan di region lain. Untuk mengelola pemesanan di region lain, lakukan tindakan berikut:

  1. Di Konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Capacity Management.

  3. Di daftar Location, pilih region tempat Anda ingin mengelola reservasi.

    Setelah memilih region, Anda dapat membuat pemesanan, membuat komitmen, dan menetapkan project ke pemesanan.

Komitmen

Komitmen kapasitas adalah pembelian slot selama jangka waktu tertentu. Slot dapat dibeli dalam kelipatan 100 slot, hingga kuota slot Anda. Komitmen kapasitas bersifat opsional, tetapi dapat memberikan penghematan biaya untuk workload dengan status stabil. Tidak ada batasan jumlah komitmen yang dapat Anda buat. Anda akan ditagih sejak pembelian komitmen berhasil. Untuk mengetahui informasi harga saat ini, lihat harga komitmen kapasitas.

  • Komitmen tiga tahun. Anda membeli komitmen tiga tahun. Anda dapat memilih apakah akan memperpanjang atau mengonversi ke jenis paket komitmen yang berbeda setelah 3*365 hari.

  • Komitmen tahunan. Anda membeli komitmen 365 hari. Anda dapat memilih apakah akan memperpanjang atau mengonversi ke jenis paket komitmen yang berbeda setelah 365 hari.

Pada akhir periode komitmen, komitmen Anda akan diperpanjang berdasarkan paket perpanjangan yang dipilih.

Anda akan ditagih setiap bulan untuk paket komitmen tahunan atau tiga tahun. Namun, komitmen keuangan Anda berlaku untuk seluruh periode komitmen dan tidak dapat dibatalkan setiap bulan. Penggunaan Anda diperbarui dalam laporan penagihan setiap hari, dan dapat dilihat kapan saja.

Komitmen slot bergantung pada ketersediaan kapasitas. Saat Anda mencoba membeli komitmen slot, keberhasilan pembelian Anda tidak dijamin. Namun, setelah pembelian komitmen berhasil, kapasitas akan tersedia hingga masa berlaku komitmen berakhir.

Memperpanjang komitmen

Anda memilih paket perpanjangan saat membeli komitmen. Anda dapat mengubah paket perpanjangan untuk komitmen kapan saja hingga masa berlakunya habis. Paket perpanjangan berikut tersedia:

  • Tidak ada. Setelah periode komitmen berakhir, komitmen akan dihapus. Pemesanan tidak terpengaruh.
  • Tahunan. Setelah periode komitmen berakhir, komitmen Anda akan diperpanjang untuk satu tahun lagi.
  • Tiga Tahun. Setelah akhir periode komitmen, komitmen Anda diperpanjang selama tiga tahun berikutnya.

Untuk mengetahui informasi tentang cara membeli dan memperpanjang komitmen, lihat Membuat komitmen kapasitas.

Misalnya, jika Anda membeli komitmen tahunan pukul 18.00 pada 5 Oktober 2019, Anda mulai ditagih pada detik tersebut. Anda dapat menghapus atau memperpanjang komitmen setelah pukul 18.00 pada 4 Oktober 2020, dengan memperhatikan bahwa 2020 adalah tahun kabisat. Anda dapat mengubah paket perpanjangan sebelum pukul 18.00 pada 4 Oktober 2020 sebagai berikut:

  • Jika Anda memilih untuk memperpanjang komitmen tahunan, komitmen Anda akan diperpanjang untuk satu tahun lagi pada pukul 18.00 tanggal 4 Oktober 2020.
  • Jika Anda memilih untuk memperpanjang komitmen tiga tahun, maka pada 4 Oktober 2020 pukul 18.00, komitmen Anda akan diperpanjang selama tiga tahun.

Catatan: Proses perpanjangan dapat memerlukan waktu hingga sekitar satu jam setelah masa berlaku komitmen berakhir. Misalnya, jika komitmen berakhir pada pukul 18.00 tanggal 4 Oktober 2020, data komitmen yang diperpanjang akan muncul di sistem antara pukul 18.00 dan 19.00 tanggal 4 Oktober 2020. Tidak ada biaya on-demand yang diterapkan dalam periode pembaruan data ini karena waktu mulai efektif untuk komitmen yang dibuat adalah pukul 18.00.

Akhir masa berlaku komitmen

Setelah Anda membuat komitmen, komitmen tersebut hanya dapat dihapus setelah masa berlakunya berakhir. Untuk menghapus komitmen tahunan atau tiga tahun, tetapkan paket perpanjangannya menjadi NONE. Setelah masa berlakunya berakhir, komitmen akan otomatis dihapus. Untuk mempelajari lebih lanjut masa berlaku komitmen, lihat Masa berlaku komitmen.

Jika Anda tidak sengaja membeli komitmen atau terjadi kekeliruan saat mengonfigurasi komitmen, hubungi Dukungan Penagihan Cloud untuk mendapatkan bantuan.

Langkah selanjutnya