Pengelolaan workload menggunakan reservasi

Halaman ini menjelaskan cara menggunakan reservasi slot untuk mengelola workload BigQuery Anda.

Reservasi slot

Di BigQuery, slot dialokasikan dalam kumpulan yang disebut reservasi. Dengan pemesanan, Anda dapat mengelola kapasitas dan mengisolasi workload dengan cara yang sesuai untuk organisasi Anda. Misalnya, Anda dapat membuat pemesanan bernama prod untuk workload produksi, dan pemesanan terpisah bernama test untuk pengujian, sehingga tugas pengujian tidak bersaing untuk mendapatkan resource dengan tugas produksi. Atau, Anda dapat membuat reservasi untuk berbagai departemen di organisasi Anda untuk mengalokasikan biaya komputasi.

Meskipun namanya reservasi, kapasitas dalam reservasi tidak selalu direservasi. Saat Anda menggunakan pemesanan penskalaan otomatis, kapasitas akan otomatis ditingkatkan dan diturunkan berdasarkan permintaan. Selain itu, slot tidak ada aktivitas dapat dibagikan di seluruh pemesanan.

Penetapan reservasi

Untuk menggunakan slot yang dialokasikan dalam pemesanan, Anda harus menetapkan slot tersebut ke satu atau beberapa project, folder, atau organisasi. Saat berjalan, tugas dalam project menggunakan slot dari pemesanan yang ditetapkan. Resource dapat mewarisi penetapan dari induk dalam hierarki resourceGoogle Cloud . Jika tidak ditetapkan ke pemesanan, project akan mewarisi penetapan folder atau organisasi induknya, jika ada.

Project menggunakan satu pemesanan paling spesifik dalam hierarki resource yang ditetapkan. Penetapan folder menggantikan penetapan organisasi, dan penetapan project menggantikan penetapan folder.

Jika project tidak memiliki pemesanan yang ditetapkan atau diwarisi, tugas akan menggunakan harga on-demand. Untuk mengetahui informasi selengkapnya tentang hierarki resource, lihat artikel mengelola resource BigQuery.

Resource dapat ditetapkan ke None untuk merepresentasikan tidak adanya penetapan. Project yang ditetapkan ke None selalu menggunakan harga on-demand. Kasus penggunaan umum untuk penetapan None adalah menetapkan organisasi ke pemesanan, lalu menggunakan None untuk memilih tidak menyertakan project atau folder tertentu dari pemesanan tersebut. Untuk mengetahui informasi selengkapnya, lihat Menetapkan project ke None.

Saat membuat penetapan, Anda menentukan jenis tugas untuk penetapan tersebut:

  • QUERY: Gunakan pemesanan ini untuk tugas kueri non-kontinu, termasuk kueri SQL, DDL, DML, dan BigQuery ML (model bawaan).

  • BACKGROUND: Gunakan pemesanan ini saat Anda memilih menggunakan pemesanan Anda sendiri untuk menjalankan tugas pengelolaan indeks penelusuran BigQuery, pengambilan data perubahan (CDC) BigQuery, atau tugas latar belakang cache metadata BigLake. Selain itu, gunakan pemesanan ini saat Anda mereplikasi database sumber ke BigQuery dengan operasi penerapan latar belakang Datastream. Reservasi BACKGROUND tidak tersedia di edisi Standar.

  • CONTINUOUS (Pratinjau): Gunakan pemesanan ini untuk tugas kueri berkelanjutan. Untuk menggunakan kueri berkelanjutan, Anda harus mendaftar ke pratinjau fitur.

  • ML_EXTERNAL: Gunakan pemesanan ini untuk kueri CREATE MODEL BigQuery ML yang menggunakan layanan eksternal BigQuery. Untuk mengetahui informasi selengkapnya, lihat Menetapkan slot ke workload BigQuery ML. Reservasi ML_EXTERNAL tidak tersedia di edisi Standar.

  • PIPELINE: Gunakan pemesanan ini untuk tugas pemuatan dan ekstraksi.

    Secara default, tugas pemuatan dan ekstraksi gratis dan menggunakan kumpulan slot bersama. BigQuery tidak menjamin ketersediaan kapasitas untuk kumpulan bersama ini atau throughput yang Anda lihat. Jika Anda memuat data dalam jumlah besar, tugas Anda mungkin harus menunggu slot tersedia. Dalam hal ini, Anda dapat membeli slot khusus dan menetapkan tugas PIPELINE ke slot tersebut. Sebagai praktik terbaik, buat pemesanan khusus tambahan dengan mengaktifkan Abaikan slot tidak ada aktivitas. Untuk mengetahui informasi selengkapnya tentang slot tidak ada aktivitas, lihat Slot tidak ada aktivitas.

    Saat tugas pemuatan dan ekstraksi ditetapkan ke suatu pemesanan, tugas tersebut akan kehilangan akses ke kumpulan gratis. Anda harus Memantau penggunaan resource dan tugas untuk memastikan reservasi Anda memiliki kapasitas yang cukup untuk berperforma lebih baik daripada menggunakan kumpulan slot gratis.

Anda tidak dapat mengalokasikan slot individual ke penetapan tertentu. Scheduler BigQuery menangani alokasi slot untuk tugas yang menggunakan reservasi. Untuk mengetahui informasi selengkapnya tentang cara slot digunakan, lihat penjadwalan yang adil di BigQuery.

Menggabungkan reservasi dengan penagihan on-demand

Anda dapat menggunakan penagihan berbasis kapasitas di satu region dan penagihan on-demand di region lain. Secara default, semua project menggunakan penagihan on-demand. Dalam satu region, Anda dapat mengikutsertakan project, folder, atau organisasi untuk menggunakan penagihan berbasis kapasitas dengan menetapkannya ke pemesanan. Misalnya, jika Anda membeli komitmen slot di multi-region AS dan menetapkan organisasi Anda ke pemesanan default, organisasi Anda akan menggunakan penagihan berbasis kapasitas di multi-region AS, tetapi akan tetap menggunakan penagihan on-demand di semua region lainnya.

Dalam satu region, Anda dapat menggabungkan penagihan berbasis kapasitas dan penagihan on-demand dengan menetapkan project secara eksplisit ke pemesanan. Setiap project yang tidak ditetapkan ke pemesanan akan tetap menggunakan penagihan on-demand. Anda juga dapat secara eksplisit menetapkan project untuk menggunakan penagihan on-demand dengan menetapkan ID pemesanan none. Hal ini berguna jika Anda menetapkan folder atau organisasi ke pemesanan, tetapi ingin beberapa project dalam folder atau organisasi tersebut menggunakan penagihan on-demand. Untuk mengetahui informasi selengkapnya, lihat menetapkan project ke tidak ada.

Project dengan penagihan on-demand menggunakan kapasitas yang terpisah dari kapasitas komitmen Anda. Project tersebut tidak memengaruhi ketersediaan kapasitas komitmen Anda.

Menentukan project administrasi

Saat Anda membuat komitmen dan pemesanan, keduanya akan dikaitkan dengan project Google Cloud . Project ini mengelola resource reservasi BigQuery, dan merupakan sumber utama penagihan untuk resource tersebut. Project ini tidak harus sama dengan project yang menyimpan tugas atau set data BigQuery Anda.

Sebagai praktik terbaik, buat project khusus untuk resource reservasi. Project ini disebut project administrasi karena memusatkan penagihan dan pengelolaan komitmen Anda. Beri nama deskriptif untuk project ini, seperti bq-COMPANY_NAME-admin. Kemudian, buat satu atau beberapa project terpisah untuk menyimpan tugas BigQuery Anda.

Hanya project dalam resource Organisasi yang sama dengan project administrasi yang dapat ditetapkan ke pemesanan. Jika project administrasi bukan bagian dari Organisasi, hanya project tersebut yang dapat menggunakan slot.

Project administrasi akan ditagih untuk slot komitmen. Project yang menggunakan slot akan ditagih untuk penyimpanan, tetapi tidak ditagih untuk slot tersebut. Anda dapat membeli lebih dari satu jenis paket (misalnya, tahunan dan tiga tahun) dan memasukkan slot tersebut ke dalam project administrasi yang sama.

Sebagai praktik terbaik, batasi jumlah project administrasi. Hal ini membantu menyederhanakan pengelolaan penagihan dan alokasi slot. Satu project administrasi untuk semua pemesanan organisasi Anda direkomendasikan jika memungkinkan. Organisasi yang kompleks mungkin memerlukan project administrasi tambahan untuk memenuhi persyaratan pengelolaan atau penagihan.

Menggunakan beberapa project administrasi

Dalam beberapa kasus, Anda mungkin ingin membuat lebih dari satu project administrasi:

  • Untuk memisahkan biaya dari beberapa pemesanan dan komitmen ke unit organisasi yang berbeda.
  • Untuk memetakan satu atau beberapa komitmen slot ke kumpulan reservasi yang berbeda.

Kapasitas slot yang tidak ada aktivitasnya tidak dibagikan antar-reservasi dalam project administrasi yang berbeda.

Saat berada di halaman Pengelolaan kapasitas di konsol Google Cloud BigQuery, Anda dapat melihat reservasi dan komitmen hanya untuk project administratif yang dipilih.

Menentukan ukuran reservasi slot

BigQuery dirancang agar dapat diskalakan secara linear dengan peningkatan resource. Bergantung pada workload, kapasitas tambahan cenderung akan memberi Anda performa tambahan. Namun, penambahan kapasitas juga akan meningkatkan biaya Anda. Oleh karena itu, pemilihan jumlah slot yang optimal untuk dibeli bergantung pada persyaratan Anda untuk performa, throughput, dan utilitas.

Anda dapat bereksperimen dengan slot dasar pengukuran dan penskalaan otomatis untuk menentukan konfigurasi slot yang terbaik. Misalnya, Anda dapat menguji workload dengan 500 slot dasar pengukuran, lalu 1.000, 1.500, dan 2.000, serta mengamati dampaknya terhadap performa.

Setelah mengalokasikan slot dan menjalankan workload setidaknya selama tujuh hari, Anda dapat menggunakan estimator slot untuk menganalisis performa dan membuat model efek penambahan atau pengurangan slot.

Anda juga dapat memeriksa penggunaan slot project saat ini, beserta harga bulanan yang ingin Anda bayarkan. Workload on-demand memiliki batas slot sementara sebanyak 2.000 slot, tetapi penting untuk memeriksa berapa banyak slot yang benar-benar digunakan oleh project Anda menggunakan tampilan INFORMATION_SCHEMA.JOBS*, Cloud Logging, Jobs API, atau Log audit BigQuery. Untuk mengetahui informasi selengkapnya, lihat Memantau reservasi.

Linimasa penggunaan slot.

Mengelola workload menggunakan pemesanan

Anda dapat menggunakan pemesanan BigQuery untuk mengalokasikan kapasitas di antara workload, tim, atau departemen dengan membuat pemesanan tambahan dan menetapkan project ke pemesanan ini. Pemesanan adalah kumpulan resource terpisah dengan manfaat tambahan berupa kemampuan memanfaatkan kapasitas tanpa aktivitas di seluruh organisasi Anda.

Misalnya, Anda mungkin memiliki total kapasitas komitmen sebanyak 1.000 slot dan tiga jenis workload: data science, ELT, dan BI.

  • Anda dapat membuat pemesanan ds dengan 500 slot, dan menetapkan semua project Google Cloud yang relevan ke pemesanan ds.
  • Anda dapat membuat pemesanan elt dengan 300 slot, dan menetapkan project yang Anda gunakan untuk workload ELT ke pemesanan elt.
  • Anda dapat membuat pemesanan bi dengan 200 slot, dan menetapkan project yang terhubung ke alat BI Anda ke pemesanan bi.

Penghapusan komitmen.

Daripada membagi kapasitas di seluruh jenis workload, Anda dapat memilih untuk membuat pemesanan untuk masing-masing tim atau departemen.

Mengelola pemesanan di berbagai region

Reservasi adalah resource regional. Slot yang dibeli dan pemesanan yang dibuat di satu region tidak dapat digunakan di region lain. Project, folder, dan organisasi dapat ditetapkan ke pemesanan di satu region dan dijalankan sesuai permintaan di region lain. Untuk mengelola pemesanan di wilayah lain, Anda harus mengubah region di halaman Pengelolaan Kapasitas BigQuery:

  1. Di konsol BigQuery, klik Pemesanan.
  2. Klik pemilih Lokasi, lalu pilih region tempat Anda ingin mengelola pemesanan. Memilih region lain.
  3. Setelah region dipilih, Anda dapat membeli slot, membuat pemesanan, dan menetapkan project ke pemesanan.

Mengelola reservasi di organisasi yang kompleks

Pemesanan adalah resource cakupan organisasi. Saat membuat pemesanan, Anda dapat menetapkan kapasitas ke project apa pun dalam organisasi Google Cloud yang sama. Sebagian besar pengguna BigQuery menggunakan satu project administrasi untuk pemesanan dan komitmen mereka. Project administrasi ini dikaitkan dengan akun Penagihan Cloud, yang ditagih untuk kapasitas.

Namun, jika Anda memiliki organisasi yang kompleks dengan beberapa divisi yang mengelola tagihannya sendiri, sebaiknya gunakan beberapa project administrasi. Perhatikan bahwa slot tanpa aktivitas hanya dapat dibagikan di seluruh pemesanan yang dibuat dalam project administrasi yang sama. Anda harus mengetahui kuota dan batas untuk pemesanan dan project administrasi.

Jika menggunakan beberapa Google Cloud organisasi, Anda harus membuat setidaknya satu project administrasi untuk setiap organisasi, lalu mengelola reservasi dan komitmen untuk setiap organisasi dalam project administrasi terkait. Anda tidak dapat berbagi kapasitas di seluruh organisasi.

Komitmen slot

Komitmen slot adalah pembelian slot selama jangka waktu tertentu. Anda dapat membeli slot dalam kelipatan 50 slot, hingga kuota slot regional. Komitmen kapasitas bersifat opsional, tetapi dapat memberikan penghematan biaya untuk workload dengan status stabil. Tidak ada batasan jumlah komitmen yang dapat Anda buat. Anda akan ditagih sejak pembelian komitmen berhasil. Untuk mengetahui informasi harga saat ini, lihat harga komitmen kapasitas.

  • Komitmen tahunan. Anda membeli komitmen 365 hari. Anda dapat memilih apakah akan memperpanjang atau mengonversi ke jenis paket komitmen yang berbeda setelah 365 hari.

  • Komitmen tiga tahun. Anda membeli komitmen tiga tahun. Anda dapat memilih apakah akan memperpanjang atau mengonversi ke jenis paket komitmen yang berbeda setelah 3 tahun (1.095 hari).

Pada akhir periode komitmen, komitmen Anda akan diperpanjang berdasarkan paket perpanjangan yang dipilih.

Anda akan ditagih setiap bulan untuk paket komitmen tahunan atau tiga tahun. Namun, komitmen keuangan Anda berlaku untuk seluruh periode komitmen dan tidak dapat dibatalkan setiap bulan. Penggunaan Anda diperbarui setiap hari dalam laporan penagihan, yang dapat Anda lihat kapan saja.

Komitmen slot bergantung pada ketersediaan kapasitas. Saat Anda mencoba membeli komitmen slot, keberhasilan pembelian Anda tidak dijamin. Namun, setelah pembelian komitmen berhasil, kapasitas akan tersedia hingga masa berlaku komitmen berakhir.

Jika Anda membeli komitmen slot sebelum membuat pemesanan, pemesanan bernama default akan dibuat secara otomatis untuk memudahkan Anda. Pemesanan default tidak memiliki perilaku khusus. Anda dapat membuat pemesanan tambahan jika diperlukan atau menggunakan pemesanan default.

Memperpanjang komitmen

Anda memilih paket perpanjangan saat membeli komitmen. Anda dapat mengubah paket perpanjangan untuk komitmen kapan saja hingga masa berlakunya habis. Paket perpanjangan berikut tersedia:

  • Tidak ada. Setelah periode komitmen berakhir, komitmen akan dihapus. Pemesanan tidak terpengaruh.
  • Tahunan. Setelah periode komitmen berakhir, komitmen Anda akan diperpanjang untuk satu tahun lagi.
  • Tiga Tahun. Setelah akhir periode komitmen, komitmen Anda diperpanjang selama tiga tahun berikutnya.

Untuk mengetahui informasi tentang cara membeli dan memperpanjang komitmen, lihat Membuat komitmen kapasitas.

Misalnya, jika Anda membeli komitmen tahunan pukul 18.00 pada 5 Oktober 2019, Anda mulai ditagih pada detik tersebut. Anda dapat menghapus atau memperpanjang komitmen setelah pukul 18.00 pada 4 Oktober 2020, dengan memperhatikan bahwa 2020 adalah tahun kabisat. Anda dapat mengubah paket perpanjangan sebelum pukul 18.00 pada 4 Oktober 2020 sebagai berikut:

  • Jika Anda memilih untuk memperpanjang komitmen tahunan, komitmen Anda akan diperpanjang untuk satu tahun lagi pada pukul 18.00 tanggal 4 Oktober 2020.
  • Jika Anda memilih untuk memperpanjang komitmen tiga tahun, maka pada 4 Oktober 2020 pukul 18.00, komitmen Anda akan diperpanjang selama tiga tahun.

Catatan: Proses perpanjangan dapat memerlukan waktu hingga sekitar satu jam setelah masa berlaku komitmen berakhir. Misalnya, jika komitmen berakhir pada pukul 18.00 tanggal 4 Oktober 2020, data komitmen yang diperpanjang akan muncul di sistem antara pukul 18.00 dan 19.00 tanggal 4 Oktober 2020. Tidak ada biaya on-demand yang diterapkan dalam periode pembaruan data ini karena waktu mulai efektif untuk komitmen yang dibuat adalah pukul 18.00.

Akhir masa berlaku komitmen

Anda tidak dapat menghapus komitmen setelah membuatnya. Untuk menghapus komitmen tahunan atau tiga tahun, tetapkan paket perpanjangannya menjadi NONE. Setelah masa berlakunya berakhir, komitmen akan otomatis dihapus. Untuk mempelajari lebih lanjut masa berlaku komitmen, lihat Masa berlaku komitmen.

Jika Anda tidak sengaja membeli komitmen atau terjadi kekeliruan saat mengonfigurasi komitmen, hubungi Dukungan Penagihan Cloud untuk mendapatkan bantuan.

Batasan reservasi

  • Pemesanan di satu organisasi tidak dapat dibagikan kepada organisasi lain.
  • Anda harus menggunakan pemesanan terpisah dan project administrasi terpisah untuk setiap organisasi.
  • Setiap organisasi dapat memiliki maksimal 10 project administrasi dengan pemesanan aktif di satu lokasi.
  • Kapasitas yang tidak ada aktivitasnya tidak dapat dibagikan antar-organisasi atau antar-project administrasi yang berbeda dalam satu organisasi.
  • Komitmen dan reservasi adalah resource regional. Komitmen yang dibeli di satu region atau multi-region tidak dapat digunakan untuk reservasi di region atau multi-region lain, meskipun lokasi satu region berada di lokasi yang sama dengan lokasi multi-region. Misalnya, Anda tidak dapat menggunakan komitmen yang dibeli di multi-region EU untuk pemesanan di europe-west4.
  • Komitmen dan reservasi tidak dapat dipindahkan dari satu region atau multi-region ke region atau multi-region lainnya.
  • Komitmen yang dibeli dalam satu project administrasi tidak dapat dipindahkan ke project administrasi lain.
  • Komitmen yang dibeli dengan satu edisi tidak dapat digunakan dengan pemesanan edisi lainnya.
  • Slot yang tidak ada aktivitasnya tidak dibagikan antara pemesanan dari edisi yang berbeda.
  • Slot yang diskalakan otomatis tidak dapat dibagikan karena akan diperkecil skalanya saat tidak lagi diperlukan.