Memperkirakan persyaratan kapasitas slot

Saat membeli slot yang dicadangkan di BigQuery, Anda harus memperkirakan jumlah slot yang tepat untuk beban kerja tertentu Anda. Estimator slot BigQuery membantu Anda mengelola kapasitas slot berdasarkan metrik histori performa.

Anda dapat menggunakan estimator slot untuk edisi, pemesanan, dan beban kerja on demand untuk melakukan tugas berikut:

Untuk workload edisi yang dipilih:

  • Lihat kapasitas dan data penggunaan slot selama 30 hari terakhir serta identifikasi periode pemakaian puncak saat sebagian besar slot digunakan.
  • Lihat rekomendasi biaya optimal untuk slot komitmen dan penskalaan otomatis dengan performa yang serupa.
  • Melihat setelan pemesanan saat ini untuk edisi tertentu.

Untuk workload pemesanan tertentu:

  • Lihat kapasitas dan data penggunaan slot selama 30 hari terakhir serta identifikasi periode pemakaian puncak saat sebagian besar slot digunakan.
  • Lihat persentil latensi tugas (P90, P95, dll.) untuk memahami performa kueri.
  • Buat model pengaruh penambahan atau pengurangan slot pemesanan maksimum terhadap performa.

Untuk workload penagihan on demand:

  • Melihat data penggunaan slot on demand dari seluruh organisasi atau project individual selama 30 hari terakhir.
  • Lihat rekomendasi hemat biaya untuk slot komitmen dan penskalaan otomatis dengan performa serupa jika Anda beralih ke edisi Enterprise.

Pelanggan yang menggunakan edisi Enterprise, edisi Enterprise Plus, atau penagihan on-demand dapat menggunakan pemberi rekomendasi slot BigQuery untuk melihat penggunaan slot, mengoptimalkan komitmen, dan meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat Melihat rekomendasi slot edisi.

Batasan

  • Data dibatasi hingga 30 hari terakhir.
  • Model tidak menyertakan tugas ML_EXTERNAL. Jika sebagian besar slot Anda digunakan untuk penetapan ML_EXTERNAL, hasil sesuai model akan kurang akurat.

Sebelum memulai

Berikan peran Identity and Access Management (IAM) yang memberi pengguna izin yang diperlukan untuk melakukan setiap tugas dalam dokumen ini.

Izin yang diperlukan

Untuk menggunakan estimator slot untuk data pemesanan, Anda memerlukan izin IAM berikut pada project administrasi:

  • bigquery.reservations.list
  • bigquery.reservationAssignments.list
  • bigquery.capacityCommitments.list

Setiap peran IAM yang telah ditetapkan berikut mencakup izin yang Anda perlukan untuk menggunakan estimator slot:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer
  • roles/bigquery.user

Untuk menggunakan estimator slot untuk data penggunaan on demand, Anda perlu mengaktifkan API Pemesanan pada project yang ingin digunakan sebagai project administrasi untuk mengelola reservasi. Selain izin di atas, Anda juga memerlukan salah satu izin IAM berikut di organisasi Anda untuk melihat data level organisasi atau project guna melihat data level project:

  • bigquery.jobs.listExecutionMetadata (hanya dapat diterapkan di tingkat organisasi)
  • bigquery.jobs.listAll (dapat diterapkan di tingkat organisasi atau project)

Setiap peran IAM yang telah ditetapkan berikut mencakup izin yang Anda perlukan untuk menggunakan estimator slot:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer

Untuk melihat rekomendasi slot komitmen, Anda juga memerlukan izin yang dijelaskan dalam Lihat rekomendasi slot edisi.

Untuk mengetahui informasi lebih lanjut tentang peran IAM di BigQuery, lihat Peran dan izin yang telah ditetapkan.

Lihat kapasitas dan penggunaan slot

Untuk melihat kapasitas dan penggunaan slot dari waktu ke waktu, buka estimator slot:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Pilih project administrasi Anda.

    1. Klik menu drop-down Select from di bagian atas halaman.
    2. Di Select from window yang muncul, pilih project Anda.

  3. Di panel navigasi, buka bagian Capacity management.

  4. Klik tab Slot estimator.

Diagram pemanfaatan menampilkan kapasitas dan penggunaan slot selama 30 hari terakhir, dihitung menggunakan perincian per jam.

Tab Usage and utilization by percentage menampilkan pemakaian slot sebagai persentase penggunaan slot berdasarkan slot maksimum.

Persentase penggunaan

Tab Usage and utilization by capacity menampilkan slot dan penggunaan maksimum sebagai nilai absolut.

Penggunaan dan kapasitas

Anda dapat memilih edisi atau opsi on demand dari drop-down Source untuk melihat statistik berbagai cakupan. Memilih edisi akan mengisi drop-down Reservation dengan pemesanan yang relevan.

Untuk opsi on demand, Anda dapat memilih project satu per satu atau seluruh organisasi dari drop-down Recommendations for jika Anda memiliki izin tingkat organisasi. Halaman Slot Assessment hanya menampilkan informasi level project jika Anda hanya memiliki izin level project.

Opsi on-demand estimator slot

Statistik untuk tab Penggunaan dan penggunaan menurut kapasitas dapat sedikit berbeda bergantung pada cakupan yang berbeda:

  • Untuk sumber edisi, laporan ini menunjukkan slot maksimum yang tersedia untuk seluruh edisi, slot komitmen, jumlah slot dasar pengukuran, penggunaan slot rata-rata, penggunaan slot P99, dan penggunaan slot P50.
  • Untuk reservasi tertentu, daftar ini menunjukkan slot reservasi maksimum, slot dasar pengukuran, penggunaan slot rata-rata, penggunaan slot P99, dan penggunaan slot P50.
  • Untuk sumber on-demand, ini menunjukkan penggunaan slot rata-rata, penggunaan slot P99, dan penggunaan slot P50.

Performa slot model

Saat pemesanan dipilih, Anda dapat menggunakan estimator slot untuk melihat data performa tugas dan membuat model efek dari perubahan jumlah slot maksimum. Dengan estimator slot, Anda dapat membuat model perubahan performa pada berbagai tingkat kapasitas, mulai dari 80% hingga 150% dari slot maksimum saat ini. Opsi pengurangan tidak boleh kurang dari 80% slot maksimum minimum dalam jangka waktu tersebut.

Model ini mengasumsikan pemutaran ulang pola penggunaan 30 hari sebelumnya, dengan semuanya tetap sama kecuali untuk perubahan slot.

Perkiraan peningkatan performa didasarkan pada beberapa faktor. Faktor yang paling penting adalah jumlah slot dalam model, dan proporsi tugas di setiap bucket persentil yang berjalan selama periode puncak dibandingkan periode reguler. Periode puncak didefinisikan sebagai durasi saat hampir semua slot digunakan. Tugas yang berjalan selama waktu-waktu ini paling terpengaruh oleh pertentangan slot, sehingga melihat peningkatan performa terbesar dari slot tambahan. Akibatnya, bucket tugas yang berbeda dapat melihat efek yang berbeda dari peningkatan kapasitas yang sama, bergantung pada waktu tugas tersebut dijalankan.

Untuk membuat model performa slot, lakukan langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Pilih project administrasi Anda.

    1. Klik menu drop-down Select from di bagian atas halaman.
    2. Di Select from window yang muncul, pilih project Anda.

  3. Di panel navigasi, buka bagian Capacity management.

  4. Klik tab Slot estimator.

  5. Di drop-down Reservation, pilih pemesanan tertentu. Model ini mencakup jumlah slot tidak ada aktivitas yang dapat dipinjam oleh pemesanan pada waktu tertentu.

  6. Di menu drop-down Model with additional slots on max slots, pilih satu atau beberapa nilai slot yang akan dimodelkan, lalu klik OK.

Tabel pada Changes in job performance with additional slots menampilkan data performa tugas dari 30 hari terakhir, bersama dengan perkiraan perubahan performa dari peningkatan atau penurunan slot maksimum. Data ini dikelompokkan ke dalam persentase berdasarkan durasi tugas untuk semua tugas yang berjalan dalam jangka waktu yang dipilih. Kolom yang ditandai dengan ikon bola lampu sesuai dengan rekomendasi peningkatan performa untuk reservasi yang dipilih.

Pemodelan Slot

Data performa diuraikan menurut persentil. Tabel ini membagi data menjadi maksimal 12 bucket: P10 hingga P90, ditambah P95, P99, dan P100. Bucket P100 mewakili 1% tugas teratas yang membutuhkan waktu paling lama untuk dijalankan; P99 mencakup 96% hingga 99% teratas; P95 mencakup 91% hingga 95% teratas; P90 mencakup 81% hingga 90%; dan sebagainya. Bergantung pada datanya, tabel dapat mengelompokkan data ke dalam lebih sedikit bucket. Dalam hal ini, tabel berisi lebih sedikit baris.

Untuk setiap bucket persentil, tabel menampilkan informasi berikut:

  • Persentil durasi tugas: Bucket persentil untuk baris ini.
  • Durasi tugas rata-rata: Waktu rata-rata yang diperlukan untuk menjalankan tugas dalam bucket persentil tersebut.
  • Jumlah tugas: Jumlah tugas dalam bucket persentil tersebut.
  • Untuk setiap model, estimasi durasi rata-rata untuk tugas dalam persentil tersebut.

Tabel ini juga mencantumkan estimasi statistik "perubahan 30 hari" untuk setiap model. Nilai ini adalah estimasi perubahan total jam yang dihabiskan untuk memproses tugas dalam histori 30 hari pada kapasitas slot yang berbeda.

Memahami hasil pemodelan dengan penggunaan slot

Untuk pemesanan kapasitas tetap, jika berbagi slot tidak ada aktivitas diaktifkan, tugas di pemesanan tersebut dapat meminjam slot tidak ada aktivitas dari pemesanan lain. Akibatnya, utilisasi dapat melebihi 100% dari slot yang dialokasikan. Jika pemesanan secara konsisten meminjam slot tidak ada aktivitas dari pemesanan lain, hal ini mungkin merupakan sinyal untuk meningkatkan ukuran pemesanan. Di sisi lain, jika pemesanan jarang menggunakan kapasitas penuhnya, pemesanan tersebut mungkin terlalu besar.

Pemesanan yang memanfaatkan penskalaan otomatis akan menggunakan dan menambahkan slot dengan prioritas sebagai berikut:

  1. Slot dasar pengukuran.
  2. Berbagi slot tidak ada aktivitas (jika diaktifkan).
  3. Slot penskalaan otomatis.

Jika pemesanan penskalaan otomatis terus memaksimalkan slot penskalaan otomatis, hal ini mungkin merupakan sinyal untuk meningkatkan slot pemesanan maksimum. Untuk informasi tentang cara melihat penggunaan slot, lihat Melihat diagram resource administratif.

Harga

Anda dapat menggunakan estimator slot tanpa biaya.