Memantau kesehatan, pemanfaatan resource, dan tugas

Sebagai administrator BigQuery, Anda dapat menggunakan diagram resource untuk memantau kondisi, penggunaan slot, dan performa tugas organisasi dari waktu ke waktu. Diagram berikut tersedia:

  • Memantau kondisi operasional BigQuery. Pemantauan kondisi operasional real-time BigQuery adalah sistem pemantauan terpusat yang memungkinkan Anda mengamati penggunaan BigQuery di seluruh organisasi di beberapa lokasi.

  • Lihat penggunaan resource administratif. Kasus penggunaan utama untuk diagram resource administratif mencakup analisis penyebab utama untuk perencanaan kapasitas berdasarkan penggunaan resource historis dan mendiagnosis perubahan performa.

Untuk melihat dasbor kesehatan operasional, Anda harus memiliki minimal satu reservasi yang Anda akses dengan project administrasi. Diagram Resource tersedia untuk semua pengguna dengan izin yang tepat.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna melihat semua data dalam diagram resource administratif, minta administrator untuk memberi Anda peran IAM berikut di organisasi Anda:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk melihat semua data dalam diagram resource administratif. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk melihat semua data dalam chart resource administratif:

  • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll di organisasi
  • bigquery.reservationAssignments.list di project administrasi pemesanan
  • bigquery.capacityCommitments.list di project administrasi pemesanan
  • Untuk melihat data ringkasan kesehatan operasional: bigquery.tables.get or bigquery.tables.list di organisasi
  • Untuk melihat sebagian data di level pemesanan:
    • bigquery.reservations.list di project administrasi pemesanan
    • bigquery.reservationAssignments.list di project administrasi pemesanan
  • Untuk melihat data di tingkat project: bigquery.jobs.listAll di project

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Memantau kondisi operasional di seluruh organisasi

Dasbor kesehatan operasional menampilkan metrik utama untuk organisasi Anda dan reservasinya di semua lokasi tempat Anda memiliki reservasi. Anda dapat menggunakan dasbor ini untuk memantau metrik berikut:

  • Penggunaan slot
  • Penggunaan acak
  • Konkurensi tugas
  • Error
  • Durasi tugas
  • Byte yang diproses
  • Total penyimpanan

Untuk memantau kondisi operasional, ikuti langkah-langkah berikut:

  1. Buka halaman BigQuery.

    Buka BigQuery

  2. Di menu project, pilih project administrasi yang Anda gunakan untuk membeli slot dan membuat reservasi.

  3. Di panel navigasi, pilih Administrasi > Monitoring. Secara default, diagram kondisi operasional menampilkan metrik ringkasan untuk semua lokasi dan semua reservasi.

  4. Untuk melihat data yang lebih sering diperbarui, Anda dapat mengaktifkan Data langsung. Jika Data langsung diaktifkan, data akan otomatis diperbarui setiap lima menit. Jika Data live dinonaktifkan, keusangan data maksimumnya adalah sekitar satu jam. Waktu pembaruan terakhir untuk data ditampilkan.

Untuk melihat tampilan mendetail, pilih nilai yang ingin Anda lihat diagram linimasa mendetailnya:

  1. Di daftar Pilih lokasi, pilih wilayah tertentu.
  2. Dalam daftar Select reservation, pilih reservasi.
  3. Dalam daftar Select project, pilih project.
  4. Di daftar Rentang waktu, pilih rentang waktu.
  5. Untuk mendapatkan informasi selengkapnya dari salah satu diagram metrik utama, klik Jelajahi selengkapnya. Untuk mendapatkan informasi selengkapnya di Penjelajah lowongan, klik Jelajahi lebih lanjut dari diagram Kueri aktif teratas dan tabel Insight.

BigQuery akan memberikan informasi ini dengan membuat kueri tampilan INFORMATION_SCHEMA berikut:

Dilihat

Tab Kesehatan operasional menampilkan tampilan berikut:

Tampilan ringkasan

Tampilan ringkasan memberikan tampilan status subsistem, termasuk reservasi dan region dalam 30 menit terakhir untuk organisasi Anda.

Tampilan ringkasan administratif BigQuery.

Untuk melihat tampilan ringkasan, lakukan tindakan berikut:

  • Pada diagram Operational Health, di daftar Select location, pilih All locations.

Tampilan mendetail

Tampilan mendetail menampilkan diagram linimasa mendetail dari berbagai metrik di lokasi atau tingkat reservasi.

Ringkasan tampilan mendetail administratif BigQuery.

Untuk melihat tampilan mendetail, lakukan langkah berikut:

  • Pada diagram Kondisi Operasional, di daftar Pilih lokasi, pilih wilayah atau edisi.

Anda dapat menyaring lebih lanjut data yang ditampilkan dalam tampilan mendetail menggunakan filter opsional berikut:

  • Dalam daftar Select reservation, pilih nama reservasi.
  • Dalam daftar Select project, pilih project.

Diagram

Tab Kesehatan operasional menampilkan opsi konfigurasi diagram berikut:

Tabel ringkasan

Tabel ringkasan menampilkan metrik berikut:

  • Penggunaan slot. Penggunaan slot rata-rata. Total kapasitas slot sama dengan kapasitas dasar pengukuran dan kapasitas maksimum yang diskalakan otomatis.
  • Penggunaan acak. Maksimum dari semua rasio penggunaan pengurutan ulang pemesanan rata-rata.
  • Konkurensi. Jumlah maksimum tugas yang berjalan secara bersamaan.
  • Byte yang diproses. Total byte yang diproses oleh tugas yang diselesaikan.
  • Durasi tugas. Waktu berjalan rata-rata tugas yang diselesaikan, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.
  • Total penyimpanan. Total byte logis aktif pada waktu terakhir diperbarui.

Ada dua tabel ringkasan yang ditampilkan dalam tampilan menurut lokasi atau reservasi. Setiap baris tabel mewakili satu lokasi atau satu penggunaan reservasi.

Tabel menampilkan metrik selama 30 menit sebelum pembaruan terakhir. Jika Data live diaktifkan, data akan otomatis diperbarui setiap lima menit. Jika Data live dinonaktifkan, keusangan data maksimumnya adalah sekitar satu jam.

Sel tabel diberi kode warna jika metrik lebih tinggi dari nilai minimum. Semua nilai minimum telah ditetapkan dan tidak dapat disesuaikan. Kode warna diterapkan saat ada peningkatan jumlah insight performa untuk tugas berulang dan lebih tinggi dari nilai metrik normal. Jika nilai metrik selama 30 menit sebelum update terakhir lebih besar dari nilai P99 penggunaan minggu lalu untuk hari yang sama, sel tabel akan ditandai dengan latar belakang biru tua. Jika nilai metrik selama 30 menit berada di antara nilai P95 - P99 penggunaan minggu lalu untuk hari yang sama, sel tabel akan ditandai dengan latar belakang biru muda.

Tabel ringkasan administratif BigQuery.

Data filter

Anda dapat memfilter data dalam diagram berdasarkan nilai berikut:

Data filter administratif BigQuery.

  • Lokasi. Wilayah tempat organisasi memiliki aktivitas dalam 30 hari terakhir tersedia. Tampilan ringkasan menampilkan tabel ringkasan per wilayah untuk melacak penggunaan di semua wilayah aktif.
  • Reservasi. Kolom ini hanya tersedia untuk tampilan mendetail. Semua pemesanan yang dimiliki oleh project administratif yang dilihat tersedia. Anda hanya dapat memilih satu reservasi.
  • Project. Kolom ini hanya tersedia untuk tampilan mendetail. Semua project yang memiliki traffic di organisasi tersedia. Anda hanya dapat memilih satu project.
  • Rentang waktu. Kolom ini hanya tersedia untuk tampilan mendetail. Hal ini memengaruhi Diagram linimasa metrik dan Diagram donat error dalam tampilan mendetail. Skala data di Diagram linimasa metrik disesuaikan secara otomatis sesuai dengan rentang waktu yang dipilih.

Diagram kueri aktif teratas

Diagram ini menunjukkan sepuluh tugas teratas dengan resource aktif yang diurutkan dalam urutan menurun. Dengan menggunakan menu drop-down, Anda dapat memilih opsi pengurutan berdasarkan penggunaan slot atau durasi tugas. ID tugas dan jumlah penggunaan resource yang relevan ditampilkan dalam diagram batang. Pilih Jelajahi lebih lanjut atau ID tugas di diagram kueri aktif teratas untuk melihat detail selengkapnya di Penjelajah tugas. Untuk mempelajari lebih lanjut detail eksekusi dan mendiagnosis masalah performa untuk tugas BigQuery Anda, lihat grafik eksekusi kueri.

Panel daftar tugas teratas administratif BigQuery.

Diagram donat error

Diagram ini menunjukkan proporsi penyebab utama kegagalan dalam jangka waktu yang dipilih. Di tampilan ringkasan, default-nya adalah mencakup 30 menit terakhir. Dalam tampilan mendetail, pemilih rentang waktu mengontrol cakupannya. Anda dapat mengelompokkan error menurut jenis, project pemilik, atau pemesanan. Jumlah tugas yang gagal ditampilkan dalam diagram donat.

Diagram donat error BigQuery.

Diagram linimasa metrik

Diagram ini menampilkan ringkasan metrik yang didukung selama maksimum 30 hari. Periode waktu default adalah satu jam. Saat jangka waktu yang dipilih berubah, granularitas setiap titik data dalam diagram akan diskalakan secara otomatis.

Diagram ini menampilkan nilai gabungan di seluruh wilayah atau reservasi. Menampilkan data untuk beberapa region atau beberapa reservasi tidak didukung.

Diagram linimasa metrik BigQuery.

Diagram linimasa Metrik mendukung metrik berikut:

  • Penggunaan slot. Penggunaan slot rata-rata dalam jangka waktu yang dipilih. Tampilan ini menampilkan penggunaan slot secara keseluruhan dari semua tugas dan tugas yang gagal secara terpisah.
  • Konkurensi tugas. Jumlah maksimum tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih. Panel ini menampilkan jumlah tugas yang berjalan dan tugas yang tertunda secara terpisah dan ditampilkan sebagai diagram batang bertumpuk.
  • Byte yang dipindai. Total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih.
  • Acak. Maksimum dari semua rasio penggunaan shuffle rata-rata reservasi dalam jangka waktu yang dipilih.
  • Durasi tugas. Waktu berjalan rata-rata tugas yang diselesaikan dalam jangka waktu yang dipilih, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.
  • Error menurut jenis. Diagram donat error menunjukkan proporsi berbagai penyebab kegagalan dalam jangka waktu yang dipilih.

Selain tren metrik, diagram ini menampilkan garis referensi nilai metrik P95 dan P99 dari penggunaan minggu lalu untuk hari yang sama. Untuk diagram Konkurensi tugas, diagram ini menampilkan nilai minimum untuk jumlah tugas yang tertunda dan berjalan. Nilai yang dirujuk tersebut digunakan sebagai nilai minimum pemberian kode warna di tabel ringkasan.

Untuk mempelajari diagram lebih lanjut, klik Jelajahi lebih lanjut. Anda akan dialihkan ke tab Resource Utilization.

Tabel insight

Tabel ini menggabungkan error kuota, error akses ditolak, dan insight performa yang dikumpulkan selama eksekusi tugas dalam jangka waktu yang dipilih. Insight digabungkan di tingkat reservasi. Setiap baris memberikan informasi tentang jenis insight, lokasi, reservasi, detail insight, dan contoh ID tugas. Klik ID tugas untuk melihat detail tugas lainnya di Penjelajah tugas. Di tampilan ringkasan, jangka waktu pengamatan default mencakup 30 menit terakhir. Dalam tampilan mendetail, pemilih rentang waktu mengontrol periode waktu tertentu yang data pengamatannya ditampilkan.

Tabel insight BigQuery.

Memantau kondisi operasional untuk satu project

Dasbor kondisi operasional project adalah tampilan default yang Anda dapatkan jika tidak memiliki akses ke seluruh organisasi, atau project Anda tidak memiliki reservasi apa pun. Tampilan ini dapat membantu analis project memantau kondisi sistem untuk project mereka, seperti dasbor kondisi operasional di tingkat organisasi, tetapi hanya menampilkan data tingkat project dalam diagram dan filternya.

Melihat pemanfaatan resource

Data dalam diagram resource administratif didasarkan pada tampilan INFORMATION_SCHEMA.JOBS dan tampilan INFORMATION_SCHEMA.JOBS_TIMELINE, yang diperbarui secara real time, yaitu maksimum 30 hari.

Anda dapat melihat pemanfaatan resource BigQuery menggunakan chart resource administratif. Chart resource ini memiliki tiga komponen interaktif utama berikut:

  • Chart linimasa peristiwa menampilkan ringkasan data selama maksimum 30 hari. Defaultnya adalah 1 hari.

  • Diagram utama menampilkan metrik yang dipilih–penggunaan slot, konkurensi tugas, performa tugas, error, atau byte yang diproses–seiring waktu untuk organisasi atau project administratif pemesanan. Chart ini mencakup legenda tabel yang terkait dengan data dalam chart, yang menampilkan statistik yang lebih mendetail yang digabungkan selama jangka waktu tertentu.

  • Panel samping untuk memilih berbagai chart, perincian, dan opsi filter.

Diagram berikut berisi ringkasan berbagai opsi chart administratif di BigQuery:

Ringkasan chart resource administratif BigQuery.

Sebelum memulai

  1. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

    Anda dapat membuat project admin pemesanan project Google Cloud yang terpisah untuk mengelola pemesanan dengan memberinya nama deskriptif seperti bq-COMPANY_NAME-admin.
  2. Make sure that billing is enabled for your Google Cloud project.

  3. Aktifkan BigQuery Reservation API.

    Mengaktifkan API

    Untuk informasi selengkapnya, lihat Mengaktifkan BigQuery Reservation API.

  4. Di konsol Google Cloud, lihat kuota slot Anda:

    Lihat kuota slot

    Untuk membeli slot, Anda harus memiliki kuota slot yang cukup untuk region tempat Anda ingin membeli slot.

    Jika kuota slot untuk region kurang dari jumlah slot yang ingin Anda beli, lihat Meminta penambahan kuota.

Melihat chart resource administratif

Secara default, Anda memiliki akses ke diagram resource administratif Edisi saat membuka dari project administratif reservasi. Anda dapat beralih antara diagram resource administratif on demand dan diagram resource administratif Edisi dari project administratif pemesanan (Pratinjau).

Untuk melihat chart resource administratif, ikuti langkah-langkah berikut:

  1. Buka halaman BigQuery.

    Buka BigQuery

  2. Di menu project, pilih project administratif yang Anda gunakan untuk membeli slot dan membuat reservasi.

  3. Di panel navigasi, pilih Administrasi > Monitoring.

  4. Di bagian Opsi diagram > Cakupan, Anda dapat memilih model Penagihan dari daftar, yang mencakup tiga jenis Edisi dan on-demand. Secara default, model penagihan ditetapkan ke edisi Enterprise.

  5. Di bagian Opsi chart > Konfigurasi Chart, lakukan tindakan berikut:

    1. Dari daftar Chart, pilih jenis chart. Untuk informasi tentang berbagai opsi chart, lihat Opsi chart.
    2. Dari daftar Metrik, pilih jenis metrik yang tersedia.
    3. Dari daftar Kelompokan menurut, pilih dimensi yang ingin Anda gunakan untuk mengelompokkan data dalam chart. Untuk informasi tentang berbagai dimensi, lihat Mengelompokkan menurut opsi.
    4. Dari daftar Filter, pilih opsi filter yang tersedia. Untuk mengetahui informasi tentang berbagai filter, lihat Filter dan penelusuran.
    5. Tetapkan jangka waktu yang ingin Anda gunakan untuk melihat data dalam chart.

Konfigurasi chart

Anda dapat menyesuaikan tampilan chart resource administratif dengan mengubah opsi konfigurasi chart berikut:

Opsi chart

BigQuery menyediakan jenis metrik berikut untuk ditampilkan dalam chart:

  • Penggunaan Slot. Penggunaan slot rata-rata. Jika opsi Kelompokkan menurut ditetapkan ke Secara keseluruhan, atau jika Filter adalah Tidak ada atau satu reservasi, metrik kapasitas dan penggunaan slot yang dipinjam juga akan ditampilkan.

    • Total Penggunaan. Penggunaan slot rata-rata dalam jangka waktu yang dipilih.
    • Penggunaan Slot yang Dipinjam. Penggunaan rata-rata melebihi kapasitas reservasi. Hal ini biasanya berupa slot tidak ada aktivitas yang dipinjam dari reservasi dan komitmen lain, atau ketidakakuratan pembulatan dalam data penggunaan.
    • Kapasitas Komitmen. Ukuran komitmen edisi.
    • Kapasitas Dasar Pengukuran. Ukuran dasar pengukuran reservasi.
    • Kapasitas Penskalaan Otomatis. Ukuran slot yang diskalakan otomatis.
    • Kapasitas Maksimum. Jumlah maksimum slot yang dapat diakses pengguna.
  • Konkurensi Tugas. Jumlah maksimum tugas yang berjalan bersamaan dalam jangka waktu yang dipilih.

  • Performa Tugas. Waktu berjalannya tugas rata-rata untuk tugas yang diselesaikan, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.

  • Tugas yang Gagal. Rata-rata penggunaan slot dalam jangka waktu yang dipilih dari tugas yang gagal.

  • Byte yang Diproses. Total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih.

  • Penggunaan Shuffle. Rasio penggunaan shuffle rata-rata dalam jangka waktu yang dipilih (pratinjau).

Komponen tabel

Tabel ini menampilkan metrik yang relevan dengan jangka waktu dan dimensi yang Anda pilih di diagram resource administratif.

Diagram Penggunaan Slot menampilkan Rata-rata penggunaan slot untuk semua tugas yang berjalan selama jangka waktu yang dipilih. Tugas yang tidak selesai dalam jangka waktu yang dipilih hanya mencakup slot yang digunakan dalam jangka waktu tersebut.

Untuk chart Performa Tugas, komponen tabel akan menampilkan metrik berikut:

  • Jumlah tugas. Jumlah tugas yang telah selesai dan berjalan atau dijalankan sebagian dalam jangka waktu yang dipilih.

  • Durasi tugas rata-rata. Durasi tugas rata-rata untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih.

  • Durasi tugas median. Durasi tugas median untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih.

  • Durasi tugas minimum. Durasi tugas minimum untuk tugas yang telah selesai, yang setidaknya dijalankan sebagian dalam jangka waktu yang dipilih. Kolom ini disembunyikan secara default, tetapi Anda dapat mengaktifkannya di Opsi tampilan kolom.

  • Durasi tugas maksimum. Durasi tugas maksimum untuk tugas yang telah selesai, yang setidaknya dijalankan sebagian dalam jangka waktu yang dipilih. Kolom ini disembunyikan secara default, tetapi Anda dapat mengaktifkannya di Opsi tampilan kolom.

Untuk chart Tugas yang Gagal, komponen tabel menampilkan data berikut:

  • Penggunaan slot rata-rata. Sama seperti chart Penggunaan Slot, tetapi hanya untuk tugas yang gagal.

  • Total tugas yang gagal. Jumlah tugas yang gagal dalam jangka waktu yang dipilih.

Mengelompokkan menurut opsi

Berdasarkan jenis chart, Anda dapat mengelompokkan data dalam tampilan chart menurut beberapa dimensi:

  • Keseluruhan. Tampilan keseluruhan merupakan ringkasan level tinggi metrik yang dipilih dari waktu ke waktu di seluruh organisasi. Untuk penggunaan, kapasitas, dan penggunaan slot ditampilkan pada chart yang sama untuk memberikan gambaran penggunaan slot secara keseluruhan dari waktu ke waktu.

  • Project. Tampilan project menampilkan metrik yang dipilih dan dikelompokkan menurut project. Jika organisasi memiliki lebih dari 10 project, maka hanya 10 project teratas dengan penggunaan slot tertinggi, konkurensi tugas, durasi tugas, atau tugas yang gagal dalam jangka waktu yang dipilih yang akan ditampilkan. Untuk penggunaan slot, semua project lainnya dikelompokkan ke dalam kategori Lainnya di bagian bawah chart untuk perbandingan yang lebih mudah dengan kapasitas keseluruhan.

  • Semua tampilan kelompokkan menurut lainnya serupa dengan tampilan project, dengan data yang dikelompokkan menurut dimensi masing-masing.

Opsi jangka waktu

Anda dapat mengubah jangka waktu dengan cara berikut:

  • Pilih dan tarik jangka waktu ke diagram linimasa peristiwa.

  • Pilih dan tarik jangka waktu ke chart utama.

Periode penyelarasan diupdate secara otomatis saat jangka waktu yang dipilih berubah. Makin kecil periode penyelarasan, makin mendetail tampilan. Agar dapat melihat resource yang sering berubah dengan lebih baik, misalnya opsi Penggunaan Slot, kurangi periode penyelarasan.

Untuk mempersempit data chart, terapkan filter di panel filter. Beberapa filter hanya tersedia untuk chart tertentu. Filter Pemesanan, Folder, Project, dan Pengguna akan diisi dengan resource masing-masing yang telah menggunakan slot dalam jangka waktu yang dipilih. Misalnya, jika sebuah project tidak digunakan dalam 30 hari terakhir, project tersebut tidak akan muncul di daftar filter project.

Chart akan diperbarui setelah Anda menerapkan filter untuk menampilkan data dalam parameter yang dipilih.

Melihat data diagram administratif tingkat project

Anda dapat menyesuaikan cakupan di Opsi diagram untuk membuat ringkasan diagram administratif di tingkat project. Tampilan ini dapat membantu analis project memantau penggunaan resource untuk project yang dimiliki, mirip dengan diagram administratif di tingkat organisasi, dengan pengecualian beberapa opsi diagram dan grup menurut opsi yang tidak berlaku. Tampilan ini menunjukkan penggunaan resource secara keseluruhan, terlepas dari mode penagihan dalam project kontekstual.

Ringkasan diagram resource administratif level project BigQuery.

Saat Anda membuka diagram administratif dari project non-admin dengan izin tingkat organisasi, diagram administratif akan beralih ke tingkat project secara default. Anda dapat beralih kembali ke tampilan yang benar menggunakan drop-down Cakupan di Opsi diagram.

Penagihan

Diagram resource administratif tersedia tanpa biaya tambahan. Kueri yang digunakan untuk mengisi chart ini tidak ditagih dan tidak menggunakan slot di pemesanan milik pengguna. Waktu kueri yang memproses terlalu banyak data akan habis.

Langkah berikutnya