Memantau kesehatan, pemanfaatan sumber daya, dan pekerjaan
Sebagai administrator BigQuery, Anda dapat menggunakan diagram resource administratif untuk memantau kondisi organisasi, penggunaan slot, dan performa tugas BigQuery dari waktu ke waktu.
Memantau kondisi real-time BigQuery (pratinjau). Pemantauan kondisi operasional BigQuery adalah sistem pemantauan terpusat yang memungkinkan Anda mengamati penggunaan BigQuery di seluruh organisasi dan di beberapa lokasi.
Lihat penggunaan resource administratif. Kasus penggunaan utama untuk diagram resource administratif mencakup analisis akar masalah untuk perencanaan kapasitas berdasarkan penggunaan resource historis dan mendiagnosis perubahan performa.
Melihat penjelajah tugas administratif (pratinjau). Anda dapat memfilter tugas, melihat detail eksekusi, dan mendapatkan insight untuk kueri Anda.
Untuk melihat dasbor kondisi operasional, Anda harus memiliki setidaknya satu reservasi yang diakses dengan project administrasi. Diagram Resource dan Jobs Explorer tersedia untuk semua pengguna dengan izin yang tepat.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk melihat semua data di diagram resource administratif, minta administrator Anda untuk memberi Anda peran IAM berikut di organisasi Anda:
-
BigQuery Resource Viewer (
roles/bigquery.resourceViewer
) -
BigQuery Metadata Viewer (
roles/bigquery.metadataViewer
)
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.
Peran bawaan ini berisi izin yang diperlukan untuk melihat semua data dalam diagram resource administratif. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk melihat semua data dalam chart resource administratif:
-
bigquery.jobs.listExecutionMetadata
di organisasi -
bigquery.jobs.listAll
di organisasi -
bigquery.reservationAssignments.list
di project administrasi reservasi -
bigquery.capacityCommitments.list
di project administrasi reservasi -
Untuk melihat data ringkasan untuk kondisi operasional:
bigquery.tables.get or bigquery.tables.list
di organisasi -
Untuk melihat sebagian data di level pemesanan:
-
bigquery.reservations.list
di project administrasi reservasi -
bigquery.reservationAssignments.list
di project administrasi reservasi
-
-
Untuk melihat data kapasitas reservasi pada diagram resource administratif:
bigquery.capacityCommitments.list
di project administrasi reservasi -
Untuk melihat data di level project:
bigquery.jobs.listAll
di project
Anda mung juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaanlainnya.
Memantau kondisi operasional di seluruh organisasi
Untuk meminta masukan atau dukungan terkait fitur ini, kirim email ke bq-operational-health+feedback@google.com.
Dasbor kondisi operasional menampilkan metrik utama untuk organisasi Anda dan reservasinya di semua lokasi tempat Anda memiliki reservasi. Anda dapat menggunakan dasbor ini untuk memantau metrik termasuk hal berikut:
- Penggunaan slot
- Acak penggunaan
- Konkurensi tugas
- Error
- Durasi tugas
- Byte yang diproses
- Total penyimpanan
BigQuery menyediakan informasi ini dengan membuat kueri untuk tampilan INFORMATION_SCHEMA
berikut:
INFORMATION_SCHEMA.JOBS
INFORMATION_SCHEMA.RESERVATIONS
INFORMATION_SCHEMA.TABLE_STORAGE_BY_ORGANIZATION
Untuk memantau kondisi operasional, ikuti langkah-langkah berikut:
Buka halaman BigQuery.
Di menu project, pilih project administrasi yang Anda gunakan untuk membeli slot dan membuat reservasi.
Di panel navigasi, pilih Administrasi > Monitoring. Secara default, diagram kondisi operasional menampilkan metrik ringkasan untuk semua lokasi dan semua reservasi.
Untuk melihat data yang lebih sering diperbarui, Anda dapat mengaktifkan/menonaktifkan Data langsung. Jika Data langsung diaktifkan, data akan otomatis diperbarui setiap lima menit. Jika Data langsung dinonaktifkan, masa berlaku data maksimum adalah sekitar satu jam. Waktu pembaruan data terakhir ditampilkan.
Untuk menampilkan tampilan detail, pilih nilai yang ingin Anda lihat diagram linimasanya secara mendetail:
- Di daftar Pilih lokasi, pilih wilayah tertentu.
- Pada daftar Pilih reservasi, pilih reservasi.
- Dalam daftar Rentang waktu, pilih rentang waktu.
- Untuk mendapatkan informasi selengkapnya dari salah satu diagram metrik utama, klik Jelajahi lainnya. Untuk mendapatkan informasi selengkapnya di diagram Job Explorer, klik Explore more dari diagram kueri aktif teratas.
Dilihat
Tab Kondisi operasional menampilkan tampilan berikut:
Tampilan ringkasan
Tampilan ringkasan memberikan tampilan kondisi subsistem, termasuk reservasi dan region dalam 30 menit terakhir untuk organisasi Anda.
Untuk melihat tampilan ringkasan, lakukan hal berikut:
- Pada diagram Operational Health, pada daftar Select location, pilih All locations.
Tampilan mendetail
Tampilan mendetail menunjukkan diagram linimasa yang mendetail dari berbagai metrik di tingkat lokasi atau reservasi.
Untuk melihat tampilan mendetail, lakukan hal berikut:
- Pada diagram Operational Health, pilih nama reservasi dalam daftar Select location, atau pada daftar Select reservation.
Diagram
Tab Kondisi operasional menampilkan opsi konfigurasi diagram berikut:
- Tabel ringkasan (hanya dari tampilan Ringkasan)
- Memfilter dan menelusuri data
- Diagram linimasa metrik (hanya dari Tampilan mendetail)
- Diagram donat error
- Diagram batang daftar tugas teratas
Tabel ringkasan
Tabel ringkasan menampilkan metrik berikut:
- Penggunaan slot. Pemakaian slot rata-rata. Total kapasitas slot sama dengan kapasitas dasar pengukuran dan kapasitas maksimum penskalaan otomatis.
- Mengacak penggunaan. Maksimum semua rata-rata rasio penggunaan acak reservasi.
- Serentak. Jumlah maksimum tugas yang berjalan secara bersamaan.
- Byte diproses. Total byte yang diproses oleh tugas yang diselesaikan.
- Durasi tugas. Waktu proses rata-rata tugas yang diselesaikan, yang dihitung dari saat tugas dibuat hingga tugas berakhir.
- Total penyimpanan. Total byte logis aktif pada waktu terakhir diperbarui.
Ada dua tabel ringkasan yang disajikan dalam tampilan berdasarkan lokasi atau reservasi. Setiap baris tabel mewakili satu lokasi atau satu penggunaan reservasi.
Tabel menampilkan metrik selama 30 menit sebelum pembaruan terakhir. Jika Data langsung diaktifkan, data akan otomatis diperbarui setiap lima menit. Jika Data langsung dinonaktifkan, masa berlaku data maksimum adalah sekitar satu jam.
Sel tabel diberi kode warna jika metrik lebih tinggi dari nilai minimum. Semua nilai minimum telah ditetapkan sebelumnya dan tidak dapat disesuaikan. Jika nilai metrik selama 30 menit terakhir lebih besar dari nilai P99 penggunaan hari sebelumnya, sel tabel akan ditandai dengan latar belakang biru tua. Jika nilai metrik selama 30 menit sebelum pembaruan terakhir berada di antara nilai P95 - P99 dari penggunaan hari sebelumnya, sel tabel akan ditandai dengan latar belakang berwarna biru muda.
Data filter
Anda dapat memfilter data dalam diagram berdasarkan nilai berikut:
- Lokasi. Region tempat organisasi memiliki aktivitas dalam 30 hari terakhir akan tersedia. Tampilan ringkasan menyajikan tabel ringkasan berdasarkan region untuk melacak penggunaan di semua region aktif.
- Reservasi. Kolom ini dapat dipilih setelah Anda memilih wilayah. Semua reservasi yang dimiliki oleh project administratif yang dilihat tersedia. Anda hanya dapat memilih satu reservasi.
- Rentang waktu. Kolom ini hanya tersedia untuk tampilan mendetail. Diagram ini memengaruhi Diagram linimasa Metrik dan Diagram donat error dalam tampilan mendetail. Skala data dalam Diagram linimasa Metrics disesuaikan secara otomatis sesuai dengan rentang waktu yang dipilih.
Diagram kueri aktif teratas
Diagram ini menunjukkan sepuluh tugas teratas dengan resource aktif yang diurutkan dalam urutan menurun. Dengan menggunakan menu drop-down, Anda dapat memilih opsi pengurutan berdasarkan penggunaan slot atau durasi tugas. ID tugas dan nomor penggunaan resource yang relevan ditampilkan di diagram batang. Pilih Jelajahi lainnya di diagram kueri aktif teratas untuk melihat Jobs explorer. Untuk mempelajari lebih lanjut detail eksekusi dan mendiagnosis masalah performa untuk tugas BigQuery Anda, lihat grafik eksekusi kueri.
Diagram donat error
Diagram ini menunjukkan proporsi penyebab utama kegagalan dalam jangka waktu yang dipilih. Pada tampilan ringkasan, setelan defaultnya mencakup 30 menit terakhir. Pada tampilan mendetail, pemilih rentang waktu mengontrol cakupannya. Anda dapat mengelompokkan error berdasarkan jenis, project pemilik, atau reservasi. Jumlah tugas yang gagal ditampilkan di diagram donat.
Diagram linimasa metrik
Diagram ini menampilkan ringkasan metrik yang didukung selama maksimum 30 hari. Jangka waktu default adalah satu jam. Saat jangka waktu yang dipilih berubah, perincian setiap titik data dalam diagram akan diskalakan secara otomatis.
Diagram ini menampilkan nilai gabungan pada suatu wilayah atau reservasi. Menampilkan data untuk beberapa wilayah atau beberapa reservasi tidak didukung.
Diagram linimasa Metrik mendukung metrik berikut:
- Penggunaan slot. Penggunaan slot rata-rata dalam jangka waktu yang dipilih. Kolom ini menampilkan penggunaan slot keseluruhan dari semua tugas dan tugas yang gagal secara terpisah.
- Kerja serentak. Jumlah maksimum tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih. Diagram ini menampilkan jumlah tugas yang sedang berjalan dan tugas yang tertunda secara terpisah dan ditampilkan sebagai diagram batang bertumpuk.
- Byte dipindai. Total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih.
- Kocok. Maksimum semua rasio penggunaan acak rata-rata reservasi dalam jangka waktu yang dipilih.
- Durasi tugas. Waktu proses rata-rata tugas yang diselesaikan dalam jangka waktu yang dipilih, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.
- Error berdasarkan jenis. Error donut chart menunjukkan proporsi berbagai penyebab kegagalan dalam jangka waktu yang dipilih.
Selain tren metrik, diagram ini menampilkan garis referensi nilai metrik P95 dan P99 dari penggunaan hari sebelumnya. Untuk diagram Konkurensi tugas, diagram ini menunjukkan nilai minimum untuk jumlah tugas yang tertunda dan yang sedang berjalan. Nilai yang direferensikan tersebut digunakan sebagai nilai minimum coding warna dalam tabel ringkasan.
Untuk mempelajari diagram lebih lanjut, klik Jelajahi lainnya. Anda akan dialihkan ke tab Resource Utilization.
Melihat pemanfaatan resource
Data dalam chart resource administratif didasarkan pada
tampilan INFORMATION_SCHEMA.JOBS
dan
diperbarui secara real time, yaitu maksimum 30 hari.
Anda dapat melihat pemanfaatan resource BigQuery menggunakan chart resource administratif. Chart resource ini memiliki tiga komponen interaktif utama berikut:
Chart linimasa peristiwa menampilkan ringkasan data selama maksimum 30 hari. Defaultnya adalah 1 hari.
Diagram utama menampilkan metrik yang dipilih–penggunaan slot, konkurensi tugas, performa tugas, error, atau byte yang diproses–dari waktu ke waktu untuk organisasi atau project administratif reservasi. Chart ini mencakup legenda tabel yang terkait dengan data dalam chart, yang menampilkan statistik yang lebih mendetail yang digabungkan selama jangka waktu tertentu.
Panel samping untuk memilih berbagai chart, perincian, dan opsi filter.
Diagram berikut berisi ringkasan berbagai opsi chart administratif di BigQuery:
Sebelum memulai
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
Anda dapat membuat project admin pemesanan project Google Cloud yang terpisah untuk mengelola pemesanan dengan memberinya nama deskriptif sepertibq-COMPANY_NAME-admin
. -
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Aktifkan BigQuery Reservation API.
Untuk informasi selengkapnya, lihat Mengaktifkan BigQuery Reservation API.
Di konsol Google Cloud, lihat kuota slot Anda:
Untuk membeli slot, Anda harus memiliki kuota slot yang cukup untuk region tempat Anda ingin membeli slot.
Jika kuota slot untuk region kurang dari jumlah slot yang ingin Anda beli, lihat Meminta penambahan kuota.
Melihat chart resource administratif
Secara default, Anda memiliki akses ke diagram resource administratif Edisi saat berpindah dari project administratif reservasi. Anda dapat beralih antara diagram resource administratif on demand dan diagram resource administratif Edisi dari project administratif reservasi (Pratinjau).
Untuk melihat chart resource administratif, ikuti langkah-langkah berikut:
Buka halaman BigQuery.
Di menu project, pilih project administratif yang Anda gunakan untuk membeli slot dan membuat reservasi.
Di panel navigasi, pilih Administrasi > Monitoring.
Di bagian Opsi diagram > Cakupan, Anda dapat memilih model Penagihan dari daftar, yang mencakup tiga jenis Edisi dan sesuai permintaan. Secara default, model penagihan ditetapkan ke edisi Enterprise.
Di bagian Opsi chart > Konfigurasi Chart, lakukan tindakan berikut:
- Dari daftar Chart, pilih jenis chart. Untuk informasi tentang berbagai opsi chart, lihat Opsi chart.
- Dari daftar Metrik, pilih jenis metrik yang tersedia.
- Dari daftar Kelompokan menurut, pilih dimensi yang ingin Anda gunakan untuk mengelompokkan data dalam chart. Untuk informasi tentang berbagai dimensi, lihat Mengelompokkan menurut opsi.
- Dari daftar Filter, pilih opsi filter yang tersedia. Untuk mengetahui informasi tentang berbagai filter, lihat Filter dan penelusuran.
- Tetapkan jangka waktu yang ingin Anda gunakan untuk melihat data dalam chart.
Konfigurasi chart
Anda dapat menyesuaikan tampilan chart resource administratif dengan mengubah opsi konfigurasi chart berikut:
Opsi chart
BigQuery menyediakan jenis metrik berikut untuk ditampilkan dalam chart:
Penggunaan Slot. Penggunaan slot rata-rata dalam jangka waktu yang dipilih. Kapasitas dan penggunaan slot nonaktif berlaku dalam kondisi berikut:
- Opsi kelompokkan menurut adalah "Keseluruhan".
- Tidak ada filter atau filter berdasarkan satu reservasi.
Konkurensi Tugas. Jumlah maksimum tugas yang berjalan bersamaan dalam jangka waktu yang dipilih.
Performa Tugas. Waktu berjalannya tugas rata-rata untuk tugas yang diselesaikan, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.
Tugas yang Gagal. Rata-rata penggunaan slot dalam jangka waktu yang dipilih dari tugas yang gagal.
Byte yang Diproses. Total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih.
Penggunaan Shuffle. Rasio penggunaan shuffle rata-rata dalam jangka waktu yang dipilih (pratinjau).
Komponen tabel
Tabel ini menampilkan metrik yang relevan dengan jangka waktu dan dimensi yang Anda pilih di diagram resource administratif.
Diagram Slot Usage menampilkan Penggunaan slot rata-rata untuk semua tugas yang berjalan selama jangka waktu yang dipilih. Tugas yang tidak selesai dalam jangka waktu yang dipilih hanya menyertakan slot yang digunakan dalam jangka waktu tersebut.
Untuk chart Performa Tugas, komponen tabel akan menampilkan metrik berikut:
Jumlah tugas. Jumlah tugas yang telah selesai dan berjalan atau dijalankan sebagian dalam jangka waktu yang dipilih.
Durasi tugas rata-rata. Durasi tugas rata-rata untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih.
Durasi tugas median. Durasi tugas median untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih.
Durasi tugas minimum. Durasi tugas minimum untuk tugas yang telah selesai, yang setidaknya dijalankan sebagian dalam jangka waktu yang dipilih. Kolom ini disembunyikan secara default, tetapi Anda dapat mengaktifkannya di Opsi tampilan kolom.
Durasi tugas maksimum. Durasi tugas maksimum untuk tugas yang telah selesai, yang setidaknya dijalankan sebagian dalam jangka waktu yang dipilih. Kolom ini disembunyikan secara default, tetapi Anda dapat mengaktifkannya di Opsi tampilan kolom.
Untuk chart Tugas yang Gagal, komponen tabel menampilkan data berikut:
Penggunaan slot rata-rata. Sama seperti chart Penggunaan Slot, tetapi hanya untuk tugas yang gagal.
Total tugas yang gagal. Jumlah tugas yang gagal dalam jangka waktu yang dipilih.
Mengelompokkan menurut opsi
Berdasarkan jenis chart, Anda dapat mengelompokkan data dalam tampilan chart menurut beberapa dimensi:
Keseluruhan. Tampilan keseluruhan merupakan ringkasan level tinggi metrik yang dipilih dari waktu ke waktu di seluruh organisasi. Untuk penggunaan, kapasitas, dan penggunaan slot ditampilkan pada chart yang sama untuk memberikan gambaran penggunaan slot secara keseluruhan dari waktu ke waktu.
Project. Tampilan project menampilkan metrik yang dipilih dan dikelompokkan menurut project. Jika organisasi memiliki lebih dari 10 project, maka hanya 10 project teratas dengan penggunaan slot tertinggi, konkurensi tugas, durasi tugas, atau tugas yang gagal dalam jangka waktu yang dipilih yang akan ditampilkan. Untuk penggunaan slot, semua project lainnya dikelompokkan ke dalam kategori Lainnya di bagian bawah chart untuk perbandingan yang lebih mudah dengan kapasitas keseluruhan.
Semua tampilan kelompokkan menurut lainnya serupa dengan tampilan project, dengan data yang dikelompokkan menurut dimensi masing-masing.
Opsi jangka waktu
Anda dapat mengubah jangka waktu dengan cara berikut:
Pilih dan tarik jangka waktu ke diagram linimasa peristiwa.
Pilih dan tarik jangka waktu ke chart utama.
Periode penyelarasan diupdate secara otomatis saat jangka waktu yang dipilih berubah. Makin kecil periode penyelarasan, makin mendetail tampilan. Agar dapat melihat resource yang sering berubah dengan lebih baik, misalnya opsi Penggunaan Slot, kurangi periode penyelarasan.
Memfilter dan menelusuri
Untuk mempersempit data chart, terapkan filter di panel filter. Beberapa filter hanya tersedia untuk chart tertentu. Filter Pemesanan, Folder, Project, dan Pengguna akan diisi dengan resource masing-masing yang telah menggunakan slot dalam jangka waktu yang dipilih. Misalnya, jika sebuah project tidak digunakan dalam 30 hari terakhir, project tersebut tidak akan muncul di daftar filter project.
Chart akan diperbarui setelah Anda menerapkan filter untuk menampilkan data dalam parameter yang dipilih.
Melihat data diagram administratif level project
Anda dapat menyesuaikan cakupan di Opsi diagram untuk membuat ringkasan diagram administratif di level project. Tampilan ini dapat membantu analis project memantau penggunaan resource untuk project yang dimiliki, mirip dengan diagram administratif pada tingkat organisasi, dengan pengecualian beberapa opsi diagram dan opsi kelompokkan menurut yang tidak berlaku. Tampilan ini menunjukkan pemanfaatan resource secara keseluruhan, terlepas dari mode penagihan dalam project kontekstual.
Saat Anda membuka diagram administratif dari project non-admin dengan izin tingkat organisasi, diagram administratif akan beralih ke tingkat project secara default. Anda dapat beralih kembali ke tampilan yang benar menggunakan drop-down Cakupan di Opsi diagram.
Melihat penjelajah tugas administratif
BigQuery memberikan insight dan detail kueri dengan membuat kueri tampilan INFORMATION_SCHEMA
berikut:
Tampilan INFORMATION_SCHEMA
ini diregionalkan, maka Anda dapat melihat
tugas yang sesuai berdasarkan wilayah yang dipilih.
Filter tugas
Guna memfilter tugas untuk kueri yang ada dalam
INFORMATION_SCHEMA.JOBS* views
, ikuti langkah-langkah berikut:
Buka halaman BigQuery.
Di menu project, pilih project administratif yang Anda gunakan untuk membeli slot dan membuat reservasi.
Di panel navigasi, pilih Administrasi > Monitoring.
Klik tab Jobs explorer.
Dari daftar Location, pilih lokasi tempat Anda ingin melihat tugas. Anda dapat melihat daftar semua tugas kueri yang dijalankan yang terdapat dalam tampilan
INFORMATION_SCHEMA.JOBS
untuk lokasi tersebut.Anda juga dapat melihat kueri yang aktif dan dalam antrean beserta total penggunaan slot dalam 1 menit terakhir.
Filter tugas menggunakan opsi.
Gambar 1. Filter tugas.
Pada gambar 1, opsi untuk memfilter tugas adalah sebagai berikut:
- Rentang waktu antara tugas yang dijalankan.
- Cakupan tugas, seperti project dan organisasi.
- Status tugas, seperti berjalan, tertunda, selesai, dan error.
- ID tugas.
- ID email pemilik tugas administrator.
- Tugas yang memerlukan waktu lebih lama daripada waktu slot yang ditentukan.
- Durasi tugas.
- Tugas yang memproses lebih banyak byte daripada byte diproses yang ditentukan.
- Jenis query insights, seperti pertentangan slot, kapasitas shuffle memori terlampaui, dan perubahan skala input data.
- Hash kueri berisi hash dari kueri. Ini adalah hash STRING heksadesimal yang mengabaikan komentar, nilai parameter, UDF, dan literal. Kolom ini muncul untuk kueri GoogleSQL yang berhasil dan tidak ditemukan dalam cache.
Melihat detail eksekusi kueri
Untuk melihat detail eksekusi kueri tugas, ikuti langkah-langkah berikut:
Buka halaman Monitoring.
Untuk melihat tugas, klik Penjelajah tugas.
Anda dapat memfilter tugas untuk melihat tugas terbatas.
Klik tugas yang ingin Anda lihat detail eksekusi kuerinya.
Di panel Hasil kueri, Anda dapat melihat detail eksekusi tugas administrator Anda dengan mengklik tab Grafik eksekusi.
Gambar 2. Grafik eksekusi untuk tugas.
Untuk mengetahui informasi tentang cara menafsirkan insight, lihat Menafsirkan insight performa kueri.
Penagihan
Chart resource administratif dan penjelajah tugas tersedia tanpa biaya tambahan. Kueri yang digunakan untuk mengisi chart ini tidak ditagih dan tidak menggunakan slot di pemesanan milik pengguna. Waktu kueri yang memproses terlalu banyak data akan habis.
Langkah selanjutnya
- Pelajari pemesanan.
- Pelajari pembelian slot.
- Pelajari cara memperkirakan persyaratan kapasitas slot.
- Pelajari cara melihat insight dan rekomendasi slot.