Memantau kesehatan, pemanfaatan resource, dan tugas
Sebagai administrator BigQuery, Anda dapat memantau kondisi, penggunaan slot, dan performa tugas organisasi dari waktu ke waktu dengan diagram kondisi operasional dan pemanfaatan resource. BigQuery menyediakan diagram yang dapat dikonfigurasi untuk membantu Anda dalam hal berikut:
Memantau kondisi operasional BigQuery. Pemantauan kondisi operasional real-time BigQuery adalah sistem pemantauan terpusat yang memungkinkan Anda mengamati penggunaan BigQuery di seluruh organisasi di beberapa lokasi.
Lihat penggunaan resource BigQuery. Gunakan data historis untuk melakukan analisis akar masalah, merencanakan kapasitas, dan mendiagnosis perubahan performa.
Sebelum memulai
- Untuk melihat kondisi operasional, Anda harus menggunakan reservasi yang dapat diakses dengan project administrasi. Hal ini bukan persyaratan untuk melihat diagram penggunaan resource.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan guna melihat semua data dalam diagram kesehatan operasional dan penggunaan resource, minta administrator untuk memberi Anda peran IAM berikut di organisasi Anda:
-
BigQuery Resource Viewer (
roles/bigquery.resourceViewer
) -
BigQuery Metadata Viewer (
roles/bigquery.metadataViewer
)
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Peran bawaan ini berisi izin yang diperlukan untuk melihat semua data dalam diagram kesehatan operasional dan penggunaan resource. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk melihat semua data dalam diagram kesehatan operasional dan penggunaan resource:
-
Untuk melihat semua data dalam diagram kesehatan operasional dan penggunaan resource untuk organisasi:
-
bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll
pada organisasi -
bigquery.reservationAssignments.list
di project administrasi yang digunakan untuk membuat reservasi -
bigquery.capacityCommitments.list
di project administrasi yang digunakan untuk membuat reservasi
-
-
Sebagai pengguna on demand, untuk melihat semua data dalam diagram penggunaan resource untuk organisasi:
bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll
di organisasi -
Untuk melihat data ringkasan kondisi operasional penyimpanan tabel BigQuery:
bigquery.tables.get or bigquery.tables.list
di organisasi -
Untuk melihat diagram kesehatan operasional dan penggunaan resource di tingkat pemesanan:
-
bigquery.reservations.list
di project administrasi yang digunakan untuk membuat reservasi -
bigquery.reservationAssignments.list
di project administrasi yang digunakan untuk membuat reservasi
-
-
Untuk melihat diagram penggunaan resource di tingkat project:
bigquery.jobs.listAll
di project
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Memantau kondisi operasional di seluruh organisasi
Dasbor kesehatan operasional menampilkan metrik utama untuk organisasi Anda dan reservasinya di semua lokasi tempat Anda memiliki reservasi. Anda dapat menggunakan dasbor ini untuk memantau metrik berikut:
- Penggunaan slot
- Penggunaan acak
- Konkurensi tugas
- Error
- Durasi tugas
- Byte yang diproses
- Total penyimpanan
Melihat diagram kondisi operasional
Untuk melihat informasi tentang kondisi operasional organisasi Anda, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Pemantauan BigQuery.
Pilih project administrasi yang Anda gunakan untuk membeli slot dan membuat pemesanan.
Di halaman Monitoring, buka tab Operational health untuk melihat ringkasan metrik utama organisasi Anda untuk semua lokasi dan reservasi.
Opsional: Untuk melihat metrik real-time, tempat kueri berjalan pada data baru setiap lima menit, klik tombol Data live. Secara default, setelan ini dinonaktifkan dan keusangan maksimum data adalah sekitar satu jam.
Untuk memfilter metrik, konfigurasikan kolom berikut:
- Di daftar Select location, pilih region yang akan dipantau.
- Dalam daftar Select reservation, pilih reservasi.
- Dalam daftar Select project, pilih project.
- Di daftar Rentang waktu, pilih rentang waktu.
Opsional: Untuk melihat detail selengkapnya tentang kondisi operasional dengan diagram penggunaan resource atau penjelajah tugas, klik Jelajahi lebih lanjut.
BigQuery mengumpulkan metrik dengan membuat kueri tampilan INFORMATION_SCHEMA
berikut:
INFORMATION_SCHEMA.JOBS
INFORMATION_SCHEMA.JOBS_TIMELINE
INFORMATION_SCHEMA.RESERVATIONS
INFORMATION_SCHEMA.TABLE_STORAGE
Dilihat
Tab Kondisi operasional menampilkan ringkasan dan tampilan detail berikut.
Tampilan ringkasan
Tampilan ringkasan menunjukkan kondisi subsistem organisasi Anda, termasuk reservasi dan region, dalam 30 menit terakhir.
Untuk melihat tampilan ringkasan, lakukan tindakan berikut:
- Di tab Operational health, dalam daftar Select location, pilih All locations.
Tampilan mendetail
Tampilan mendetail menampilkan diagram linimasa mendetail dari berbagai metrik di lokasi atau tingkat reservasi.
Untuk melihat tampilan mendetail, lakukan langkah berikut:
- Di tab Operational health, di daftar Select location, pilih wilayah atau edisi.
Anda dapat menyaring data yang ditampilkan dalam tampilan mendetail menggunakan filter opsional berikut:
- Dalam daftar Select reservation, pilih nama reservasi.
- Dalam daftar Select project, pilih project.
Diagram
BigQuery menyediakan opsi tabel dan diagram berikut, yang memungkinkan Anda mempelajari metrik kondisi operasional secara mendetail.
Tabel ringkasan
Tabel ringkasan menampilkan metrik berikut:
- Penggunaan slot. Penggunaan slot rata-rata. Total kapasitas slot sama dengan kapasitas dasar pengukuran dan kapasitas maksimum yang diskalakan otomatis.
- Penggunaan acak. Maksimum dari semua rasio penggunaan pengurutan ulang pemesanan rata-rata.
- Konkurensi. Jumlah maksimum tugas yang berjalan secara bersamaan.
- Byte yang diproses. Total byte yang diproses oleh tugas yang diselesaikan.
- Durasi tugas. Runtime rata-rata tugas yang diselesaikan, yang dihitung dari waktu tugas dibuat hingga waktu tugas berakhir.
- Total penyimpanan. Total byte logis aktif pada waktu terakhir diperbarui.
Ada dua tabel ringkasan yang ditampilkan dalam tampilan: Ringkasan lokasi dan Ringkasan reservasi. Setiap baris tabel mewakili penggunaan untuk satu lokasi atau satu reservasi.
Tabel menampilkan metrik selama 30 menit sebelum pembaruan terakhir. Jika Data real time diaktifkan, data yang dikueri akan diperbarui setiap lima menit. Jika Data live dinonaktifkan, keusangan data maksimum adalah sekitar satu jam.
Sel tabel diberi kode warna jika metrik lebih besar dari batas yang telah ditetapkan dan jika ada peningkatan jumlah insight performa untuk tugas berulang:
- Jika nilai metrik selama 30 menit sebelum pembaruan terakhir lebih besar dari nilai P99 penggunaan minggu lalu untuk hari yang sama, sel tabel akan ditandai dengan latar belakang biru tua.
- Jika nilai metrik selama 30 menit berada di antara nilai P95 - P99 dari penggunaan minggu lalu untuk hari yang sama, sel tabel akan ditandai dengan latar belakang biru muda.
Semua nilai minimum telah ditetapkan sebelumnya dan tidak dapat disesuaikan. Anda dapat memeriksa nilai minimum dengan mengklik info Info.
Memfilter data
Anda dapat memfilter data dalam diagram berdasarkan nilai berikut:
- Lokasi. Region tempat organisasi memiliki aktivitas dalam 30 hari terakhir tersedia. Tampilan ringkasan menampilkan tabel yang meringkas penggunaan di semua wilayah aktif.
- Reservasi. Kolom ini hanya tersedia di tampilan mendetail. Semua reservasi yang dimiliki oleh project administrasi tersedia. Anda hanya dapat memilih satu reservasi.
- Project. Kolom ini hanya tersedia di tampilan mendetail. Semua project yang memiliki traffic di organisasi tersedia. Anda hanya dapat memilih satu project.
- Rentang waktu. Kolom ini hanya tersedia di tampilan mendetail. Hal ini memengaruhi Diagram linimasa metrik dan Diagram donat error dalam tampilan mendetail. Skala data dalam diagram linimasa metrik disesuaikan secara otomatis sesuai dengan rentang waktu yang dipilih.
Diagram kueri aktif teratas
Diagram ini menampilkan sepuluh tugas teratas dengan resource aktif yang diurutkan dalam urutan menurun. Di menu drop-down, Anda dapat memilih opsi pengurutan berdasarkan penggunaan slot atau durasi tugas. ID tugas dan jumlah penggunaan resource yang relevan ditampilkan dalam diagram batang. Pilih Jelajahi lebih lanjut atau ID tugas di diagram kueri aktif teratas untuk melihat detail selengkapnya di penjelajah tugas. Untuk mempelajari lebih lanjut detail eksekusi dan mendiagnosis masalah performa untuk tugas BigQuery Anda, lihat Mendapatkan insight performa kueri.
Diagram donat error
Diagram ini menunjukkan proporsi penyebab utama kegagalan dalam jangka waktu yang dipilih. Di tampilan ringkasan, default-nya adalah mencakup 30 menit terakhir. Dalam tampilan mendetail, pemilih rentang waktu mengontrol cakupannya. Anda dapat mengelompokkan error menurut jenis, project pemilik, atau pemesanan. Jumlah tugas yang gagal ditampilkan dalam diagram donat.
Diagram linimasa metrik
Diagram menampilkan ringkasan metrik yang didukung selama maksimum 30 hari. Periode waktu default adalah satu jam. Saat jangka waktu yang dipilih berubah, granularitas setiap titik data dalam diagram akan diskalakan secara otomatis.
Diagram ini menampilkan nilai gabungan di seluruh wilayah atau reservasi. Menampilkan data untuk beberapa region atau beberapa reservasi tidak didukung.
Diagram linimasa Metrik mendukung metrik berikut:
- Penggunaan slot. Penggunaan slot rata-rata dalam jangka waktu yang dipilih. Laporan ini menampilkan penggunaan slot secara keseluruhan dari semua tugas dan tugas yang gagal secara terpisah.
- Konkurensi tugas. Jumlah maksimum tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih. Panel ini menampilkan jumlah tugas yang berjalan dan tugas yang tertunda secara terpisah dan ditampilkan sebagai diagram batang bertumpuk.
- Byte yang dipindai. Total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih.
- Acak. Maksimum dari semua rasio penggunaan shuffle rata-rata reservasi dalam jangka waktu yang dipilih.
- Durasi tugas. Runtime rata-rata tugas yang diselesaikan dalam jangka waktu yang dipilih, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.
- Error menurut jenis. Diagram donat error menunjukkan proporsi berbagai penyebab kegagalan dalam jangka waktu yang dipilih.
Selain tren metrik, diagram menampilkan garis referensi nilai metrik P95 dan P99 dari penggunaan minggu lalu untuk hari yang sama. Diagram Konkurensi tugas menunjukkan nilai minimum untuk jumlah tugas yang tertunda dan berjalan. Nilai yang dirujuk tersebut digunakan sebagai nilai minimum pemberian kode warna di tabel ringkasan.
Untuk mempelajari diagram lebih lanjut, klik Jelajahi lebih lanjut. Anda akan dialihkan ke tab Penggunaan resource.
Tabel insight
Tabel ini menggabungkan error kuota, error akses ditolak, dan insight performa yang dikumpulkan selama eksekusi tugas dalam jangka waktu yang dipilih. Insight digabungkan di tingkat reservasi. Setiap baris memberikan informasi tentang jenis insight, lokasi, reservasi, detail insight, dan contoh ID tugas. Klik ID tugas untuk melihat detail tugas lainnya di penjelajah tugas. Di tampilan ringkasan, jangka waktu pengamatan default mencakup 30 menit terakhir. Dalam tampilan mendetail, pemilih rentang waktu mengontrol periode waktu tertentu yang data pengamatannya ditampilkan.
Memantau kondisi operasional untuk satu project
Dasbor kesehatan operasional project adalah tampilan default yang Anda dapatkan jika tidak memiliki akses ke seluruh organisasi, atau project Anda tidak memiliki reservasi apa pun. Tampilan ini dapat membantu analis project memantau kondisi sistem untuk project mereka, seperti dasbor kondisi operasional di tingkat organisasi, tetapi hanya menampilkan data tingkat project dalam diagram dan filternya.
Melihat penggunaan resource BigQuery
Diagram resource BigQuery membantu Anda melacak penggunaan resource sebelumnya untuk merencanakan kebutuhan mendatang dan memecahkan masalah performa.
Diagram mengumpulkan metrik dengan membuat kueri tampilan INFORMATION_SCHEMA
berikut:
Data dapat diperbarui secara real time, yaitu maksimum 30 hari.
Saat melihat penggunaan resource, Anda dapat mengonfigurasi hal berikut:
Diagram linimasa peristiwa menampilkan ringkasan data selama maksimum 30 hari. Nilai defaultnya adalah 1 jam.
Diagram utama menampilkan metrik yang dipilih, seperti penggunaan slot atau byte yang diproses, seiring waktu untuk organisasi atau project administrasi Anda. Legenda untuk diagram memberikan detail selengkapnya tentang data yang ditampilkan.
Panel Konfigurasi diagram memungkinkan Anda memilih tampilan standar metrik atau menyesuaikan metrik Anda sendiri untuk tampilan tersebut.
Diagram penggunaan resource memiliki elemen berikut:
- Di tab penggunaan resource, tahan kursor ke chip status di bagian atas diagram untuk menampilkan informasi selengkapnya tentang metrik.
Chip status juga menampilkan hal berikut:
- Jika metrik masih dimuat, ikon pemuatan akan ditampilkan.
- Jika metrik menggunakan data yang sudah tidak berlaku, ikon jam akan ditampilkan.
- Jika metrik tidak dapat dimuat karena filter tingkat halaman tidak didukung, metrik tersebut akan dicoret.
- Jika metrik gagal dimuat, chip status akan ditandai.
Melihat dan mengonfigurasi diagram penggunaan resource
Untuk melihat dan mengonfigurasi diagram penggunaan resource, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Pemantauan BigQuery.
Pilih project. Sebagai administrator yang memantau penggunaan resource pemesanan, pilih project administrasi yang digunakan untuk membeli slot dan membuat pemesanan. Sebagai analis data yang memantau penggunaan resource tugas, pilih project yang sesuai.
Di halaman Monitoring, buka tab Resource utilization untuk melihat ringkasan penggunaan resource, yang dikelompokkan menurut lokasi.
Pilih jangka waktu untuk metrik dalam tampilan ini, seperti 1 day. Untuk melihat metrik real-time, tempat kueri berjalan pada data terbaru, klik tombol Live data. Setelan ini dinonaktifkan secara default untuk meningkatkan performa, dan status tidak berlaku maksimum data adalah sekitar satu jam.
Di panel Konfigurasi diagram, konfigurasikan kolom berikut:
- Di kolom Tampilan metrik, pilih salah satu tampilan.
- Di kolom Metrics, pilih metrik yang akan dilihat. Anda dapat menambahkan atau mengedit metrik.
- Di kolom Kelompokkan menurut, pilih cara mengelompokkan data.
- Di kolom Filters, pilih cara memfilter data.
Untuk menyimpan perubahan yang telah Anda buat pada konfigurasi diagram, klik Terapkan.
Tampilan metrik
BigQuery menyediakan tampilan metrik penggunaan resource yang telah dikonfigurasi sebelumnya. Bagian berikut menjelaskan metrik yang dapat Anda konfigurasikan di tampilan tersebut.
Ringkasan kapasitas slot
Tampilan ini menampilkan metrik tentang penggunaan dan kapasitas slot untuk resource pemesanan di project administratif. Setiap metrik memiliki setelan default berikut, yang dapat Anda edit di panel Konfigurasi diagram dengan mengklik nama metrik:
- Data penggunaan default berasal dari resource reservasi dan data kapasitas berasal dari resource kapasitas slot.
- Cakupan default adalah project.
- Agregasi default setiap metrik adalah berdasarkan penggunaan resource maksimum dalam jangka waktu yang dipilih.
Nama metrik | Deskripsi |
---|---|
Reservasi - Project - Penggunaan slot | Memantau penggunaan slot untuk jangka waktu yang dipilih. |
Reservasi - Project - Penggunaan slot yang dipinjam | Memantau penggunaan slot yang melebihi kapasitas reservasi dalam jangka waktu yang dipilih. Metrik ini memungkinkan Anda memantau slot tidak ada aktivitas
yang dipinjam dari reservasi dan komitmen lain, atau ketidakakuratan
pembulatan dalam data penggunaan. Slot tidak ada aktivitas tambahan muncul di diagram penggunaan resource, meskipun berbagi slot tidak ada aktivitas dinonaktifkan. Penggunaan slot tidak ada aktivitas adalah nilai perkiraan dan dihitung berdasarkan Penggunaan Slot, Slot yang Dikomitmenkan, dan Slot yang Diskalakan Otomatis. Jika nilai penggunaan slot melebihi Kapasitas Komitmen, diagram akan mengelompokkan slot tersebut sebagai slot tidak ada aktivitas. |
Kapasitas slot - Project - Total baseline slot capacity | Memantau ukuran dasar pengukuran reservasi dalam project administrasi ini. |
Kapasitas slot - Project - Total kapasitas slot maksimum | Memantau jumlah maksimum slot yang tersedia dalam jangka waktu yang dipilih. Metrik ini adalah jumlah kapasitas komitmen, kapasitas dasar pengukuran, dan kapasitas yang diskalakan otomatis. |
Kapasitas slot - Project - Total current slot capacity | Memantau jumlah slot sebenarnya yang dialokasikan untuk reservasi Anda dalam jangka waktu yang dipilih. |
Ringkasan project
Tampilan ini menampilkan metrik tentang resource tugas dalam project tempat Anda menjalankan kueri. Setiap metrik memiliki setelan default berikut, yang dapat Anda edit di panel Konfigurasi diagram dengan mengklik nama metrik:
- Resource default adalah resource tugas.
- Cakupan default adalah project.
Nama metrik | Deskripsi |
---|---|
Lowongan - Project - Penggunaan slot | Memantau penggunaan slot untuk jangka waktu yang dipilih. Agregasi default adalah berdasarkan penggunaan resource maksimum dalam jangka waktu yang dipilih. |
Tugas - Project - Byte yang diproses | Memantau total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan jumlah byte yang diproses dalam jangka waktu yang dipilih. |
Konkurensi Tugas - Proyek - Tugas | Memantau jumlah tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan penggunaan resource maksimum dalam jangka waktu yang dipilih. |
Tugas - Project - Durasi tugas | Memantau runtime tugas yang telah selesai dalam jangka waktu yang dipilih. Runtime mengukur waktu antara pembuatan tugas hingga penyelesaian tugas. Agregasi default adalah berdasarkan runtime rata-rata dalam jangka waktu yang dipilih. |
Ringkasan reservasi
Tampilan ini menampilkan metrik tentang aktivitas tugas dengan resource reservasi di project administratif. Setiap metrik memiliki setelan default berikut, yang dapat Anda edit di panel Konfigurasi diagram dengan mengklik nama metrik:
- Resource default adalah resource reservasi.
- Cakupan default adalah project.
Nama metrik | Deskripsi |
---|---|
Reservasi - Project - Penggunaan slot | Memantau penggunaan slot untuk jangka waktu yang dipilih. Agregasi default adalah berdasarkan penggunaan resource maksimum dalam jangka waktu yang dipilih. |
Reservation - Project - Bytes processed | Memantau total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan jumlah byte yang diproses dalam jangka waktu yang dipilih. |
Reservasi - Project - Job concurrency | Memantau jumlah tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan penggunaan resource maksimum dalam jangka waktu yang dipilih. |
Reservasi - Project - Durasi tugas | Memantau runtime tugas yang telah selesai dalam jangka waktu yang dipilih. Runtime mengukur waktu antara pembuatan tugas hingga penyelesaian tugas. Hal ini mencakup antrean dan percobaan ulang. Agregasi default adalah berdasarkan runtime rata-rata dalam jangka waktu yang dipilih. |
Reservation - Project - Shuffle usage | Memantau rasio penggunaan acak dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan penggunaan rata-rata dalam jangka waktu yang dipilih. |
Tampilan Kustom
Untuk membuat tampilan metrik kustom, Anda dapat menambahkan metrik dari awal, atau memulai dengan salah satu tampilan metrik standar (misalnya, tampilan metrik Ringkasan reservasi) dan menyesuaikan metrik di dalamnya.
Metrik
Saat mengonfigurasi diagram, Anda dapat menambahkan, mengedit, atau menghapus metrik penggunaan resource yang dipantaunya.
Untuk mengonfigurasi metrik diagram penggunaan resource, ikuti langkah-langkah berikut:
Di konsol Google Cloud, lihat diagram penggunaan resource BigQuery.
Di panel Konfigurasi diagram, konfigurasikan kolom Metrik:
- Klik Tambahkan item > Pilih metrik.
Di dialog Pilih metrik, pilih hal berikut:
- Jenis resource yang akan dipantau: Tugas, Pemesanan, atau Kapasitas slot.
- Cakupan yang akan dipantau. Misalnya, untuk memantau penggunaan resource pemesanan dalam project administratif, pilih cakupan Project.
- Pilih metrik yang akan dipantau. Misalnya, untuk memantau slot tidak ada aktivitas yang dipinjam dari pemesanan dan komitmen lain, atau ketidakakuratan pembulatan dalam data penggunaan, pilih Penggunaan slot yang dipinjam.
Klik Terapkan.
Pada dialog New item, pilih agregasi. Misalnya, untuk memantau penggunaan slot maksimum yang melebihi kapasitas reservasi dalam jangka waktu yang dipilih, pilih Max.
Simpan metrik dengan mengklik Selesai.
Opsional: Untuk mengubah metrik yang ada, klik nama metrik dan edit setelan atau hapus metrik tersebut.
Jenis dan cakupan resource yang didukung untuk metrik
Metrik penggunaan resource dikategorikan menurut jenis dan cakupan resource.
Jenis resource
Anda dapat memantau jenis resource berikut:
Resource | Deskripsi |
---|---|
Tugas | Metrik tentang detail tugas BigQuery untuk cakupan dan jangka waktu tertentu. |
Reservasi | Metrik tentang penggunaan reservasi BigQuery untuk cakupan dan jangka waktu tertentu. Metrik ini menggabungkan detail tugas menurut reservasi. Jika Anda hanya memiliki akses data sebagian di tingkat reservasi, metrik penggunaan reservasi gabungan akan tersedia, tanpa akses ke detail tingkat tugas. |
Kapasitas slot | Metrik tentang kapasitas pemesanan dan komitmen BigQuery untuk cakupan dan jangka waktu tertentu. |
Jenis cakupan
Setelah memilih resource untuk metrik, Anda akan memilih cakupan.
- Resource kapasitas slot dan reservasi hanya mendukung cakupan tingkat project.
- Resource tugas dapat ditetapkan ke cakupan tingkat project, folder, atau organisasi. Cakupan yang lebih besar memerlukan izin tambahan.
Kelompokkan menurut
Untuk mengelompokkan data dalam diagram penggunaan resource, ikuti langkah-langkah berikut:
Di konsol Google Cloud, lihat diagram penggunaan resource BigQuery.
Di panel Konfigurasi diagram, konfigurasikan kolom Kelompokkan menurut dengan memilih salah satu opsi berikut:
- Tidak ada: Opsi ini memberi Anda ringkasan tingkat tinggi tentang metrik yang dipilih, dari waktu ke waktu, di seluruh organisasi.
- Project: Opsi ini mengelompokkan metrik yang dipilih menurut project. Jika lebih dari 50 project tersedia, hanya 50 project teratas dengan penggunaan slot tertinggi yang akan ditampilkan.
- Semua opsi kelompokkan menurut lainnya: Opsi ini mirip dengan tampilan project, dengan data yang dikelompokkan menurut dimensi masing-masing. Jika opsi pengelompokan tidak didukung untuk semua metrik yang dipilih, opsi tersebut tidak dapat dipilih.
Filter
Saat mengonfigurasi diagram penggunaan resource, Anda dapat menerapkan filter ke data, seperti menampilkan penggunaan resource untuk resource edisi Enterprise, atau berdasarkan ID resource.
Untuk memfilter data diagram, terapkan filter di panel filter. Anda hanya dapat memilih filter jika filter tersebut didukung untuk metrik yang dipilih. Untuk melihat izin yang diperlukan, klik menu Filter.
Melihat data penggunaan resource tingkat project
Anda dapat menganalisis penggunaan resource tingkat project menggunakan langkah konfigurasi yang sama seperti yang Anda lakukan untuk melihat data tingkat organisasi. Diagram hanya menampilkan data dan opsi konfigurasi tingkat project (opsi tingkat organisasi berwarna abu-abu). Cakupan tingkat project ini menampilkan penggunaan resource secara keseluruhan, terlepas dari mode penagihan dalam project kontekstual.
Batasan diagram penggunaan resource
- Diagram dan tabel di bagian tengah halaman menampilkan metrik yang relevan dengan jangka waktu dan tingkat perincian yang dipilih.
- Metrik dengan unit yang sama memiliki skala yang sama. Diagram mendukung hingga dua skala yang berbeda.
Beralih ke UI lama
Secara default, Anda memiliki akses ke diagram resource Edisi saat membuka dari project administrasi reservasi. Anda dapat beralih antara diagram resource on demand dan diagram resource Edisi dari project administrasi pemesanan (Pratinjau).
Untuk melihat diagram resource, ikuti langkah-langkah berikut:
- Buka halaman BigQuery.
Buka BigQuery - Di menu project, pilih project administrasi yang Anda gunakan untuk membeli slot dan membuat reservasi.
- Di menu navigasi, klik Monitoring.
- Di bagian Opsi diagram > Cakupan, Anda dapat memilih model penagihan dari daftar, yang mencakup tiga jenis Edisi dan on-demand. Secara default, model penagihan ditetapkan ke edisi Enterprise.
- Di bagian Opsi diagram > Konfigurasi Diagram, lakukan tindakan berikut:
- Dari daftar Chart, pilih jenis chart. Untuk informasi tentang berbagai opsi diagram, lihat Opsi diagram.
- Dari daftar Metrik, pilih jenis metrik yang tersedia.
- Dari daftar Kelompokkan menurut, pilih dimensi yang ingin Anda gunakan untuk mengelompokkan data dalam diagram. Untuk informasi tentang berbagai dimensi, lihat Mengelompokkan menurut opsi.
- Dari daftar Filter, pilih opsi filter yang tersedia. Untuk mengetahui informasi tentang berbagai filter, lihat Filter dan penelusuran.
- Tetapkan jangka waktu yang ingin Anda gunakan untuk melihat data dalam diagram.
Konfigurasi chart
Anda dapat menyesuaikan tampilan diagram resource dengan mengubah opsi konfigurasi diagram berikut.
Opsi chart
BigQuery menyediakan jenis metrik berikut untuk ditampilkan dalam diagram:
- Penggunaan Slot. Penggunaan slot rata-rata. Jika opsi Kelompokkan menurut ditetapkan ke
Secara keseluruhan, atau jika Filter adalah Tidak ada atau satu reservasi,
metrik kapasitas dan penggunaan slot yang dipinjam juga akan ditampilkan.
- Total Penggunaan. Penggunaan slot rata-rata dalam jangka waktu yang dipilih.
- Penggunaan Slot yang Dipinjam. Penggunaan rata-rata melebihi kapasitas reservasi. Hal ini biasanya berupa slot yang tidak ada aktivitasnya yang dipinjam dari pemesanan dan komitmen lain, atau ketidakakuratan pembulatan dalam data penggunaan. Slot tidak ada aktivitas tambahan akan muncul di diagram penggunaan resource, meskipun berbagi slot tidak ada aktivitas dinonaktifkan. Penggunaan slot yang tidak ada aktivitasnya adalah nilai perkiraan dan dihitung berdasarkan Penggunaan Slot, Slot yang Dikomitmenkan, dan Slot yang Diskalakan Otomatis. Jika nilai penggunaan slot melebihi Kapasitas Komitmen, diagram akan mengelompokkan slot tersebut sebagai slot tidak ada aktivitas.
- Kapasitas Komitmen. Ukuran komitmen edisi.
- Kapasitas Dasar Pengukuran. Ukuran dasar pengukuran reservasi.
- Kapasitas Penskalaan Otomatis. Ukuran slot yang diskalakan otomatis.
- Kapasitas Maksimum. Jumlah maksimum slot yang dapat diakses pengguna.
- Konkurensi Tugas. Jumlah maksimum tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih.
- Performa Tugas. Runtime tugas rata-rata untuk tugas yang diselesaikan, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.
- Tugas yang Gagal. Rata-rata penggunaan slot dalam jangka waktu yang dipilih dari tugas yang gagal.
- Byte yang Diproses. Total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih.
- Penggunaan Shuffle. Rasio penggunaan shuffle rata-rata dalam jangka waktu yang dipilih (pratinjau).
Komponen tabel
Tabel ini menampilkan metrik yang relevan dengan jangka waktu dan dimensi yang Anda pilih di diagram resource.
Diagram Penggunaan Slot menampilkan Rata-rata penggunaan slot untuk semua tugas yang berjalan selama jangka waktu yang dipilih. Tugas yang tidak selesai dalam jangka waktu yang dipilih hanya mencakup slot yang digunakan dalam jangka waktu tersebut.
Untuk diagram Performa Tugas, komponen tabel akan menampilkan metrik berikut:
- Jumlah tugas. Jumlah tugas yang telah selesai dan berjalan atau dijalankan sebagian dalam jangka waktu yang dipilih.
- Durasi tugas rata-rata. Durasi tugas rata-rata untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih.
- Durasi tugas median. Durasi tugas median untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih.
- Durasi tugas minimum. Durasi tugas minimum untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih. Kolom ini disembunyikan secara default, tetapi Anda dapat mengaktifkannya di Opsi tampilan kolom.
- Durasi tugas maksimum. Durasi tugas maksimum untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih. Kolom ini disembunyikan secara default, tetapi Anda dapat mengaktifkannya di Opsi tampilan kolom.
Untuk diagram Tugas yang Gagal, komponen tabel menampilkan data berikut:
- Penggunaan slot rata-rata. Sama seperti diagram Penggunaan Slot, tetapi hanya untuk tugas yang gagal.
- Total tugas yang gagal. Jumlah tugas yang gagal dalam jangka waktu yang dipilih.
Mengelompokkan menurut opsi
Berdasarkan jenis diagram, Anda dapat mengelompokkan data dalam tampilan diagram menurut beberapa dimensi:
- Keseluruhan. Tampilan keseluruhan merupakan ringkasan level tinggi metrik yang dipilih, dari waktu ke waktu, di seluruh organisasi. Untuk penggunaan, kapasitas, dan penggunaan slot ditampilkan pada diagram yang sama untuk memberikan gambaran penggunaan slot secara keseluruhan dari waktu ke waktu.
- Project. Tampilan project menampilkan metrik yang dipilih dan dikelompokkan menurut project. Jika organisasi memiliki lebih dari 10 project, maka hanya 10 project teratas dengan penggunaan slot, konkurensi tugas, durasi tugas, atau tugas yang gagal dalam jangka waktu yang dipilih yang akan ditampilkan. Untuk penggunaan slot, semua project lainnya dikelompokkan ke dalam kategori Lainnya di bagian bawah diagram untuk perbandingan yang lebih mudah dengan kapasitas keseluruhan.
- Semua tampilan kelompokkan menurut lainnya serupa dengan tampilan project, dengan data yang dikelompokkan menurut dimensi masing-masing.
Opsi jangka waktu
Anda dapat mengubah jangka waktu dengan cara berikut:
- Pilih dan tarik jangka waktu ke diagram linimasa peristiwa.
- Pilih dan tarik jangka waktu ke chart utama.
Periode penyelarasan diperbarui secara otomatis saat jangka waktu yang dipilih berubah. Makin kecil periode penyelarasan, makin mendetail tampilan. Agar dapat melihat resource yang sering berubah dengan lebih baik, misalnya opsi Penggunaan Slot, kurangi periode penyelarasan.
Memfilter dan menelusuri
Untuk mempersempit data diagram, terapkan filter di panel filter. Beberapa filter hanya tersedia untuk diagram tertentu. Filter Pemesanan, Folder, Project, dan Pengguna akan diisi dengan resource masing-masing yang telah menggunakan slot dalam jangka waktu yang dipilih. Misalnya, jika sebuah project tidak digunakan dalam 30 hari terakhir, project tersebut tidak akan muncul di daftar filter project.
Diagram akan diperbarui setelah Anda menerapkan filter untuk menampilkan data dalam parameter yang dipilih.
Memecahkan masalah pertentangan slot
Persaingan slot dapat terjadi jika tidak ada cukup slot untuk menjalankan semua tugas Anda, sehingga menyebabkan masalah performa. Untuk memecahkan masalah pertentangan slot, lihat langkah-langkah dan praktik terbaik berikut.
Jika telah mencoba praktik terbaik ini, tetapi masih mengalami masalah performa tugas, Anda dapat meminta dukungan.
Lonjakan konkurensi tugas
Gunakan Tampilan mendetail untuk memeriksa lonjakan tiba-tiba dalam pengoperasian tugas saat ada lonjakan penggunaan slot secara bersamaan. Hal ini dapat menunjukkan bahwa ada terlalu banyak tugas yang bersaing untuk slot yang dibatasi oleh batas reservasi Anda.
- Praktik terbaik: Pertimbangkan untuk mengoptimalkan kueri yang membutuhkan banyak resource atau kapasitas slot reservasi Anda. Untuk mengetahui informasi selengkapnya tentang cara mengoptimalkan performa kueri, lihat Mengoptimalkan komputasi kueri.
Penggunaan slot tinggi
Gunakan Tampilan mendetail untuk memeriksa durasi tugas yang meningkat, terutama jika ada tugas yang melebihi kapasitas maksimum reservasi Anda. Penggunaan slot yang tinggi secara konsisten dapat menunjukkan pertentangan slot yang sedang berlangsung.
- Praktik terbaik: Periksa kueri menggunakan filter pertentangan slot penjelajah tugas untuk mengidentifikasi kueri yang menggunakan slot terbanyak dan mengoptimalkannya.
Durasi tugas yang panjang
Jika tugas memerlukan waktu yang jauh lebih lama untuk diselesaikan, periksa Tampilan mendetail. Konkurensi tugas yang tinggi dan lonjakan penggunaan slot dapat menunjukkan pertentangan slot.
- Praktik terbaik: Isolasi tugas penting dengan menjeda tugas yang kurang penting untuk sementara atau mengurangi rasio pengiriman tugas secara keseluruhan.
Pesan pertentangan slot
Tabel insight dapat
menampilkan pesan seperti There were NUMBER jobs detected with
slot_contention in the reservation.
yang menunjukkan masalah pertentangan slot.
Periksa penjelajah tugas untuk meninjau detail tentang tugas tertentu yang ditandai dalam pesan ini.
- Praktik terbaik: Optimalkan kueri yang diidentifikasi atau sesuaikan alokasi slot reservasi Anda.
Langkah berikutnya
- Pelajari pemesanan.
- Pelajari pembelian slot.
- Pelajari cara memperkirakan persyaratan kapasitas slot.
- Pelajari cara melihat insight dan rekomendasi slot.