Membuat kueri set data BigQuery tertaut

Dokumen ini menjelaskan cara membuat set data tertaut untuk bucket log, dan cara membuat kueri serta melihat log dalam set data tersebut. Misalnya, Anda dapat membuat set data tertaut sehingga dapat menjalankan kueri di Log Analytics dengan menggunakan slot BigQuery yang dicadangkan. Demikian pula, Anda mungkin menginginkan set data tertaut sehingga dapat menulis kueri di BigQuery atau di Looker Studio yang menggabungkan data log dengan data bisnis lainnya.

Anda tidak dapat membuat set data BigQuery tertaut untuk tampilan analisis.

Jika Anda belum terbiasa dengan Log Analytics, lihat ringkasan Log Analytics.

Saat Anda memerlukan set data tertaut

Anda tidak memerlukan set data BigQuery tertaut untuk membuat kueri ke tampilan log di halaman Log Analytics saat menggunakan layanan Cloud Logging default. Anda dapat menyimpan dan membagikan kueri, serta menyimpan hasilnya ke dasbor kustom.

Anda memerlukan set data BigQuery tertaut jika ingin melakukan salah satu hal berikut:

Set data BigQuery tertaut untuk bucket log memungkinkan BigQuery membaca data di bucket log.

Jika Anda menjalankan kueri di slot BigQuery yang direservasi, kueri tersebut akan dikenai harga komputasi kapasitas. Selain itu, jika Anda membuat kueri data menggunakan layanan selain Log Analytics, kueri Anda mungkin dikenai biaya lain berdasarkan layanan tersebut. Lihat halaman harga untuk layanan yang Anda gunakan.

Cara bucket log dan tampilan log dipetakan ke objek BigQuery

Saat Anda membuat set data BigQuery tertaut untuk bucket log, set data baru akan tersedia untuk BigQuery. Anda menentukan nama set data tertaut selama proses penautan. Setiap tampilan log dalam bucket log akan otomatis dipetakan ke tampilan virtual dalam set data. Nama tampilan virtual sama dengan tampilan log yang sesuai.

Misalnya, project my_project memiliki bucket log bernama example, dan bucket log ini memiliki tampilan log bernama _AllLogs. Jika Anda membuat set data tertaut untuk bucket log tersebut dengan nama my_dataset, halaman Penjelajah BigQuery akan menampilkan entri my_project. Turunan entri my_project adalah set data dengan nama my_dataset, dan set data tersebut mencantumkan tampilan virtual bernama _AllLogs.

Implikasi kontrol akses saat menggunakan set data tertaut

Saat akun utama membuat kueri tampilan pada set data BigQuery tertaut, kueri tersebut akan berjalan melalui lapisan izin BigQuery, bukan lapisan izin Cloud Logging. Oleh karena itu, peran dan izin BigQuery yang diberikan kepada akun utama di set data tertaut menentukan apakah akun utama tersebut dapat membuat kueri set data.

Anda tidak dapat membatasi akun utama ke tampilan virtual tertentu dalam set data tertaut. Jika akun utama telah diberi akses ke set data tertaut, mereka dapat membuat kueri untuk setiap tampilan dalam set data tersebut.

Sebelum memulai

Bagian ini menjelaskan langkah-langkah yang harus Anda selesaikan sebelum dapat menggunakan Log Analytics.

Mengonfigurasi bucket log

Pastikan bucket log Anda telah diupgrade untuk menggunakan Log Analytics:

  1. Di konsol Google Cloud, buka halaman Logs Storage:

    Buka Penyimpanan Log

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Untuk setiap bucket log yang memiliki tampilan log yang ingin Anda buat kuerinya, pastikan kolom Log Analytics tersedia menampilkan Buka. Jika Upgrade ditampilkan, klik Upgrade dan selesaikan dialog.

Mengonfigurasi peran dan izin IAM

Bagian ini menjelaskan peran atau izin IAM yang diperlukan untuk menggunakan Log Analytics:

  • Untuk mendapatkan izin yang Anda perlukan guna menggunakan Log Analytics dan tampilan log kueri, minta administrator untuk memberi Anda peran IAM berikut di project Anda:

    • Untuk membuat kueri bucket log _Required dan _Default: Logs Viewer (roles/logging.viewer)
    • Untuk membuat kueri semua tampilan log dalam project: Logs View Accessor (roles/logging.viewAccessor)

    Anda dapat membatasi akun utama ke tampilan log tertentu dengan menambahkan kondisi IAM ke pemberian peran Logs View Accessor yang dilakukan di tingkat project, atau dengan menambahkan binding IAM ke file kebijakan tampilan log. Untuk mengetahui informasi selengkapnya, lihat Mengontrol akses ke tampilan log.

    Izin ini sama dengan izin yang Anda perlukan untuk melihat entri log di halaman Logs Explorer. Untuk mengetahui informasi tentang peran tambahan yang Anda perlukan untuk membuat kueri tampilan di bucket yang ditentukan pengguna atau untuk membuat kueri tampilan _AllLogs dari bucket log _Default, lihat Peran Cloud Logging.

  • Untuk mendapatkan izin yang Anda perlukan guna membuat dan membuat kueri set data tertaut, minta administrator untuk memberi Anda peran IAM berikut pada project yang menyimpan bucket log:

    • Untuk membuat dan melihat set data tertaut: Logs Configuration Writer (roles/logging.configWriter)
    • Untuk menjalankan kueri pada set data tertaut menggunakan slot BigQuery yang dicadangkan:
    • Untuk melihat set data tertaut di BigQuery Studio, berikan semua peran yang disebutkan dalam langkah ini, dan peran berikut. Anda dapat memberikan peran ini ke set data atau project: BigQuery Data Viewer (roles/bigquery.dataViewer)

Memverifikasi edisi BigQuery Anda

Jika Anda ingin membuat kueri data log dari halaman Log Analytics menggunakan slot BigQuery yang dicadangkan dan jika Anda menggunakan project dengan Kontrol Layanan Virtual Private Cloud (VPC), pastikan Anda menggunakan BigQuery Enterprise Edition. Untuk informasi selengkapnya, lihat Memahami edisi BigQuery.

Jika Anda ingin menggunakan kemampuan BigQuery untuk menganalisis data log, upgrade bucket log untuk menggunakan Log Analytics, lalu buat set data tertaut. Dengan konfigurasi ini, logging akan menyimpan data log Anda, tetapi BigQuery dapat membaca data log tersebut.

Konsol Google Cloud

Untuk membuat link ke set data BigQuery untuk bucket log yang ada, lakukan hal berikut:

  1. Di konsol Google Cloud, buka halaman Logs Storage:

    Buka Penyimpanan Log

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Temukan bucket log dan pastikan kolom Log Analytics available menampilkan Open.

    Jika kolom ini menampilkan Upgrade, berarti bucket log belum diupgrade untuk menggunakan Log Analytics. Konfigurasi Log Analytics:

    1. Klik Upgrade.
    2. Klik Konfirmasi di dialog.

    Setelah upgrade selesai, lanjutkan ke langkah berikutnya.

  3. Di bucket log, klik Lainnya, lalu klik Edit bucket.

    Dialog Edit log bucket akan terbuka.

  4. Pilih Create a new BigQuery dataset that links to this bucket dan masukkan nama untuk set data baru.

    Nama set data untuk setiap project Google Cloud harus unik. Jika memasukkan nama set data yang ada, Anda akan menerima error berikut: Dataset name must be unique in the selected region.

  5. Klik Done, lalu klik Update bucket.

    Setelah Logging menampilkan nama set data tertaut di halaman Penyimpanan Log, mungkin perlu waktu beberapa menit sebelum BigQuery mengenali set data tersebut.

gcloud

Untuk membuat set data tertaut untuk bucket log yang diupgrade untuk menggunakan Log Analytics, jalankan perintah gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

LINK_ID yang Anda berikan digunakan sebagai nama set data BigQuery, dan nilai kolom ini harus unik untuk project Google Cloud Anda.

Perintah links create bersifat asinkron. Hasil dari metode asinkron adalah objek Operation, dan berisi informasi tentang progres metode. Saat metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Perintah links create memerlukan waktu beberapa menit untuk selesai.

Misalnya, perintah berikut akan membuat set data tertaut bernama mylink untuk bucket log bernama my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

Nama set data untuk setiap project Google Cloud harus unik. Jika Anda mencoba membuat set data dengan nama yang sama seperti set data yang ada, Anda akan menerima error berikut:

BigQuery dataset with name "LINK_ID" already exists.

Jika Anda mencoba membuat set data tertaut untuk bucket log yang tidak diupgrade untuk menggunakan Log Analytics, error berikut akan dilaporkan:

A link can only be created for an analytics-enabled bucket.

REST

Untuk membuat set data BigQuery tertaut untuk bucket log yang ada yang diupgrade menggunakan Log Analytics, panggil metode projects.locations.buckets.links.create asinkron dari Cloud Logging API.

Siapkan argumen ke metode sebagai berikut:

  1. Buat isi permintaan untuk perintah create. Isi permintaan diformat sebagai objek Link.
  2. Untuk parameter kueri perintah, gunakan linkId=LINK_ID. LINK_ID yang Anda berikan digunakan sebagai nama set data BigQuery, dan nilai kolom ini harus unik untuk project Google Cloud Anda.

Respons terhadap metode asinkron adalah objek Operation. Objek ini berisi informasi tentang progres metode. Saat metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Metode links.create memerlukan waktu beberapa menit hingga selesai.

Nama set data untuk setiap project Google Cloud harus unik. Jika Anda mencoba membuat set data dengan nama yang sama seperti set data yang ada, Anda akan menerima error berikut:

BigQuery dataset with name "LINK_ID" already exists.

Jika Anda mencoba membuat set data tertaut untuk bucket log yang tidak diupgrade untuk menggunakan Log Analytics, error berikut akan dilaporkan:

A link can only be created for an analytics-enabled bucket.

Menjalankan kueri dari BigQuery

Jika memiliki bucket log yang menggunakan Log Analytics dan set data tertaut, Anda dapat melihat dan membuat kueri set data tertaut menggunakan halaman BigQuery Studio. Dengan konfigurasi ini, Anda dapat menganalisis set data menggunakan perintah, alur kerja, dan set data yang hanya tersedia di BigQuery Studio.

Untuk membuka BigQuery dari Log Analytics, lalu membuat kueri set data tertaut, lakukan hal berikut:

  1. Pastikan set data tertaut ada untuk bucket log yang menghosting tampilan log yang ingin Anda buat kuerinya:

    1. Di konsol Google Cloud, buka halaman Logs Storage:

      Buka Penyimpanan Log

      Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

    2. Temukan bucket log dan pastikan kolom Set data tertaut BigQuery menampilkan URL. Jika entri kosong, Anda harus membuat set data tertaut. Untuk informasi tentang langkah-langkah ini, lihat Membuat set data BigQuery tertaut

  2. Di konsol Google Cloud, buka halaman Log Analytics:

    Buka Log Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  3. Dalam daftar Log views, temukan tampilan log, lalu pilih Query. Panel Kueri diisi dengan kueri default. Anda juga dapat memasukkan kueri di panel Kueri, atau mengedit kueri yang ditampilkan.

  4. Di toolbar, luaskan tombol berlabel Run query atau Run on BigQuery, lalu pilih Open in BigQuery.

    Halaman BigQuery Studio akan terbuka. Pernyataan FROM kueri diubah untuk menentukan jalur ke tampilan log di set data tertaut menggunakan Sintaksis jalur tabel BigQuery.

    Anda juga dapat mengedit kueri yang ditampilkan.

  5. Di halaman BigQuery Studio, klik Run query.

Menjalankan kueri Log Analytics di slot BigQuery yang Anda pesan

Jika Anda ingin meminimalkan waktu eksekusi kueri Log Analytics, jalankan kueri tersebut di slot BigQuery yang Anda pesan. Halaman Log Analytics dikonfigurasi sebelumnya untuk menggunakan layanan Log Analytics default, yang berarti kueri Anda harus bersaing untuk mendapatkan ruang slot terbatas dengan kueri lain. Jika tidak ada slot yang tersedia, eksekusi kueri Anda akan tertunda. Anda dapat menghilangkan penundaan ini dengan menjalankan kueri di slot BigQuery yang dicadangkan.

Untuk mengeluarkan kueri SQL ke tampilan log, lakukan hal berikut:

  1. Pastikan set data tertaut ada untuk bucket log yang menghosting tampilan log yang ingin Anda buat kuerinya:

    1. Di konsol Google Cloud, buka halaman Logs Storage:

      Buka Penyimpanan Log

      Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

    2. Temukan bucket log dan pastikan kolom Set data tertaut BigQuery menampilkan URL. Jika entri kosong, Anda harus membuat set data tertaut. Untuk informasi tentang langkah-langkah ini, lihat Membuat set data BigQuery tertaut

  2. Pastikan Anda telah mengonfigurasi slot BigQuery yang dipesan:

    1. Membuat reservasi dengan slot khusus
    2. Membuat penetapan pemesanan

  3. Konfigurasikan Log Analytics untuk menjalankan kueri di slot BigQuery yang Anda pesan:

    1. Di konsol Google Cloud, buka halaman Log Analytics:

      Buka Log Analytics

      Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

    2. Di daftar Log views, temukan tampilan, lalu pilih Query atau masukkan kueri.

      Jika panel kueri menampilkan pesan error yang mereferensikan pernyataan FROM, tabel tidak dapat di-resolve ke tampilan log tertentu. Untuk informasi tentang cara mengatasi kegagalan ini, lihat Error FROM clause must contain exactly one log view.

    3. Buka toolbar dan pastikan tombol berlabel Run on BigQuery ditampilkan.

      Jika toolbar menampilkan Run Query, klik Settings, lalu pilih BigQuery.

      Jika tombol Jalankan di BigQuery dinonaktifkan, Anda harus membuat set data tertaut.

    4. Jalankan kueri Anda.

      Anda dapat menggunakan opsi toolbar untuk memformat kueri, menghapus kueri, dan membuka dokumentasi referensi SQL BigQuery.

Langkah selanjutnya