Mengonfigurasi bucket log

Dokumen ini menjelaskan cara membuat dan mengelola bucket Cloud Logging menggunakan konsol Google Cloud, Google Cloud CLI, dan Logging API. Panduan ini juga memberikan petunjuk untuk membuat dan mengelola bucket log di level project Google Cloud. Anda tidak dapat membuat bucket log di level folder atau organisasi. Namun, Cloud Logging akan otomatis membuat bucket log _Default dan _Required di level folder dan organisasi untuk Anda.

Anda dapat mengupgrade bucket log untuk menggunakan Log Analytics. Log Analytics memungkinkan Anda menjalankan kueri SQL pada data log, sehingga membantu Anda memecahkan masalah aplikasi, keamanan, dan jaringan.

Untuk menggunakan BigQuery guna menganalisis data log, Anda memiliki dua pilihan:

• Upgrade bucket log untuk menggunakan Log Analytics, lalu buat set data BigQuery tertaut. Dalam skenario ini, logging menyimpan data log Anda, tetapi BigQuery dapat membaca data log.

• Mengekspor entri log ke BigQuery. Dalam skenario ini, Anda harus membuat sink, BigQuery menyimpan dan mengelola data, dan Anda memiliki opsi untuk menggunakan tabel berpartisi.

Jika data log tersedia untuk BigQuery, Anda dapat menggabungkan data log dengan data lain yang disimpan di BigQuery, dan Anda dapat mengakses data ini dari alat lain seperti Looker Studio dan Looker.

Untuk ringkasan konseptual bucket, lihat Ringkasan perutean dan penyimpanan: Bucket log.

Dokumen ini tidak menjelaskan cara membuat bucket log yang menggunakan kunci enkripsi yang dikelola pelanggan (CMEK). Jika Anda tertarik dengan topik tersebut, lihat Mengonfigurasi CMEK untuk penyimpanan log.

Sebelum memulai

Untuk memulai bucket, lakukan hal berikut:

• Konfigurasi project Google Cloud Anda:

  1. Make sure that billing is enabled for your Google Cloud project.

  2. Untuk mendapatkan izin yang diperlukan guna membuat, mengupgrade, dan menautkan bucket log, minta administrator untuk memberi Anda peran IAM Logs Configuration Writer (roles/logging.configWriter) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

     Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

     Untuk mengetahui daftar lengkap izin dan peran, lihat Kontrol akses dengan IAM.

  3. Opsional: Untuk menggunakan BigQuery guna melihat data yang disimpan di bucket log, lakukan hal berikut:
     1. Pastikan BigQuery API diaktifkan. Anda dapat memverifikasi bahwa API diaktifkan dengan mencantumkan layanan yang tersedia.
     2. Peran Identity and Access Management Anda mencakup izin yang memungkinkan Anda membuat set data tertaut. Untuk mengetahui informasi selengkapnya, lihat Izin untuk set data BigQuery tertaut.
• Pahami region yang didukung tempat Anda dapat menyimpan log.

• Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  In the Google Cloud console, activate Cloud Shell.

  Activate Cloud Shell

  At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  REST

  Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

  Install the Google Cloud CLI, then initialize it by running the following command:

  gcloud init

  Untuk informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud.

• Jika Anda berencana menggunakan Google Cloud CLI atau Cloud Logging API untuk membuat atau mengelola bucket log, pahami persyaratan pemformatan LogBucket.

Membuat bucket

Anda dapat membuat maksimum 100 bucket per project Google Cloud.

Untuk membuat bucket log yang ditentukan pengguna untuk project Google Cloud Anda, lakukan hal berikut:

Konsol Google Cloud

Untuk membuat bucket log di project Google Cloud Anda, lakukan hal berikut:

1. Di konsol Google Cloud, buka halaman Logs Storage:

   Buka Penyimpanan Log

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Klik Create log bucket.

3. Masukkan Nama dan Deskripsi untuk bucket Anda.

4. Opsional: Upgrade bucket Anda untuk menggunakan Log Analytics.

   Catatan: Setelah bucket log diupgrade untuk menggunakan Log Analytics, Anda tidak dapat mengonfigurasi ulang bucket log untuk mengubah atau menghapus penggunaan Log Analytics.

   1. Pilih Upgrade untuk menggunakan Log Analytics.

      Saat mengupgrade bucket untuk menggunakan Log Analytics, Anda dapat membuat kueri log di halaman Log Analytics menggunakan kueri SQL. Anda juga dapat terus melihat log menggunakan Logs Explorer.

   2. Opsional: Untuk melihat log di BigQuery, pilih Create a new BigQuery dataset that links to this bucket dan masukkan nama set data yang unik.

      Jika Anda memilih opsi ini, BigQuery dapat membaca data yang disimpan di bucket log Anda. Sekarang Anda dapat membuat kueri di antarmuka BigQuery tempat Anda dapat menggabungkan data log, dan juga mengakses data dari alat lain seperti Looker Studio dan Looker.

5. Opsional: Untuk memilih region penyimpanan log, klik menu Select log bucket region, lalu pilih region. Jika Anda tidak memilih region, region global akan digunakan, yang berarti log dapat secara fisik berlokasi di region mana pun yang didukung.

   Catatan: Setelah membuat bucket log, Anda tidak dapat mengubah region bucket. Jika memerlukan bucket di region lain, Anda harus membuat bucket baru di region tersebut, mengalihkan sink yang sesuai ke bucket baru, lalu menghapus bucket lama.

6. Opsional: Untuk menetapkan periode retensi kustom untuk log di bucket, klik Berikutnya.

   Di kolom Retention period, masukkan jumlah hari, antara 1 hari dan 3.650 hari, yang Anda inginkan agar Cloud Logging menyimpan log Anda. Jika Anda tidak menyesuaikan periode retensi, defaultnya adalah 30 days.

   Anda juga dapat memperbarui bucket untuk menerapkan retensi kustom setelah membuatnya.

7. Klik Create bucket.

   Setelah bucket log dibuat, Logging akan mengupgrade bucket dan membuat link set data, jika opsi ini dipilih.

   Mungkin perlu waktu beberapa saat untuk menyelesaikan langkah-langkah ini.

gcloud

Catatan: Anda tidak dapat membuat set data BigQuery tertaut saat membuat bucket log, kecuali jika Anda menggunakan konsol Google Cloud. Namun, jika membuat dan mengupgrade bucket log, Anda dapat menggunakan metode perintah gcloud logging links create untuk membuat set data tertaut.

Untuk hanya membuat bucket log, jalankan perintah gcloud logging buckets create. Jika Anda ingin mengupgrade bucket log untuk menggunakan Log Analytics, sertakan tanda --enable-analytics dan --async, dan pastikan Anda menetapkan variabel LOCATION ke wilayah yang didukung:

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

Flag --async memaksa perintah menjadi asinkron. Hasil metode asinkron adalah objek Operation, yang berisi informasi tentang progres metode. Saat metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Jika Anda tidak ingin mengupgrade bucket log untuk menggunakan Log Analytics, maka hilangkan flag --enable-analytics dan --async.

Misalnya, jika Anda ingin membuat bucket dengan BUCKET_ID my-bucket di region global, perintah Anda akan terlihat seperti berikut:

gcloud logging buckets create my-bucket --location global --description "My first bucket"

Misalnya, untuk membuat bucket dengan BUCKET_ID my-upgraded-bucket di lokasi global, lalu mengupgrade bucket log untuk menggunakan Log Analytics, perintah Anda akan terlihat seperti berikut:

gcloud logging buckets create my-upgraded-bucket --location global \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

Catatan: Setelah membuat bucket log, Anda tidak dapat mengubah region bucket. Jika memerlukan bucket di region lain, Anda harus membuat bucket baru di region tersebut, mengalihkan sink yang sesuai ke bucket baru, lalu menghapus bucket lama.

REST

Catatan: Anda tidak dapat membuat set data BigQuery tertaut sebagai bagian dari operasi pembuatan kecuali jika Anda menggunakan konsol Google Cloud. Namun, jika membuat dan mengupgrade bucket log, Anda dapat menggunakan metode projects.locations.buckets.links.create untuk membuat set data tertaut.

Untuk membuat bucket, gunakan metode projects.locations.buckets.create atau projects.locations.buckets.createAsync. Siapkan argumen ke metode sebagai berikut:

1. Tetapkan parameter parent sebagai resource tempat membuat bucket: projects/PROJECT_ID/locations/LOCATION

   Variabel LOCATION mengacu pada region tempat Anda ingin log disimpan.

   Misalnya, jika Anda ingin membuat bucket untuk project my-project di region global, parameter parent Anda akan terlihat seperti ini: projects/my-project/locations/global

2. Tetapkan parameter bucketId; misalnya, my-bucket.

3. Lakukan salah satu tindakan berikut:

   • Untuk membuat bucket log, lalu mengupgrade bucket log untuk menggunakan Log Analytics:

     1. Tetapkan boolean LogBucket.analyticsEnabled ke true.

        Catatan: Setelah bucket log diupgrade untuk menggunakan Log Analytics, Anda tidak dapat mengonfigurasi ulang bucket log untuk mengubah atau menghapus penggunaan Log Analytics.

     2. Panggil metode asinkron projects.locations.buckets.createAsync untuk membuat bucket.

        Respons terhadap metode asinkron adalah objek Operation. Objek ini berisi informasi tentang progres metode. Setelah metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

        Metode createAsync memerlukan waktu beberapa menit hingga selesai. Metode ini tidak menghasilkan pesan error atau gagal saat boolean analyticsEnabled ditetapkan ke true.

   • Jika tidak, panggil metode sinkron projects.locations.buckets.create untuk membuat bucket.

Setelah membuat bucket, buat sink untuk merutekan entri log ke bucket Anda dan konfigurasi tampilan log untuk mengontrol siapa yang dapat mengakses log di bucket baru Anda dan log mana yang dapat diakses oleh mereka. Anda juga dapat memperbarui bucket untuk mengonfigurasi retensi kustom dan kolom yang dibatasi.

Melacak volume log yang disimpan di bucket log

Halaman Penyimpanan Log di konsol Google Cloud melacak volume data log yang disimpan di bucket log:

Di konsol Google Cloud, buka halaman Logs Storage:

Buka Penyimpanan Log

Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

Halaman Logs Storage menampilkan ringkasan statistik untuk project Google Cloud Anda:

Statistik berikut dilaporkan:

• Penyerapan bulan berjalan: Jumlah data log yang disimpan project Google Cloud Anda di bucket log sejak hari pertama bulan kalender berjalan.

• Penyerapan bulan sebelumnya: Jumlah data log yang disimpan project Google Cloud Anda di bucket log pada bulan kalender terakhir.

• Proses transfer yang diproyeksikan pada akhir bulan: Estimasi jumlah data log yang akan disimpan project Google Cloud Anda di bucket log pada akhir bulan kalender saat ini, berdasarkan penggunaan saat ini.

• Penyimpanan yang dapat ditagih bulan ini: Jumlah data log yang telah disimpan selama lebih dari 30 hari yang ditagih.

Statistik sebelumnya tidak menyertakan log di bucket _Required. Log di bucket tersebut tidak dapat dikecualikan atau dinonaktifkan.

Halaman Log Router di konsol Google Cloud memberi Anda alat yang dapat digunakan untuk meminimalkan tagihan penyimpanan log di bucket log atau penyimpanan yang melebihi alokasi bulanan Anda. Anda dapat melakukan hal berikut:

• Menonaktifkan penyimpanan log di tingkat bucket.
• Kecualikan entri log tertentu agar tidak disimpan di bucket log.

Untuk informasi selengkapnya, lihat Mengelola sink.

Mengelola bucket

Bagian ini menjelaskan cara mengelola bucket log menggunakan Google Cloud CLI atau Konsol Google Cloud.

Memperbarui bucket

Untuk memperbarui properti bucket, seperti deskripsi atau periode retensi, lakukan hal berikut:

Konsol Google Cloud

Untuk memperbarui properti bucket, lakukan hal berikut:

1. Di konsol Google Cloud, buka halaman Logs Storage:

   Buka Penyimpanan Log

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Untuk bucket yang ingin diperbarui, klik Lainnya.

3. Pilih Edit bucket.

4. Edit bucket sesuai kebutuhan.

5. Klik Perbarui bucket.

gcloud

Untuk memperbarui properti bucket, jalankan perintah gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Contoh:

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

Untuk memperbarui properti bucket, gunakan projects.locations.buckets.patch di Logging API.

Mengupgrade bucket untuk menggunakan Log Analytics

Catatan: Setelah bucket log diupgrade untuk menggunakan Log Analytics, Anda tidak dapat mengonfigurasi ulang bucket log untuk mengubah atau menghapus penggunaan Log Analytics. Hanya entri log yang ditulis setelah upgrade selesai yang tersedia untuk Log Analytics.

Untuk mengupgrade bucket yang ada agar dapat menggunakan Log Analytics, batasan berikut berlaku:

• Bucket log dibuat di tingkat project Google Cloud.
• Bucket log tidak terkunci kecuali jika merupakan bucket _Required.

• Tidak ada update yang tertunda untuk bucket.

Konsol Google Cloud

Untuk mengupgrade bucket yang ada agar dapat menggunakan Log Analytics, lakukan hal berikut:

1. Di konsol Google Cloud, buka halaman Logs Storage:

   Buka Penyimpanan Log

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Temukan bucket yang ingin diupgrade.

3. Jika kolom Log Analytics tersedia menampilkan Upgrade, Anda dapat mengupgrade bucket log untuk menggunakan Log Analytics. Klik Upgrade.

   Dialog akan terbuka. Klik Konfirmasi.

gcloud

Untuk mengupgrade bucket log agar dapat menggunakan Log Analytics, jalankan perintah gcloud logging buckets update. Anda harus menetapkan flag --enable-analytics, dan sebaiknya Anda juga menyertakan flag --async:

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

Flag --async memaksa perintah menjadi asinkron. Hasil metode asinkron adalah objek Operation, dan berisi informasi tentang progres metode. Saat metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Catatan: Jangan perbarui properti bucket log lainnya saat Anda mengupgrade bucket log untuk menggunakan Log Analytics. Misalnya, panggilan ke perintah update yang mengubah periode retensi dan mengupgrade bucket log akan gagal.

REST

Untuk mengupgrade bucket log agar dapat menggunakan Log Analytics, gunakan metode projects.locations.buckets.updateAsync Cloud Logging API.

Siapkan argumen ke metode sebagai berikut:

1. Tetapkan boolean LogBucket.analyticsEnabled ke true.
2. Untuk parameter kueri perintah, gunakan updateMask=analyticsEnabled.

Respons terhadap metode asinkron adalah objek Operation. Objek ini berisi informasi tentang progres metode. Setelah metode selesai, objek Operation akan berisi status. Untuk informasi selengkapnya, lihat Metode API asinkron.

updateAsync mungkin memerlukan waktu beberapa menit untuk diselesaikan.

Membuat set data BigQuery tertaut

Jika Anda ingin menggunakan kemampuan BigQuery untuk menganalisis data log, upgrade bucket log untuk menggunakan Log Analytics, lalu buat set data tertaut. Dengan konfigurasi ini, logging akan menyimpan data log Anda, tetapi BigQuery dapat membaca data log tersebut.

Catatan: Bucket log dapat ditautkan ke maksimal satu set data BigQuery.

Konsol Google Cloud

Untuk membuat link ke set data BigQuery untuk bucket log yang ada, lakukan hal berikut:

1. Di konsol Google Cloud, buka halaman Logs Storage:

   Buka Penyimpanan Log

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Temukan bucket log dan pastikan kolom Log Analytics available menampilkan Open.

   Jika kolom ini menampilkan Upgrade, berarti bucket log belum diupgrade untuk menggunakan Log Analytics. Konfigurasi Log Analytics:

   1. Klik Upgrade.
   2. Klik Konfirmasi di dialog.

   Setelah upgrade selesai, lanjutkan ke langkah berikutnya.

3. Di bucket log, klik Lainnya, lalu klik Edit bucket.

   Dialog Edit log bucket akan terbuka.

4. Pilih Create a new BigQuery dataset that links to this bucket dan masukkan nama untuk set data baru.

   Nama set data untuk setiap project Google Cloud harus unik. Jika memasukkan nama set data yang ada, Anda akan menerima error berikut: Dataset name must be unique in the selected region.

5. Klik Done, lalu klik Update bucket.

   Setelah Logging menampilkan nama set data tertaut di halaman Penyimpanan Log, mungkin perlu waktu beberapa menit sebelum BigQuery mengenali set data tersebut.

gcloud

Untuk membuat set data tertaut untuk bucket log yang diupgrade untuk menggunakan Log Analytics, jalankan perintah gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

LINK_ID yang Anda berikan digunakan sebagai nama set data BigQuery, dan nilai kolom ini harus unik untuk project Google Cloud Anda.

Perintah links create bersifat asinkron. Hasil dari metode asinkron adalah objek Operation, dan berisi informasi tentang progres metode. Saat metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Perintah links create memerlukan waktu beberapa menit untuk selesai.

Misalnya, perintah berikut akan membuat set data tertaut bernama mylink untuk bucket log bernama my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

Nama set data untuk setiap project Google Cloud harus unik. Jika Anda mencoba membuat set data dengan nama yang sama seperti set data yang ada, Anda akan menerima error berikut:

BigQuery dataset with name "LINK_ID" already exists.

Jika Anda mencoba membuat set data tertaut untuk bucket log yang tidak diupgrade untuk menggunakan Log Analytics, error berikut akan dilaporkan:

A link can only be created for an analytics-enabled bucket.

REST

Untuk membuat set data BigQuery tertaut untuk bucket log yang ada yang diupgrade menggunakan Log Analytics, panggil metode projects.locations.buckets.links.create asinkron dari Cloud Logging API.

Siapkan argumen ke metode sebagai berikut:

1. Buat isi permintaan untuk perintah create. Isi permintaan diformat sebagai objek Link.
2. Untuk parameter kueri perintah, gunakan linkId=LINK_ID. LINK_ID yang Anda berikan digunakan sebagai nama set data BigQuery, dan nilai kolom ini harus unik untuk project Google Cloud Anda.

Respons terhadap metode asinkron adalah objek Operation. Objek ini berisi informasi tentang progres metode. Saat metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Metode links.create memerlukan waktu beberapa menit hingga selesai.

Nama set data untuk setiap project Google Cloud harus unik. Jika Anda mencoba membuat set data dengan nama yang sama seperti set data yang ada, Anda akan menerima error berikut:

BigQuery dataset with name "LINK_ID" already exists.

Jika Anda mencoba membuat set data tertaut untuk bucket log yang tidak diupgrade untuk menggunakan Log Analytics, error berikut akan dilaporkan:

A link can only be created for an analytics-enabled bucket.

Mengunci bucket

Peringatan: Mengunci bucket log tidak dapat dibatalkan.

Saat mengunci bucket agar tidak dapat diperbarui, Anda juga mengunci kebijakan retensi bucket. Setelah kebijakan retensi dikunci, Anda tidak dapat menghapus bucket hingga setiap entri log dalam bucket telah memenuhi periode retensi data bucket.

Untuk mencegah siapa pun memperbarui atau menghapus bucket log, kunci bucket. Untuk mengunci bucket, lakukan hal berikut:

Konsol Google Cloud

Konsol Google Cloud tidak mendukung penguncian bucket log.

gcloud

Untuk mengunci bucket, jalankan perintah gcloud logging buckets update dengan flag --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Contoh:

gcloud logging buckets update my-bucket --location=global --locked

REST

Untuk mengunci atribut bucket, gunakan projects.locations.buckets.patch di Logging API. Tetapkan parameter locked ke true.

Membuat daftar bucket

Untuk mencantumkan bucket log yang terkait dengan project Google Cloud, dan untuk melihat detail seperti setelan retensi, lakukan hal berikut:

Konsol Google Cloud

Di konsol Google Cloud, buka halaman Logs Storage:

Buka Penyimpanan Log

Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

Tabel bernama Bucket log mencantumkan bucket yang terkait dengan project Google Cloud saat ini.

Tabel mencantumkan atribut berikut untuk setiap bucket log:

• Name: Nama bucket log.
• Deskripsi: Deskripsi bucket.
• Periode retensi data: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
• Region: Lokasi geografis tempat data bucket disimpan.
• Status: Apakah bucket terkunci atau tidak terkunci.

Jika bucket tertunda penghapusan oleh Cloud Logging, entri tabelnya akan dianotasi dengan simbol peringatan .

gcloud

Jalankan perintah gcloud logging buckets list:

gcloud logging buckets list

Anda akan melihat atribut berikut untuk bucket log:

• LOCATION: Region tempat data bucket disimpan.
• BUCKET_ID: Nama bucket log.
• RETENTION_DAYS: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
• LIFECYCLE_STATE: Menunjukkan apakah bucket menunggu penghapusan oleh Cloud Logging.
• LOCKED: Apakah bucket terkunci atau tidak terkunci.
• CREATE_TIME: Stempel waktu yang menunjukkan kapan bucket dibuat.
• UPDATE_TIME: Stempel waktu yang menunjukkan kapan bucket terakhir kali diubah.

Anda juga dapat melihat atribut untuk satu bucket saja. Misalnya, untuk melihat detail bucket log _Default di region global, jalankan perintah gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

REST

Untuk mencantumkan bucket log yang terkait dengan project Google Cloud, gunakan projects.locations.buckets.list di Logging API.

Melihat detail bucket

Untuk melihat detail satu bucket log, lakukan langkah berikut:

Konsol Google Cloud

Di konsol Google Cloud, buka halaman Logs Storage:

Buka Penyimpanan Log

Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

Di bucket log, klik Lainnya, lalu pilih Lihat detail bucket.

Dialog mencantumkan atribut berikut untuk bucket log:

• Name: Nama bucket log.
• Deskripsi: Deskripsi bucket log.
• Periode retensi data: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
• Region: Lokasi geografis tempat data bucket disimpan.

• Log Analytics: Menunjukkan apakah bucket Anda diupgrade untuk menggunakan Log Analytics.
• Analisis BigQuery: Menunjukkan apakah set data BigQuery ditautkan ke bucket Anda.
• Set data BigQuery: Memberikan link ke set data BigQuery Anda, yang akan terbuka di halaman BigQuery Studio. Tanggal penautan BigQuery diaktifkan juga ditampilkan.

gcloud

Jalankan perintah gcloud logging buckets describe.

Misalnya, perintah berikut melaporkan detail bucket _Default:

gcloud logging buckets describe _Default --location=global

Anda akan melihat atribut berikut untuk bucket log:

• createTime: Stempel waktu yang menunjukkan kapan bucket dibuat.
• description: Deskripsi bucket log.
• lifecycleState: Menunjukkan apakah bucket menunggu penghapusan oleh Cloud Logging.
• name: Nama bucket log.
• retentionDays: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
• updateTime: Stempel waktu yang menunjukkan kapan bucket terakhir kali diubah.

REST

Untuk melihat detail satu bucket log, gunakan projects.locations.buckets.get di Logging API.

Menghapus bucket

Untuk menghapus bucket log, lakukan langkah-langkah berikut:

Konsol Google Cloud

Untuk menghapus bucket log, lakukan langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Logs Storage:

   Buka Penyimpanan Log

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Temukan bucket yang ingin Anda hapus, lalu klik Lainnya.

3. Jika kolom Set data tertaut di BigQuery menampilkan link, hapus set data BigQuery tertaut:

   1. Klik Edit bucket.

   2. Hapus centang pada Create a new BigQuery dataset that links to this bucket, klik Done, lalu klik Update bucket.

      Setelah Anda kembali ke halaman Logs Storage, klik More untuk bucket yang ingin dihapus, lalu lanjutkan ke langkah berikutnya.

4. Pilih Hapus bucket.

5. Di panel konfirmasi, klik Hapus.

6. Di halaman Penyimpanan Log, bucket Anda memiliki indikator bahwa bucket tersebut sedang menunggu penghapusan. Bucket, termasuk semua log di dalamnya, akan dihapus setelah 7 hari.

gcloud

Untuk menghapus bucket log, jalankan perintah gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

Anda tidak dapat menghapus bucket log jika bucket tersebut memiliki set data BigQuery tertaut:

• Untuk mencantumkan link yang terkait dengan bucket log, jalankan perintah gcloud logging links list.
• Untuk menghapus set data tertaut, jalankan perintah gcloud logging links delete.

REST

Untuk menghapus bucket, gunakan projects.locations.buckets.delete di Logging API.

Menghapus bucket log akan menyebabkan error jika bucket tersebut memiliki set data BigQuery tertaut. Anda harus menghapus set data tertaut sebelum menghapus bucket log:

• Untuk mencantumkan link yang terkait dengan bucket log, jalankan metode projects.locations.buckets.links.list.
• Untuk menghapus set data tertaut, jalankan metode projects.locations.buckets.links.delete.

Bucket yang dihapus akan tetap dalam status tertunda ini selama 7 hari, dan logging akan terus merutekan log ke bucket selama waktu tersebut. Untuk berhenti merutekan log ke bucket yang dihapus, Anda dapat menghapus sink log yang memiliki bucket tersebut sebagai tujuan, atau Anda dapat mengubah filter untuk sink agar berhenti merutekan log ke bucket yang dihapus.

Anda tidak dapat membuat bucket log baru yang menggunakan nama yang sama dengan bucket yang dihapus dan dalam status tertunda.

Catatan: Bucket yang tertunda penghapusannya akan dihitung dalam kuota bucket per project Google Cloud hingga dihapus sepenuhnya.

Memulihkan bucket yang dihapus

Anda dapat memulihkan, atau membatalkan penghapusan, bucket log yang berada dalam status penghapusan tertunda. Untuk memulihkan bucket log, lakukan langkah berikut:

Konsol Google Cloud

Untuk memulihkan bucket log yang tertunda penghapusannya, lakukan hal berikut:

1. Di konsol Google Cloud, buka halaman Logs Storage:

   Buka Penyimpanan Log

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Untuk bucket yang ingin Anda pulihkan, klik Lainnya, lalu pilih Pulihkan bucket yang dihapus.

3. Di panel konfirmasi, klik Pulihkan.

4. Di halaman Logs Storage, indikator penghapusan tertunda akan dihapus dari bucket log Anda.

gcloud

Untuk memulihkan bucket log yang tertunda penghapusannya, jalankan perintah gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

REST

Untuk memulihkan bucket yang tertunda penghapusannya, gunakan projects.locations.buckets.undelete di Logging API.

Pemberitahuan tentang byte log bulanan yang disimpan di bucket log

Untuk membuat kebijakan pemberitahuan, di halaman Logs Storage di konsol Google Cloud, klik Create usage alert. Tombol ini akan membuka halaman Create alerting policy di Monitoring, dan mengisi kolom jenis metrik dengan logging.googleapis.com/billing/bytes_ingested.

Untuk membuat kebijakan pemberitahuan yang akan dipicu saat jumlah byte log yang ditulis ke bucket log melampaui batas yang ditentukan pengguna untuk Cloud Logging, gunakan setelan berikut.

Langkah-langkah untuk membuat kebijakan pemberitahuan.

Untuk membuat kebijakan pemberitahuan, lakukan langkah berikut:

1. Di konsol Google Cloud, buka halaman  Alerting:

   Buka Pemberitahuan

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

2. ika Anda belum membuat saluran notifikasi dan ingin menerima notifikasi, klik Edit Notification Channels dan tambahkan saluran notifikasi Anda. Kembali ke halaman Alerting setelah menambahkan saluran.
3. Dari halaman Alerting, pilih Create policy.
4. Untuk memilih resource, metrik, dan filter, luaskan menu Select a metric dan gunakan nilai dalam tabel New condition:
   1. Opsional: Agar menu hanya menampilkan entri yang relevan, masukkan nama resource atau metrik di kolom filter.
   2. Pilih salah satu Resource type. Misalnya, pilih VM instance.
   3. Pilih salah satu Metric category. Misalnya, pilih instance.
   4. Pilih salah satu Metric. Misalnya, pilih CPU Utilization.
   5. Pilih Apply.
5. Klik Next, lalu konfigurasi pemicu kebijakan pemberitahuan. Untuk melengkapi kolom ini, gunakan nilai dalam tabel Mengonfigurasi pemicu pemberitahuan.
6. Klik Next.

7. Opsional: Untuk menambahkan notifikasi ke kebijakan pemberitahuan, klik Notification channels. Dalam dialog ini, pilih satu atau beberapa saluran notifikasi dari menu, lalu klik OK.

   Untuk menerima notifikasi saat insiden dibuka dan ditutup, centang Notify on incident closure. Secara default, notifikasi hanya dikirim saat insiden dibuka.

8. Opsional: Perbarui Incident autoclose duration. Kolom ini menentukan kapan Monitoring akan menutup insiden jika data metrik tidak ada.
9. Opsional: Klik Documentation, lalu tambahkan informasi apa pun yang ingin Anda sertakan dalam pesan notifikasi.
10. Klik Alert name dan masukkan nama untuk kebijakan pemberitahuan itu.
11. Klik Create Policy.

Kolom New condition	Nilai
Resource and Metric	Di menu Resources, pilih Global. Di menu Metric categories, pilih Logs-based metric. Di menu Metrics, pilih Monthly log bytes ingested.
Filter	Tidak ada.
Across time series Time series aggregation	sum
Rolling window	60 m
Rolling window function	max

Kolom Configure alert trigger	Nilai
Condition type	Threshold
Alert trigger	Any time series violates
Threshold position	Above threshold
Threshold value	Anda menentukan nilai yang dapat diterima.
Retest window	Nilai minimum yang dapat diterima adalah 30 menit.

Untuk mengetahui informasi selengkapnya tentang kebijakan pemberitahuan, lihat Ringkasan pemberitahuan.

Menulis ke bucket

Anda tidak menulis log secara langsung ke bucket log. Sebagai gantinya, Anda menulis log ke resource Google Cloud: project, folder, atau organisasi Google Cloud. Sink di resource induk kemudian merutekan log ke tujuan, termasuk bucket log. Sink merutekan log ke tujuan bucket log jika log cocok dengan filter sink dan sink memiliki izin untuk merutekan log ke bucket log.

Membaca dari bucket

Setiap bucket log memiliki kumpulan tampilan log. Untuk membaca log dari bucket log, Anda memerlukan akses ke tampilan log di bucket log. Tampilan log memungkinkan Anda memberikan akses kepada pengguna hanya ke sebagian log yang disimpan di bucket log. Untuk mengetahui informasi tentang cara mengonfigurasi tampilan log, dan cara memberikan akses ke tampilan log tertentu, lihat Mengonfigurasi tampilan log di bucket log.

Untuk membaca log dari bucket log, lakukan hal berikut:

Konsol Google Cloud

1. Di konsol Google Cloud, buka halaman Logs Explorer:

   Buka Logs Explorer

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Untuk menyesuaikan log yang ditampilkan di Logs Explorer, klik Pertajam cakupan, lalu pilih salah satu opsi. Misalnya, Anda dapat melihat log yang disimpan dalam project atau berdasarkan tampilan log.

3. Klik Terapkan. Panel Query results akan dimuat ulang dengan log yang cocok dengan opsi yang Anda pilih.

Untuk informasi selengkapnya, lihat Ringkasan Logs Explorer: Mempersempit cakupan.

gcloud

Untuk membaca log dari bucket log, gunakan perintah gcloud logging read dan tambahkan LOG_FILTER untuk memilih data:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=VIEW_ID

REST

Untuk membaca log dari bucket log, gunakan metode entries.list. Tetapkan resourceNames untuk menentukan bucket dan tampilan log yang sesuai, lalu tetapkan filter untuk memilih data.

Untuk mengetahui informasi mendetail tentang sintaksis pemfilteran, lihat Bahasa kueri logging.

Mengonfigurasi retensi kustom

Catatan: Mulai 1 April 2023, biaya retensi berlaku untuk data log yang dipertahankan lebih lama dari periode retensi data default bucket _Default dan bucket log yang ditentukan pengguna. Untuk mengetahui detail harganya, lihat ringkasan harga Cloud Logging. Untuk meninjau penyimpanan yang dapat ditagih untuk bucket log Anda, buka halaman Logs Storage di Konsol Google Cloud.

Saat membuat bucket log, Anda memiliki opsi untuk menyesuaikan periode berapa lama Cloud Logging menyimpan log bucket. Anda dapat mengonfigurasi periode retensi data untuk bucket log yang ditentukan pengguna dan juga untuk bucket log _Default.

Jika Anda mempersingkat retensi bucket, akan ada masa tenggang 7 hari untuk mengamankan log yang telah habis masa berlakunya agar tidak dihapus. Anda tidak dapat membuat kueri atau melihat log yang telah habis masa berlakunya, tetapi dalam 7 hari tersebut, Anda dapat memulihkan akses penuh dengan memperpanjang retensi bucket. Log yang disimpan selama masa tenggang ini mengurangi biaya retensi Anda.

Untuk memperbarui periode retensi data untuk bucket log, lakukan hal berikut:

Konsol Google Cloud

Untuk memperbarui periode retensi bucket log, lakukan hal berikut:

1. Di konsol Google Cloud, buka halaman Logs Storage:

   Buka Penyimpanan Log

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Untuk bucket yang ingin Anda perbarui, klik Lainnya, lalu pilih Edit bucket.

3. Di kolom Retention, masukkan jumlah hari, antara 1 hari dan 3.650 hari, yang Anda inginkan agar Cloud Logging mempertahankan log Anda.

4. Klik Perbarui bucket. Durasi retensi baru Anda akan muncul di daftar Bucket log.

gcloud

Untuk memperbarui periode retensi bucket log, jalankan perintah gcloud logging buckets update, setelah menetapkan nilai untuk RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Misalnya, untuk mempertahankan log di bucket _Default di lokasi global selama setahun, perintah Anda akan terlihat seperti berikut:

gcloud logging buckets update _Default --location=global --retention-days=365

Jika Anda memperpanjang periode retensi data bucket, aturan retensi akan berlaku untuk data yang disimpan di masa mendatang, bukan secara surut. Log tidak dapat dipulihkan setelah periode retensi yang berlaku berakhir.

Metode API asinkron

Respons metode asinkron seperti projects.locations.buckets.createAsync adalah objek Operation.

Aplikasi yang memanggil metode API asinkron harus melakukan polling pada endpoint operation.get hingga nilai kolom Operation.done adalah true:

• Jika done adalah false, operasi sedang berlangsung.

  Untuk memuat ulang informasi status, kirim permintaan GET ke endpoint operation.get.

• Jika done adalah true, operasi akan selesai dan kolom error atau response ditetapkan:

  • error: Jika ditetapkan, operasi asinkron akan gagal. Nilai kolom ini adalah objek Status yang berisi kode error gRPC dan pesan error.
  • response: Jika ditetapkan, operasi asinkron berhasil diselesaikan, dan nilainya mencerminkan hasilnya.

Untuk melakukan polling perintah asinkron menggunakan Google Cloud CLI, jalankan perintah berikut:

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

Untuk informasi selengkapnya, lihat gcloud logging operations describe.

Memecahkan masalah umum

Jika Anda mengalami masalah saat menggunakan bucket log, lihat langkah-langkah pemecahan masalah berikut dan jawaban atas pertanyaan umum.

Mengapa saya tidak dapat menghapus bucket ini?

Jika Anda mencoba menghapus bucket, lakukan langkah-langkah berikut:

• Pastikan Anda memiliki izin yang benar untuk menghapus bucket. Untuk mengetahui daftar izin yang Anda perlukan, lihat Kontrol akses dengan IAM.

• Tentukan apakah bucket terkunci dengan mencantumkan atribut bucket. Jika bucket terkunci, periksa periode retensi bucket. Anda tidak dapat menghapus bucket yang terkunci hingga semua log dalam bucket telah memenuhi periode retensi data bucket.

• Pastikan bucket log tidak memiliki set data BigQuery tertaut. Anda tidak dapat menghapus bucket log dengan set data tertaut.

  Error berikut ditampilkan sebagai respons terhadap perintah delete di bucket log yang memiliki set data tertaut:

  FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket
  

  Untuk mencantumkan link yang terkait dengan bucket log, jalankan perintah gcloud logging links list atau jalankan metode API projects.locations.buckets.links.list.

Akun layanan mana yang merutekan log ke bucket saya?

Untuk menentukan apakah ada akun layanan yang memiliki izin IAM untuk merutekan log ke bucket Anda, lakukan hal berikut:

1. Di konsol Google Cloud, buka halaman IAM:

   Buka IAM

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah IAM & Admin.

2. Dari tab Izin, lihat menurut Peran. Anda akan melihat tabel dengan semua peran dan akun utama IAM yang terkait dengan project Google Cloud Anda.

3. Di kotak teks Filter tabel, masukkan Logs Bucket Writer.

   Anda akan melihat akun utama dengan peran Logs Bucket Writer. Jika akun utama adalah akun layanan, ID-nya akan berisi string .

4. Opsional: Jika Anda ingin menghapus akun layanan agar tidak dapat merutekan log ke project Google Cloud, pilih kotak centang untuk akun layanan, lalu klik Hapus.

Mengapa saya melihat log untuk project Google Cloud meskipun saya mengecualikannya dari sink _Default?

Anda mungkin melihat log di bucket log dalam project Google Cloud terpusat, yang menggabungkan log dari seluruh organisasi Anda.

Jika Anda menggunakan Logs Explorer untuk mengakses log ini dan melihat log yang Anda kecualikan dari sink _Default, tampilan Anda mungkin disetel ke tingkat project Google Cloud.

Untuk memperbaiki masalah ini, pilih Tampilan log di menu Pertajam cakupan, lalu pilih tampilan log yang terkait dengan bucket _Default di project Google Cloud Anda. Anda tidak akan melihat log yang dikecualikan lagi.

Langkah selanjutnya

Untuk informasi tentang metode API bucket log, lihat dokumentasi referensi LogBucket.

Jika mengelola organisasi atau folder, Anda dapat menentukan lokasi bucket log _Default dan _Required dari resource turunan. Anda juga dapat mengonfigurasi apakah bucket log menggunakan CMEK dan perilaku penampung log _Default. Untuk informasi selengkapnya, lihat Mengonfigurasi setelan default untuk organisasi dan folder.

Untuk informasi tentang cara menangani kasus penggunaan umum dengan bucket log, lihat topik berikut:

• Menggabungkan dan menyimpan log organisasi Anda.

• Logging multi-tenant di GKE.

• Memisahkan region log.