Ringkasan pemilihan rute dan penyimpanan

Dokumen ini menjelaskan cara Cloud Logging memproses entri log, dan menjelaskan komponen utama dari pemilihan rute dan penyimpanan Logging. Pemilihan rute mengacu pada proses yang digunakan Cloud Logging untuk menentukan tindakan yang harus dilakukan pada entri log yang baru masuk. Anda dapat mengarahkan entri log ke tujuan seperti bucket Logging, yang menyimpan entri log, atau ke Pub/Sub. Untuk mengekspor log ke tujuan pihak ketiga, arahkan log Anda ke topik Pub/Sub, lalu izinkan tujuan pihak ketiga untuk berlangganan topik Pub/Sub.

Pada dasarnya, ini adalah cara Cloud Logging merutekan dan menyimpan entri log:

Gambar yang mengilustrasikan cara Cloud Logging merutekan entri log.

Merutekan log dengan Router Log

Bagian berikut menjelaskan cara Logging merutekan log dengan Router Log menggunakan sink.

Router Log

Entri log dikirim ke resource Google Cloud yang ditentukan di kolom logName selama panggilan entries.write.

Cloud Logging menerima entri log dengan Cloud Logging API saat entri melewati Router Log. Sink di Router Log memeriksa setiap entri log berdasarkan filter penyertaan dan filter pengecualian yang ada, yang menentukan tujuan pengiriman entri log, termasuk bucket Cloud Logging. Anda dapat menggunakan kombinasi sink untuk mengarahkan log ke beberapa tujuan.

{i>Router<i} Log menyimpan log untuk sementara waktu. Perilaku ini buffer terhadap gangguan sementara dan pemadaman yang mungkin terjadi saat sink merutekan log ke tujuan. Buffering tidak melindungi dari error konfigurasi sink. Jika sink Anda tidak dikonfigurasi dengan benar, Logging akan menghapus log, log error akan dibuat, dan email yang memberitahukan error konfigurasi sink akan dikirimkan.

Perhatikan bahwa penyimpanan sementara Router Log berbeda dengan penyimpanan jangka panjang yang disediakan oleh bucket Logging.

Entri log masuk dengan stempel waktu yang lebih lama dari periode retensi log di masa lalu atau yang lebih dari 24 jam pada masa mendatang akan dihapus.

Sink

Sink mengontrol cara Cloud Logging merutekan log. Dengan sink, Anda dapat merutekan beberapa atau semua log Anda ke tujuan yang didukung. Beberapa alasan Anda mungkin ingin mengontrol cara perutean log Anda meliputi:

  • Untuk menyimpan log yang mungkin tidak akan dibaca, tetapi harus disimpan untuk tujuan kepatuhan.
  • Untuk mengatur log di bucket dalam format yang berguna bagi Anda.
  • Untuk menggunakan alat analisis big data di log Anda.
  • Untuk melakukan streaming log ke aplikasi lain, repositori lain, atau pihak ketiga. Misalnya, jika Anda ingin mengekspor log dari Google Cloud sehingga dapat melihatnya di platform pihak ketiga, konfigurasikan sink untuk merutekan entri log Anda ke Pub/Sub.

Sink termasuk dalam resource Google Cloud tertentu: project, akun penagihan, folder, dan organisasi Google Cloud. Saat menerima entri log, resource akan merutekan entri log sesuai dengan sink yang terdapat dalam resource tersebut dan, jika diaktifkan, sink ancestral apa pun yang berada dalam hierarki resource. Entri log dikirim ke tujuan yang terkait dengan setiap sink yang cocok.

Cloud Logging menyediakan dua sink yang telah ditetapkan sebelumnya untuk setiap project, akun penagihan, folder, dan organisasi Google Cloud: _Required dan _Default. Semua log yang dihasilkan dalam resource akan otomatis diproses melalui kedua sink ini, lalu disimpan di bucket _Required atau _Default yang sesuai namanya.

Wastafel bertindak secara independen satu sama lain. Terlepas dari cara sink yang telah ditetapkan memproses entri log, Anda dapat membuat sink sendiri untuk mengarahkan sebagian atau semua log ke berbagai tujuan yang didukung atau untuk mengecualikannya agar tidak disimpan oleh Cloud Logging.

Perilaku pemilihan rute untuk setiap sink dikontrol dengan mengonfigurasi filter penyertaan dan filter pengecualian untuk sink tersebut. Bergantung pada konfigurasi sink, setiap entri log yang diterima oleh Cloud Logging termasuk dalam satu atau beberapa kategori berikut:

  • Disimpan di Cloud Logging dan tidak dirutekan ke tempat lain.

  • Disimpan di Cloud Logging dan dirutekan ke tujuan yang didukung.

  • Tidak disimpan di Cloud Logging, tetapi dirutekan ke tujuan yang didukung.

  • Tidak disimpan di Cloud Logging atau dirutekan ke tempat lain.

Anda biasanya membuat sink di level project Google Cloud, tetapi jika ingin menggabungkan dan merutekan log dari resource yang terdapat dalam organisasi atau folder Google Cloud, Anda dapat membuat sink gabungan.

Anda tidak dapat merutekan entri log yang diterima Logging sebelum sink Anda dibuat karena perutean terjadi saat log melewati Logging API, dan aturan perutean baru hanya berlaku untuk log yang ditulis setelah aturan tersebut dibuat. Jika Anda perlu mengarahkan entri log secara retroaktif, lihat Menyalin log.

Filter penyertaan

Untuk sink baru, jika Anda tidak menentukan filter, semua log akan cocok dan dirutekan ke tujuan sink. Anda dapat mengonfigurasi sink untuk memilih log tertentu dengan menyetel filter penyertaan. Anda juga dapat menetapkan satu atau beberapa filter pengecualian untuk mengecualikan log dari tujuan sink.

Saat mengonfigurasi sink, Anda membuat filter penyertaan menggunakan Bahasa kueri logging. Sink juga dapat berisi beberapa filter pengecualian.

Setiap entri log yang diterima oleh Logging dirutekan berdasarkan aturan pemfilteran ini:

  • Filter pengecualian sink mengganti filter penyertaan apa pun yang ditentukan. Jika log cocok dengan filter pengecualian apa pun di sink, log tersebut tidak akan cocok dengan sink, terlepas dari filter penyertaan yang ditentukan. Entri log tidak dirutekan ke tujuan {i>sink<i} tersebut.

  • Jika sink tidak berisi filter penyertaan, hal berikut akan terjadi:

    • Jika entri log cocok dengan filter pengecualian apa pun, entri log tidak akan dirutekan ke tujuan sink.
    • Jika entri log tidak cocok dengan filter pengecualian apa pun, entri akan dirutekan ke tujuan sink. Filter penyertaan kosong akan memilih semua log.
  • Jika sink berisi filter penyertaan, hal berikut akan terjadi:

    • Jika entri log cocok dengan filter penyertaan, entri log akan dirutekan ke tujuan sink.
    • Jika tidak cocok dengan filter penyertaan, entri log tidak akan dirutekan ke tujuan sink.

Filter pengecualian

Saat membuat sink, Anda dapat menetapkan beberapa filter pengecualian. Filter pengecualian memungkinkan Anda mengecualikan entri log yang cocok agar tidak dirutekan ke tujuan sink atau disimpan dalam bucket log. Anda membuat filter pengecualian menggunakan Bahasa kueri logging.

Entri log dikecualikan setelah diterima oleh Logging API sehingga entri log ini menggunakan kuota API entries.write. Anda tidak dapat mengurangi jumlah panggilan API entries.write dengan mengecualikan entri log.

Entri log yang dikecualikan tidak tersedia di Logs Explorer.

Entri log yang tidak dirutekan ke setidaknya satu bucket log, baik secara eksplisit dengan filter pengecualian maupun karena entri log tersebut tidak cocok dengan sink mana pun dengan tujuan penyimpanan Logging, juga dikecualikan dari Error Reporting. Oleh karena itu, log ini tidak tersedia untuk membantu memecahkan masalah kegagalan.

Metrik berbasis log yang ditentukan pengguna dihitung dari entri log dalam log yang disertakan dan dikecualikan. Untuk mengetahui informasi lebih lanjut, lihat Memantau log.

Tujuan yang didukung

Anda dapat menggunakan Router Log untuk merutekan log tertentu ke tujuan yang didukung dalam project Google Cloud mana pun. Logging mendukung tujuan sink berikut:

  • Bucket log Cloud Logging: Menyediakan penyimpanan di Cloud Logging. Bucket log dapat menyimpan log yang diterima oleh beberapa project Google Cloud. Anda dapat menggabungkan data Cloud Logging dengan data lain dengan mengupgrade bucket log untuk menggunakan Log Analytics, kemudian membuat set data BigQuery tertaut. Untuk mengetahui informasi tentang cara melihat log yang disimpan di bucket log, baca Ringkasan kueri dan log serta Melihat log yang dirutekan ke bucket Cloud Logging.
  • Project Google Cloud: Merutekan entri log ke project Google Cloud yang berbeda. Saat Anda mengarahkan log ke project Google Cloud yang lain, Router Log project tujuan akan menerima log dan memprosesnya. Sink di project tujuan menentukan cara entri log yang diterima dirutekan. Error Reporting dapat menganalisis log saat project tujuan merutekan log tersebut ke bucket log yang dimiliki oleh project tujuan.
  • Topik Pub/Sub: Memberikan dukungan untuk integrasi pihak ketiga, seperti Splunk. Entri log diformat ke dalam JSON, lalu dirutekan ke topik Pub/Sub. Untuk mengetahui informasi tentang cara melihat log yang dirutekan ke Pub/Sub, baca bagian Melihat log yang dirutekan ke Pub/Sub.
  • Set data BigQuery: Menyediakan penyimpanan entri log dalam set data BigQuery. Anda dapat menggunakan kemampuan analisis big data pada log yang disimpan. Untuk menggabungkan data Cloud Logging Anda dengan sumber data lain, sebaiknya upgrade bucket log Anda untuk menggunakan Log Analytics, lalu buat set data BigQuery tertaut. Untuk informasi tentang cara melihat log yang dirutekan ke BigQuery, lihat Melihat log yang dirutekan ke BigQuery.
  • Bucket Cloud Storage: Menyediakan penyimpanan data log di Cloud Storage. Entri log disimpan sebagai file JSON. Untuk mengetahui informasi tentang cara melihat log yang dirutekan ke Cloud Storage, baca artikel Melihat log yang dirutekan ke Cloud Storage.

Untuk mengetahui informasi selengkapnya, lihat Merutekan log ke tujuan yang didukung.

Menyimpan, melihat, dan mengelola log

Bagian berikut menjelaskan cara log disimpan di Cloud Logging, dan cara Anda melihat serta mengelolanya.

Bucket log

Cloud Logging menggunakan bucket log sebagai container di project Google Cloud, akun penagihan, folder, dan organisasi Anda untuk menyimpan dan mengatur data log Anda. Log yang Anda simpan di Cloud Logging diindeks, dioptimalkan, dan dikirim agar Anda dapat menganalisis log secara real time. Bucket Cloud Logging adalah entity penyimpanan yang berbeda dengan bucket Cloud Storage yang memiliki nama serupa.

Untuk setiap project Google Cloud, akun penagihan, folder, dan organisasi, Logging secara otomatis membuat dua bucket log: _Required dan _Default. Logging akan otomatis membuat sink bernama _Required dan _Default yang, dalam konfigurasi default, merutekan log ke bucket dengan nama yang sesuai.

Anda dapat menonaktifkan sink _Default, yang merutekan log ke bucket log _Default. Anda dapat mengubah perilaku sink _Default yang dibuat untuk project atau folder Google Cloud baru. Untuk informasi selengkapnya, lihat Mengonfigurasi setelan default untuk organisasi dan folder.

Anda tidak dapat mengubah aturan pemilihan rute untuk bucket _Required.

Selain itu, Anda dapat membuat bucket yang ditentukan pengguna untuk semua project Google Cloud.

Anda membuat sink untuk merutekan semua, atau hanya subset, log Anda ke bucket log. Fleksibilitas ini memungkinkan Anda memilih project Google Cloud tempat log Anda disimpan dan log lain yang disimpan dalam log tersebut.

Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi bucket log.

Bucket log _Required

Cloud Logging secara otomatis merutekan jenis log berikut ke bucket _Required:

Cloud Logging menyimpan log di bucket _Required selama 400 hari; Anda tidak dapat mengubah periode retensi data ini.

Anda tidak dapat mengubah atau menghapus bucket _Required. Anda tidak dapat menonaktifkan sink _Required, yang merutekan log ke bucket _Required.

Bucket log _Default

Setiap entri log yang tidak disimpan dalam bucket _Required dirutekan oleh sink _Default ke bucket _Default, kecuali jika Anda menonaktifkan atau mengedit sink _Default. Untuk mengetahui petunjuk tentang cara mengubah sink, lihat Mengelola sink.

Misalnya, Cloud Logging secara otomatis merutekan jenis log berikut ke bucket _Default:

Cloud Logging menyimpan log di bucket _Default selama 30 hari, kecuali jika Anda mengonfigurasi retensi kustom untuk bucket tersebut.

Anda tidak dapat menghapus bucket _Default.

Bucket log yang ditentukan pengguna

Anda juga dapat membuat bucket log yang ditentukan pengguna di project Google Cloud mana pun. Dengan menerapkan sink ke bucket log yang ditentukan pengguna, Anda dapat merutekan subset log apa pun ke bucket log apa pun, sehingga Anda dapat memilih project Google Cloud tempat log Anda akan disimpan dan log lainnya disimpan dalam bucket tersebut.

Misalnya, untuk setiap log yang dihasilkan di Project-A, Anda dapat mengonfigurasi sink untuk merutekan log tersebut ke bucket yang ditentukan pengguna di Project-A atau Project-B.

Anda dapat mengonfigurasi retensi kustom untuk bucket.

Untuk informasi tentang cara mengelola bucket log yang ditentukan pengguna, termasuk menghapus atau mengupdatenya, lihat Mengonfigurasi dan mengelola bucket log.

Regionalisasi

Bucket log adalah resource regional. Infrastruktur yang menyimpan, mengindeks, dan menelusuri log Anda terletak di lokasi geografis tertentu. Google mengelola infrastruktur tersebut sehingga aplikasi Anda tersedia secara redundan di berbagai zona dalam region tersebut.

Saat membuat bucket log atau menetapkan kebijakan regional tingkat organisasi, Anda dapat memilih untuk menyimpan log di salah satu region berikut:

Afrika

Nama region Deskripsi region Dukungan Log Analytics
africa-south1 Johannesburg Ya

Amerika

Nama region Deskripsi region Dukungan Log Analytics
northamerica-northeast1 Montréal Ya
northamerica-northeast2 Toronto Ya
southamerica-east1 Sao Paulo Ya
southamerica-west1 Santiago Ya
us-central1 Iowa Ya
us-east1 South Carolina Ya
us-east4 Virginia Utara Ya
us-east5 Columbus Ya
us-south1 Dallas Ya
us-west1 Oregon Ya
us-west2 Los Angeles Ya
us-west3 Salt Lake City Ya
us-west4 Las Vegas Ya

Asia Pasifik

Nama region Deskripsi region Dukungan Log Analytics
asia-east1 Taiwan Ya
asia-east2 Hong Kong Ya
asia-northeast1 Tokyo Ya
asia-northeast2 Osaka Ya
asia-northeast3 Seoul Ya
asia-south1 Mumbai Ya
asia-south2 Delhi Ya
asia-southeast1 Singapura Ya
asia-southeast2 Jakarta Ya
australia-southeast1 Sydney Ya
australia-southeast2 Melbourne Ya

Eropa

Nama region Deskripsi region Dukungan Log Analytics
europe-central2 Warsawa Ya
europe-north1 Finlandia Ya
europe-southwest1 Madrid Ya
europe-west1 Belgia Ya
europe-west2 London Ya
europe-west3 Frankfurt Ya
europe-west4 Belanda Ya
europe-west6 Zurich Ya
europe-west8 Milan Ya
europe-west9 Paris Ya
europe-west10 Berlin Ya
europe-west12 Turin Ya

Timur Tengah

Nama region Deskripsi region Dukungan Log Analytics
me-central1 Doha Ya
me-central2 Dammam Ya
me-west1 Tel Aviv Ya

Other

Nama region Deskripsi region Dukungan Log Analytics
eu Log yang disimpan di pusat data di Uni Eropa; tidak ada jaminan redundansi tambahan Ya
us Log yang disimpan di pusat data di Amerika Serikat; tidak ada jaminan redundansi tambahan Ya
global Log yang disimpan di pusat data mana pun di dunia; tidak ada jaminan redundansi tambahan Ya

Selain region ini, Anda dapat menetapkan lokasi ke global, yang berarti Anda tidak perlu menentukan lokasi penyimpanan log secara fisik.

Anda dapat otomatis menerapkan region penyimpanan tertentu ke bucket _Default dan _Required yang dibuat di organisasi atau folder. Untuk informasi selengkapnya, lihat Mengonfigurasi setelan default untuk organisasi dan folder.

Untuk mengetahui informasi selengkapnya tentang regionalitas data dan tempat Anda dapat menyimpan data log, lihat Memahami region data.

Kebijakan organisasi

Anda dapat membuat kebijakan organisasi untuk memastikan organisasi Anda memenuhi kebutuhan kepatuhan dan peraturan. Dengan menggunakan kebijakan organisasi, Anda dapat menentukan di region mana organisasi Anda dapat membuat bucket log baru. Anda juga dapat membatasi organisasi agar tidak membuat bucket log baru di region tertentu.

Cloud Logging tidak menerapkan kebijakan organisasi yang baru Anda buat pada bucket log yang sudah ada; tetapi hanya menerapkan kebijakan pada bucket log baru.

Untuk mengetahui informasi tentang cara membuat kebijakan organisasi berbasis lokasi, lihat Membatasi lokasi resource.

Selain itu, Anda dapat mengonfigurasi lokasi penyimpanan default untuk bucket _Default dan _Required di organisasi atau di folder. Jika mengonfigurasi kebijakan organisasi yang membatasi tempat data dapat disimpan, Anda harus memastikan lokasi penyimpanan default yang ditentukan konsisten dengan batasan tersebut. Untuk informasi selengkapnya, lihat Mengonfigurasi setelan default untuk organisasi dan folder.

Retensi

Cloud Logging menyimpan log sesuai dengan aturan retensi yang berlaku pada jenis bucket log tempat log disimpan.

Anda dapat mengonfigurasi Cloud Logging untuk menyimpan log antara 1 hari dan 3.650 hari. Aturan retensi khusus berlaku untuk semua log dalam bucket, terlepas dari jenis log atau apakah log tersebut telah disalin dari lokasi lain.

Untuk mengetahui informasi tentang cara menetapkan aturan retensi untuk bucket log, lihat Mengonfigurasi retensi khusus.

Untuk mengetahui informasi tentang periode retensi data untuk berbagai jenis log, lihat Kuota dan batas.

Tampilan log

Dengan tampilan log, Anda dapat memberi pengguna akses hanya ke subset log yang disimpan di bucket log. Untuk mendapatkan informasi tentang cara mengonfigurasi tampilan log dan cara memberikan akses ke tampilan log tertentu, lihat Mengonfigurasi tampilan log di bucket log.

Untuk setiap bucket log, Cloud Logging otomatis membuat tampilan _AllLogs, yang menampilkan semua log yang disimpan di bucket tersebut. Cloud Logging juga membuat tampilan untuk bucket _Default yang disebut _Default. Tampilan _Default untuk bucket _Default menampilkan semua log kecuali log audit Akses Data. Tampilan _AllLogs dan _Default tidak dapat diedit, dan Anda tidak dapat menghapus tampilan log _Default.

Tampilan log kustom memberi Anda cara yang canggih dan terperinci untuk mengontrol akses ke data log. Misalnya, pertimbangkan skenario saat Anda menyimpan semua log organisasi Anda di project Google Cloud pusat. Karena bucket log dapat berisi log dari beberapa project Google Cloud, Anda mungkin ingin mengontrol project Google Cloud mana yang dapat dilihat log oleh pengguna yang berbeda. Dengan menggunakan tampilan log kustom, Anda dapat memberi satu pengguna akses ke log hanya dari satu project Google Cloud, sedangkan Anda memberi pengguna lain akses ke log dari semua project Google Cloud.

Menggunakan log di ekosistem Google Cloud

Bagian berikut memberikan informasi tentang cara menggunakan log di Google Cloud yang lebih luas.

Metrik berbasis log

Metrik berbasis log adalah metrik Cloud Monitoring yang berasal dari isi entri log. Misalnya, jika Cloud Logging menerima entri log untuk project Google Cloud yang cocok dengan filter pada salah satu metrik project Google Cloud, entri log tersebut akan dihitung dalam data metrik.

Metrik berbasis log berinteraksi dengan perutean secara berbeda, bergantung pada apakah metrik berbasis log ditentukan oleh sistem atau oleh Anda. Bagian berikut menjelaskan perbedaan tersebut.

Metrik berbasis log dan filter pengecualian

Filter pengecualian sink berlaku untuk metrik berbasis log yang ditentukan sistem, yang hanya menghitung log yang disimpan dalam bucket log.

Filter pengecualian sink tidak berlaku untuk metrik berbasis log yang ditentukan pengguna. Meskipun Anda mengecualikan log agar tidak disimpan di bucket Logging apa pun, Anda dapat melihat log tersebut dihitung dalam metrik ini.

Cakupan metrik berbasis log

Metrik berbasis log yang ditentukan sistem berlaku di level project Google Cloud. Metrik ini dihitung oleh Router Log dan hanya berlaku untuk log dalam project Google Cloud yang menerima metrik tersebut.

Metrik berbasis log yang ditentukan pengguna dapat diterapkan pada level project Google Cloud atau pada level bucket log tertentu:

  • Metrik tingkat project dihitung seperti metrik berbasis log yang ditentukan sistem; metrik berbasis log buatan pengguna ini hanya berlaku untuk log dalam project Google Cloud yang menerima metrik tersebut.
  • Metrik cakupan bucket berlaku untuk log di bucket log tempat metrik diterima, terlepas dari project Google Cloud tempat entri log berasal.

    Dengan metrik berbasis log cakupan bucket, Anda dapat membuat metrik berbasis log yang dapat mengevaluasi log dalam kasus berikut:

    • Log yang dirutekan dari satu project ke bucket di project lain.
    • Log yang dirutekan ke bucket melalui sink gabungan.

Untuk mengetahui informasi selengkapnya, lihat Ringkasan metrik berbasis log.

Menemukan log di tujuan yang didukung

Untuk mempelajari format entri log yang dirutekan dan cara log diatur dalam tujuan, lihat Melihat log di tujuan sink.

Kasus penggunaan umum

Untuk mengatasi kasus penggunaan umum terkait perutean dan penyimpanan log, lihat dokumen dan tutorial berikut:

Kebutuhan kepatuhan

Untuk praktik terbaik tentang penggunaan pemilihan rute untuk tata kelola data, lihat dokumen berikut:

Kontrol akses dengan IAM

Guna mengetahui informasi cara menggunakan peran dan izin Identity and Access Management (IAM) untuk mengontrol akses ke data Cloud Logging, lihat artikel Kontrol akses dengan IAM.

Harga

Cloud Logging tidak mengenakan biaya untuk merutekan log ke tujuan yang didukung; tetapi tujuan tersebut mungkin dikenai biaya. Dengan pengecualian bucket log _Required, Cloud Logging mengenakan biaya untuk mengalirkan log ke dalam bucket log dan untuk penyimpanan yang lebih lama dari periode retensi default bucket log.

Cloud Logging tidak mengenakan biaya untuk menyalin log, atau untuk kueri yang dikeluarkan melalui halaman Logs Explorer atau melalui halaman Log Analytics.

Untuk informasi selengkapnya, baca dokumen berikut:

Langkah selanjutnya

Untuk membantu Anda mengarahkan dan menyimpan data Cloud Logging, lihat dokumen berikut: