Ringkasan pemilihan rute dan penyimpanan

Dokumen ini menjelaskan cara Cloud Logging memproses entri log, dan menjelaskan komponen utama penyimpanan dan pemilihan rute Logging. Pemetaan mengacu pada proses yang digunakan Cloud Logging untuk menentukan tindakan yang harus dilakukan dengan entri log yang baru tiba. Anda dapat merutekan entri log ke tujuan seperti bucket Logging, yang menyimpan entri log, atau ke Pub/Sub. Untuk mengekspor log ke tujuan pihak ketiga, rutekan log ke topik Pub/Sub, lalu beri otorisasi tujuan pihak ketiga untuk berlangganan topik Pub/Sub.

Secara umum, berikut cara Cloud Logging merutekan dan menyimpan entri log:

Gambar yang mengilustrasikan cara Cloud Logging merutekan entri log.

Merutekan log dengan Router Log

Bagian berikut menjelaskan cara Logging merutekan log dengan Log Router menggunakan sink.

Router Log

Entri log dikirim ke resource Google Cloud yang ditentukan di kolom logName selama panggilan entries.write.

Cloud Logging menerima entri log dengan Cloud Logging API saat entri melewati Router Log. Sink di Router Log memeriksa setiap entri log berdasarkan filter penyertaan dan filter pengecualian, lalu menentukan tujuan mana, termasuk bucket Cloud Logging, yang akan menjadi tujuan pengiriman entri log. Anda dapat menggunakan kombinasi sink untuk merutekan entri log ke beberapa tujuan.

Router Log menyimpan entri log untuk sementara. Perilaku ini melakukan buffering terhadap gangguan dan pemadaman sementara yang mungkin terjadi saat sink me-route entri log ke tujuan. Buffering tidak melindungi dari error konfigurasi sink. Jika sink Anda tidak dikonfigurasi dengan benar, sink tersebut tidak akan merutekan entri log, log error akan dibuat, dan email yang memberi tahu Anda tentang error konfigurasi sink akan dikirim. Jika entri log tidak dapat dirutekan, entri tersebut akan dihapus.

Penyimpanan sementara Router Log berbeda dengan penyimpanan jangka panjang yang disediakan oleh bucket Logging.

Entri log masuk dengan stempel waktu yang lebih dari periode retensi log di masa lalu atau yang lebih dari 24 jam pada masa mendatang akan dihapus.

Sink

Sink mengontrol cara Cloud Logging merutekan log. Dengan menggunakan sink, Anda dapat merutekan beberapa atau semua log ke tujuan yang didukung. Beberapa alasan mengapa Anda mungkin ingin mengontrol cara log dirutekan mencakup hal berikut:

  • Untuk menyimpan log yang tidak mungkin dibaca, tetapi harus disimpan untuk tujuan kepatuhan.
  • Untuk mengatur log dalam bucket dalam format yang berguna bagi Anda.
  • Untuk menggunakan alat analisis big data pada log Anda.
  • Untuk melakukan streaming log ke aplikasi lain, repositori lain, atau pihak ketiga. Misalnya, jika Anda ingin mengekspor log dari Google Cloud agar dapat melihatnya di platform pihak ketiga, konfigurasikan sink untuk merutekan entri log ke Pub/Sub.

Sink termasuk dalam resource Google Cloud tertentu: project Google Cloud, akun penagihan, folder, dan organisasi. Saat menerima entri log, resource akan merutekan entri log sesuai dengan sink yang terdapat dalam resource tersebut dan, jika diaktifkan, sink leluhur apa pun yang termasuk dalam hierarki resource. Entri log dikirim ke tujuan yang terkait dengan setiap sink yang cocok.

Cloud Logging menyediakan dua sink yang telah ditentukan untuk setiap project, akun penagihan, folder, dan organisasi Google Cloud: _Required dan _Default. Semua log yang dihasilkan di resource akan otomatis diproses melalui kedua sink ini, lalu disimpan di bucket _Required atau _Default dengan nama yang sesuai.

Sink bertindak secara independen satu sama lain. Terlepas dari cara sink standar memproses entri log, Anda dapat membuat sink sendiri untuk merutekan beberapa atau semua log ke berbagai tujuan yang didukung atau mengecualikannya agar tidak disimpan oleh Cloud Logging.

Entri log mana yang dirutekan oleh sink dikontrol dengan mengonfigurasi filter penyertaan dan filter pengecualian sink. Bergantung pada konfigurasi sink, setiap entri log yang diterima oleh Cloud Logging termasuk dalam satu atau beberapa kategori berikut:

  • Disimpan di Cloud Logging dan tidak dirutekan ke tempat lain.

  • Disimpan di Cloud Logging dan dirutekan ke tujuan yang didukung.

  • Tidak disimpan di Cloud Logging, tetapi dirutekan ke tujuan yang didukung.

  • Tidak disimpan di Cloud Logging atau dirutekan ke tempat lain.

Anda biasanya membuat sink di tingkat project Google Cloud, tetapi jika ingin menggabungkan dan merutekan log dari resource yang terdapat dalam organisasi atau folder Google Cloud, Anda dapat membuat sink gabungan.

Sink hanya merutekan entri log yang masuk setelah sink dibuat karena perutean terjadi saat log melewati Logging API. Jika Anda perlu merutekan entri log secara retroaktif, lihat Menyalin log.

Filter inklusi

Jika sink tidak menentukan filter apa pun, semua entri log akan cocok dan dirutekan ke tujuan sink. Anda dapat mengonfigurasi sink untuk memilih entri log tertentu dengan menetapkan filter penyertaan. Anda juga dapat menetapkan satu atau beberapa filter pengecualian untuk mengecualikan entri log agar tidak dirutekan.

Saat mengonfigurasi sink, Anda menentukan filternya menggunakan bahasa kueri Logging.

Entri log dirutekan oleh sink berdasarkan aturan berikut:

  • Jika entri log tidak cocok dengan filter penyertaan, entri tersebut tidak akan dirutekan. Jika sink tidak menentukan filter penyertaan, setiap entri log akan cocok dengan filter tersebut.

  • Jika entri log cocok dengan filter penyertaan dan setidaknya satu filter pengecualian, entri log tersebut tidak akan dirutekan.

  • Jika entri log cocok dengan filter penyertaan dan tidak cocok dengan filter pengecualian apa pun, entri log tersebut akan dirutekan ke tujuan sink.

Filter pengecualian

Saat membuat sink, Anda dapat menetapkan beberapa filter pengecualian. Filter pengecualian memungkinkan Anda mengecualikan entri log yang cocok dengan filter penyertaan agar tidak dirutekan ke tujuan sink atau disimpan di bucket log. Anda menentukan filter pengecualian menggunakan bahasa kueri Logging.

Entri log yang dikecualikan menggunakan kuota entries.write API karena dikecualikan setelah diterima oleh Logging API. Anda tidak dapat mengurangi jumlah panggilan API entries.write dengan mengecualikan entri log.

Entri log yang dikecualikan tidak tersedia di Logs Explorer.

Entri log yang tidak dirutekan ke setidaknya satu bucket log, baik secara eksplisit dengan filter pengecualian atau karena tidak cocok dengan sink apa pun dengan tujuan penyimpanan Logging, juga dikecualikan dari Error Reporting. Oleh karena itu, entri log ini tidak tersedia untuk membantu pemecahan masalah kegagalan. Metrik berbasis log yang ditentukan pengguna dihitung dari entri log dalam entri log yang disertakan dan dikecualikan. Untuk mengetahui informasi selengkapnya, lihat Memantau log.

Tujuan yang didukung

Anda dapat menggunakan Log Router untuk merutekan entri log tertentu ke tujuan yang didukung di project Google Cloud mana pun. Logging mendukung tujuan sink berikut:

  • Bucket Cloud Logging: Menyediakan penyimpanan di Cloud Logging. Bucket log dapat menyimpan entri log yang diterima oleh beberapa project Google Cloud. Bucket log dapat berada di project yang sama dengan asal entri log, atau di project yang berbeda. Untuk informasi tentang cara melihat entri log yang disimpan di bucket log, lihat Ringkasan log kueri dan tampilan serta Melihat log yang dirutekan ke bucket Cloud Logging.

    Anda dapat menggabungkan data Cloud Logging dengan data lain dengan mengupgrade bucket log untuk menggunakan Log Analytics, lalu membuat set data tertaut, yang merupakan set data hanya baca yang dapat dikueri oleh halaman BigQuery Studio dan Looker Studio.

  • Set data BigQuery: Menyediakan penyimpanan entri log dalam set data BigQuery yang dapat ditulis. Set data BigQuery dapat berada di project yang sama dengan asal entri log, atau di project yang berbeda. Anda dapat menggunakan kemampuan analisis big data pada entri log yang disimpan. Untuk informasi tentang cara melihat entri log yang dirutekan ke BigQuery, lihat Melihat log yang dirutekan ke BigQuery.

  • Bucket Cloud Storage: Menyediakan penyimpanan entri log di Cloud Storage. Bucket Cloud Storage dapat berada dalam project yang sama dengan asal entri log, atau dalam project yang berbeda. Entri log disimpan sebagai file JSON. Untuk mengetahui informasi tentang cara melihat entri log yang dirutekan ke Cloud Storage, lihat artikel Melihat log yang dirutekan ke Cloud Storage.

  • Topik Pub/Sub: Memberikan dukungan untuk integrasi pihak ketiga. Entri log diformat menjadi JSON, lalu dirutekan ke topik Pub/Sub. Topik dapat berada di project yang sama dengan asal entri log, atau di project yang berbeda. Untuk informasi tentang cara melihat entri log yang dirutekan ke Pub/Sub, lihat Melihat log yang dirutekan ke Pub/Sub.

  • Project Google Cloud: Merutekan entri log ke project Google Cloud lain. Dalam konfigurasi ini, sink di project tujuan memproses entri log.

Untuk mengetahui informasi selengkapnya, lihat Merutekan log ke tujuan yang didukung.

Menyimpan, melihat, dan mengelola log

Bagian berikut menjelaskan cara log disimpan di Cloud Logging, dan cara Anda dapat melihat serta mengelolanya.

Bucket log

Cloud Logging menggunakan bucket log sebagai penampung di project, akun penagihan, folder, dan organisasi Google Cloud Anda untuk menyimpan dan mengatur data log. Entri log yang Anda simpan di Cloud Logging akan diindeks, dioptimalkan, dan dikirim agar Anda dapat menganalisis log secara real time. Bucket Cloud Logging adalah entitas penyimpanan yang berbeda dengan bucket Cloud Storage yang bernama sama.

Untuk setiap project, akun penagihan, folder, dan organisasi Google Cloud, Logging otomatis membuat dua bucket log: _Required dan _Default. Logging otomatis membuat sink bernama _Required dan _Default yang, dalam konfigurasi default, merutekan entri log ke bucket dengan nama yang sesuai.

Anda dapat menonaktifkan sink _Default, yang merutekan entri log ke bucket log _Default. Anda juga dapat mengubah perilaku sink _Default yang dibuat untuk project atau folder Google Cloud baru. Untuk informasi selengkapnya, lihat Mengonfigurasi setelan default untuk organisasi dan folder.

Anda tidak dapat mengubah aturan perutean untuk bucket _Required.

Selain itu, Anda dapat membuat bucket yang ditentukan pengguna untuk project Google Cloud mana pun.

Anda membuat sink untuk merutekan semua, atau hanya sebagian, entri log ke bucket log mana pun. Fleksibilitas ini memungkinkan Anda memilih project Google Cloud tempat entri log disimpan, dan memungkinkan Anda menyimpan entri log dari beberapa resource di satu lokasi.

Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi bucket log.

Bucket log _Required

Cloud Logging secara otomatis merutekan jenis entri log berikut ke bucket _Required:

Cloud Logging mempertahankan entri log di bucket _Required selama 400 hari; Anda tidak dapat mengubah periode retensi ini.

Anda tidak dapat mengubah atau menghapus bucket _Required. Anda tidak dapat menonaktifkan sink _Required, yang merutekan entri log ke bucket _Required.

Bucket log _Default

Setiap entri log yang tidak disimpan di bucket _Required akan dirutekan oleh sink _Default ke bucket _Default, kecuali jika Anda menonaktifkan atau mengedit sink _Default. Untuk mengetahui petunjuk tentang cara mengubah sink, lihat Mengelola sink.

Misalnya, Cloud Logging secara otomatis merutekan jenis entri log berikut ke bucket _Default:

Cloud Logging mempertahankan entri log di bucket _Default selama 30 hari, kecuali jika Anda mengonfigurasi retensi kustom untuk bucket.

Anda tidak dapat menghapus bucket _Default.

Bucket log yang ditentukan pengguna

Anda juga dapat membuat bucket log yang ditentukan pengguna di project Google Cloud mana pun. Dengan menerapkan sink ke bucket log yang ditentukan pengguna, Anda dapat merutekan subset entri log ke bucket log mana pun, sehingga Anda dapat memilih project Google Cloud tempat entri log disimpan, dan memungkinkan Anda menyimpan entri log dari beberapa resource di satu lokasi.

Misalnya, untuk log apa pun yang dihasilkan di project A, Anda dapat mengonfigurasi sink untuk merutekan entri log tersebut ke bucket yang ditentukan pengguna di project A atau ke bucket log di project B.

Anda dapat mengonfigurasi retensi kustom untuk bucket.

Untuk mengetahui informasi tentang cara mengelola bucket log yang ditentukan pengguna, termasuk menghapus atau memperbaruinya, lihat Mengonfigurasi dan mengelola bucket log.

Regionalisasi

Bucket log adalah resource regional. Infrastruktur yang menyimpan, mengindeks, dan menelusuri entri log Anda terletak di lokasi geografis tertentu. Google Cloud mengelola infrastruktur tersebut sehingga aplikasi Anda tersedia secara redundan di seluruh zona dalam region tersebut.

Saat membuat bucket log atau menetapkan kebijakan regional tingkat organisasi, Anda dapat memilih tempat untuk menyimpan log.

Wilayah berikut didukung oleh Cloud Logging:

Global

Nama region Deskripsi region
global

Log yang disimpan di pusat data mana pun di dunia. Log mungkin dipindahkan ke pusat data yang berbeda. Tidak ada jaminan redundansi tambahan.

Multi-region: Uni Eropa dan Amerika Serikat

Nama region Deskripsi region
eu

Log yang disimpan di pusat data mana pun dalam Uni Eropa. Log mungkin dipindahkan ke pusat data yang berbeda. Tidak ada jaminan redundansi tambahan.
us

Log yang disimpan di pusat data mana pun di Amerika Serikat. Log mungkin dipindahkan ke pusat data yang berbeda. Tidak ada jaminan redundansi tambahan.

Afrika

Nama region Deskripsi region
africa-south1 Johannesburg

Amerika

Nama region Deskripsi region
northamerica-northeast1 Montréal
northamerica-northeast2 Toronto
southamerica-east1 Sao Paulo
southamerica-west1 Santiago
us-central1 Iowa
us-east1 South Carolina
us-east4 Virginia Utara
us-east5 Columbus
us-south1 Dallas
us-west1 Oregon
us-west2 Los Angeles
us-west3 Salt Lake City
us-west4 Las Vegas

Asia Pasifik

Nama region Deskripsi region
asia-east1 Taiwan
asia-east2 Hong Kong
asia-northeast1 Tokyo
asia-northeast2 Osaka
asia-northeast3 Seoul
asia-south1 Mumbai
asia-south2 Delhi
asia-southeast1 Singapura
asia-southeast2 Jakarta
australia-southeast1 Sydney
australia-southeast2 Melbourne

Eropa

Nama region Deskripsi region
europe-central2 Warsawa
europe-north1 Finlandia
europe-southwest1 Madrid
europe-west1 Belgia
europe-west2 London
europe-west3 Frankfurt
europe-west4 Belanda
europe-west6 Zurich
europe-west8 Milan
europe-west9 Paris
europe-west10 Berlin
europe-west12 Turin

Timur Tengah

Nama region Deskripsi region
me-central1 Doha
me-central2 Dammam
me-west1 Tel Aviv

Saat menetapkan lokasi ke global, Anda tidak perlu menentukan tempat entri log disimpan secara fisik.

Anda dapat otomatis menerapkan wilayah penyimpanan tertentu ke bucket _Default dan _Required yang dibuat di organisasi atau folder. Untuk informasi selengkapnya, lihat Mengonfigurasi setelan default untuk organisasi dan folder.

Untuk informasi selengkapnya tentang regionalitas data dan tempat Anda dapat menyimpan data log, lihat Memahami region data.

Kebijakan organisasi

Anda dapat membuat kebijakan organisasi untuk memastikan bahwa organisasi Anda memenuhi kebutuhan kepatuhan dan peraturan. Dengan menggunakan kebijakan organisasi, Anda dapat menentukan di region mana organisasi Anda dapat membuat bucket log baru. Anda juga dapat membatasi organisasi agar tidak membuat bucket log baru di wilayah yang ditentukan.

Cloud Logging tidak menerapkan kebijakan organisasi yang baru dibuat pada bucket log yang ada; kebijakan hanya diterapkan pada bucket log baru.

Untuk informasi tentang cara membuat kebijakan organisasi berbasis lokasi, lihat Membatasi lokasi resource.

Selain itu, Anda dapat mengonfigurasi lokasi penyimpanan default untuk bucket _Default dan _Required di organisasi atau di folder. Jika Anda mengonfigurasi kebijakan organisasi yang membatasi tempat data dapat disimpan, Anda harus memastikan bahwa lokasi penyimpanan default yang Anda tentukan konsisten dengan batasan tersebut. Untuk informasi selengkapnya, lihat Mengonfigurasi setelan default untuk organisasi dan folder.

Retensi

Cloud Logging menyimpan log sesuai dengan aturan retensi yang berlaku untuk jenis bucket log tempat log disimpan. Untuk mengetahui informasi tentang periode retensi untuk berbagai jenis log, lihat Kuota dan batas.

Anda dapat mengonfigurasi Cloud Logging untuk menyimpan log antara 1 hari dan 3.650 hari. Aturan retensi kustom berlaku untuk semua log dalam bucket, terlepas dari jenis log atau apakah log tersebut telah disalin dari lokasi lain.

Untuk mengetahui informasi tentang cara menetapkan aturan retensi untuk bucket log, lihat Mengonfigurasi retensi kustom.

Tampilan log

Tampilan log memungkinkan Anda memberikan akses kepada pengguna hanya ke sebagian entri log yang disimpan di bucket log. Untuk mengetahui informasi tentang cara mengonfigurasi tampilan log, dan cara memberikan akses ke tampilan log tertentu, lihat Mengonfigurasi tampilan log di bucket log.

Untuk setiap bucket log, Cloud Logging otomatis membuat tampilan _AllLogs, yang menampilkan semua log yang disimpan di bucket tersebut. Cloud Logging juga membuat tampilan untuk bucket _Default yang disebut _Default. Tampilan _Default untuk bucket _Default menampilkan semua log kecuali log audit Akses Data. Tampilan _AllLogs dan _Default tidak dapat diedit, dan Anda tidak dapat menghapus tampilan log _Default.

Tampilan log kustom memberi Anda cara lanjutan dan terperinci untuk mengontrol akses ke data log. Misalnya, pertimbangkan skenario saat Anda menyimpan semua log organisasi di project Google Cloud pusat. Karena bucket log dapat berisi log dari beberapa project Google Cloud, Anda mungkin ingin mengontrol project Google Cloud mana yang dapat dilihat lognya oleh pengguna yang berbeda. Dengan menggunakan tampilan log kustom, Anda dapat memberi satu pengguna akses ke log hanya dari satu project Google Cloud, sementara Anda memberi pengguna lain akses ke log dari semua project Google Cloud.

Menggunakan log di ekosistem Google Cloud

Bagian berikut memberikan informasi tentang cara menggunakan log di Google Cloud secara lebih luas.

Metrik berbasis log

Metrik berbasis log adalah metrik Cloud Monitoring yang berasal dari konten entri log. Misalnya, jika Cloud Logging menerima entri log untuk project Google Cloud yang cocok dengan filter salah satu metrik project Google Cloud, entri log tersebut akan dihitung dalam data metrik.

Metrik berbasis log berinteraksi dengan perutean secara berbeda, bergantung pada apakah metrik berbasis log ditentukan oleh sistem atau oleh Anda. Bagian berikut menjelaskan perbedaan tersebut.

Metrik berbasis log dan filter pengecualian

Filter pengecualian sink berlaku untuk metrik berbasis log yang ditentukan sistem, yang hanya menghitung log yang disimpan di bucket log.

Filter pengecualian sink tidak berlaku untuk metrik berbasis log yang ditentukan pengguna. Meskipun Anda mengecualikan log agar tidak disimpan di bucket Logging, Anda dapat melihat log tersebut dihitung dalam metrik ini.

Cakupan metrik berbasis log

Metrik berbasis log yang ditentukan sistem berlaku di tingkat project Google Cloud. Metrik ini dihitung oleh Router Log dan hanya berlaku untuk log di project Google Cloud tempat log tersebut diterima.

Metrik berbasis log yang ditentukan pengguna dapat diterapkan di tingkat project Google Cloud atau di tingkat bucket log tertentu:

  • Metrik tingkat project dihitung seperti metrik berbasis log yang ditentukan sistem; metrik berbasis log yang ditentukan pengguna ini hanya berlaku untuk log di project Google Cloud tempat log tersebut diterima.

  • Metrik cakupan bucket berlaku untuk log di bucket log tempat log tersebut diterima, terlepas dari project Google Cloud tempat entri log berasal.

    Dengan metrik berbasis log cakupan bucket, Anda dapat membuat metrik berbasis log yang dapat mengevaluasi log dalam kasus berikut:

    • Log yang dirutekan dari satu project ke bucket di project lain.
    • Log yang dirutekan ke bucket melalui sink gabungan.

Untuk informasi selengkapnya, lihat Ringkasan metrik berbasis log.

Menemukan log di tujuan yang didukung

Untuk mempelajari format entri log yang dirutekan dan cara log diatur di tujuan, lihat Melihat log di tujuan sink.

Kasus penggunaan umum

Untuk mengatasi kasus penggunaan umum dalam merutekan dan menyimpan log, lihat dokumen dan tutorial berikut:

Kebutuhan kepatuhan

Untuk praktik terbaik tentang penggunaan pemilihan rute untuk tata kelola data, lihat dokumen berikut:

Kontrol akses dengan IAM

Untuk mengetahui informasi tentang cara menggunakan peran dan izin Identity and Access Management (IAM) untuk mengontrol akses ke data Cloud Logging, lihat Kontrol akses dengan IAM.

Harga

Cloud Logging tidak mengenakan biaya untuk merutekan log ke tujuan yang didukung; tetapi, tujuan tersebut mungkin mengenakan biaya. Dengan pengecualian bucket log _Required, Cloud Logging mengenakan biaya untuk melakukan streaming log ke bucket log dan untuk penyimpanan yang lebih lama dari periode retensi data default bucket log.

Cloud Logging tidak mengenakan biaya untuk menyalin log, menentukan cakupan log, atau untuk kueri yang dikeluarkan melalui halaman Logs Explorer atau Log Analytics.

Untuk informasi selengkapnya, baca dokumen berikut:

Langkah selanjutnya

Untuk membantu Anda merutekan dan menyimpan data Cloud Logging, lihat dokumen berikut:

  • Error Reporting dapat menganalisis entri log dan melaporkan error kepada Anda. Untuk mengetahui informasi selengkapnya tentang layanan ini, termasuk informasi tentang waktu entri log dapat dianalisis, lihat Ringkasan Pelaporan Error.