Ringkasan Cloud Logging

Dokumen ini memberikan ringkasan tentang Cloud Logging, yang merupakan sistem pengelolaan log real-time dengan dukungan penyimpanan, penelusuran, analisis, dan pemantauan. Cloud Logging otomatis mengumpulkan data log dari resource Google Cloud. Aplikasi, resource lokal, dan resource dari penyedia cloud lain dapat mengirim data log ke Cloud Logging. Anda juga dapat mengonfigurasi kebijakan pemberitahuan agar Cloud Monitoring memberi tahu Anda saat jenis peristiwa tertentu dilaporkan dalam data log. Untuk alasan peraturan atau keamanan, Anda dapat menentukan tempat penyimpanan data log.

Mengumpulkan log dari aplikasi dan software pihak ketiga

Anda dapat mengumpulkan log dari aplikasi yang Anda tulis dengan melengkapi aplikasi menggunakan library klien. Namun, Anda tidak selalu perlu melengkapi aplikasi dengan instrumen. Misalnya, untuk beberapa konfigurasi, Anda dapat menggunakan Ops Agent untuk mengirim log yang ditulis ke stdout atau stderr ke project Google Cloud Anda.

Anda juga dapat mengumpulkan data log dari aplikasi pihak ketiga, seperti nginx, dengan menginstal Agen Operasional, lalu mengonfigurasinya untuk menulis log dari aplikasi tersebut ke project Google Cloud Anda.

Lihat Mana yang harus Anda gunakan: Library klien atau Agen logging? untuk mengetahui informasi yang dapat membantu Anda memutuskan pendekatan mana yang paling sesuai dengan persyaratan Anda.

Memecahkan masalah dan menganalisis log

Anda dapat melihat dan menganalisis data log menggunakan konsol Google Cloud, baik dengan Logs Explorer maupun halaman Log Analytics. Anda dapat membuat kueri dan melihat log dengan kedua antarmuka tersebut; tetapi, keduanya menggunakan bahasa kueri yang berbeda dan memiliki kemampuan yang berbeda.

Jika Anda ingin memecahkan masalah dan menganalisis performa layanan dan aplikasi, sebaiknya gunakan Logs Explorer. Antarmuka ini dirancang agar Anda dapat melihat setiap entri log dan menemukan entri log terkait. Misalnya, saat entri log adalah bagian dari grup error, entri tersebut dianotasi dengan menu opsi yang Anda akses untuk mendapatkan informasi selengkapnya tentang error.

Jika Anda tertarik untuk melakukan operasi gabungan pada log, misalnya, untuk menghitung latensi rata-rata untuk permintaan HTTP yang dikeluarkan ke URL tertentu dari waktu ke waktu, gunakan antarmuka Log Analytics. Dengan antarmuka ini, Anda menggunakan SQL untuk membuat kueri data log, sehingga Anda dapat menggunakan kemampuan SQL untuk membantu memahami data log.

Jika lebih memilih untuk membuat kueri data log secara terprogram, Anda dapat menggunakan Cloud Logging API atau Google Cloud CLI untuk mengekspor data log dari project Google Cloud Anda.

Untuk informasi selengkapnya, lihat Ringkasan log kueri dan tampilan.

Memantau log Anda

Anda dapat mengonfigurasi Cloud Logging untuk memberi tahu Anda saat jenis peristiwa tertentu terjadi dalam log. Notifikasi ini mungkin dikirim saat pola tertentu muncul dalam entri log, atau saat tren terdeteksi dalam data log Anda. Jika tertarik untuk melihat rasio error layanan Google Cloud, Anda dapat melihat dasbor Cloud Logging, yang telah dikonfigurasi sebelumnya.

Misalnya, jika ingin diberi tahu saat pesan tertentu, seperti peristiwa penting terkait keamanan, terjadi, Anda dapat membuat kebijakan pemberitahuan berbasis log. Kebijakan pemberitahuan berbasis log memantau log Anda untuk menemukan pola tertentu. Jika pola tersebut ditemukan, Monitoring akan mengirim notifikasi dan membuat insiden. Kebijakan pemberitahuan berbasis log berguna untuk peristiwa penting, tetapi jarang terjadi, seperti berikut:

  • Anda ingin diberi tahu saat peristiwa muncul di log audit; misalnya, pengguna mengakses kunci keamanan akun layanan.
  • Aplikasi Anda menulis pesan deployment ke log, dan Anda ingin diberi tahu saat perubahan deployment dicatat ke dalam log.

Atau, Anda mungkin ingin memantau tren atau terjadinya peristiwa seiring waktu. Untuk situasi ini, Anda dapat membuat metrik berbasis log. Metrik berbasis log dapat menghitung jumlah entri log yang cocok dengan beberapa kriteria, atau dapat mengekstrak dan mengatur informasi seperti waktu respons ke dalam histogram. Anda juga dapat mengonfigurasi kebijakan pemberitahuan yang akan memberi tahu Anda saat terjadi perubahan performa, misalnya, waktu respons meningkat ke tingkat yang tidak dapat diterima. Metrik berbasis log cocok jika Anda ingin melakukan salah satu hal berikut:

  • Hitung kemunculan pesan, seperti peringatan atau error, dalam log Anda dan terima notifikasi saat jumlah kemunculan melampaui nilai minimum.
  • Amati tren dalam data Anda, seperti nilai latensi dalam log, dan terima notifikasi jika nilai berubah dengan cara yang tidak dapat diterima.
  • Buat diagram untuk menampilkan data numerik yang diekstrak dari log Anda.

Untuk mengetahui informasi selengkapnya, lihat Memantau log.

Penyimpanan catatan

Anda tidak perlu mengonfigurasi lokasi penyimpanan log. Secara default, project Google Cloud Anda akan otomatis menyimpan semua log yang diterima di bucket log Cloud Logging. Misalnya, jika project Google Cloud Anda berisi instance Compute Engine, semua log yang dihasilkan Compute Engine akan otomatis disimpan untuk Anda. Namun, jika perlu, Anda dapat mengonfigurasi sejumlah aspek tentang penyimpanan log, seperti log yang disimpan, yang dihapus, dan tempat log disimpan.

Anda dapat me-rutekan, atau meneruskan, entri log ke tujuan berikut, yang dapat berada di project Google Cloud yang sama atau di project Google Cloud yang berbeda:

  • Bucket Cloud Logging: Menyediakan penyimpanan di Cloud Logging. Bucket log dapat menyimpan entri log yang diterima oleh beberapa project Google Cloud. Bucket log dapat berada di project yang sama dengan asal entri log, atau di project yang berbeda. Untuk informasi tentang cara melihat entri log yang disimpan di bucket log, lihat Ringkasan log kueri dan tampilan serta Melihat log yang dirutekan ke bucket Cloud Logging.

    Anda dapat menggabungkan data Cloud Logging dengan data lain dengan mengupgrade bucket log untuk menggunakan Log Analytics, lalu membuat set data tertaut, yang merupakan set data hanya baca yang dapat dikueri oleh halaman BigQuery Studio dan Looker Studio.

  • Set data BigQuery: Menyediakan penyimpanan entri log dalam set data BigQuery yang dapat ditulis. Set data BigQuery dapat berada di project yang sama dengan asal entri log, atau di project yang berbeda. Anda dapat menggunakan kemampuan analisis big data pada entri log yang disimpan. Untuk informasi tentang cara melihat entri log yang dirutekan ke BigQuery, lihat Melihat log yang dirutekan ke BigQuery.

  • Bucket Cloud Storage: Menyediakan penyimpanan entri log di Cloud Storage. Bucket Cloud Storage dapat berada dalam project yang sama dengan asal entri log, atau dalam project yang berbeda. Entri log disimpan sebagai file JSON. Untuk mengetahui informasi tentang cara melihat entri log yang dirutekan ke Cloud Storage, lihat artikel Melihat log yang dirutekan ke Cloud Storage.

  • Topik Pub/Sub: Memberikan dukungan untuk integrasi pihak ketiga. Entri log diformat menjadi JSON, lalu dirutekan ke topik Pub/Sub. Topik dapat berada di project yang sama dengan asal entri log, atau di project yang berbeda. Untuk informasi tentang cara melihat entri log yang dirutekan ke Pub/Sub, lihat Melihat log yang dirutekan ke Pub/Sub.

  • Project Google Cloud: Merutekan entri log ke project Google Cloud lain. Dalam konfigurasi ini, sink di project tujuan memproses entri log.

Untuk informasi selengkapnya, termasuk dukungan regionalitas data, lihat Ringkasan pemilihan rute dan penyimpanan.

Kategori log

Kategori log dimaksudkan untuk membantu mendeskripsikan informasi logging yang tersedia untuk Anda; kategori tersebut tidak saling eksklusif:

  • Log platform adalah log yang ditulis oleh layanan Google Cloud Anda. Log ini dapat membantu Anda men-debug dan memecahkan masalah, serta membantu Anda lebih memahami layanan Google Cloud yang Anda gunakan.

  • Log komponen mirip dengan log platform, tetapi dihasilkan oleh komponen software yang disediakan Google dan berjalan di sistem Anda. Misalnya, GKE menyediakan komponen software yang dapat dijalankan pengguna di VM mereka sendiri atau di pusat data mereka sendiri. Log dibuat dari instance GKE pengguna dan dikirim ke project Google Cloud pengguna. GKE menggunakan log atau metadatanya untuk memberikan dukungan kepada pengguna.

  • Log keamanan membantu Anda menjawab "siapa yang melakukan apa, di mana, dan kapan":

    • Cloud Audit Logs memberikan informasi tentang aktivitas dan akses administratif dalam resource Google Cloud Anda. Mengaktifkan log audit membantu entitas keamanan, audit, dan kepatuhan Anda memantau data dan sistem Google Cloud untuk menemukan kemungkinan kerentanan atau penyalahgunaan data eksternal. Untuk mengetahui daftar layanan yang didukung Google Cloud, lihat Layanan Google dengan log audit.
    • Transparansi Akses memberi Anda log tindakan yang dilakukan staf Google saat mengakses konten Google Cloud Anda. Log Transparansi Akses dapat membantu Anda melacak kepatuhan terhadap persyaratan hukum dan peraturan untuk organisasi Anda. Untuk mengetahui daftar layanan yang didukung Google Cloud, lihat Layanan Google dengan log Transparansi Akses.

  • Log yang ditulis pengguna adalah log yang ditulis oleh aplikasi dan layanan kustom. Biasanya, log ini ditulis ke Cloud Logging menggunakan salah satu metode berikut:

Model data untuk log

Model data yang digunakan Cloud Logging untuk mengatur data log Anda menentukan dimensi tempat Anda dapat membuat kueri data tersebut. Misalnya, karena log adalah kumpulan entri individual yang diberi nama, Anda dapat mengkueri data menurut nama log. Demikian pula, karena setiap log terdiri dari entri log yang diformat sebagai objek LogEntry, Anda dapat menulis kueri yang hanya mengambil entri log tersebut jika nilai kolom LogEntry cocok dengan beberapa kriteria. Misalnya, Anda hanya dapat menampilkan entri log yang kolom severity-nya memiliki nilai ERROR.

Setiap entri log mencatat status atau menjelaskan peristiwa tertentu, seperti pembuatan instance VM, dan minimal terdiri dari hal berikut:

  • Stempel waktu yang menunjukkan kapan peristiwa terjadi atau kapan peristiwa tersebut diterima oleh Cloud Logging.
  • Informasi tentang sumber entri log. Sumber ini disebut resource yang dipantau. Contoh resource yang dipantau mencakup setiap instance VM Compute Engine dan penampung Google Kubernetes Engine. Untuk mengetahui daftar lengkap jenis resource yang dimonitor, lihat Resource dan layanan yang dimonitor.
  • Payload, yang juga dikenal sebagai pesan, disediakan sebagai data tekstual tidak terstruktur atau sebagai data tekstual terstruktur dalam format JSON.

  • Nama log tempat log tersebut berada. Nama log mencakup jalur lengkap resource tempat entri log berada, diikuti dengan ID. Berikut adalah contoh nama log:

    • projects/my-project/logs/stderr
    • projects/my-project/logs/stdout
    • projects/my-project/compute.googleapis.com/activity

Kontrol akses

Peran Identity and Access Management mengontrol kemampuan akun utama untuk mengakses log. Anda dapat memberikan peran standar kepada akun utama, atau Anda dapat membuat peran khusus. Untuk mengetahui informasi selengkapnya tentang izin yang diperlukan, lihat Kontrol akses.

Retensi

Entri log disimpan di bucket log selama jangka waktu yang ditentukan, lalu dihapus. Untuk informasi selengkapnya, lihat Ringkasan pemilihan rute dan penyimpanan: retensi.

Harga

Cloud Logging tidak mengenakan biaya untuk merutekan log ke tujuan yang didukung; tetapi, tujuan tersebut mungkin mengenakan biaya. Dengan pengecualian bucket log _Required, Cloud Logging mengenakan biaya untuk melakukan streaming log ke bucket log dan untuk penyimpanan yang lebih lama dari periode retensi data default bucket log.

Cloud Logging tidak mengenakan biaya untuk menyalin log, menentukan cakupan log, atau untuk kueri yang dikeluarkan melalui halaman Logs Explorer atau Log Analytics.

Untuk informasi selengkapnya, baca dokumen berikut: