Ringkasan Cloud Logging

Dokumen ini memberikan ringkasan tentang Cloud Logging, yang merupakan sistem pengelolaan log real-time dengan dukungan penyimpanan, penelusuran, analisis, dan pemantauan. Cloud Logging otomatis mengumpulkan log dari resource Google Cloud. Anda juga dapat mengumpulkan log dari aplikasi, resource lokal, dan resource dari penyedia cloud lainnya. Anda dapat mengonfigurasi pemberitahuan untuk memberi tahu jika jenis peristiwa tertentu dilaporkan di log. Untuk alasan peraturan atau keamanan, Anda dapat menentukan tempat penyimpanan data log.

Mengumpulkan log dari aplikasi Anda dan software pihak ketiga

Anda dapat mengumpulkan log dari aplikasi yang Anda tulis dengan menginstrumentasikan aplikasi menggunakan library klien. Namun, tidak selalu diperlukan untuk menginstrumentasikan aplikasi Anda. Misalnya, untuk beberapa konfigurasi, Anda dapat menggunakan Agen Operasional untuk mengirim log yang ditulis ke stdout atau stderr ke project Google Cloud Anda.

Anda juga dapat mengumpulkan data log dari aplikasi pihak ketiga, seperti nginx, dengan menginstal Agen Operasional, lalu mengonfigurasinya untuk menulis log dari aplikasi tersebut ke project Google Cloud Anda.

Lihat Mana yang harus Anda gunakan: Agen logging atau library klien? untuk informasi yang dapat membantu memutuskan pendekatan yang paling sesuai dengan persyaratan Anda.

Memecahkan masalah dan menganalisis log

Anda dapat melihat dan menganalisis data log dengan menggunakan Konsol Google Cloud, baik dengan halaman Logs Explorer atau Log Analytics. Anda dapat membuat kueri dan melihat log dengan kedua antarmuka; akan tetapi, keduanya menggunakan bahasa kueri yang berbeda dan memiliki kemampuan yang berbeda.

Jika Anda ingin memecahkan dan menganalisis performa layanan dan aplikasi, sebaiknya gunakan Logs Explorer. Antarmuka ini didesain untuk memungkinkan Anda melihat masing-masing entri log dan menemukan entri log terkait. Misalnya, jika entri log adalah bagian dari grup error, entri tersebut dianotasi dengan menu opsi agar Anda dapat mengakses informasi selengkapnya tentang error tersebut.

Jika Anda ingin melakukan operasi gabungan pada log, misalnya, untuk menghitung latensi rata-rata untuk permintaan HTTP yang dikeluarkan ke URL tertentu dari waktu ke waktu, gunakan antarmuka Log Analytics. Dengan antarmuka ini, Anda menggunakan SQL untuk membuat kueri data log. Oleh karena itu, Anda dapat memanfaatkan kemampuan SQL untuk membantu memahami data log.

Jika ingin membuat kueri data log secara terprogram, Anda dapat menggunakan Cloud Logging API atau Google Cloud CLI untuk mengekspor data log dari project Google Cloud.

Untuk mengetahui informasi selengkapnya, lihat Ringkasan log dan kueri.

Memantau log Anda

Anda dapat mengonfigurasi Cloud Logging untuk memberi tahu Anda saat jenis peristiwa tertentu terjadi di log Anda. Notifikasi ini dapat dikirim saat pola tertentu muncul dalam entri log, atau saat tren terdeteksi dalam data log Anda. Jika ingin melihat tingkat error layanan Google Cloud, Anda dapat melihat dasbor Cloud Logging yang sudah dikonfigurasi sebelumnya.

Misalnya, jika ingin mendapatkan notifikasi saat pesan tertentu, seperti peristiwa terkait keamanan penting terjadi, Anda dapat membuat notifikasi berbasis log. Pemberitahuan berbasis log akan memantau log Anda untuk menemukan pola tertentu, dan jika pola tersebut ditemukan, notifikasi akan dikirimkan dan insiden dibuat. Notifikasi berbasis log sangat cocok untuk peristiwa penting tetapi jarang terjadi, seperti berikut:

  • Anda ingin diberi tahu saat peristiwa muncul di log audit; misalnya, pengguna mengakses kunci keamanan akun layanan.
  • Aplikasi Anda menulis pesan deployment ke log, dan Anda ingin diberi tahu saat terjadi perubahan deployment dalam log.

Atau, Anda dapat memantau tren atau kemunculan peristiwa dari waktu ke waktu. Untuk situasi ini, Anda dapat membuat metrik berbasis log. Metrik berbasis log dapat menghitung jumlah entri log yang cocok dengan beberapa kriteria, atau dapat mengekstrak dan mengatur informasi seperti waktu respons ke dalam histogram. Anda juga dapat mengonfigurasi pemberitahuan yang memberi tahu Anda saat terjadi perubahan performa, misalnya, waktu respons meningkat ke level yang tidak dapat diterima. Metrik berbasis log cocok jika Anda ingin melakukan salah satu hal berikut:

  • Hitung kemunculan pesan, seperti peringatan atau error, di log Anda dan terima notifikasi saat jumlah kemunculannya melampaui batas.
  • Amati tren dalam data Anda, seperti nilai latensi di log Anda, dan terima notifikasi jika nilai tersebut berubah dengan cara yang tidak dapat diterima.
  • Buat diagram untuk menampilkan data numerik yang diekstrak dari log Anda.

Untuk mengetahui informasi lebih lanjut, lihat Memantau log.

Penyimpanan catatan

Anda tidak perlu mengonfigurasi lokasi tempat log disimpan. Secara default, project Google Cloud Anda otomatis menyimpan semua log yang diterima di bucket log Cloud Logging. Misalnya, jika project Google Cloud Anda berisi instance Compute Engine, semua log yang dihasilkan Compute Engine akan otomatis disimpan untuk Anda. Namun, jika perlu, Anda dapat mengonfigurasi sejumlah aspek tentang penyimpanan log, seperti log mana yang disimpan, yang dihapus, dan tempat log disimpan.

Anda dapat merutekan atau meneruskan entri log ke tujuan berikut, yang dapat berada di project Google Cloud yang sama atau di project Google Cloud lain:

  • Bucket Cloud Logging: Menyediakan penyimpanan di Cloud Logging. Bucket log dapat menyimpan entri log yang diterima oleh beberapa project Google Cloud. Anda dapat menggabungkan data Cloud Logging dengan data lain dengan mengupgrade bucket log untuk menggunakan Log Analytics, lalu membuat set data BigQuery tertaut. Untuk mendapatkan informasi tentang cara melihat entri log yang disimpan di bucket log, lihat Ringkasan log dan kueri serta Melihat log yang dirutekan ke bucket Cloud Logging.
  • Set data BigQuery: Menyediakan penyimpanan entri log di set data BigQuery. Anda dapat menggunakan kemampuan analisis big data pada entri log yang disimpan. Untuk menggabungkan data Cloud Logging Anda dengan sumber data lain, sebaiknya upgrade bucket log Anda untuk menggunakan Log Analytics, lalu buat set data BigQuery tertaut. Untuk mendapatkan informasi tentang cara melihat entri log yang diarahkan ke BigQuery, baca artikel Melihat log yang dirutekan ke BigQuery.
  • Bucket Cloud Storage: Menyediakan penyimpanan entri log di Cloud Storage. Entri log disimpan sebagai file JSON. Untuk mengetahui informasi tentang cara melihat entri log yang dirutekan ke Cloud Storage, baca bagian Melihat log yang dirutekan ke Cloud Storage.
  • Pub/Sub topic: Memberikan dukungan untuk integrasi pihak ketiga. Entri log diformat ke dalam JSON, lalu dirutekan ke topik Pub/Sub. Untuk mengetahui informasi tentang cara melihat entri log yang dirutekan ke Pub/Sub, baca bagian Melihat log yang dirutekan ke Pub/Sub.
  • Splunk: Memberikan dukungan untuk Splunk. Anda harus mengarahkan entri log Anda ke topik Pub/Sub, lalu berlangganan ke topik tersebut menggunakan Splunk.
  • Project Google Cloud: Merutekan entri log ke project Google Cloud lain. Saat Anda mengarahkan entri log ke project Google Cloud yang berbeda, Router Log project tujuan akan menerima entri log dan memprosesnya. Sink dalam project tujuan menentukan cara entri log yang diterima dirutekan. Error Reporting dapat menganalisis entri log saat project tujuan merutekan entri log tersebut ke bucket log yang dimiliki oleh project tujuan.
  • Resource lainnya: Merutekan entri log Anda ke tujuan yang didukung yang berada dalam project berbeda. Untuk mengetahui informasi tentang jalur yang akan digunakan, lihat Format jalur tujuan.

Untuk informasi selengkapnya, termasuk dukungan regionalitas data, lihat Ringkasan pemilihan rute dan penyimpanan.

Kategori log

Kategori log dimaksudkan untuk membantu mendeskripsikan informasi logging yang tersedia untuk Anda; kategori ini tidak saling eksklusif:

  • Log platform adalah log yang ditulis oleh layanan Google Cloud Anda. Log ini dapat membantu Anda men-debug dan memecahkan masalah, serta membantu Anda lebih memahami layanan Google Cloud yang Anda gunakan. Misalnya, VPC Flow Logs mencatat contoh alur jaringan yang dikirim dari dan diterima oleh instance VM.

  • Log komponen mirip dengan log platform, tetapi dibuat oleh komponen software yang disediakan Google yang berjalan di sistem Anda. Misalnya, GKE menyediakan komponen software yang dapat dijalankan pengguna di VM mereka sendiri atau di pusat data mereka sendiri. Log dibuat dari instance GKE pengguna dan dikirim ke project Google Cloud pengguna. GKE menggunakan log atau metadatanya untuk memberikan dukungan kepada pengguna.

  • Log keamanan membantu Anda menjawab "siapa melakukan apa, di mana, dan kapan":

    • Cloud Audit Logs memberikan informasi tentang akses dan aktivitas administratif dalam resource Google Cloud Anda. Dengan mengaktifkan log audit, entitas keamanan, pengauditan, dan kepatuhan Anda dapat memantau data dan sistem Google Cloud untuk mengetahui kemungkinan kerentanan atau penyalahgunaan data eksternal. Untuk mengetahui daftar layanan yang didukung Google Cloud, lihat Layanan Google dengan log audit.

    • Transparansi Akses menyediakan log tindakan yang dilakukan oleh staf Google saat mengakses konten Google Cloud Anda. Log Transparansi Akses dapat membantu Anda melacak kepatuhan terhadap persyaratan hukum dan peraturan untuk organisasi Anda. Untuk mengetahui daftar layanan yang didukung Google Cloud, lihat Layanan Google dengan log Transparansi Akses.

  • Log yang ditulis pengguna adalah log yang ditulis oleh layanan dan aplikasi kustom. Biasanya, log ini ditulis ke Cloud Logging menggunakan salah satu metode berikut:

  • Log multi-cloud dan Log hybrid cloud mengacu pada log dari penyedia cloud lain, seperti Microsoft Azure, dan log dari infrastruktur lokal.

Model data untuk log

Model data yang digunakan Cloud Logging untuk mengatur data log Anda menentukan dimensi yang dapat digunakan untuk mengkueri data tersebut. Misalnya, karena log adalah kumpulan entri individual bernama, Anda dapat mengkueri data Anda berdasarkan nama log. Demikian pula, karena setiap log terdiri dari entri log yang diformat sebagai objek LogEntry, Anda dapat menulis kueri yang hanya mengambil entri log tersebut jika nilai kolom LogEntry cocok dengan beberapa kriteria. Misalnya, Anda hanya dapat menampilkan entri log yang kolom severity-nya memiliki nilai ERROR.

Setiap entri log mencatat status atau mendeskripsikan peristiwa tertentu, seperti pembuatan instance VM, dan minimal terdiri dari hal berikut:

  • Stempel waktu yang menunjukkan kapan peristiwa terjadi atau saat peristiwa diterima oleh Cloud Logging.
  • Informasi tentang sumber entri log. Sumber ini disebut resource yang dimonitor. Contoh resource yang dipantau mencakup instance VM Compute Engine individual dan container Google Kubernetes Engine. Untuk mengetahui daftar lengkap jenis resource yang dimonitor, lihat Resource dan layanan yang dimonitor.
  • Payload, yang juga dikenal sebagai pesan, disediakan sebagai data tekstual tidak terstruktur atau sebagai data tekstual terstruktur dalam format JSON.

  • Nama log yang memiliki log tersebut. Nama log menyertakan jalur lengkap resource tempat entri log berada, diikuti dengan ID. Berikut adalah contoh nama log:

    • projects/my-project/logs/stderr
    • projects/my-project/logs/stdout
    • projects/my-project/compute.googleapis.com/activity

Kontrol akses

Peran Identity and Access Management mengontrol kemampuan akun utama untuk mengakses log. Anda dapat memberikan peran yang telah ditetapkan ke akun utama, atau membuat peran khusus. Untuk mengetahui informasi selengkapnya tentang izin yang diperlukan, lihat Kontrol akses.

Retensi

Entri log disimpan dalam bucket log selama jangka waktu tertentu, lalu dihapus. Untuk informasi selengkapnya, lihat Ringkasan pemilihan rute dan penyimpanan: retensi.

Kontrol harga dan biaya

Untuk mengetahui informasi harga, lihat harga Cloud Logging.

Untuk mengetahui strategi mengurangi biaya Logging, lihat Kontrol biaya logging.