Melihat log yang dirutekan ke Pub/Sub

Dokumen ini menjelaskan cara menemukan entri log yang dirutekan dari Cloud Logging ke topik Pub/Sub, yang terjadi hampir secara real-time. Sebaiknya gunakan Pub/Sub untuk mengintegrasikan log Cloud Logging dengan software pihak ketiga.

Saat Anda mengarahkan log ke topik Pub/Sub, Logging akan memublikasikan setiap entri log sebagai pesan Pub/Sub segera setelah Logging menerima entri log tersebut. Log yang dirutekan secara umum tersedia dalam hitungan detik setelah kedatangan ke Logging, dengan 99% log tersedia dalam waktu kurang dari 60 detik.

Sebelum memulai

Untuk diskusi konseptual tentang sink, lihat Ringkasan model pemilihan rute dan penyimpanan: Sink.

Untuk mendapatkan petunjuk tentang cara merutekan log Anda, lihat Merutekan log ke tujuan yang didukung.

Lihat log

Untuk melihat log Anda saat di-streaming melalui Pub/Sub, lakukan langkah berikut:

  1. Di panel navigasi konsol Google Cloud, pilih Pub/Sub, lalu pilih Topics:

    Buka Topik

  2. Temukan atau buat langganan ke topik yang digunakan di sink log, lalu tarik entri log dari sana. Anda mungkin harus menunggu entri log baru dipublikasikan.

Organisasi log

Kolom data untuk setiap pesan adalah objek LogEntry berenkode base64. Misalnya, pelanggan Pub/Sub dapat menarik objek berikut dari topik yang menerima entri log. Objek yang ditampilkan berisi daftar dengan satu pesan, meskipun Pub/Sub mungkin menampilkan beberapa pesan jika beberapa entri log tersedia. Nilai data (sekitar 600 karakter) dan nilai ackId (sekitar 200 karakter) telah dipersingkat agar contoh lebih mudah dibaca:

{
 "receivedMessages": [
  {
   "ackId": "dR1JHlAbEGEIBERNK0EPKVgUWQYyODM...QlVWBwY9HFELH3cOAjYYFlcGICIjIg",
   "message": {
    "data": "eyJtZXRhZGF0YSI6eyJzZXZ0eSI6Il...Dk0OTU2G9nIjoiaGVsbG93b3JsZC5sb2cifQ==",
    "attributes": {
     "compute.googleapis.com/resource_type": "instance",
     "compute.googleapis.com/resource_id": "123456"
    },
    "messageId": "43913662360"
   }
  }
 ]
}

Jika mendekode kolom data dan memformatnya, Anda akan mendapatkan objek LogEntry berikut: 

{
  "log": "helloworld.log",
  "insertId": "2015-04-15|11:41:00.577447-07|10.52.166.198|-1694494956",
  "textPayload": "Wed Apr 15 20:40:51 CEST 2015 Hello, world!",
  "timestamp": "2015-04-15T18:40:56Z",
  "labels": {
    "compute.googleapis.com\/resource_type": "instance",
    "compute.googleapis.com\/resource_id": "123456"
  },
  "severity": "WARNING"
  }
}

Integrasi pihak ketiga dengan Pub/Sub

Logging mendukung integrasi logging dengan pihak ketiga, seperti Splunk. Untuk mengetahui daftar integrasi saat ini, lihat Partner untuk integrasi dengan Kemampuan Observasi Google Cloud.

Anda mengarahkan log melalui topik Pub/Sub dan pihak ketiga akan menerima log Anda dengan berlangganan topik yang sama.

Untuk menjalankan integrasi, lakukan hal berikut:

  1. Mendapatkan nama akun layanan Google Cloud yang dibuat dari project Google Cloud mereka dari pihak ketiga. Misalnya, 12345-xyz@developer.gserviceaccount.com. Anda menggunakan nama ini untuk memberikan izin kepada pihak ketiga untuk menerima log Anda.

  2. Di project yang berisi log, aktifkan Pub/Sub API.

  3. Enable the Pub/Sub API.

    Enable the API

  4. Buat topik Pub/Sub. Anda dapat membuat topik saat mengonfigurasi sink log, atau dengan mengikuti langkah-langkah berikut:

    1. Di panel navigasi konsol Google Cloud, pilih Pub/Sub, lalu pilih Topics:

      Buka Topik

    2. Pilih Buat topik, lalu masukkan nama topik. Misalnya, projects/my-project-id/topics/my-pubsub-topic. Anda mengarahkan log ke topik ini.

      Setiap pesan yang dikirim ke topik menyertakan stempel waktu entri log yang dirutekan dalam pesan Pub/Sub attributes; misalnya:

      "attributes": {
  "logging.googleapis.com/timestamp": "2018-10-01T00:00:00Z"
}

    3. Klik Create topic.

    4. Izinkan Logging untuk mengarahkan log ke topik. Untuk mengetahui petunjuknya, lihat Menetapkan izin tujuan.

  5. Izinkan pihak ketiga untuk berlangganan topik Anda:

    1. Di panel navigasi konsol Google Cloud, pilih Pub/Sub, lalu pilih Topics:

      Buka Topik

    2. Pilih topik Anda.
    3. Pilih Izin.
    4. Pilih Tambahkan izin, lalu masukkan nama akun layanan pihak ketiga.
    5. Pada menu Select a role, pilih Pub/Sub Subscriber.
    6. Klik Save.

  6. Berikan nama topik Pub/Sub Anda kepada pihak ketiga, misalnya, projects/my-project-number/topics/my-pubsub-topic. Mereka harus berlangganan topik sebelum Anda memulai perutean.

  7. Mulai arahkan log setelah pihak ketiga berlangganan topik:

    1. Di panel navigasi konsol Google Cloud, pilih Logging, lalu pilih Log Router:

      Buka Router Log

    2. Di project yang berisi log yang ingin Anda arahkan, klik Create Sink.
    3. Masukkan nama dan deskripsi untuk sink, lalu klik Berikutnya.
    4. Di menu Sink Service, pilih Cloud Pub/Sub topic.
    5. Di menu Cloud Pub/Sub topic, pilih topik Pub/Sub tempat pihak ketiga berlangganan, lalu klik Next.
    6. Pilih log yang akan disertakan dalam sink, lalu klik Next.
    7. Opsional: Pilih log yang akan dikecualikan.

    8. Klik Create Sink.

      Dialog dengan pesan Sink created akan muncul. Pesan ini menunjukkan bahwa sink Anda berhasil dibuat dengan izin untuk menulis log yang cocok di masa mendatang ke tujuan yang Anda pilih.

Pihak ketiga Anda akan segera menerima entri log.

Untuk mempelajari skenario perutean log umum menggunakan Pub/Sub, lihat Skenario untuk mengekspor data Cloud Logging: Splunk.

Pemecahan masalah

Jika log tampaknya tidak ada di tujuan sink atau Anda mencurigai bahwa sink Anda tidak merutekan log dengan benar, lihat Memecahkan masalah log perutean.

Harga

Cloud Logging tidak mengenakan biaya untuk merutekan log ke tujuan yang didukung; tetapi tujuan tersebut mungkin dikenai biaya. Dengan pengecualian bucket log _Required, Cloud Logging mengenakan biaya untuk mengalirkan log ke dalam bucket log dan untuk penyimpanan yang lebih lama dari periode retensi default bucket log.

Cloud Logging tidak mengenakan biaya untuk menyalin log, atau untuk kueri yang dikeluarkan melalui halaman Logs Explorer atau melalui halaman Log Analytics.

Untuk informasi selengkapnya, baca dokumen berikut: