Ringkasan sink gabungan

Dokumen ini menjelaskan sink gabungan, yang memungkinkan Anda mengumpulkan dan merutekan entri log yang berasal dari resource dalam folder atau organisasi ke tujuan yang didukung. Sebaiknya gunakan sink gabungan untuk merutekan data log Anda ke lokasi penyimpanan pusat.

Tentang sink gabungan

Sink gabungan mirip dengan sink tingkat project karena sink gabungan berisi filter dan tujuan. Namun, Log Router mengirim entri log berikut ke sink gabungan:

  • Semua entri log yang berasal dari folder atau organisasi.
  • Semua entri log yang berasal dari resource turunan folder atau organisasi.

Misalnya, jika Anda membuat sink gabungan tingkat folder, Log Router akan mengirimkan semua entri log yang berasal dari folder atau resource turunan folder tersebut ke sink tersebut.

Jika sink gabungan ada dalam hierarki resource entri log, Router Log akan mengirimkan entri log tersebut ke sink tersebut terlebih dahulu. Karena sink gabungan dapat mencegat atau tidak mencegat, Log Router mungkin tidak mengirim entri log yang dirutekan oleh sink gabungan yang dikirim ke sink tingkat project.

Menyadap sink gabungan

Sink gabungan yang mencegat mencegah entri log dirutekan ke sink di resource turunan, kecuali untuk sink _Required di resource tempat entri log berasal. Sink gabungan yang mencegat dapat berguna untuk mencegah salinan entri log duplikat disimpan di beberapa tempat.

Misalnya, Anda perlu mengaktifkan log audit Akses Data untuk tujuan audit. Untuk menyederhanakan analisis, Anda harus menyimpan log ini di lokasi pusat. Namun, karena alasan keamanan dan biaya, Anda juga ingin mencegah log ini disimpan di tingkat project. Untuk skenario ini, Anda dapat membuat sink gabungan yang mencegat.

Sink gabungan yang tidak mencegat

Sink gabungan yang tidak menyadap tidak memengaruhi cara entri log dirutekan ke sink lainnya. Artinya, meskipun entri log cocok dengan filter sink gabungan yang tidak menyadap, entri log tersebut akan diteruskan ke sink lain dalam hierarki resource entri log. Sink gabungan yang tidak menyadap memungkinkan Anda mempertahankan visibilitas entri log di resource tempat entri tersebut dibuat.

Misalnya, Anda dapat membuat sink gabungan yang tidak menyadap yang merutekan semua entri log yang dibuat dari folder yang ada dalam organisasi ke bucket log pusat. Entri log disimpan di bucket log pusat. Namun, karena sink tidak menyadap, Log Router juga mengirimkan entri log ke sink log di resource tempat entri log tersebut dibuat.

Contoh perutean

Bagian ini menggambarkan bagaimana entri log yang berasal dari suatu project dapat mengalir melalui sink di hierarki resource-nya.

Contoh: Tidak ada sink gabungan

Jika tidak ada sink gabungan dalam hierarki resource entri log, entri log akan dikirim ke sink log di project tempat entri log berasal. Sink tingkat project merutekan entri log ke tujuan sink jika entri log cocok dengan filter penyertaan sink, tetapi tidak cocok dengan filter pengecualian sink.

Contoh: Ada sink gabungan yang tidak menyadap

Asumsikan bahwa sink gabungan yang tidak menyadap ada di hierarki resource untuk entri log. Setelah Log Router mengirim entri log ke sink gabungan yang tidak menyadap, hal berikut akan terjadi:

  1. Sink gabungan yang tidak menyadap merutekan entri log ke tujuan sink jika entri log cocok dengan filter penyertaan, tetapi tidak cocok dengan filter pengecualian apa pun.

  2. Router Log mengirim entri log ke sink log di project tempat entri log berasal.

    Sink tingkat project merutekan entri log ke tujuan sink jika entri log cocok dengan filter penyertaan sink, tetapi tidak cocok dengan filter pengecualian sink.

Contoh: Sink gabungan yang mencegat ada

Asumsikan bahwa sink gabungan yang mencegat ada di hierarki resource untuk entri log. Setelah Log Router mengirim entri log ke sink gabungan yang mencegat, salah satu hal berikut akan terjadi:

  • Entri log cocok dengan filter penyertaan, tetapi tidak cocok dengan filter pengecualian:

    1. Entri log dirutekan ke tujuan sink gabungan yang mencegat.
    2. Entri log dikirim ke sink _Required di project tempat entri log berasal.

  • Entri log tidak cocok dengan filter penyertaan atau cocok dengan setidaknya satu filter pengecualian:

    1. Entri log tidak dirutekan oleh sink gabungan yang mencegat.

    2. Router Log mengirim entri log ke sink log di project tempat entri log berasal.

      Sink tingkat project merutekan entri log ke tujuan sink jika entri log cocok dengan filter penyertaan sink, tetapi tidak cocok dengan filter pengecualian sink.

Tujuan yang didukung untuk sink gabungan

Bagian ini mencantumkan tujuan yang didukung untuk sink gabungan.

Sink penyadapan

Tujuan sink gabungan yang mencegat harus berupa Google Cloud project.

Sink log di project tujuan mengalihkan entri log ke tujuannya. Semua tujuan kecuali project didukung. Misalnya, sink log di project tujuan dapat merutekan ulang entri log ke bucket log.

Sink non-penyisipan

Tujuan sink gabungan yang tidak menyadap dapat berupa salah satu dari berikut:

Tujuan sink dapat berada di resource yang berbeda dengan sink. Misalnya, Anda dapat menggunakan sink log untuk merutekan entri log dari satu project ke bucket log yang disimpan di project lain.

Tujuan berikut didukung:

Google Cloud project

Pilih tujuan ini jika Anda ingin sink log di project tujuan merutekan ulang entri log Anda, atau jika Anda telah membuat sink gabungan yang mencegat. Sink log di project yang menjadi tujuan sink dapat mengalihkan entri log ke tujuan yang didukung kecuali project.

Bucket log
Pilih tujuan ini jika Anda ingin menyimpan data log di resource yang dikelola oleh Cloud Logging. Data log yang disimpan di bucket log dapat dilihat dan dianalisis menggunakan layanan seperti Logs Explorer.
Set data BigQuery
Pilih tujuan ini jika Anda ingin menggabungkan data log dengan data bisnis lainnya. Set data yang Anda tentukan harus diaktifkan untuk penulisan. Jangan menetapkan tujuan sink ke set data BigQuery yang ditautkan. Set data tertaut bersifat hanya baca.
Bucket Cloud Storage
Pilih tujuan ini jika Anda menginginkan penyimpanan jangka panjang untuk data log Anda. Bucket Cloud Storage dapat berada dalam project yang sama dengan tempat asal entri log, atau dalam project yang berbeda. Entri log disimpan sebagai file JSON.
Topik Pub/Sub
Pilih tujuan ini jika Anda ingin mengekspor data log dari Google Cloud , lalu menggunakan integrasi pihak ketiga seperti Splunk atau Datadog. Entri log diformat ke dalam JSON, lalu dirutekan ke topik Pub/Sub.

Praktik terbaik

Sebaiknya tujuan sink gabungan adalah project Google Cloud . Dengan tujuan ini, sink log di project Google Cloud tujuan mengalihkan entri log. Tujuan _Required hanya merutekan entri log yang cocok dengan filternya dan yang berasal dari resource tempat tujuan ditentukan. Oleh karena itu, jika Anda ingin menyimpan salinan tambahan entri log yang cocok dengan filter sink _Required, Anda harus membuat sink log kustom atau mengubah filter sink log _Default.

Saat membuat sink penyadapan, sebaiknya lakukan hal berikut:

  • Pertimbangkan apakah resource turunan memerlukan kontrol independen untuk merutekan entri lognya. Jika resource turunan memerlukan kontrol independen atas entri log tertentu, pastikan sink penyadapan Anda tidak merutekan entri log tersebut.

  • Tambahkan informasi kontak ke deskripsi sink penyadapan. Hal ini dapat berguna jika pihak yang mengelola sink penyadapan berbeda dengan pihak yang mengelola project yang entri lognya disadap.

  • Uji konfigurasi sink Anda dengan membuat sink gabungan non-penyisipan terlebih dahulu untuk memverifikasi bahwa entri log yang benar sedang dirutekan.

Menyadap sink agregat dan metrik berbasis log

Metrik berbasis log adalah metrik Cloud Monitoring yang berasal dari konten entri log. Cara entri log dirutekan menentukan metrik berbasis log mana yang dapat dihitung oleh entri log tersebut. Karena sink agregasi yang mencegat memengaruhi cara entri log dirutekan, pembuatan jenis sink ini dapat menyebabkan perubahan pada nilai metrik berbasis log yang ada.

Untuk mengetahui informasi selengkapnya, lihat Pengaruh entri log pemilihan rute terhadap metrik berbasis log.

Sink gabungan dan Kontrol Layanan VPC

Batasan berikut berlaku saat Anda menggunakan sink gabungan dan Kontrol Layanan VPC:

  • Tujuan gabungan dapat mengakses data dari project di dalam perimeter layanan. Untuk membatasi akses sink gabungan ke data di dalam perimeter, sebaiknya gunakan IAM untuk mengelola izin Logging.

  • Kontrol Layanan VPC tidak mendukung penambahan folder atau resource organisasi ke perimeter layanan. Oleh karena itu, Anda tidak dapat menggunakan Kontrol Layanan VPC untuk melindungi log tingkat folder dan organisasi, termasuk log gabungan. Untuk mengelola izin Logging di tingkat folder atau organisasi, sebaiknya gunakan IAM.

  • Jika Anda merutekan log menggunakan sink tingkat folder atau organisasi ke resource yang dilindungi oleh perimeter layanan, Anda harus menambahkan aturan masuk ke perimeter layanan. Aturan ingress harus mengizinkan akses ke resource dari akun layanan yang digunakan sink gabungan. Untuk mengetahui informasi selengkapnya, lihat halaman berikut:

  • Saat menentukan kebijakan traffic masuk atau keluar untuk perimeter layanan, Anda tidak dapat menggunakan ANY_SERVICE_ACCOUNT dan ANY_USER_ACCOUNT sebagai jenis identitas saat menggunakan sink log untuk merutekan log ke resource Cloud Storage. Namun, Anda dapat menggunakan ANY_IDENTITY sebagai jenis identitas.

Langkah berikutnya