VPC Flow Logs

Log Aliran VPC mencatat sampel paket yang dikirim dari dan diterima oleh instance virtual machine (VM), termasuk instance yang digunakan sebagai node Google Kubernetes Engine, dan paket yang dikirim melalui lampiran VLAN untuk Cloud Interconnect dan tunnel Cloud VPN (Pratinjau).

Log aliran digabungkan berdasarkan koneksi IP (5-tuple). Log ini dapat digunakan untuk pemantauan jaringan, forensik, analisis keamanan, dan pengoptimalan biaya.

Anda dapat melihat log aliran di Cloud Logging, dan mengekspornya ke tujuan mana pun yang didukung oleh ekspor Cloud Logging.

Kasus penggunaan

Pemantauan jaringan

Log Aliran VPC memberi Anda visibilitas ke throughput dan performa jaringan. Anda dapat:

  • Memantau jaringan VPC
  • Melakukan diagnosis jaringan
  • Memfilter log aliran menurut VM, lampiran VLAN, dan tunnel Cloud VPN untuk memahami perubahan traffic
  • Memahami pertumbuhan traffic untuk memperkirakan kapasitas

Memahami penggunaan jaringan dan mengoptimalkan biaya traffic jaringan

Anda dapat menganalisis penggunaan jaringan dengan Log Aliran VPC untuk mengoptimalkan biaya traffic jaringan. Misalnya, Anda dapat menganalisis aliran jaringan untuk hal berikut:

  • Traffic antara region dan zona
  • Memperkirakan traffic ke negara tertentu di internet
  • Traffic ke jaringan lokal dan cloud lainnya
  • Pengirim teratas di jaringan, termasuk VM, lampiran VLAN, dan tunnel Cloud VPN

Forensik jaringan

Anda dapat menggunakan Log Aliran VPC untuk forensik jaringan. Misalnya, jika terjadi insiden, Anda dapat memeriksa hal berikut:

  • IP mana yang berinteraksi dengan siapa dan kapan
  • Setiap IP yang disusupi dengan menganalisis semua aliran jaringan yang masuk dan keluar

Spesifikasi

  • Log Aliran VPC merupakan bagian dari Andromeda, software yang mendukung jaringan VPC. Dengan Log Aliran VPC, penundaan atau penalti performa dapat dihindari saat diaktifkan.
  • Log Aliran VPC berfungsi dengan jaringan VPC, bukan jaringan lama. Anda mengaktifkan atau menonaktifkan Log Aliran VPC per subnet, lampiran VLAN untuk Cloud Interconnect (Pratinjau), atau tunnel Cloud VPN (Pratinjau). Jika diaktifkan untuk subnet, Log Aliran VPC akan mengumpulkan data dari semua instance VM, termasuk node GKE, di subnet tersebut.
  • Log Aliran VPC mengambil sampel aliran TCP, UDP, ICMP, ESP, dan GRE. Sampel meliputi aliran masuk maupun keluar. Aliran ini dapat berada dalam Google Cloud atau antara Google Cloud dan jaringan lainnya. Jika aliran diambil dengan pengambilan sampel, Log Aliran VPC akan menghasilkan log untuk aliran tersebut. Setiap data aliran menyertakan informasi yang dijelaskan di bagian Format data.
  • Log Aliran VPC berinteraksi dengan aturan firewall dengan cara berikut:
    • Paket keluar diambil sampelnya sebelum aturan firewall keluar. Meskipun aturan firewall keluar menolak paket keluar, paket tersebut dapat diambil sampelnya oleh Log Aliran VPC.
    • Paket masuk diambil sampelnya setelah aturan firewall masuk. Jika aturan firewall masuk menolak paket masuk, paket tersebut tidak akan diambil sampelnya oleh Log Aliran VPC.
  • Anda dapat menggunakan filter di Log Aliran VPC untuk menghasilkan log tertentu saja.
  • Log Aliran VPC mendukung VM yang memiliki beberapa antarmuka jaringan. Anda harus mengaktifkan Log Aliran VPC untuk setiap subnet, di setiap VPC, yang berisi antarmuka jaringan.
  • Untuk mencatat aliran antara Pod pada node Google Kubernetes Engine (GKE) yang sama, Anda harus mengaktifkan visibilitas Intranode untuk cluster.
  • Log Aliran VPC tidak dilaporkan dari resource Cloud Run.

Pengumpulan log

Paket diambil sampelnya dalam interval agregasi. Semua paket yang dikumpulkan untuk koneksi IP tertentu dalam interval agregasi digabungkan ke dalam satu entri log aliran. Data ini kemudian dikirim ke Logging.

Log disimpan di Logging selama 30 hari secara default. Jika ingin menyimpan log lebih lama dari itu, Anda dapat menetapkan periode retensi data kustom atau mengekspornya ke file yang didukung.

Pengambilan sampel dan pemrosesan log

Untuk membuat log aliran, VPC Flow Logs mengambil sampel paket yang keluar dan masuk VM atau melewati gateway seperti lampiran VLAN atau tunnel Cloud VPN. Setelah log aliran dibuat, Log Aliran VPC akan memprosesnya dengan mengikuti prosedur yang dijelaskan di bagian ini.

Log Aliran VPC mengambil sampel paket menggunakan frekuensi sampling utama. Frekuensi sampling utama bersifat dinamis dan bervariasi bergantung pada beban host fisik yang menjalankan VM atau gateway pada saat pengambilan sampel. Probabilitas pengambilan sampel satu koneksi IP meningkat dengan volume paket. Anda tidak dapat mengontrol proses pengambilan sampel log aliran utama atau menyesuaikan frekuensi sampling utama.

Setelah log aliran dibuat, Log Aliran VPC akan memprosesnya sesuai dengan prosedur berikut:

  1. Pemfilteran: Anda dapat menentukan bahwa hanya log yang cocok dengan kriteria yang ditentukan yang akan dibuat. Misalnya, Anda dapat memfilter sehingga hanya log untuk VM tertentu atau hanya log dengan nilai metadata tertentu yang dibuat dan sisanya akan dihapus. Untuk mengetahui informasi lebih lanjut, lihat Pemfilteran log.
  2. Agregasi: Informasi untuk paket yang diambil sampelnya digabungkan melalui interval agregasi yang dapat dikonfigurasi untuk menghasilkan entri log aliran.
  3. Pengambilan sampel log aliran sekunder: Ini adalah proses pengambilan sampel kedua. Entri log aliran diambil sampelnya lebih lanjut sesuai dengan parameter frekuensi sampling sekunder yang dapat dikonfigurasi. Pengambilan sampel sekunder dilakukan pada log aliran yang dihasilkan oleh proses pengambilan sampel log aliran utama. Misalnya, jika frekuensi sampling sekunder ditetapkan ke 1,0, atau 100%, Log Aliran VPC akan mengambil sampel 100% log aliran yang dihasilkan oleh pengambilan sampel log aliran utama.
  4. Metadata: Jika dinonaktifkan, semua anotasi metadata akan dihapus. Jika ingin menyimpan metadata, Anda dapat menentukan bahwa semua kolom atau serangkaian kolom yang ditentukan akan dipertahankan. Untuk mengetahui informasi selengkapnya, lihat anotasi metadata.
  5. Penulisan ke Logging: Entri log akhir ditulis ke Cloud Logging.

Karena Log Aliran VPC tidak mencatat semua paket, Log Aliran VPC akan mengompensasi paket yang terlewat dengan melakukan interpolasi dari paket yang dicatat. Hal ini terjadi untuk paket yang terlewat karena setelan pengambilan sampel awal dan yang dapat dikonfigurasi pengguna.

Meskipun Google Cloud tidak mencatat setiap paket, data log yang dicatat dapat berukuran cukup besar. Anda dapat menyeimbangkan visibilitas traffic dan kebutuhan biaya penyimpanan dengan menyesuaikan aspek pengumpulan log berikut:

  • Interval agregasi: Paket yang diambil sampelnya selama interval waktu akan digabungkan ke dalam satu entri log. Interval waktu ini dapat berupa 5 detik (default), 30 detik, 1 menit, 5 menit, 10 menit, atau 15 menit.
  • Frekuensi sampling sekunder:
    • Untuk VM, 50% entri log disimpan secara default. Anda dapat menetapkan parameter ini dari 1.0 (100%, semua entri log disimpan) ke 0.0 (0%, tidak ada log yang disimpan).
    • Untuk lampiran VLAN dan tunnel Cloud VPN, 100% entri log disimpan secara default. Anda dapat menetapkan parameter ini dari 1.0 hingga lebih besar dari 0.0.
  • Anotasi metadata: Secara default, entri log aliran dianotasi dengan informasi metadata, seperti nama sumber dan tujuan dalam Google Cloud atau region geografis sumber dan tujuan eksternal. Anotasi metadata dapat dinonaktifkan, atau Anda hanya dapat menentukan anotasi tertentu, untuk menghemat ruang penyimpanan.
  • Pemfilteran: Secara default, log dihasilkan untuk setiap sampel aliran. Anda dapat menyetel filter sehingga hanya log yang cocok dengan kriteria tertentu yang akan dibuat.

Harga

Harga standar untuk Logging, BigQuery, atau Pub/Sub berlaku. Harga Log Aliran VPC dijelaskan dalam harga Network Telemetry.

Langkah selanjutnya