Mengumpulkan Log Aliran Traffic VPC AWS
Dokumen ini menjelaskan cara mengumpulkan Log Aliran VPC AWS dengan menggunakan forwarder Google Security Operations.
Untuk mengetahui informasi selengkapnya, lihat Penambahan data ke Google Security Operations.
Label penyerapan mengidentifikasi parser yang menormalisasi data log mentah
ke format UDM terstruktur. Informasi dalam dokumen ini berlaku untuk parser dengan label transfer AWS_VPC_FLOW
.
Sebelum memulai
Pastikan bucket Amazon S3 dibuat. Untuk mengetahui informasi selengkapnya, lihat Membuat bucket S3 pertama Anda.
Pastikan grup log Amazon CloudWatch dibuat. Untuk informasi selengkapnya, lihat Menggunakan grup log dan aliran log.
Mengonfigurasi Aliran AWS VPC
Konfigurasikan Aliran AWS VPC berdasarkan apakah Anda meneruskan log ke Amazon S3 atau ke Amazon CloudWatch.
Untuk informasi tentang cara meneruskan log ke bucket Amazon S3, lihat bagian Mengonfigurasi log alur untuk meneruskan log ke Amazon S3 dalam dokumen ini.
Untuk informasi tentang cara meneruskan log ke Amazon CloudWatch, lihat bagian Mengonfigurasi log aliran ke Amazon CloudWatch dalam dokumen ini.
Mengonfigurasi log aliran untuk meneruskan log ke Amazon S3
Setelah membuat dan mengonfigurasi bucket Amazon S3, Anda dapat membuat log aliran untuk antarmuka jaringan, subnet, dan jaringan VPC.
Membuat log alur untuk antarmuka jaringan
- Login ke konsol Amazon EC2.
- Di panel navigasi, pilih Network Interfaces.
- Pilih satu atau beberapa antarmuka jaringan.
- Pilih Tindakan > Buat log alur.
- Konfigurasi setelan log aliran. Untuk informasi selengkapnya, lihat bagian Mengonfigurasi setelan log alur dalam dokumen ini.
Membuat log alur untuk subnet
- Login ke konsol Amazon VPC.
- Di panel navigasi, pilih Subnet.
- Pilih satu atau beberapa subnet.
- Pilih Tindakan > Buat log alur.
- Konfigurasi setelan log aliran. Untuk informasi selengkapnya, lihat bagian Mengonfigurasi setelan log alur dalam dokumen ini.
Membuat log aliran untuk VPC
- Login ke konsol Amazon VPC.
- Di panel navigasi, pilih VPC.
- Pilih satu atau beberapa VPC.
- Pilih Tindakan > Buat log alur.
- Konfigurasi setelan log aliran. Untuk informasi selengkapnya, lihat bagian Mengonfigurasi setelan log alur dalam dokumen ini.
Mengonfigurasi setelan log aliran
Di bagian Filter, tentukan traffic IP yang akan dicatat ke dalam log:
Terima: hanya mencatat traffic yang diterima.
Reject: log hanya mencatat traffic yang ditolak.
Semua: mencatat traffic yang diterima dan ditolak.
Di bagian Interval agregasi maksimum, pilih 1 menit.
Di bagian Destination, pilih Send to an Amazon S3 bucket.
Di bagian S3 bucket ARN, tentukan ARN bucket Amazon S3.
Di bagian Log record format, tentukan format berikut untuk data log alur:
- Untuk menggunakan format data log alur default, pilih Format default AWS.
- Untuk membuat format kustom, pilih Format kustom.
Konfigurasikan alur log VPC dengan format log AWS kustom untuk menggunakan fitur IP sebenarnya MSS.
Dalam daftar Format log, pilih semua atribut.
Di bagian Pratinjau format, tinjau format kustom.
Di bagian Format file log, pilih Text (default).
Di bagian Awalan S3 yang kompatibel dengan Hive, biarkan kotak centang Enable tidak dicentang.
Di bagian Partition logs by time, pilih Every 1 hour (60 mins).
Untuk menambahkan tag ke log alur, pilih Tambahkan tag baru, lalu tentukan kunci dan nilai tag.
Pilih Buat log alur. Untuk informasi selengkapnya, lihat Memublikasikan log alur ke Amazon S3.
Mengonfigurasi log aliran ke Amazon CloudWatch
Anda dapat mengonfigurasi log alur dari VPC, subnet, atau antarmuka jaringan.
Di bagian Filter, tentukan jenis traffic IP yang akan dicatat ke dalam log:
Terima: hanya mencatat traffic yang diterima.
Reject: log hanya mencatat traffic yang ditolak.
Semua: mencatat traffic yang diterima dan ditolak.
Di bagian Interval agregasi maksimum, pilih 1 menit.
Di bagian Tujuan, pilih Kirim ke CloudWatch Logs.
Di bagian Destination log group, berikan nama grup log tujuan yang Anda buat.
Di daftar IAM role, pilih nama peran. Nama peran yang dipilih memiliki izin untuk memublikasikan log ke log CloudWatch.
Peran IAM harus menyertakan izin berikut:
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "logs:CreateLogGroup", "logs:CreateLogStream", "logs:PutLogEvents", "logs:DescribeLogGroups", "logs:DescribeLogStreams" ], "Resource": "*" } ] }
Di bagian Log record format, pilih Custom format untuk data log flow.
Untuk menambahkan tag ke log alur, pilih Tambahkan tag baru, lalu tentukan kunci dan nilai tag.
Pilih Buat log alur. Untuk informasi selengkapnya, lihat Memublikasikan log alur ke Amazon S3.
Amazon S3 dapat dikonfigurasi untuk mengirim notifikasi peristiwa ke Amazon SQS. Untuk informasi selengkapnya, lihat Mengonfigurasi bucket untuk notifikasi (topik SNS atau antrean SQS).
Kebijakan pengguna IAM diperlukan untuk Amazon S3 dan Amazon SQS jika menggunakan Amazon SQS (Amazon S3 menggunakan Amazon SQS) sebagai metode pengumpulan log. Untuk informasi selengkapnya, lihat Menggunakan kebijakan IAM dengan AWS KMS.
Berdasarkan layanan dan region, identifikasi endpoint untuk konektivitas dengan merujuk ke dokumentasi AWS berikut:
Untuk mengetahui informasi tentang sumber logging, lihat Endpoint dan kuota AWS Identity and Access Management.
Untuk informasi tentang sumber logging Amazon S3, lihat Endpoint dan kuota Amazon Simple Storage Service.
Untuk mengetahui informasi tentang sumber logging Amazon SQS, lihat Kuota dan endpoint Amazon Simple Queue Service.
Untuk mengetahui informasi tentang sumber logging Amazon CloudWatch, lihat Endpoint dan kuota log Amazon CloudWatch.
Mengonfigurasi forwarder dan syslog Google Security Operations untuk menyerap log Aliran VPC AWS
- Pilih Setelan SIEM > Penerima.
- Klik Tambahkan penerusan baru.
- Masukkan nama unik untuk Nama pengirim.
- Klik Kirim, lalu klik Konfirmasi. Pengirim ditambahkan dan jendela Tambahkan konfigurasi kolektor akan muncul.
- Di kolom Nama kolektor, ketik nama.
- Di kolom Log type, pilih AWS VPC Flow.
- Di kolom Jenis kolektor, pilih Syslog.
- Konfigurasikan parameter input wajib berikut:
- Protokol: menentukan protokol koneksi yang akan digunakan kolektor untuk memproses data syslog.
- Address: menentukan alamat IP atau nama host target tempat kolektor berada dan alamat ke data syslog.
- Port: menentukan port target tempat kolektor berada dan memproses data syslog.
- Klik Kirim, lalu klik Konfirmasi.
Untuk informasi selengkapnya tentang forwarder Google Security Operations, lihat dokumentasi forwarder Google Security Operations. Untuk mengetahui informasi tentang persyaratan untuk setiap jenis forwarder, lihat Konfigurasi forwarder menurut jenis.
Jika Anda mengalami masalah saat membuat penerusan, hubungi dukungan Google Security Operations.
Referensi pemetaan kolom
Kode parser ini mengambil log AWS CloudTrail mentah dalam format JSON yang menjelaskan peristiwa VPC EC2 dan mengubahnya menjadi format UDM terstruktur. Alat ini mengekstrak kolom yang relevan, mengganti namanya agar cocok dengan skema UDM, dan memperkaya data dengan konteks tambahan seperti jenis resource, lingkungan cloud, dan label untuk memudahkan analisis.
Tabel Pemetaan UDM untuk AWS EC2 VPC Parser
Kolom Log (Menaik) | Pemetaan UDM | Logika |
---|---|---|
CidrBlock | event.idm.entity.entity.resource.attribute.labels.cidr_block | Dipetakan langsung dari kolom "CidrBlock" dalam log mentah. |
CidrBlock | event.idm.entity.entity.network.ip_subnet_range | Dipetakan langsung dari kolom "CidrBlock" dalam log mentah. |
CidrBlockAssociation.AssociationID | event.idm.entity.entity.resource.attribute.labels.cidr_block_association_association_id | Dipetakan langsung dari kolom "AssociationID" dalam array "CidrBlockAssociation" dalam log mentah. |
CidrBlockAssociation.CidrBlockState.State | event.idm.entity.entity.resource.attribute.labels.cidr_block_association_cidr_block_state_state | Dipetakan langsung dari kolom "State" dalam objek "CidrBlockState" dari array "CidrBlockAssociation" dalam log mentah. |
CidrBlockAssociation.CidrBlockState.StatusMessage | event.idm.entity.entity.resource.attribute.labels.cidr_block_association_cidr_block_state_status_message | Dipetakan langsung dari kolom "StatusMessage" dalam objek "CidrBlockState" dari array "CidrBlockAssociation" dalam log mentah. |
DhcpOptionsID | event.idm.entity.entity.resource.attribute.labels.dhcp_options_id | Dipetakan langsung dari kolom "DhcpOptionsID" dalam log mentah. |
ID | event.idm.entity.entity.resource.product_object_id | Dipetakan langsung dari kolom "ID" dalam log mentah, yang diganti namanya menjadi "VpcID" di parser. |
ID | event.idm.entity.metadata.product_entity_id | Dipetakan langsung dari kolom "ID" dalam log mentah, yang diganti namanya menjadi "VpcID" di parser. |
InstanceTenancy | event.idm.entity.entity.resource.attribute.labels.instance_tenancy | Dipetakan langsung dari kolom "InstanceTenancy" dalam log mentah. |
IsDefault | event.idm.entity.entity.resource.attribute.labels.is_default | Dipetakan langsung dari kolom "IsDefault" dalam log mentah. |
Ipv6CidrBlockAssociationSet.AssociationID | event.idm.entity.entity.resource.attribute.labels.ipv6_cidr_block_association_set_association_id | Dipetakan langsung dari kolom "AssociationID" dalam array "Ipv6CidrBlockAssociationSet" dalam log mentah. |
Ipv6CidrBlockAssociationSet.Ipv6CidrBlock | event.idm.entity.entity.resource.attribute.labels.ipv6_cidr_block_association_set_ipv6_cidr_block | Dipetakan langsung dari kolom "Ipv6CidrBlock" dalam array "Ipv6CidrBlockAssociationSet" dalam log mentah. |
Ipv6CidrBlockAssociationSet.Ipv6CidrBlockState.State | event.idm.entity.entity.resource.attribute.labels.ipv6_cidr_block_association_set_ipv6_cidr_block_state_state | Dipetakan langsung dari kolom "State" dalam objek "Ipv6CidrBlockState" dari array "Ipv6CidrBlockAssociationSet" dalam log mentah. |
Ipv6CidrBlockAssociationSet.Ipv6CidrBlockState.StatusMessage | event.idm.entity.entity.resource.attribute.labels.ipv6_cidr_block_association_set_ipv6_cidr_block_state_status_message | Dipetakan langsung dari kolom "StatusMessage" dalam objek "Ipv6CidrBlockState" dari array "Ipv6CidrBlockAssociationSet" dalam log mentah. |
Ipv6CidrBlockAssociationSet.Ipv6Pool | event.idm.entity.entity.resource.attribute.labels.ipv6_cidr_block_association_set_ipv6_pool | Dipetakan langsung dari kolom "Ipv6Pool" dalam array "Ipv6CidrBlockAssociationSet" dalam log mentah. |
Ipv6CidrBlockAssociationSet.NetworkBorderGroup | event.idm.entity.entity.resource.attribute.labels.ipv6_cidr_block_association_set_network_border_group | Dipetakan langsung dari kolom "NetworkBorderGroup" dalam array "Ipv6CidrBlockAssociationSet" dalam log mentah. |
OwnerID | event.idm.entity.entity.resource.attribute.labels.owner_id | Dipetakan langsung dari kolom "OwnerID" dalam log mentah. |
Status | event.idm.entity.entity.resource.attribute.labels.state | Dipetakan langsung dari kolom "Status" dalam log mentah. |
TagSet.Key | event.idm.entity.entity.resource.attribute.labels.key | Dipetakan langsung dari kolom "Kunci" dalam array "TagSet" di log mentah. Tindakan ini akan membuat label baru untuk setiap tag di "TagSet". |
TagSet.Value | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom "Value" dalam array "TagSet" di log mentah. Tindakan ini akan mengisi nilai untuk setiap label yang sesuai yang dibuat dari kolom "Kunci". |
T/A | event.idm.entity.entity.resource.attribute.cloud.environment | Di-hardcode ke "AMAZON_WEB_SERVICES" dalam kode parser. |
T/A | event.idm.entity.entity.resource.resource_type | Di-hardcode ke "VPC_NETWORK" dalam kode parser. |
T/A | event.idm.entity.metadata.collected_timestamp | Diisi dengan stempel waktu peristiwa, yang berasal dari kolom "collection_time" dalam log mentah. |
T/A | event.idm.entity.metadata.entity_type | Di-hardcode ke "RESOURCE" dalam kode parser. |
T/A | event.idm.entity.metadata.product_name | Di-hardcode ke "Amazon VPC" dalam kode parser. |
T/A | event.idm.entity.metadata.vendor_name | Di-hardcode ke "AWS" dalam kode parser. |
T/A | events.timestamp | Diisi dengan stempel waktu peristiwa, yang berasal dari kolom "collection_time" dalam log mentah. |