收集 AWS VPC 流日志

支持的语言：

Google SecOps SIEM

注意： 此功能受《Google Security Operations 服务专用条款》的正式发布前产品条款的约束。我们对正式发布前功能的支持可能有限，并且对正式发布前功能的更改与其他正式发布前版本可能不兼容。如需了解详情，请参阅 Google SecOps 技术支持服务准则和 Google SecOps 服务专用条款。

本文档介绍了如何使用三种不同的方法将 AWS VPC 流日志注入到 Google Security Operations 中：Amazon S3（文本格式）、Amazon CloudWatch Logs（搭配 Kinesis Data Firehose）以及 Amazon S3 中的 CSV 格式。AWS VPC 流日志是一项功能，可让您捕获有关进出 VPC 网络接口的 IP 流量的信息。通过此集成，您可以将这些日志发送到 Google SecOps 以进行分析和监控。

支持的 AWS VPC 流日志格式

Google SecOps 支持以两种主要文本格式提取 AWS VPC 流日志：

• JSON 格式：AWS_VPC_FLOW 日志类型会解析 JSON 格式的日志。在此格式中，每个日志条目都包含一个键及其对应的值，从而使数据具有自描述性。
• CSV 格式：Google SecOps 还提供了一个用于解析 CSV 格式的 AWS VPC 流日志的解析器。此格式仅在标题行中列出一次字段键，后续行仅包含以英文逗号分隔的值。

由于 CSV 格式不会在每个日志条目中包含字段键，因此 AWS_VPC_FLOW_CSV 解析器依赖于严格的预定义值顺序。您的 CSV 文件必须遵循以下字段顺序，以便正确解析：

   Version,Account_id,Interface_id,Srcaddr,Dstaddr,Srcport,Dstport,Protocol,Packets,Bytes,Start,End,Action,Log_status,Vpc_id,Subnet_id,Instance_id,Tcp_flags,Type,Pkt_srcaddr,Pkt_dstaddr,Region,Az_id,Sublocation_type,Sublocation_id,Pkt_src_aws_service,Pkt_dst_aws_service,Flow_direction,Traffic_path,Ecs_cluster_arn,Ecs_cluster_name,Ecs_container_instance_arn,Ecs_container_instance_id,Ecs_container_id,Ecs_second_container_id,Ecs_service_name,Ecs_task_definition_arn,Ecs_task_arn,Ecs_task_id

以下是 CSV 日志行的示例：

   7,369096419186,eni-0520bb5efed19d33a,10.119.32.34,10.119.223.3,51256,16020,6,14,3881,1723542839,1723542871,ACCEPT,OK,vpc-0769a6844ce873a6a,subnet-0cf9b2cb32f49f258,i-088d6080f45f5744f,0,IPv4,10.119.32.34,10.119.223.3,ap-northeast-1,apne1-az4,-,-,-,-,ingress,,-,-,-,-,-,-,-,-,-,-

对于没有值的字段，应传递空值（例如 , ,），以保持 CSV 行中的正确位置顺序。

注意： 如果未保持字段顺序，系统可能会错误地解析数据。

准备工作

请确保满足以下前提条件：

• Google SecOps 实例。
• 对 AWS 的特权访问权限。

选项 1：使用 AWS S3（文本格式）配置 AWS VPC 流日志导出

以下部分概述了如何配置 Amazon S3 和 Identity and Access Management 权限，以导出 VPC 流日志供 Google SecOps 进行分析。

为 Google SecOps 配置 AWS S3 存储桶和 IAM

1. 按照以下用户指南创建 Amazon S3 存储桶：创建存储桶。
2. 保存存储桶名称和区域以供日后参考（例如 aws-vpc-flowlogs）。
3. 按照以下用户指南创建用户：创建 IAM 用户。
4. 选择创建的用户。
5. 选择安全凭据标签页。
6. 在访问密钥部分中，点击创建访问密钥。
7. 选择第三方服务作为使用情形。
8. 点击下一步。
9. 可选：添加说明标记。
10. 点击创建访问密钥。
11. 点击下载 CSV 文件，保存访问密钥和秘密访问密钥，以供日后参考。
12. 点击完成。
13. 选择权限标签页。
14. 在权限政策部分中，点击添加权限。
15. 选择添加权限。
16. 选择直接附加政策。
17. 搜索 AmazonS3FullAccess 政策。
18. 选择相应政策。
19. 点击下一步。
20. 点击添加权限。

创建 VPC 流日志（目标位置：Amazon S3，文本格式）

1. 打开 AWS 控制台 > VPC > 您的 VPC/子网/网络接口，然后选择要记录的范围。
2. 依次点击操作 > 创建流日志。
3. 提供以下配置详细信息：
   • 过滤条件：根据您的政策，选择全部（或接受 / 拒绝）。
   • 最大汇总间隔：选择 1 分钟（推荐）或 10 分钟。
   • 目标位置：发送到 Amazon S3 存储桶。
   • S3 存储桶 ARN：按以下格式输入在上一部分中创建的存储桶名称：arn:aws:s3:::<your-bucket>。
   • 日志记录格式：选择 AWS 默认格式。
   • 日志文件格式：选择文本（纯文本）。
   • 可选：除非需要，否则请停用 Hive 兼容的前缀和小时分区。
4. 点击创建流日志。

注意： 生成的 S3 键前缀：s3://<bucket>/AWSLogs/<account-id>/vpcflowlogs/<region>/<year>/<month>/<day>/（以大约 5 分钟的频率生成 gzip .log.gz 文件）。

在 Google SecOps 中配置 Feed 以注入 AWS VPC 流日志 (S3 文本)

1. 依次前往 SIEM 设置> Feed。
2. 点击 + 添加新 Feed。
3. 在Feed 名称字段中，输入 Feed 的名称（例如 AWS VPC Flow Logs - S3 (Text)）。
4. 选择 Amazon S3 V2 作为来源类型。
5. 选择 AWS VPC 流作为日志类型。
6. 点击下一步。
7. 为以下输入参数指定值：
   • S3 URI：输入 S3 存储桶地址（例如 s3://<your-bucket>/AWSLogs/<account-id>/vpcflowlogs/<region>/）。
   • 来源删除选项：根据您的偏好设置选择删除选项。
   • 文件最长保留时间：默认值为 180 天。
   • 访问密钥 ID：有权访问 S3 存储桶的用户访问密钥。
   • 私有访问密钥：具有 S3 存储桶访问权限的用户私有密钥。
   • 资产命名空间：资产命名空间。
   • 注入标签：应用于此 Feed 中事件的标签。
8. 点击下一步。
9. 在最终确定界面中查看新的 Feed 配置，然后点击提交。

选项 2：使用 Amazon CloudWatch Logs 和 Kinesis Data Firehose 配置 AWS VPC 流日志导出

在设置将流日志发送到 CloudWatch 后，此选项通过使用 Kinesis Data Firehose 将日志数据流式传输到您选择的目标位置，从而提供额外的数据导出层。

创建 VPC 流日志（目标：Amazon CloudWatch Logs）

1. 打开 AWS 控制台 > VPC > 您的 VPC/子网/网络接口。
2. 依次点击操作 > 创建流日志。
3. 提供以下配置详细信息：
   • 过滤条件：根据您的政策，选择全部（或接受/拒绝）。
   • 最大汇总间隔：选择 1 分钟（推荐）或 10 分钟。
   • 目标位置：选择发送到 CloudWatch Logs。
   • 目标日志组：选择或创建日志组（例如 /aws/vpc/flowlogs）。
   • IAM 角色：选择可写入 CloudWatch Logs 的角色。
   • 日志记录格式：选择 AWS 默认（版本 2）或自定义（包含其他字段）。
4. 点击创建流日志。

在 Google SecOps 中创建 Feed 以获取端点网址和密钥

1. 依次前往 SIEM 设置> Feed。
2. 点击 + 添加新 Feed。
3. 在Feed 名称字段中，输入 Feed 的名称（例如 AWS VPC Flow Logs - CloudWatch via Firehose）。
4. 选择 Amazon Data Firehose 作为来源类型。
5. 选择 AWS VPC 流作为日志类型。
6. 点击下一步。
7. 为以下输入参数指定值：
   • 拆分分隔符：可选 n。
   • 资产命名空间：资产命名空间（例如 aws.vpc.flowlogs.cwl）。
   • 注入标签：要应用于此 Feed 中事件的标签（例如 source=vpc_flow_firehose）。
8. 点击下一步。
9. 检查 Feed 配置，然后点击提交。
10. 点击生成密钥，生成用于对此 Feed 进行身份验证的密钥。
11. 请复制并保存此密钥，因为您将无法再次查看此密钥。
12. 点击详细信息标签页。
13. 从端点信息字段复制 Feed 端点网址。
14. 点击完成。

为 Amazon Data Firehose Feed 创建 API 密钥

1. 前往 Google Cloud 控制台的凭据页面。
2. 点击创建凭据，然后选择 API 密钥。
3. 复制密钥并将其保存在安全的位置。
4. 将 API 密钥的访问权限限制为 Google SecOps API。

为 CloudWatch Logs 到 Firehose 配置 IAM 权限

1. 在 AWS 控制台中，依次前往 IAM > 政策 > 创建政策 > JSON。

2. 粘贴以下政策 JSON，并将 <region> 和 <account-id> 替换为您的 AWS 区域和账号 ID：

   {
   "Version": "2012-10-17",
   "Statement": [
      {
         "Effect": "Allow",
         "Action": [
         "firehose:PutRecord",
         "firehose:PutRecordBatch"
         ],
         "Resource": "arn:aws:firehose:<region>:<account-id>:deliverystream/cwlogs-to-secops"
      }
   ]
   }
   

3. 为政策命名 CWLtoFirehoseWrite，然后点击创建政策。

4. 依次前往 IAM > 角色 > 创建角色。

5. 选择 Custom trust policy（自定义信任政策），然后粘贴：

   {
   "Version": "2012-10-17",
   "Statement": [
      {
         "Effect": "Allow",
         "Principal": {
         "Service": "logs.<region>.amazonaws.com"
         },
         "Action": "sts:AssumeRole"
      }
   ]
   }
   

6. 将政策 CWLtoFirehoseWrite 附加到角色。

7. 将角色命名为 CWLtoFirehoseRole，然后点击创建角色。

将 Amazon Kinesis Data Firehose 配置为 Google SecOps

1. 在 AWS 控制台中，依次前往 Kinesis > Data Firehose > 创建交付流。
2. 提供以下配置详细信息：
   • 来源：选择直接 PUT 或其他来源。
   • 目的地：选择 HTTP 端点。
   • 名称：cwlogs-to-secops
   • HTTP 端点网址：输入 Google SecOps 提供的 Feed HTTPS 端点网址，并附加 API 密钥：<ENDPOINT_URL>?key=<API_KEY>
   • HTTP 方法：选择 POST。
3. 在访问密钥下：
   • 输入在 Google SecOps Feed 中生成的密钥（这将成为 X-Amz-Firehose-Access-Key 标头）。
   • 缓冲提示：将缓冲大小设置为 1 MiB，将缓冲间隔设置为 60 秒。
   • 压缩：选择已停用。
   • S3 备份：选择已停用。
   • 将重试和日志记录设置保留为默认。
4. 点击创建交付数据流。

将 CloudWatch Logs 组订阅到 Firehose 流

1. 依次前往 CloudWatch > 日志 > 日志组。
2. 选择目标日志组（例如 /aws/vpc/flowlogs）。
3. 打开订阅过滤条件标签页，然后点击创建。
4. 选择创建 Amazon Kinesis Data Firehose 订阅过滤条件。
5. 提供以下配置详细信息：
   • 目标位置：选择传送数据流 cwlogs-to-secops。
   • 授予权限：选择角色 CWLtoFirehoseRole。
   • 过滤条件名称：输入 all-events。
   • 过滤模式：留空可发送所有事件。
6. 点击开始直播。

方案 3：使用 Amazon S3 以 CSV 格式配置 AWS VPC 流日志

注意： AWS VPC 流日志以原生方式发布到 S3，格式为文本（以空格分隔）或 Parquet。如果您需要 CSV，请将日志转换为 CSV（例如，使用 AWS Glue ETL 或 Lambda 转换），然后将其存储在 S1 中。然后，配置使用 CSV 解析器的专用 Feed。

将日志转换为 CSV 格式（可选）

1. 确保 CSV 行遵循严格且一致的列顺序，该顺序与您在 VPC 流日志自定义格式中选择的字段（例如规范 v2 字段集或您的 v5/v7 集）相匹配。请勿在生产文件中添加标题行，除非您的解析器选项需要标题行。
2. 将 CSV 文件写入稳定的前缀，例如：s3://<your-bucket>/vpcflowlogs-csv/<region>/year=<year>/month=<month>/day=<day>/。

在 Google SecOps 中配置 Feed 以注入 AWS VPC 流日志 (CSV)

1. 依次前往 SIEM 设置> Feed。
2. 点击 + 添加新 Feed。
3. 在Feed 名称字段中，输入 Feed 的名称（例如 AWS VPC Flow Logs - S3 (CSV)）。
4. 选择 Amazon S3 V2 作为来源类型。
5. 选择 AWS VPC 流 (CSV) 作为日志类型。
6. 点击下一步。
7. 为以下输入参数指定值：
   • S3 URI：输入 S3 存储桶地址（例如 s3://<your-bucket>/vpcflowlogs-csv/<region>/）。
   • 来源删除选项：根据您的偏好设置选择删除选项。
   • 文件最长保留时间：默认值为 180 天。
   • 访问密钥 ID：有权访问 S3 存储桶的用户访问密钥。
   • 私有访问密钥：具有 S3 存储桶访问权限的用户私有密钥。
   • 资产命名空间：资产命名空间。
   • 注入标签：应用于此 Feed 中事件的标签。
8. 点击下一步。
9. 在最终确定界面中查看新的 Feed 配置，然后点击提交。

UDM 映射表

日志字段	UDM 映射	逻辑
accountId	read_only_udm.metadata.product_log_id	从原始日志字段 accountId 中提取的值。
操作	read_only_udm.security_result.action_details	从原始日志字段 action 中提取的值。
操作	read_only_udm.security_result.action	如果 action 为 ACCEPT，则映射到 ALLOW；如果 action 为 REJECT，则映射到 BLOCK。
az_id	read_only_udm.principal.cloud.availability_zone	从原始日志字段 az_id 中提取的值。
字节	read_only_udm.network.received_bytes	从原始日志字段 bytes 中提取的值。
dstaddr	read_only_udm.target.ip	从原始日志字段 dstaddr 中提取的值。
dstport	read_only_udm.target.port	从原始日志字段 dstport 中提取的值。
end_time	read_only_udm.about.resource.attribute.labels.value	从原始日志字段 end_time 中提取的值。
end_time	read_only_udm.metadata.ingested_timestamp	从原始日志字段 end_time 中提取的值。
flow_direction	read_only_udm.network.direction	如果 flow_direction 为 ingress，则映射到 INBOUND；如果 flow_direction 为 egress，则映射到 OUTBOUND。
InstanceID	read_only_udm.principal.cloud.project.id	从原始日志字段 InstanceID 中提取的值。
interfaceId	read_only_udm.about.resource.attribute.labels.value	从原始日志字段 interfaceId 中提取的值。
logStatus	read_only_udm.about.resource.attribute.labels.value	从原始日志字段 logStatus 中提取的值。
数据包	read_only_udm.about.resource.attribute.labels.value	从原始日志字段 packets 中提取的值。
pkt_dst_aws_service	read_only_udm.about.resource.attribute.labels.value	从原始日志字段 pkt_dst_aws_service 中提取的值。
pkt_dstaddr	read_only_udm.intermediary.ip	从原始日志字段 pkt_dstaddr 中提取的值。
pkt_srcaddr	read_only_udm.intermediary.ip	从原始日志字段 pkt_srcaddr 中提取的值。
pkt_src_aws_service	read_only_udm.about.resource.attribute.labels.value	从原始日志字段 pkt_src_aws_service 中提取的值。
协议	read_only_udm.network.ip_protocol	如果 protocol 为 6，则映射到 TCP；如果 protocol 为 17，则映射到 UDP；否则映射到 UNKNOWN_IP_PROTOCOL。
区域	read_only_udm.principal.location.country_or_region	从原始日志字段 Region 中提取的值。
srcaddr	read_only_udm.principal.ip	从原始日志字段 srcaddr 中提取的值。
srcport	read_only_udm.principal.port	从原始日志字段 srcport 中提取的值。
start_time	read_only_udm.about.resource.attribute.labels.value	从原始日志字段 start_time 中提取的值。
start_time	read_only_udm.metadata.event_timestamp	从原始日志字段 start_time 中提取的值。
SubnetID	read_only_udm.about.resource.attribute.labels.value	从原始日志字段 SubnetID 中提取的值。
tcp_flags	read_only_udm.about.resource.attribute.labels.value	从原始日志字段 tcp_flags 中提取的值。
traffic_path	read_only_udm.about.resource.attribute.labels.value	从原始日志字段 traffic_path 中提取的值。
版本	read_only_udm.metadata.product_version	从原始日志字段 version 中提取的值。
vpcID	read_only_udm.principal.cloud.vpc.id	从原始日志字段 vpcID 中提取的值。
	read_only_udm.metadata.vendor_name	硬编码为 AMAZON。
	read_only_udm.metadata.product_name	硬编码为 AWS VPC Flow。
	read_only_udm.metadata.log_type	硬编码为 AWS_VPC_FLOW。
	read_only_udm.metadata.event_type	如果 dstaddr 不为空，则映射到 NETWORK_CONNECTION，否则映射到 GENERIC_EVENT。

需要更多帮助？从社区成员和 Google SecOps 专业人士那里获得解答。