收集 Cloud Compute 日志
支持的平台：
Google SecOps
SIEM
本文档介绍了如何配置 Google Cloud 使用 Cloud Storage 将计算日志导出到 Google 安全运维。解析器会提取字段、对消息字段进行标准化，并将提取的数据映射到统一数据模型 (UDM) 架构，以实现安全事件的一致表示。它可以处理各种日志格式，包括类似 syslog 的消息和键值对，并根据提取的字段（例如类型和操作）对事件进行分类。
准备工作
- 确保您拥有 Google SecOps 实例。
- 确保在您的 Google Cloud 环境中设置了 Compute 并使其处于活动状态。
- 确保您拥有对 Google Cloud的特权访问权限。
创建 Google Cloud Storage 存储分区
- 登录 Google Cloud 控制台。
前往 Cloud Storage 存储分区页面。
点击创建。
在创建存储桶页面上，输入您的存储桶信息。完成以下各步骤后，点击继续以进入下一步：
在开始使用部分中，执行以下操作：
- 输入符合存储分区名称要求的唯一名称；例如 compute-logs。
如需启用分层命名空间，请点击展开箭头以展开优化文件导向型和数据密集型工作负载部分，然后选择在此存储分区上启用分层命名空间。
- 如需添加存储分区标签，请点击展开箭头以展开标签部分。
- 点击添加标签，然后为标签指定键和值。
在选择数据存储位置部分中，执行以下操作：
选择位置类型。
- 使用位置类型菜单选择一个位置，用于永久存储存储分区中的对象数据。
- 如需设置跨存储分区复制，请展开设置跨存储分区复制部分。
在为数据选择一个存储类别部分中，为存储分区选择默认存储类别，或者选择 Autoclass 对存储分区数据进行自动存储类别管理。
在选择如何控制对对象的访问权限部分中，选择否以强制执行禁止公开访问，然后为存储分区对象选择访问权限控制模型。
在选择如何保护对象数据部分中，执行以下操作：
- 在数据保护下，选择您要为存储分区设置的任何选项。
- 如需选择对象数据的加密方式，请点击标有数据加密的展开箭头，然后选择数据加密方法。
点击创建。
配置 Google Cloud 计算日志导出
- 在 Google Cloud 控制台中，依次选择 Logging > Log Router。
- 点击创建接收器。
提供以下详细信息：
- 接收器名称：提供一个有意义的名称；例如 Compute-Logs-Sink。
- 接收器目标位置：选择 Cloud Storage。
- 接收器目标位置：选择 Cloud Storage，然后输入存储分区 URI；例如
gs://<your-bucket-name>/compute-logs。 日志过滤条件：设置过滤条件以捕获 Google Cloud 计算日志，如下所示：
日志名称和类型：
logName="*compute*"与网络相关的字段（例如 IP 地址、端口）：
jsonPayload.connection.dest_ip="*" OR jsonPayload.connection.src_ip="*"实例详情：
jsonPayload.dest_instance.project_id="*" jsonPayload.src_instance.project_id="*"与安全相关的详细信息：
jsonPayload.rule_details.action="ALLOW" OR jsonPayload.rule_details.action="BLOCK"
点击创建。
为 Cloud Storage 配置权限
- 依次前往 IAM > IAM 和管理 > 服务账号。
- 找到 Cloud Logging 服务账号，例如 service-account@logging.iam.gserviceaccount.com。
- 为其提供对存储分区的 roles/storage.admin 角色。
在 Google SecOps 中配置 Feed 以提取 Google Cloud 计算日志
- 依次前往 SIEM 设置 > Feed。
- 点击新增。
- 在Feed 名称字段中，输入 Feed 的名称；例如，Google Cloud 计算日志。
- 选择 Google Cloud Storage 作为来源类型。
- 选择 GCP Compute 作为日志类型。
- 点击获取服务账号作为 Chronicle 服务账号。
- 点击下一步。
为以下输入参数指定值：
- 存储分区 URI： Google Cloud 采用
gs://my-bucket/<value>格式的存储分区网址。 - URI 类型：选择包含子目录的目录。
来源删除选项：根据您的偏好选择删除选项。
资源命名空间：资源命名空间。
提取标签：应用于此 Feed 中事件的标签。
- 存储分区 URI： Google Cloud 采用
点击下一步。
在最终确定界面中查看新的 Feed 配置，然后点击提交。
UDM 映射表
| 日志字段 | UDM 映射 | 逻辑 |
|---|---|---|
| addr | read_only_udm.principal.ip | 如果该字段不为空或不为“?”，则会合并到主 IP 地址列表中。 |
| jsonPayload.connection.dest_ip | read_only_udm.target.ip | 会合并到目标 IP 地址列表中（如果该字段存在）。 |
| jsonPayload.connection.dest_port | read_only_udm.target.port | 转换为字符串，然后转换为整数，如果转换过程中没有发生错误，则进行映射。 |
| jsonPayload.connection.protocol | read_only_udm.network.ip_protocol | 先转换为字符串，然后再转换为整数。用于使用查找表确定 IP 协议（TCP、UDP 等），如果转换期间未发生错误，则会进行映射。 |
| jsonPayload.connection.src_ip | read_only_udm.principal.ip | 会合并到主 IP 地址列表中（如果该字段存在）。 |
| jsonPayload.connection.src_port | read_only_udm.principal.port | 转换为字符串，然后转换为整数，如果转换过程中没有发生错误，则进行映射。 |
| jsonPayload.dest_instance.project_id | read_only_udm.target.resource.product_object_id | 如果 jsonPayload.dest_vpc.project_id 存在，则有条件地映射。 |
| jsonPayload.dest_instance.region | read_only_udm.target.location.name | 如果 jsonPayload.dest_vpc.project_id 存在，则有条件地映射。 |
| jsonPayload.dest_instance.vm_name | read_only_udm.target.resource.attribute.cloud.project.name | 如果 jsonPayload.dest_vpc.project_id 存在，则有条件地映射。 |
| jsonPayload.dest_instance.zone | read_only_udm.target.resource.attribute.cloud.availability_zone | 如果 jsonPayload.dest_vpc.project_id 存在，则有条件地映射。 |
| jsonPayload.dest_vpc.project_id | read_only_udm.target.cloud.vpc.product_object_id | 用作条件来映射相关字段。 |
| jsonPayload.dest_vpc.subnetwork_name | read_only_udm.target.cloud.vpc.name | 如果 jsonPayload.dest_vpc.project_id 存在，则有条件地映射。 |
| jsonPayload.instance.project_id | read_only_udm.target.resource.product_object_id | 如果 jsonPayload.instance.project_id 存在，则有条件地映射。 |
| jsonPayload.instance.region | read_only_udm.target.location.name | 如果 jsonPayload.instance.project_id 存在，则有条件地映射。 |
| jsonPayload.instance.vm_name | read_only_udm.target.resource.attribute.cloud.project.name | 如果 jsonPayload.instance.project_id 存在，则有条件地映射。 |
| jsonPayload.instance.zone | read_only_udm.target.resource.attribute.cloud.availability_zone | 如果 jsonPayload.instance.project_id 存在，则有条件地映射。 |
| jsonPayload.message | read_only_udm.metadata.product_event_type、read_only_udm.principal.application、read_only_udm.target.process.pid、read_only_udm.target.user.userid、read_only_udm.principal.hostname、read_only_udm.target.process.command_line、read_only_udm.security_result.description、read_only_udm.principal.process.file.full_path | 会根据 Grok 模式和条件逻辑进行解析并映射到不同的字段。 |
| jsonPayload.rule_details.action | read_only_udm.security_result.action | 用于确定安全结果操作（允许/屏蔽）并进行映射。 |
| jsonPayload.rule_details.direction | read_only_udm.network.direction | 用于确定网络方向（INBOUND/OUTBOUND/UNKNOWN_DIRECTION）和映射。 |
| jsonPayload.rule_details.priority | read_only_udm.security_result.priority_details | 如果转换期间未发生错误，则会转换为字符串并进行映射。 |
| jsonPayload.rule_details.reference | read_only_udm.security_result.rule_labels.value | 已映射到规则标签值。 |
| jsonPayload.src_instance.project_id | read_only_udm.principal.resource.product_object_id | 如果存在 jsonPayload.src_vpc.project_id，则有条件地映射。 |
| jsonPayload.src_instance.region | read_only_udm.principal.location.name | 如果存在 jsonPayload.src_vpc.project_id，则有条件地映射。 |
| jsonPayload.src_instance.vm_name | read_only_udm.principal.resource.attribute.cloud.project.name | 如果存在 jsonPayload.src_vpc.project_id，则有条件地映射。 |
| jsonPayload.src_instance.zone | read_only_udm.principal.resource.attribute.cloud.availability_zone | 如果存在 jsonPayload.src_vpc.project_id，则有条件地映射。 |
| jsonPayload.src_vpc.project_id | read_only_udm.principal.cloud.vpc.product_object_id | 用作条件来映射相关字段。 |
| jsonPayload.src_vpc.subnetwork_name | read_only_udm.principal.cloud.vpc.name | 如果存在 jsonPayload.src_vpc.project_id，则有条件地映射。 |
| jsonPayload.vpc.project_id | read_only_udm.target.cloud.vpc.product_object_id | 如果 jsonPayload.vpc.project_id 存在，则有条件地映射。 |
| jsonPayload.vpc.subnetwork_name | read_only_udm.target.cloud.vpc.name | 如果 jsonPayload.vpc.project_id 存在，则有条件地映射。 |
| logName | read_only_udm.security_result.category_details | 直接映射。 |
| resource.labels.instance_id | read_only_udm.principal.resource.product_object_id、read_only_udm.principal.asset_id | 有条件地映射。如果类型为“PROCTITLE”，则用于构建资产 ID。 |
| resource.labels.location | read_only_udm.principal.location.name | 如果字段存在，则有条件地映射。 |
| resource.labels.project_id | read_only_udm.metadata.product_deployment_id | 如果字段存在，则有条件地映射。 |
| resource.labels.zone | read_only_udm.principal.resource.attribute.cloud.availability_zone | 如果字段存在，则有条件地映射。 |
| resource.type | read_only_udm.metadata.event_type | 用于确定事件类型并进行映射。 |
| 时间戳 | read_only_udm.metadata.event_timestamp | 直接映射。 |
| 类型 | read_only_udm.metadata.product_event_type、read_only_udm.metadata.event_type、read_only_udm.extensions.auth.type | 用于确定事件类型、产品事件类型和身份验证类型，并进行相应映射。 |
| read_only_udm.metadata.event_type | 该逻辑会根据“type”字段和其他条件设置事件类型。如果未找到具体匹配项，则默认为“GENERIC_EVENT”。 | |
| read_only_udm.metadata.log_type | 常量值“GCP_COMPUTE”。 | |
| read_only_udm.metadata.vendor_name | 常量值“Google Cloud Platform”。 | |
| read_only_udm.metadata.product_name | 常量值“Google Cloud Platform”。 | |
| read_only_udm.security_result.rule_labels.key | 常量值“Reference”。 | |
| read_only_udm.target.cloud.vpc.resource_type | 如果存在 jsonPayload.instance.project_id 或 jsonPayload.dest_vpc.project_id，则有条件地设置为“VPC_NETWORK”。 | |
| read_only_udm.target.resource.attribute.cloud.environment | 如果存在 jsonPayload.instance.project_id、jsonPayload.dest_vpc.project_id 或 jsonPayload.src_vpc.project_id，则有条件地设置为“GOOGLE_CLOUD_PLATFORM”。 | |
| read_only_udm.principal.administrative_domain | 从“kv_data”字段中提取的“账号网域”字段映射而来。 | |
| read_only_udm.principal.user.user_display_name | 从“kv_data”字段中提取的“Account Name”（账号名称）字段映射而来。 | |
| read_only_udm.target.resource.name | 从“kv_data”字段中提取的“Object Name”字段映射而来。 | |
| read_only_udm.target.resource.type | 从“kv_data”字段中提取的“对象类型”字段映射而来。 | |
| read_only_udm.principal.process.pid | 从“kv_data”字段中提取的“进程 ID”字段映射而来。 | |
| read_only_udm.target.user.windows_sid | 从“kv_data”字段中提取的“安全 ID”字段映射而来。 | |
| read_only_udm.network.session_id | 从“auid”字段映射而来。 |
变化
2024-06-18
增强功能：
- 将“file”映射到“principal.file.names”。
- 将“function”映射到“principal.resource.attribute.labels”。
- 将“line”映射到“principal.resource.attribute.labels”。
- 将“timestamp”映射到“event_timestamp”。
2023-02-24
bug 修复：
- 添加了“asset_id”的映射，以便在界面中进行搜索：“asset:resource.labels.instance_id”已映射到“principal.asset_id”
2022-06-16
增强功能：
- 为以下新字段添加了映射：将 jsonPayload.Message 映射为 syslog。
- 将进程名称更改为 principal.application。
- 将进程 ID 设置为 principal.process.pid。
- 将账号网域更改为 principal.administrative_domain。
- 将“账号名称”更改为“principal.user.user_display_name”。
- 将对象名称更改为 target.resource.name。
- 将对象类型更改为 target.resource.type。
- 将安全 ID 更改为 target.user.windows_sid。
- addr 为 principal.ip。
- auid 更改为 network.session_id。
- 将 Linux 日志的“LINUX - %{type}”和 Windows 日志的“WINDOWS event log”映射到 metadata.product_event_type。
- pid 为 target.process.pid。
- acct 更改为 target.user.userid。
- exe 更改为 target.process.command_line。
- 将 file_path 更改为 principal.process.file.full_path。
- 将 desc 的映射从 metadata.description 更改为 security_result.description。
2022-05-23
增强功能：
- 添加了以下新字段的映射：
- jsonPayload.message 作为 syslog。
- resource.labels.zone 更改为 principal.resource.attribute.cloud.availability_zone。
- resource.labels.location 更改为 principal.location.name。
- resource.labels.project_id 更改为 metadata.product_deployment_id。
- resource.labels.instance_id 更改为 principal.resource.product_object_id。
需要更多帮助？向社区成员和 Google SecOps 专业人士寻求解答。