BigQuery 中的 Google Security Operations 数据

支持的平台：

Google 安全运营通过将数据导出到 BigQuery，提供一个托管式数据湖，其中包含标准化数据和经过威胁情报丰富的遥测数据。这样，您就可以 以下：

  • 直接在 BigQuery 中运行临时查询。
  • 使用您自己的商业智能工具（例如 Looker 或 Microsoft Power BI）创建信息中心、报告和分析。
  • 将 Google Security Operations 数据与第三方数据集联接。
  • 使用数据科学或机器学习工具进行分析。
  • 使用预定义的默认信息中心和自定义信息中心生成报告。

Google Security Operations 会将以下类别的数据导出到 BigQuery：

  • UDM 事件记录：根据客户提取的日志数据创建的 UDM 记录。这些记录会添加别名信息。
  • 规则匹配（检测）：规则与单个或 更多活动
  • IoC 匹配：与失陷指标 (IoC) Feed 匹配的事件中的工件（例如网域、IP 地址）。其中包括来自 全球的 与 的匹配 Feed 和专门针对客户的 Feed。
  • 提取指标：包括统计信息，例如提取的日志行数、从日志生成的事件数、指示无法解析日志的日志错误数，以及 Google 安全运营转发器的状态。如需了解详情，请参阅提取指标 BigQuery 架构。
  • 实体图和实体关系：用于存储 以及它们与其他实体的关系。

数据导出流程

数据导出流程如下：

  1. 一组特定于用例的 Google Security Operations 数据会导出到 特定于客户的 Google Cloud 项目中存在的 BigQuery 实例 并由 Google 管理。 系统会将每个用例的数据导出到单独的表格中。这些数据会从 Google Security Operations 导出到客户专用项目中的 BigQuery。
  2. 在导出过程中，Google Security Operations 会创建一个预定义的 Looker 数据模型 应用场景。
  3. Google Security Operations 默认信息中心是使用预定义的 Looker 数据构建的 模型。您可以在 Google 安全运营中心使用预定义的 Looker 数据模型创建自定义信息中心。
  4. 客户可以针对存储在 BigQuery 表。

  5. 客户还可以使用与 BigQuery 集成的其他第三方工具创建更高级的分析。

    将数据导出到 BigQuery 中进行处理

BigQuery 实例会在与 Google 安全运营租户相同的区域中创建。系统会为每个客户 ID 创建一个 BigQuery 实例。原始日志不会导出到 BigQuery 中的 Google Security Operations 数据湖。系统会以填充前的方式导出数据。在 Google Security Operations 中提取和标准化数据后，系统会将其导出到 BigQuery。您无法回填之前注入的 数据。所有 BigQuery 表中的数据保留期限均为 365 天。

对于 Looker 连接，请与您的 Google Security Operations 代表联系以获取服务 账号凭据，让您可以将 Looker 实例连接到 Google Security Operations 数据。该服务账号将拥有只读权限。

表概览

Google Security Operations 会在 BigQuery 中创建 datalake 数据集以及以下表：

  • entity_enum_value_to_name_mapping：适用于 entity_graph 表，用于将数值映射到字符串值。
  • entity_graph：存储有关 UDM 实体的数据。
  • events：存储与 UDM 事件相关的数据。
  • ingestion_metrics：存储与从特定提取来源（例如 Google Security Operations 转发器、Feed 和 Ingestion API）提取和标准化数据相关的统计信息。
  • ioc_matches：存储针对 UDM 事件找到的 IOC 匹配项。
  • job_metadata：一个内部表，用于跟踪向 BigQuery。
  • rule_detections：存储在 Google Security Operations 中运行的规则返回的检测结果。
  • rulesets：存储与 Google Security Operations 管理的检测相关的信息，包括每个规则集所属的类别、是否已启用以及当前的提醒状态。
  • udm_enum_value_to_name_mapping：对于事件表中的枚举类型，将数值映射到字符串值。
  • udm_events_aggregates：存储按小时汇总的汇总数据 标准化事件。

访问 BigQuery 中的数据

您可以直接在 BigQuery 中运行查询，也可以将您自己的商务智能工具（例如 Looker 或 Microsoft Power BI）连接到 BigQuery。

如需启用对 BigQuery 实例的访问权限，请使用 Google Security Operations CLI 或 Google Security Operations BigQuery Access API。您可以为拥有的用户或群组提供电子邮件地址。如果您配置了对群组的访问权限，则可以使用该群组来管理哪些团队成员可以访问 BigQuery 实例。

如需将 Looker 或其他商业智能工具连接到 BigQuery，请与您的 Google Security Operations 代表联系，获取服务账号凭据，以便将应用连接到 Google Security Operations BigQuery 数据集。服务 账号将拥有 IAM BigQuery Data Viewer 角色 (roles/bigquery.dataViewer) 和 BigQuery Job Viewer 角色 (roles/bigquery.jobUser)。

后续步骤