设置和管理数据处理流水线

支持的语言：

数据处理流水线功能可对 Google Security Operations 数据注入进行精细控制。借助数据处理流水线，您可以在 Google Security Operations 解析传入数据之前对其进行处理。例如，过滤和转换事件，或隐去敏感值。此流程有助于优化 Google SecOps 的数据、降低成本、保护敏感信息并提高兼容性。

本文档介绍了如何使用 Bindplane 控制台配置与 Google SecOps 目标实例的连接、创建新数据流、设置数据处理流水线（来源和处理器）、部署流水线以启动数据处理，以及在 Google SecOps 控制台中查看流水线来源和处理器。示例使用场景包括：

  • 从原始日志中移除空键值对。
  • 隐去敏感数据。
  • 从原始日志内容中添加注入标签。
  • 在多实例环境中，将提取标签应用于直接提取的日志数据，以指明数据来自哪个源实例（例如 Google Cloud、Workspace）。
  • 按字段值过滤 Palo Alto Cortex 数据。
  • 按类别减少 SentinelOne 数据。
  • 将 Feed 和直接提取日志中的主机解析到 Cloud Monitoring 的 ingestion_source 字段中。

您可以使用 Bindplane 管理控制台或直接使用公共 Google SecOps Data Pipeline API，为本地和云数据源配置数据处理流水线。

数据处理流水线包含以下元素：

  • 来源：一个或多个数据源将数据馈送到数据处理流水线中，每个数据源都针对不同的数据源类型进行了配置。
  • 处理器节点：数据处理流水线具有一个包含一个或多个处理器的处理器节点。每个处理器都会指定在数据流经流水线时要对数据执行的操作（例如，过滤、转换和编辑）。
  • 目标：Google SecOps 目标实例是处理后的数据发送到的位置。

前提条件

如果您打算使用 Bindplane 控制台来管理 Google SecOps 数据处理流水线，请执行以下步骤：

  1. 在 Google Security Operations 控制台中，向安装程序授予所需的预定义管理员角色。 有关详情，请参阅在专用项目中分配 Project IAM Admin 角色。 在分配角色下，选择以下预定义的 Identity and Access Management 角色：
    • Chronicle API Admin (roles/chronicle.admin)
    • Chronicle Service Admin (roles/chroniclesm.admin)
    • Chronicle SOAR Admin Beta (roles/chronicle.soarAdmin)
    • Project IAM Admin (roles/resourcemanager.projectIamAdmin)
  2. 安装 Bindplane 服务器控制台。对于 SaaS 或本地部署，请参阅安装 Bindplane Server 控制台。
  3. 在 Bindplane 控制台中，将 Google SecOps 目标实例连接到您的 Bindplane 组织。如需了解详情，请参阅连接到 Google SecOps 实例。

低流量的视频流的确认时间可能会增加

自行配置代理的 Ingestion API 用户可能会发现，在数据处理流水线中，低流量数据流的确认时间可能会有所增加。平均预期确认时间可能会从 700 毫秒增加到 2 秒。在这种情况下，您可能需要相应地增加超时时间和内存。当数据吞吐量增加到超过 4MBps 时，确认时间应会缩短。

连接到 Google SecOps 实例

连接到 Google SecOps 实例，该实例将作为数据处理流水线输出的目标位置。

如需使用 Bindplane 控制台连接到 Google SecOps 实例，请执行以下操作：

  1. 在 Bindplane 控制台中，前往管理组织页面。
  2. 前往集成卡片，然后点击关联到 Google SecOps。

  3. 在随即打开的修改集成窗口中，输入 Google SecOps 目标实例的详细信息，该实例将注入数据处理流水线的输出，如下所示：

    字段 说明
    区域 Google SecOps 实例的区域。如需查找实例，请前往 Google Cloud 控制台，导航到 Google Security Operations 页面，然后点击实例详情。
    客户 ID 您的 Google SecOps 实例的客户 ID。在 Google SecOps 控制台中，依次前往设置 > 个人资料 > 组织详细信息。
    Google Cloud 项目编号 Google SecOps 实例的 Google Cloud 项目编号
    。如需在 Google SecOps 控制台中查找项目编号，请前往设置 > 个人资料 > 组织详细信息。
    凭据 服务账号的凭据，用于访问 Google SecOps Data Pipeline API。
    这是 Google 服务账号凭据文件中的 JSON 值。服务账号必须与您的 Google SecOps 实例位于同一项目中。如需了解如何创建服务账号并下载 JSON 文件，请参阅创建和删除服务账号密钥。

  4. 点击连接。如果您的连接详细信息正确无误，并且您已成功连接到 Google SecOps，则可以预期会发生以下情况：

    • Google SecOps 实例详细信息（已加密）会保存在您的组织对象中。
    • 系统会打开与 Google SecOps 实例的连接。
    • 首次连接时，您可以在 Bindplane 控制台中看到数据流标签页。
    • Bindplane 控制台现在会显示您之前使用 API 为此实例设置的所有数据处理流水线。系统会将您使用该 API 配置的部分处理器转换为 Bindplane 处理器，并以原始 OpenTelemetry 转换语言 (OTTL) 格式显示其他处理器。您可以使用 Bindplane 控制台修改之前使用 API 设置的流水线和处理器。

  5. 成功创建与 Google SecOps 实例的连接后，您可以创建数据流并设置数据处理流水线。如需了解详情，请参阅使用 Bindplane 控制台设置数据处理流水线。

使用 Bindplane 控制台设置数据处理流水线

您可以使用 Bindplane 控制台管理 Google SecOps 数据处理流水线，包括使用 API 设置的流水线。

请按照以下步骤操作，以创建新数据流并设置数据处理流水线、配置数据处理流水线来源和处理器，以及推出数据处理流水线以启动数据处理：

  1. 创建新数据流
  2. 配置数据处理流水线
    1. 配置来源
    2. 配置处理器
  3. 推出数据处理流水线

创建新数据流

流是一个容器，您可以在其中配置一个数据处理流水线。
如需创建新的数据流，请执行以下操作：

  1. 在 Bindplane 控制台中，点击数据流标签页以打开数据流页面。
  2. 点击创建信息流。
  3. 在创建新信息流窗口中，将信息流类型设置为 Google SecOps（默认）。
  4. 输入数据流名称和说明。
  5. 点击创建。
    • 新数据流的详细信息会显示在数据流页面中。
    • 如需在新数据流中配置数据处理流水线，请参阅配置数据处理流水线了解详情。

配置数据处理流水线

数据处理流水线会指定要注入的数据源和用于在数据流向 Google SecOps 目标实例时操控数据的处理器（例如，过滤、转换或遮盖）。

流水线配置卡片是数据处理流水线的可视化表示形式，您可以在其中配置数据源和处理器节点。处理方节点包含在数据流向 Google SecOps 目标实例时对数据进行处理的处理器。

如需配置数据处理流水线，请先创建新数据流，然后执行以下操作：

  1. 在 Bindplane 控制台中，点击数据流标签页以打开数据流页面。
  2. 选择要配置新数据处理流水线的数据流。系统会打开流水线配置卡片。

  3. 配置以下内容：

    1. 来源。如需了解详情，请参阅配置来源。

    2. 处理方节点：

      • 如需使用 Bindplane 控制台添加处理器，请参阅配置处理器了解详情。
      • 某些自定义处理器允许您直接修改其原始 OTTL 代码。

  4. 完成这些配置后，请参阅推出数据处理流水线，开始处理数据。

配置来源

来源会根据其配置的规范提取数据，并将其馈送到流水线中。一个数据处理流水线可以有一个或多个来源，每个来源都针对不同的数据源进行配置。

如需添加来源，请执行以下操作：

  1. 在流水线配置卡片中，点击 添加 添加来源以打开创建 SecOps 数据源窗口。

  2. 在创建 SecOps 数据源 窗口中，输入以下字段的详细信息：

    字段 说明
    日志类型 要注入的数据的日志类型。
    选择要注入的日志类型。例如，“CrowdStrike Falcon (CS_EDR)”。

    注意：您无法选择带有 警告 警告图标的日志类型。
    警告图标表示相应日志类型已在另一个来源（在此流水线或 Google SecOps 实例中的另一个流水线中）中配置。
    如果您想使用此类日志类型，必须先从其他来源配置中将其删除。
    如需查找配置了日志类型的其他来源配置，请参阅过滤数据流（流水线）配置。
    注入方法 用于注入所选日志类型的数据的注入方法。
    这些提取方法之前已为您的 Google SecOps 实例定义。
    选择以下选项之一：
    • 所有提取方法

      注意：选择此选项会限制您在添加下一个来源时可选择的选项：
      选择所有提取方法后，您将无法为日志类型添加其他特定 提取方法的来源。
    • 选择特定注入方法。
      例如，以下值之一：“Bindplane Agent”“Cloud Native Ingestion”“Feed”“Ingestion API”或“Workspace”。
      • 请注意，选择此项会缩小您在添加下一个来源时的选择范围：
        选择特定提取方法后，您将无法再使用“所有提取方法”为相应日志类型添加其他来源。
        您仍然可以选择其他未配置的特定 提取方法来提取此日志类型。
      • 如果您选择了 Feed，系统会在下一个字段中显示 Feed 列表，供您从中选择作为提取来源。（请参阅下一个字段。）
    Feed 用于注入源数据的 Feed。
    如果您在提取方法字段中选择 Feed，则 Feed 字段会显示为所选日志类型预先定义的 Feed 名称列表（适用于您的 Google SecOps 实例）。
    从列表中选择特定 Feed。

    注意：如需在 Google SecOps 控制台中查看 Feed 列表，请前往设置 > Feed 表格。

  3. 点击添加来源以保存新数据源。

    • 新的数据源现在会显示在流水线配置卡片的数据处理流水线上。
    • 它会自动连接到 Processor 节点和 Google SecOps Destination。
过滤数据流（流水线）配置

借助数据流页面上的搜索栏，您可以根据多种配置元素（例如日志类型、注入方法和 Feed 名称）过滤数据流（数据处理流水线）。您可以使用以下语法进行过滤：logtype:value、ingestionmethod:value 和 feed:value。

例如，如需使用搜索栏来识别包含特定日志类型的来源配置，请在搜索栏中输入 logtype:，然后从列表中选择相应日志类型。

配置处理器

数据处理流水线具有一个处理器节点，其中包含一个或多个处理器。每个处理器都会在源数据流经流水线时对其进行处理，处理顺序与处理器在处理器窗格中显示的顺序一致。第一个处理器处理源数据，然后下一个处理器处理生成的输出，再由后续处理器处理。

通过添加、移除或更改一个或多个处理器的顺序来配置处理器节点。

如需添加处理器，请按以下步骤操作：

  1. 在流水线配置卡片中，点击处理器节点以打开修改处理器窗口。
    修改处理器窗口包含三个窗格：

    • 左侧窗格：最近的入站源日志数据（处理前）
    • 中间窗格：处理器及其配置
    • 右侧窗格：最近的出站结果日志数据（处理后）

    如果流水线之前已推出，系统会在窗格中显示最近的传入日志数据（处理前）和最近的传出日志数据（处理后）。

  2. 如需添加处理器，请点击添加处理器以显示处理器列表。 为方便起见，处理器列表按处理器类型分组。
    （如需整理处理器列表，您可以选择一个或多个处理器，然后点击添加新的处理器组合，以添加自己的组合。）

  3. 从列表中选择要添加的处理器。

  4. 根据需要配置处理器。

  5. 点击保存，以将处理器配置保存在处理器节点中。

系统会处理新传入的源日志数据（来自左侧窗格）的新鲜样本，从而测试新的处理器配置，并显示传出的结果数据（在右侧窗格中）。

推出数据处理流水线

完成来源和处理器配置后，推出流水线以开始处理数据。

如需推出数据处理流水线，请点击开始推出。这会激活数据处理流水线，并允许 Google 的安全基础架构根据数据处理流水线配置开始处理数据。

如果发布成功，数据处理流水线配置版本号会递增，并显示在数据处理流水线名称旁边。

如需查看配置历史记录，请点击数据处理流水线名称旁边的历史记录链接。系统会显示每个数据处理流水线版本之间的配置变化。

后续步骤

您可以在 Google SecOps 中以只读模式查看活跃的数据流。如需了解详情，请参阅通过 Google SecOps 控制台查看数据处理流水线信息。

通过 Google SecOps 控制台查看数据处理流水线信息

以下部分介绍了如何通过 Google SecOps 控制台查看数据处理流水线信息：

查看已配置的 Feed

Feed 页面会显示您配置的所有 Feed。

  1. 在 Google SecOps 控制台中，前往设置 > Feed。主页面会显示您配置的所有 Feed。
  2. 将指针悬停在每行上，以显示 ⋮ 更多菜单。 通过该菜单，您可以查看 Feed 详细信息、修改、停用或删除 Feed。
  3. 点击查看详情以查看详情窗口。
  4. 点击 Open in Bindplane（在 Bindplane 中打开），在 Bindplane 控制台中打开相应 Feed 的来源配置。

在“日志类型”页面中查看数据处理流水线信息

日志类型页面会显示所有可用的日志类型。如需查看数据处理流水线详情，请执行以下操作：

  1. 在 Google SecOps 控制台中，依次前往设置 > 日志类型。主页面会显示您的所有日志类型。
  2. 将指针悬停在每行上，以显示 ⋮ 更多菜单。 在该菜单中，您可以查看日志类型详情。
  3. 点击查看数据处理以查看详细信息窗口。
  4. 点击 Open in Bindplane（在 Bindplane 中打开），在 Bindplane 控制台中打开相应处理器的处理器配置。

使用 Google SecOps Data Pipeline API

借助 Google SecOps Data Pipeline API，您可以管理数据处理流水线。这些 API 涵盖了所有数据流水线功能，例如创建、更新、删除和列出流水线以及其中的相关 Feed 和日志类型。

需要更多帮助？从社区成员和 Google SecOps 专业人士那里获得解答。