对组织或文件夹中的 BigQuery 数据进行性能分析

本页介绍了如何在组织或文件夹一级配置 BigQuery 数据发现功能。如果要对项目进行性能剖析，请参阅 在单个项目中分析 BigQuery 数据。

如需详细了解发现服务，请参阅数据配置文件。

如需开始分析数据，您需要创建扫描配置。

准备工作

1. 确认您拥有在组织级别配置数据剖析文件所需的 IAM 权限。

   如果您没有“组织管理员”(roles/resourcemanager.organizationAdmin) 或“安全管理员”(roles/iam.securityAdmin) 角色，您仍然可以创建扫描配置。但是，在您创建扫描配置后， 其中任何一个角色都必须向您的服务代理授予数据分析访问权限。

2. 您必须在每个要保留数据的区域都有一个检查模板 。如果您想为多个区域使用同一个模板，可以使用 存储在 global 区域的模板。如果是组织 政策禁止您创建 global 检查模板， 您必须为每个区域设置专用的检查模板。如需了解详情，请参阅数据驻留注意事项。

   通过此任务，您只能在 global 区域创建检查模板。如果您需要为一个或多个地区创建专用检查模板，则必须先创建这些模板，然后才能执行此任务。

3. 如需在发生特定事件（例如敏感数据保护功能对新表进行配置时）向某个主题发送 Pub/Sub 通知，请创建 Pub/Sub 主题。

4. 您可以将敏感数据保护配置为自动为资源附加标记。借助此功能，您可以根据计算出的敏感度级别有条件地授予对这些资源的访问权限。如果您想使用此功能，则必须先完成根据数据敏感性控制 IAM 对资源的访问权限中的任务。

要生成数据分析文件，您需要 服务代理容器和服务代理 。此任务可让您自动创建任务。

创建扫描配置

1. 转到创建扫描配置页面。

   转到“创建扫描配置”

2. 转到您的组织。在工具栏上，点击项目选择器，然后选择您的组织。

以下部分详细介绍了创建扫描配置页面中的步骤。在每个部分结束时，点击继续。

选择发现类型

选择 BigQuery。

选择范围

执行下列其中一项操作：

• 如需在组织级别配置分析，请选择扫描整个 组织。
• 如需在文件夹级别配置分析，请选择 Scan selected 文件夹。点击浏览，然后选择文件夹。

管理时间表

如果默认的分析 频率套装 您可以跳过创建扫描配置页面的这一部分。

出于以下原因配置此部分：

• 对所有数据的分析频率进行精细调整 或数据的某些子集。
• 指定您不想分析的表。
• 指定您不希望多次分析的表。

如需对分析频率进行精细调整，请按以下步骤操作：

1. 点击添加时间表。

2. 在过滤器部分中，您可以定义一个或多个过滤器， 哪些表在时间表的范围内

   请至少指定以下其中一项：

   • 项目 ID 或用于指定一个或多个项目的正则表达式
   • 指定一个或多个数据集的数据集 ID 或正则表达式
   • 表 ID 或用于指定一个或多个表的正则表达式

   正则表达式必须遵循 RE2 语法。

   例如，如果您希望将项目中的所有表都包含在过滤条件中，请指定该项目的 ID，并将另外两个字段留空。

   如果您想添加更多过滤条件，请点击添加过滤条件，然后重复此步骤。

3. 点击频次。

4. 在频率部分，指定 Sensitive Data Protection 是否应 分析您在过滤器中定义的表，如果是，分析频率：

   • 如果您不希望对表进行分析，请关闭 分析表。

   • 如果您希望对表至少进行一次分析，请将 对表进行分析。

     在此部分的后续字段中，您可以指定 应重新分析您的数据，以及哪些事件会触发重新分析 操作。如需了解详情，请参阅数据配置文件生成频率。

     1. 对于架构发生更改时，指定敏感数据保护功能应检查所选表在上次分析后是否发生了架构更改的频率。仅限包含 将重新分析架构更改
     2. 对于架构更改的类型，请指定哪些类型的架构更改 应触发重新分析操作。选择以下选项之一：
        • 新列：重新分析获得新列的表。
        • 移除的列：重新分析移除了列的表。

        例如，假设您有的表格每天都会增加新列，并且您需要每次都对其内容进行性能分析。您可以将当架构更改时设置为每日重新分析，并将 架构类型更改为新列。

     3. 对于表发生更改时，指定敏感数据保护功能应检查所选表在上次分析后是否发生了任何更改的频率。系统只会更改包含更改的表 重新分析。表更改示例包括行删除和架构更改。

        您选择的值必须等于或低于 在架构更改时字段中设置的值。

     4. 对于检查模板发生更改时，请指定您是否希望在关联的检查模板更新时重新分析数据，如果是，则指定重新分析的频率。
        注意：您可以在本页面的选择检查模板步骤中指定要使用的检查模板。

        当发生以下任一情况时，系统会检测到检查模板更改：

        • 扫描配置中的检查模板名称发生更改。
        • 检查模板的 updateTime 发生更改。

     例如，如果您为 us-west1 区域设置检查模板 并更新检查模板，则仅更新 us-west1 中的数据 将重新分析该区域不过，如果您改为删除该检查模板，则 us-west1 中的数据不会重新分析，因为没有可用于重新分析它的检查模板。

5. 点击条件。

6. 在条件部分，指定在敏感数据保护分析表之前，过滤条件中定义的表必须满足的任何条件。如果您设置了最低条件和时间条件， Sensitive Data Protection 仅分析同时符合这两种类型的表 条件。

   • 最低条件：如果您想延迟对表进行性能分析，直到表中包含足够的行或达到特定年龄，这些条件非常有用。开启要应用的条件，然后指定行数下限或时长。
   • 时间条件：如果您不希望对旧表进行性能分析，此条件非常有用。请开启时间条件，然后选择一个日期 。在此日期当天或之前创建的任何表都会从分析中排除。

   示例条件

   假设您有以下配置：

   • 最低条件

     • 最小行数：10 行
     • 时长下限：24 小时

   • 时间条件

     • 时间戳：2022 年 5 月 4 日晚上 11:59

   在这种情况下，敏感数据保护功能会排除 2022 年 5 月 4 日晚上 11:59 或之前创建的所有表。在该日期和时间之后创建的表中，敏感数据保护仅会分析行数达到 10 行或至少存在 24 小时的表。

7. 在要分析的表部分中，选择以下选项之一，具体取决于 针对您要分析的表类型执行下列操作：

   • 分析所有表：如果您希望敏感数据保护功能分析与您的过滤条件和条件匹配的所有类型的表，请选择此选项。

     对于不支持的表类型，Sensitive Data Protection 会生成 仅包含部分填充的个人资料。此类配置文件会显示错误，表明其所属的表不受支持。如果您想在出现错误消息的情况下查看部分配置文件，请选择此选项。

     当 Sensitive Data Protection 增加对新表类型的支持时， 重新分析该类型的表。

   • 分析受支持的表：如果您希望敏感数据保护仅分析与您的过滤条件和条件匹配的受支持表，请选择此选项。不受支持的表不会有部分配置文件。

   • 分析特定表类型：如果需要，请选择此选项 敏感数据保护功能可仅分析您使用的表类型 选择。在显示的列表中，选择一种或多种类型。

     当敏感数据保护功能添加对新表类型的支持后，不会自动分析该类型的表。分析新支持的配置文件 您必须修改扫描 配置和 请选择这些类型

   如果您不选择任何选项，敏感数据保护功能只会分析 BigQuery 表，并针对不受支持的表显示错误。

   数据分析的价格因所分析的表类型而异。 如需了解详情，请参阅数据分析价格。

8. 点击完成。

9. 如果您想添加更多时间表，请点击添加时间表，然后重复上述步骤。

10. 如需指定时间表之间的优先级，请使用 （向上箭头和 ）向下箭头对它们进行重新排序。

    时间表的顺序指定了时间表之间的冲突如何 已解决。如果某个表格同时符合两个不同投放时间的过滤条件， 时间表列表中较高的时间表决定了分析频率 。

    注意： 如果您的发现功能定价模式为订阅 模式， 降幅 Sensitive Data Protection 分析您的数据会受到多少影响 存储容量如需确定您的每日分析容量，请参阅 监控 利用率。 如果您预配的容量不足，系统可能不会遵循您在时间表中设置的性能分析频率。如果有待分析的表积压，敏感数据保护功能不会根据安排顺序分析积压表。而是，范围内的所有表都会在队列中获得随机分配的槽位。

    列表中的最后一项时间表始终标记为默认时间表。此默认时间表涵盖所选范围内 都与您创建的任何时间表都不匹配。此默认时间表遵循系统默认的性能分析频率。

11. 如果您想调整默认时间表，请点击 修改时间表，然后根据需要调整设置。

选择检查模板

根据您希望以何种方式提供检查配置，选择以下选项之一 以下选项无论您选择哪个选项，敏感数据保护功能都会扫描数据存储区域中的数据。也就是说，您的数据不会离开其来源区域。

选项 1：创建检查模板

如果您想在 global 区域。

1. 点击创建新的检查模板。

2. 可选：如需修改默认选择的 infoType，请点击管理 infoType。

   如需详细了解如何管理内置和自定义 infoType，请参阅 通过 Google Cloud 控制台。

   您必须至少选择一个 infoType 才能继续。

3. 可选：通过添加规则集并设置置信度阈值，进一步配置检查模板。如需了解详情，请参阅配置检测。

   当 Sensitive Data Protection 创建扫描配置时，它会存储以下内容 新的检查模板。global

选项 2：使用现有的检查模板

如果您有要使用的现有检查模板，请选择此选项。

1. 点击选择现有的检查模板。

2. 输入您要使用的检查模板的完整资源名称。 系统会自动在区域字段中填充存储检查模板的区域的名称。

   您输入的检查模板必须与要剖析的数据位于同一区域。

   为了尊重数据驻留，敏感数据保护不会 在存储模板的区域之外使用检查模板。

   要查找检查模板的完整资源名称，请按以下步骤操作：

   1. 转到检查模板列表。系统会在另一个标签页中打开此页面。

      转到检查模板

   2. 切换到包含您要使用的检查模板的项目。

   3. 在模板标签页上，点击要使用的模板的 ID。

   4. 在打开的页面上，复制模板的完整资源名称。完整资源名称采用以下格式：

      projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID

   5. 在创建扫描配置页面的模板名称中 字段中，粘贴模板的完整资源名称。

3. 如需为其他区域添加检查模板，请点击添加检查 模板，然后输入模板的完整资源名称。对每个 具有专用检查模板的区域。

4. 可选：添加存储在 global 区域中的检查模板。 敏感数据保护功能会自动针对您没有专用检查模板的区域中的数据使用该模板。

   注意 ：如果您不添加存储在 global 区域，则 Sensitive Data Protection 无法分析符合以下条件的区域中的数据： 没有专用的检查模板。如需了解详情，请参阅 数据驻留注意事项。

添加操作

在以下部分中，您可以指定敏感数据保护在生成数据配置文件后要执行的操作。

如需了解其他 Google Cloud 服务在配置操作时可能会收取的费用，请参阅导出数据配置文件的价格。

发布到 Google Security Operations

从数据配置文件中收集的指标可以为 Google Security Operations 的发现结果添加背景信息。添加的背景信息有助于您确定最需要解决的安全问题。

例如，如果您要调查某个服务代理， Google Security Operations 可以确定服务代理访问了哪些资源 以及其中是否有资源包含高敏感度数据。

如需将数据分析文件发送到 Google Security Operations 实例，请开启发布到 Chronicle。

如果您没有为自己的 Google Workspace 账号启用 Google Security Operations 实例， 通过独立的 产品或Security Command Center 企业版 - 启用此功能 选项无效。

发布到 Security Command Center

在对响应进行分类和制定响应时，数据分析结果可提供背景信息 针对在 Google Cloud 中发现的漏洞和威胁 Security Command Center。

注意：您还可以配置 Security Command Center，以便根据资源包含的数据的计算敏感度，自动为攻击路径模拟功能确定资源的优先级。有关 相关信息，请参阅根据数据自动设置资源优先级值 敏感度。

您必须先在组织级层激活 Security Command Center，然后才能使用此操作。在组织级别启用 Security Command Center 支持从集成服务（如 Sensitive Data Protection。Sensitive Data Protection 可与 Security Command Center 的所有服务层级配合使用。

如果未在组织级层激活 Security Command Center，敏感数据保护发现结果将不会显示在 Security Command Center 中。有关详情，请参阅检查 Security Command Center。

如需将数据分析文件的结果发送到 Security Command Center，请确保 发布到 Security Command Center 选项已启用。

如需了解详情，请参阅将数据配置文件发布到 Security Command Center。

将数据配置文件副本保存到 BigQuery

启用将数据剖析文件副本保存到 BigQuery 后，您可以保留所有生成的配置文件的已保存副本或历史记录。这样做有助于创建审核报告和直观呈现 数据分析文件。您还可以将这些信息加载到其他系统。

此外，通过这个选项，您可以在一个视图中查看所有数据分析文件， 而不管您的数据位于哪个区域。如果您停用此选项， 您仍可查看 Google Cloud 控制台。 但在 Google Cloud 控制台中，您一次只能选择一个区域 只有该区域的数据分析文件

注意：敏感数据保护功能无法分析表时，会定期重试。为了最大限度地减少导出数据中的噪声，敏感数据保护 仅将成功生成的配置文件导出到 BigQuery。

如需将数据分析文件的副本导出到 BigQuery 表，请执行以下操作： 请按以下步骤操作：

1. 启用将数据分析文件副本保存到 BigQuery。

2. 输入 BigQuery 的详细信息 要保存数据分析文件的表：

   • 在 Project ID 部分，输入要将项目添加到的现有项目的 ID 要导出到的数据分析文件。

   • 在数据集 ID 部分，输入项目中现有数据集的名称 将数据分析导出到的目标位置。

   • 对于 Table ID，输入 BigQuery 表的名称，其中 要导出到的数据分析文件。如果您尚未创建此表格 Sensitive Data Protection 使用名称 。

从您开启此选项开始，Sensitive Data Protection 就会开始导出配置文件。在您启用导出功能之前生成的配置文件不会保存到 BigQuery。

注意：您的服务代理必须对输出表具有写入权限。如果您尚未创建服务代理，则可以稍后在 Create scan configuration（创建扫描配置）页面中通过敏感数据保护功能创建一个。

将标记附加到资源

启用为资源附加标记会指示敏感数据保护功能根据计算出的敏感度级别自动为数据添加标记。若要完成本部分，您需要先完成根据数据敏感性控制 IAM 对资源的访问权限中的任务。

要根据计算的资源敏感度级别自动标记该资源， 请按以下步骤操作：

1. 启用代码资源选项。

2. 对于每个敏感度级别（高、中、低和未知），输入您为给定敏感度级别创建的标记值的路径。

   如果您跳过某个敏感度级别，系统不会为其附加任何标记。

3. 如需在存在敏感度级别标记时自动降低资源的数据风险级别，请选择对资源应用标记时，将其分析文件的数据风险降为“低”。这个 选项有助于您衡量数据安全和隐私保护方面的改进 安全状况。

   重要提示：此选项会替换所分析资源的计算数据风险级别。

4. 选择以下一个或两个选项：

   • 首次分析资源时对其添加标记。

   • 更新资源分析文件时对资源添加标记。选择 如果您想让 Sensitive Data Protection 覆盖 后续发现运行的敏感度级别标记值。因此， 主账号对某资源的访问权限会随着计算的 该资源的数据敏感度水平提高或降低。

     如果您打算手动更新敏感度设置，请勿选择此选项 级别标记值。 如果您选择此选项，敏感数据保护可以覆盖 手动更新。

发布到 Pub/Sub

启用发布到 Pub/Sub 后，您可以采用程序化方式 您可以基于分析结果执行相应的操作。您可以使用 Pub/Sub 通知制定工作流，以发现和修复存在重大数据风险或敏感性的发现。

如需向 Pub/Sub 主题发送通知，请按以下步骤操作：

1. 开启发布到 Pub/Sub。

   系统会显示一个选项列表。每个选项都描述了导致敏感数据保护功能向 Pub/Sub 发送通知的事件。

2. 选择应触发 Pub/Sub 通知的事件。

   如果您选择每次更新配置文件时发送 Pub/Sub 通知， 当 跟随表级 指标：

   • 数据风险
   • 敏感程度
   • 预测的 infoType
   • 其他 infoType
   • 公开
   • 加密

3. 对于您选择的每个事件，请按以下步骤操作：

   1. 输入主题的名称。名称必须采用以下格式：

      projects/PROJECT_ID/topics/TOPIC_ID
      

      替换以下内容：

      • PROJECT_ID：与 Pub/Sub 主题关联的项目的 ID。
      • TOPIC_ID：Pub/Sub 主题的 ID。

   2. 指定是在通知中包含完整的表格配置文件，还是仅包含经过配置文件分析的表格的完整资源名称。

   3. 设置以下服务必须满足的最低数据风险和敏感度级别要求 Sensitive Data Protection 以发送通知。

   4. 指定是仅数据风险和敏感度两者之一还是两者皆有 两个条件。例如，如果您选择 AND，则必须同时满足数据风险和敏感性条件，Sensitive Data Protection 才会发送通知。

注意：您的服务代理必须对 Pub/Sub 主题拥有发布权限。角色示例 拥有发布访问权限的“Pub/Sub Publisher”角色 （roles/pubsub.publisher）。如果您还没有服务代理， 借助 Sensitive Data Protection，您可以稍后在创建扫描 配置页面。 如果 Pub/Sub 主题存在配置或权限问题， Sensitive Data Protection 最多会重新尝试发送 Pub/Sub 通知 两个星期。两周后，该通知将被舍弃。

以标记形式发送到 Dataplex

通过此操作，您可以根据数据分析在 Dataplex 中创建标记 分析的特征。此操作仅适用于新建和更新的个人资料。 系统不会将未更新的现有配置文件发送到 Dataplex。

Dataplex 是一项 Google Cloud 服务，可统一分布式数据，并自动执行对这些数据的数据管理和治理。启用此操作后，系统会自动分析您分析的表 根据从数据中收集的分析洞见在 Dataplex 中进行了标记 个人资料。然后，您可以在组织和项目中搜索具有特定标签值的表。

如需将数据分析文件发送到 Dataplex，请确保 启用了以标记形式发送到 Dataplex 选项。

如需了解详情，请参阅根据数据分析中的洞见在 Dataplex 中标记表。

管理服务代理容器和结算

在本部分中，您需要指定 用作服务代理容器。 您可以让敏感数据保护自动创建新项目，也可以选择现有项目。

无论您是使用新创建的服务代理还是重复使用现有服务代理，请确保该代理对要分析的数据具有读取权限。

自动创建项目

如果您没有在组织中创建项目所需的权限，则需要改为选择现有项目或获取所需权限。如需了解所需的权限，请参阅在组织或文件夹级层使用数据剖析文件所需的角色。

如需自动创建一个用作服务代理容器的项目，请按以下步骤操作：

1. 在服务代理容器字段中，查看建议的项目 ID 并 可以根据需要进行修改
2. 点击创建。
3. 可选：更新默认项目名称。

4. 选择要对与此新项目相关的所有可计费操作（包括与发现无关的操作）付费的账号。

   注意：即使您已经拥有组织级发现广告订阅，仍需要使用此结算账号才能创建项目。但是，对于 所有发现操作，系统将通过与 您的订阅。

5. 点击创建。

Sensitive Data Protection 会创建新项目。此项目中的服务代理将用于向 Sensitive Data Protection 和其他 API 进行身份验证。

选择现有项目

如需选择现有项目作为服务代理容器，请点击服务代理容器字段，然后选择相应项目。

设置用于存储配置的位置

点击资源位置列表，然后选择您要配置的区域 希望存储此扫描配置。您创建的所有扫描配置 之后创建的内容也会存储在此位置。

您选择存储扫描配置的位置不会影响要扫描的数据。您的数据 会在存储该数据所在的区域进行扫描。如需更多信息 请参阅数据驻留注意事项。

注意 ：如果您已有扫描配置，则无法更改该值 。所有扫描配置都存储在同一位置。如果您想更改所有扫描配置的位置，则必须删除这些配置，重新创建它们，并将其存储在新位置。

检查并创建

1. 如果您想确保在创建扫描配置后系统不会自动开始分析，请选择在暂停模式下创建扫描。

   此选项在以下情况下非常有用：

   • 您的 Google Cloud 管理员仍然需要 授予数据分析访问权限 发送给服务代理
   • 您想要创建多个扫描配置 希望部分配置覆盖 其他。
   • 您选择将数据分析文件保存到 BigQuery，并希望确保服务代理对输出表具有写入权限。
   • 您已配置 Pub/Sub 通知，并且想要授予 发布权限 发送给服务代理
   • 您已启用将标记附加到资源操作，并且需要向服务代理授予对敏感度标签的访问权限。

2. 检查设置，然后点击创建。

   Sensitive Data Protection 会创建扫描配置并将其添加到发现扫描配置列表中。

如需查看或管理扫描配置，请参阅管理扫描配置。

如果您的服务代理具有访问和分析您的数据所需的角色，则 在您创建 扫描配置或恢复已暂停的 配置。否则，当您查看扫描配置详细信息时，敏感数据保护会显示错误。

注意：我们会定期改进检测算法。如果我们发现您的组织或项目能够受益于我们实施的新改进，我们可能会自动重新生成您的数据剖析结果，并重新执行您的扫描配置中的操作。这样的操作不会造成 Sensitive Data Protection 计费。但是由于我们重新执行了操作，使用的其他 Google Cloud 服务可能会产生费用。例如，如果您将 Sensitive Data Protection 配置为将数据剖析结果保存到 BigQuery，则可能会产生 BigQuery 费用。

后续步骤

• 如果您没有“组织管理员”(roles/resourcemanager.organizationAdmin) 或“安全管理员”(roles/iam.securityAdmin) 角色，则必须由具有其中一个角色的用户向您的服务代理授予数据分析权限。
• 了解如何管理数据分析文件。
• 了解如何管理扫描配置。
• 了解如何接收和解析数据分析器发布的 Pub/Sub 消息。
• 了解如何排查数据分析文件存在的问题。