估算组织或文件夹的数据剖析费用

本页面介绍如何估算在组织或文件夹中分析 BigQuery 数据的费用。如果要为项目创建估算,请参阅估算单个项目的数据分析费用

如需详细了解如何分析 BigQuery 数据,请参阅 BigQuery 数据的数据分析文件

概览

在开始生成数据分析文件之前,您可以运行估算以了解您有多少 BigQuery 数据以及分析这些数据可能需要的费用。要进行估算,您需要创建估算。

创建估算时,请指定包含要分析的数据的资源(组织、文件夹或项目)。您可以设置过滤条件来精细调整数据选择。您还可以设置在敏感数据保护分析表之前必须满足的条件。敏感数据保护根据您创建估算值时的形状、大小和类型进行估算。

每次估算都包含详细信息,例如在资源中找到的匹配表的数量、所有这些表的总大小,以及每月分析资源一次的估算费用。

如需详细了解价格的计算方式,请参阅数据分析价格

估算价格

您可以免费创建估算费用。

保留

每个估算值都会在 28 天后自动删除。

限制

如果组织或文件夹的某个项目受 VPC Service Controls 服务边界保护,则 Sensitive Data Protection 可能会漏算资源中的 BigQuery 数据量。如果您有服务边界,请分别为每个服务边界创建一个估算值。

准备工作

如需获取创建和管理数据分析费用估算值所需的权限,请让管理员授予您组织或文件夹的 DLP 管理员 (roles/dlp.admin) IAM 角色。如需详细了解如何授予角色,请参阅管理访问权限

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

创建估算

  1. 转到创建数据分析估算页面。

    前往“创建数据分析估算”

  2. 选择您的组织。

以下部分详细介绍了创建数据分析估算页面上的步骤。每部分末尾,点击继续

选择要扫描的资源

执行下列其中一项操作:

  • 如需为组织创建估算,请选择扫描整个组织
  • 如需为文件夹创建估算,请选择扫描所选文件夹。然后,点击浏览并选择相应文件夹。

输入过滤条件和条件

如果要在估算中包含组织或文件夹中的所有 BigQuery 表,可以跳过此部分。

在本部分中,您将创建过滤条件,以指定要在估算中包含或排除的特定数据子集。对于估算中包含的子集,您还需要指定子集中的表必须满足哪些条件才能包含在估算中。

要设置过滤器和条件,请按以下步骤操作:

  1. 点击添加过滤条件和条件
  2. 过滤条件部分中,您定义一个或多个过滤条件,用于指定估算范围内的表。

    请至少指定以下其中一项:

    • 项目 ID 或用于指定一个或多个项目的正则表达式。
    • 数据集 ID 或用于指定一个或多个数据集的正则表达式。
    • 表格 ID 或用于指定一个或多个表的正则表达式。

    正则表达式必须遵循 RE2 语法

    例如,如果您希望过滤器中包含项目中的所有表,请指定该项目的 ID 并将另外两个字段留空。

    如果您想添加更多过滤条件,请点击添加过滤条件,然后重复此步骤。

  3. 如果应从估算中排除过滤器定义的数据子集,请关闭将匹配表纳入我的估算中。如果您关闭此选项,系统会隐藏本部分其余部分中介绍的条件。

  4. 可选:在条件部分中,指定匹配表必须满足哪些条件才能包含在估算中。如果您跳过此步骤,则敏感数据保护将包含与您的过滤器匹配的所有受支持的表,无论其大小和存在时间。

    配置以下选项:

    • 最低条件:要从估算值中排除小型表或新表,请设置最小行数或表存在时间。

    • 时间条件:如需排除旧表,请开启时间条件。然后选择日期和时间。在该日期当天或之前创建的任何表都不会纳入估算范围。

      例如,如果将时间条件设置为 5/4/22, 11:59 PM,则敏感数据保护会从估算值中排除 2022 年 5 月 4 日晚上 11:59 当天或之前创建的所有表。

    • 要分析的表:如需指定要包含在估算中的表类型,请选择仅包含指定类型的表。然后,选择要包含的表类型。

      如果您未开启此条件,或未选择任何表类型,则敏感数据保护会在估算值中包含所有受支持的表。

    假设您具有以下配置:

    • 最低条件

      • 行数下限:10 行
      • 时长下限:24 小时
    • 时间条件

      • 时间戳:2022 年 5 月 4 日晚上 11:59
    • 要分析的表

      已选择仅包含指定类型的表选项。在表类型列表中,仅选择了分析 BigLake 表

    在这种情况下,敏感数据保护会排除 2022 年 5 月 4 日晚上 11:59 当天或之前创建的任何表。在此日期和时间之后创建的表中,敏感数据保护仅分析具有 10 行存在时间至少为 24 小时的 BigLake 表。

  5. 点击完成

  6. 如果要添加更多过滤条件和条件,请点击添加过滤条件和条件,然后重复上述步骤。

    过滤条件和条件列表中的最后一项始终是标有默认过滤条件和条件的项。此默认设置适用于所选资源(组织或文件夹)中与您创建的任何过滤条件和条件都不匹配的表。

    默认的过滤条件和条件
  7. 如果要调整默认的过滤条件和条件,请点击 修改过滤条件和条件,然后根据需要调整设置。

管理服务代理容器和结算

在本部分中,您将指定用作服务代理容器的项目。您可以让敏感数据保护服务自动创建新项目,也可以选择现有项目。

  • 如果您没有服务代理容器,请选择创建新项目作为服务代理容器 (Create a new project as service agent container)。

    敏感数据保护会创建名为 DLP Service Agent Container 的新项目。此项目中的服务代理将用于向敏感数据保护和其他 API 进行身份验证。“敏感数据保护”会提示您选择对与此项目相关的所有可计费操作(包括与数据分析无关的操作)要用于结算的帐号。

    如果您没有创建项目所需的权限,此选项将处于停用状态。如需了解所需权限,请参阅在组织或文件夹级层使用数据分析文件所需的角色

  • 如果您想重复使用现有的服务代理容器,请选择选择现有服务代理容器。然后,点击浏览,选择服务代理容器的项目 ID。

无论您是使用新创建的服务代理,还是重复使用现有的服务代理,请确保它对要分析的数据具有读取权限。

设置位置以存储估算

  1. 资源位置列表中,选择要存储此估算值的区域。

    您选择存储估算值的位置不会影响要扫描的数据。此外,它也不会影响数据分析文件之后的存储位置。系统会扫描存储数据的同一个区域(在 BigQuery 中设置)中的数据。如需了解详情,请参阅数据驻留注意事项

  2. 检查设置,然后点击创建

敏感数据保护会创建估算值,并将其添加到估算值列表中。然后,该函数执行估算。

估算最长可能需要 24 小时才能完成,具体取决于资源中的数据量。在此期间,您可以关闭“敏感数据保护”页面,稍后再回来查看。估算准备就绪后,Google Cloud 控制台中会显示一条通知。

查看估算值

  1. 转到估算列表。

    前往“估算”页面

  2. 点击要查看的估算值。估算数据包含以下内容:

    • 资源中的表数,减去您通过过滤条件和条件排除的所有表。
    • 表等于的总数据量。
    • 每月分析此数据量所需的订阅单元数。
    • 初始发现的费用,这是对找到的表进行性能剖析的大致费用。此估算值仅基于当前数据的快照,而不考虑数据在给定时间段内的增长量。
    • 仅分析存在时间少于 6、12 或 24 个月的表的额外费用估算值。这些额外的估算数据旨在向您展示进一步限制数据覆盖范围可如何帮助您控制数据分析费用。
    • 分析您的数据的每月估算费用(假设每个月的 BigQuery 用量与本月的用量相同)。
    • 显示 BigQuery 随时间增长情况的图表。
    • 您设置的配置详细信息。

估算图表

每个估算值都包含一个图表,其中显示了 BigQuery 数据的历史增长情况。您可以使用此信息来估算每月的数据分析费用。

显示 BigQuery 数据增长的图表

后续步骤