针对单个项目估算数据剖析费用

本页介绍了如何估算在项目中对 BigQuery 数据进行性能分析的费用。如果您想为组织或文件夹创建估算值,请参阅针对组织或文件夹估算数据剖析费用

如需详细了解如何分析 BigQuery 数据,请参阅 BigQuery 数据的数据剖析文件

概览

在开始生成数据分析文件之前,您可以运行估算来了解您有多少 BigQuery 数据以及分析这些数据可能需要的费用。如需运行估算,您需要创建估算。

创建估算时,您需要指定包含要分析的数据的资源(组织、文件夹或项目)。您可以设置过滤条件,以精确选择数据。您还可以设置在敏感数据保护分析表之前必须满足的条件。敏感数据保护功能会根据您创建估算时的数据形状、大小和类型进行估算。

每个估算值都包含详细信息,例如在资源中找到的匹配表的数量、所有这些表的总大小,以及对资源进行一次和每月一次性能分析的估算费用。

如需详细了解价格计算方式,请参阅数据分析价格

估算价格

创建估算是免费的。

保留

每项估算值都会在 28 天后自动删除。

准备工作

如需获得创建和管理数据分析成本估算所需的权限,请让您的管理员向您授予项目的 DLP Administrator (roles/dlp.admin) IAM 角色。 如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

  1. 确保您的项目已启用 Cloud Data Loss Prevention API:

    1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    3. Make sure that billing is enabled for your Google Cloud project.

    4. Enable the required API.

      Enable the API

    5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    6. Make sure that billing is enabled for your Google Cloud project.

    7. Enable the required API.

      Enable the API

  2. 如需获得创建和管理数据分析成本估算所需的权限,请让您的管理员向您授予项目的 DLP Administrator (roles/dlp.admin) IAM 角色。 如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

    您也可以通过自定义角色或其他预定义角色来获取所需的权限。

创建估算

  1. 前往创建数据分析估算页面。

    前往“创建数据分析估算”页面

  2. 选择您的项目。

以下部分详细介绍了创建数据分析估算值页面上的步骤。在每个部分结束时,点击继续

选择要扫描的资源

确保选择扫描整个项目

输入过滤条件和条件

如果您想在估算中包含项目中的所有 BigQuery 表,则可以跳过本部分。

在本部分中,您将创建过滤条件,以指定您要包含或排除在估算中的特定数据子集。对于您要纳入估算范围的子集,您还需要指定子集中的表必须满足的任何条件,才能纳入估算范围。

如需设置过滤条件,请按以下步骤操作:

  1. 点击添加过滤条件和条件
  2. 过滤条件部分中,您可以定义一个或多个过滤条件,指定哪些表属于估算范围。

    请至少指定以下其中一项:

    • 一个项目 ID 或一个正则表达式,用于指定一个或多个项目。
    • 数据集 ID 或用于指定一个或多个数据集的正则表达式。
    • 表 ID 或用于指定一个或多个表的正则表达式。

    正则表达式必须遵循 RE2 语法

    例如,如果您希望将数据集中的所有表都包含在过滤条件中,请指定该数据集的 ID,并将另外两个字段留空。

    如果您想添加更多过滤条件,请点击添加过滤条件,然后重复此步骤。

  3. 如果您希望从估算中排除由过滤条件定义的数据子集,请关闭将匹配表纳入我的估算中。如果您关闭此选项,本部分其余部分中介绍的条件将会隐藏。

  4. 可选:在条件部分中,指定匹配表必须满足的任何条件,才能包含在估算中。如果您跳过此步骤,敏感数据保护功能会纳入与您的过滤条件匹配的所有受支持的表,无论其大小和年龄如何。

    配置以下选项:

    • 最低条件:如需从估算结果中排除小表或新表,请设置行数或表龄下限。

    • 时间条件:如需排除旧表,请开启时间条件。然后,选择日期和时间。在该日期当天或之前创建的所有表都将从估算中排除。

      例如,如果您将时间条件设置为 2022 年 5 月 4 日晚上 11:59,敏感数据保护功能会从估算结果中排除 2022 年 5 月 4 日晚上 11:59 或之前创建的所有表。

    • 要分析的表:如需指定要包含在估算中的表类型,请选择仅包含指定类型的表。然后,选择要包含的表格类型。

      如果您未启用此条件,或者未选择任何表类型,敏感数据保护功能会在估算中包含所有受支持的表。

    假设您有以下配置:

    • 最低条件

      • 最小行数:10 行
      • 最短时长:24 小时
    • 时间条件

      • 时间戳:2022 年 5 月 4 日 11:59(美国东部标准时间)
    • 要分析的表

      选择了仅包含指定类型的表选项。在表类型列表中,仅选择 Profile BigLake tables

    在这种情况下,敏感数据保护功能会排除 2022 年 5 月 4 日 11:59(美国东部标准时间)当天或之前创建的所有表。在该日期和时间之后创建的表中,敏感数据保护仅会分析行数达到 10 行存在时间至少为 24 小时的 BigLake 表。

  5. 点击完成

  6. 如果您想添加更多过滤条件,请点击添加过滤条件,然后重复上述步骤。

    过滤条件和条件列表中的最后一项始终标记为默认过滤条件和条件。此默认设置会应用于项目中与您创建的任何过滤条件和条件都不匹配的表。

    默认过滤条件和条件
  7. 如果您想调整默认过滤条件和条件,请点击 Edit filters and conditions(修改过滤条件和条件),然后根据需要调整设置。

设置位置以存储估算

  1. 资源位置列表中,选择要存储此估算值的区域。

    您选择存储估算值的位置不会影响要扫描的数据。另外,它也不会影响数据剖析文件日后存储的位置。系统会扫描存储数据的同一个区域(在 BigQuery 中设置)中的数据。如需了解详情,请参阅数据驻留注意事项

  2. 检查设置,然后点击创建

Sensitive Data Protection 会创建估算值并将其添加到估算值列表中。然后,运行估算。

估算过程最长可能需要 24 小时才能完成,具体取决于资源中的数据量。与此同时,您可以关闭“敏感数据保护”页面,稍后再回来查看。估算值准备就绪后,Google Cloud 控制台中会显示一条通知。

查看估算值

  1. 前往估算值列表。

    前往“预估”页面

  2. 点击要查看的估算值。此估算包含以下内容:

    • 资源中表的数量,减去您通过过滤器和条件排除的表。
    • 表所对应的数据总量。
    • 每月分析此数据量所需的订阅单元数。
    • 初始发现费用,即对找到的表进行性能分析的近似费用。此估算值仅基于当前数据的快照,不考虑数据在给定时间段内的增长幅度。
    • 仅分析存在时间少于 6 个月、12 个月或 24 个月的表的额外费用估算。我们提供这些额外的估算值,是为了让您了解进一步限制数据覆盖率如何有助于控制数据分析费用。
    • 对数据进行分析的每月预估费用,假设您每月的 BigQuery 使用量与本月的使用量相同。
    • 一张显示 BigQuery 随时间推移而增长情况的图表。
    • 您设置的配置详细信息。

估算图表

每个估算值都包含一个图表,显示 BigQuery 数据的历史增长情况。您可以使用这些信息来估算每月的数据分析费用。

显示 BigQuery 数据增长情况的图表

后续步骤