本页介绍了如何估算对组织或文件夹中的 BigQuery 数据进行性能分析的费用。如果您想为项目创建估算值,请参阅针对单个项目估算数据剖析费用。
如需详细了解如何分析 BigQuery 数据,请参阅 BigQuery 数据的数据剖析文件。
概览
在开始生成数据分析文件之前,您可以运行估算来了解您有多少 BigQuery 数据以及分析这些数据可能需要的费用。如需运行估算,您需要创建估算。
创建估算时,您需要指定包含要分析的数据的资源(组织、文件夹或项目)。您可以设置过滤条件,以精确选择数据。您还可以设置在敏感数据保护分析表之前必须满足的条件。敏感数据保护功能会根据您创建估算时的数据形状、大小和类型进行估算。
每个估算值都包含详细信息,例如在资源中找到的匹配表的数量、所有这些表的总大小,以及对资源进行一次和每月一次性能分析的估算费用。
如需详细了解价格计算方式,请参阅数据分析价格。
估算价格
创建估算是免费的。
保留
每项估算值都会在 28 天后自动删除。
限制
如果您的组织或文件夹中有项目受 VPC Service Controls 服务边界保护,敏感数据保护功能可能会低估资源中的 BigQuery 数据量。如果您有服务边界,请为每个服务边界单独创建估算值。
准备工作
如需获取创建和管理数据分析成本估算所需的权限,请让管理员向您授予组织或文件夹的 DLP Administrator (roles/dlp.admin
) IAM 角色。
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
创建估算
前往创建数据分析估算页面。
选择您的组织。
以下部分详细介绍了创建数据分析估算值页面上的步骤。在每个部分结束时,点击继续。
选择要扫描的资源
执行下列其中一项操作:- 如需为组织创建估算值,请选择扫描整个组织。
- 如需为文件夹创建估算值,请选择扫描所选文件夹。然后,点击浏览并选择相应文件夹。
输入过滤条件和条件
如果您想在估算中包含组织或文件夹中的所有 BigQuery 表,可以跳过此部分。在本部分中,您将创建过滤条件,以指定您要包含或排除在估算中的特定数据子集。对于您要纳入估算范围的子集,您还需要指定子集中的表必须满足的任何条件,才能纳入估算范围。
如需设置过滤条件,请按以下步骤操作:
- 点击添加过滤条件和条件。
在过滤条件部分中,您可以定义一个或多个过滤条件,指定哪些表属于估算范围。
请至少指定以下其中一项:
- 一个项目 ID 或一个正则表达式,用于指定一个或多个项目。
- 数据集 ID 或用于指定一个或多个数据集的正则表达式。
- 表 ID 或用于指定一个或多个表的正则表达式。
正则表达式必须遵循 RE2 语法。
例如,如果您希望将项目中的所有表都包含在过滤条件中,请指定该项目的 ID,并将另外两个字段留空。
如果您想添加更多过滤条件,请点击添加过滤条件,然后重复此步骤。
如果您希望从估算中排除由过滤条件定义的数据子集,请关闭将匹配表纳入我的估算中。如果您关闭此选项,本部分其余部分中介绍的条件将会隐藏。
可选:在条件部分中,指定匹配表必须满足的任何条件,才能包含在估算中。如果您跳过此步骤,敏感数据保护功能会纳入与您的过滤条件匹配的所有受支持的表,无论其大小和年龄如何。
配置以下选项:
最低条件:如需从估算结果中排除小表或新表,请设置行数或表龄下限。
时间条件:如需排除旧表,请开启时间条件。然后,选择日期和时间。在该日期当天或之前创建的所有表都将从估算中排除。
例如,如果您将时间条件设置为 2022 年 5 月 4 日晚上 11:59,敏感数据保护功能会从估算结果中排除 2022 年 5 月 4 日晚上 11:59 或之前创建的所有表。
要分析的表:如需指定要包含在估算中的表类型,请选择仅包含指定类型的表。然后,选择要包含的表格类型。
如果您未启用此条件,或者未选择任何表类型,敏感数据保护功能会在估算中包含所有受支持的表。
假设您有以下配置:
最低条件
- 最小行数:10 行
- 最短时长:24 小时
时间条件
- 时间戳:2022 年 5 月 4 日 11:59(美国东部标准时间)
要分析的表
选择了仅包含指定类型的表选项。在表类型列表中,仅选择 Profile BigLake tables。
在这种情况下,敏感数据保护功能会排除 2022 年 5 月 4 日 11:59(美国东部标准时间)当天或之前创建的所有表。在该日期和时间之后创建的表中,敏感数据保护仅会分析行数达到 10 行或存在时间至少为 24 小时的 BigLake 表。
点击完成。
如果您想添加更多过滤条件,请点击添加过滤条件,然后重复上述步骤。
过滤条件和条件列表中的最后一项始终标记为默认过滤条件和条件。此默认设置会应用于所选资源(组织或文件夹)中与您创建的任何过滤条件不匹配的表格。
如果您想调整默认过滤条件和条件,请点击
Edit filters and conditions(修改过滤条件和条件),然后根据需要调整设置。
管理服务代理容器和结算
在本部分中,您将指定要用作服务代理容器的项目。您可以让敏感数据保护功能自动创建新项目,也可以选择现有项目。
无论您是使用新创建的服务代理还是重复使用现有服务代理,请确保该代理对要分析的数据具有读取权限。
自动创建项目
如果您没有在组织中创建项目所需的权限,则需要改为选择现有项目或获取所需权限。如需了解所需的权限,请参阅在组织或文件夹级层使用数据剖析文件所需的角色。
如需自动创建一个用作服务代理容器的项目,请按以下步骤操作:
- 在服务代理容器字段中,查看建议的项目 ID,并根据需要进行修改。
- 点击创建。
- 可选:更新默认项目名称。
选择要对与此新项目相关的所有可计费操作(包括与发现无关的操作)付费的账号。
点击创建。
Sensitive Data Protection 会创建新项目。此项目中的服务代理将用于向 Sensitive Data Protection 和其他 API 进行身份验证。
选择现有项目
如需选择现有项目作为服务代理容器,请点击服务代理容器字段,然后选择相应项目。
设置位置以存储估算
在资源位置列表中,选择要存储此估算值的区域。
您选择存储估算值的位置不会影响要扫描的数据。另外,它也不会影响数据剖析文件日后存储的位置。系统会扫描存储数据的同一个区域(在 BigQuery 中设置)中的数据。如需了解详情,请参阅数据驻留注意事项。
检查设置,然后点击创建。
Sensitive Data Protection 会创建估算值并将其添加到估算值列表中。然后,运行估算。
估算过程最长可能需要 24 小时才能完成,具体取决于资源中的数据量。与此同时,您可以关闭“敏感数据保护”页面,稍后再回来查看。估算值准备就绪后,Google Cloud 控制台中会显示一条通知。
查看估算值
前往估算值列表。
点击要查看的估算值。此估算包含以下内容:
- 资源中表的数量,减去您通过过滤器和条件排除的表。
- 表所对应的数据总量。
- 每月分析此数据量所需的订阅单元数。
- 初始发现费用,即对找到的表进行性能分析的近似费用。此估算值仅基于当前数据的快照,不考虑数据在给定时间段内的增长幅度。
- 仅分析存在时间少于 6 个月、12 个月或 24 个月的表的额外费用估算。我们提供这些额外的估算值,是为了让您了解进一步限制数据覆盖率如何有助于控制数据分析费用。
- 对数据进行分析的每月预估费用,假设您每月的 BigQuery 使用量与本月的使用量相同。
- 一张显示 BigQuery 随时间推移而增长情况的图表。
- 您设置的配置详细信息。
估算图表
每个估算值都包含一个图表,显示 BigQuery 数据的历史增长情况。您可以使用这些信息来估算每月的数据分析费用。
后续步骤
- 了解数据分析价格。
- 详细了解 BigQuery 数据的数据剖析文件。
- 了解如何对组织或文件夹中的数据进行性能分析。
- 了解如何分析单个项目中的数据。