Knowledge Catalog(以前称为 Dataplex)价格

Dataplex Universal Catalog 现已升级为 Knowledge Catalog。价格 SKU 的名称仍为 Dataplex。Dataplex 价格基于随用随付的用量。Dataplex 目前根据以下 SKU 收费:

  • Dataplex Universal Catalog 处理(标准和高级)
  • 元数据存储

以下是 Dataplex Universal Catalog 各项关键功能的计费方式简要概述:

能力

Cloud Storage 元数据收集

标准

不适用

数据沿袭

高级

是

数据质量

高级

是 - 如果已发布到目录

数据分析

高级

是 - 如果已发布到目录

在 Dataplex Universal Catalog 中丰富元数据

不适用

是

Dataplex 中由 Gemini 赋能的功能(包括数据洞见和自动元数据生成功能)将作为 Gemini in BigQuery 或 Gemini Code Assist 的一部分进行计费。

其他使用情况

Knowledge Catalog 中的数据组织功能(数据湖、区域或资产设置)以及安全政策的应用和传播是免费的。

此外,某些 Knowledge Catalog 功能(包括发现扫描、计划的数据质量和数据注入任务,以及用于从 CloudSQL 和 Looker 注入元数据的托管式连接器)会使用 GCS、Managed Service for Apache Spark、BigQuery、Dataflow 和 Cloud Scheduler 触发作业执行。这些用量分别根据 GCS、Managed Service for Apache Spark、BigQuery、Dataflow 和 Cloud Scheduler 价格模式收费,费用将显示在 GCS、Managed Service for Apache Spark、BigQuery 和 Dataflow 下,而不是 Dataplex Universal Catalog 下。

Knowledge Catalog 的 Dataplex Universal Catalog 处理价格

Dataplex Universal Catalog 标准处理和高级处理按数据计算单元 (DCU) 计量。DCU 小时数是 Dataplex Universal Catalog 的抽象结算单位,实际计量单位取决于您使用的各项功能。

Knowledge Catalog 的 Dataplex Universal Catalog 标准处理价格

Dataplex Universal Catalog 标准层级涵盖的数据发现功能可发现 Dataplex Universal Catalog 托管数据中的元数据。以下是您所选区域的价格。

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Kuala Lumpur (asia-southeast4)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
显示折扣选项
计费项

计量器

价格 (USD)

*
BigQuery CUD - 1 Year* (USD)
BigQuery CUD - 3 Year* (USD)

Dataplex 处理

每 DCU 每单位时间

US$0.06US$0.054US$0.048
* 每种消费模式都具有唯一 ID。您可能需要选择加入,才能享受消费模式折扣。点击此处了解详情。

Knowledge Catalog 的 Dataplex Universal Catalog 免费层级

作为 Google Cloud 免费层级的一部分,Knowledge Catalog 免费提供部分资源,具体有使用限额。这些免费资源的用量限额在免费试用期间及试用结束后均有效。如果超过这些用量限额且免费试用期已结束,您需要根据上述部分中的价格支付费用。

注意:Knowledge Catalog 免费层级仅适用于 Dataplex Universal Catalog 标准处理 SKU,不适用于 Dataplex Universal Catalog 高级处理 SKU。

资源

每月免费用量限额

Dataplex Universal Catalog 处理

100 DCU 小时

Knowledge Catalog 的 Dataplex Universal Catalog 高级处理价格

Dataplex 高级处理层级涵盖数据沿袭、数据质量和数据剖析。

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Kuala Lumpur (asia-southeast4)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)
显示折扣选项
计费项

计量器

价格*(美元)

(USD)
BigQuery CUD - 1 Year* (USD)
BigQuery CUD - 3 Year* (USD)

Dataplex 高级处理价格

每 DCU 每单位时间

US$0.089US$0.0801US$0.0712
* 每种消费模式都具有唯一 ID。您可能需要选择加入,才能享受消费模式折扣。点击此处了解详情。

DCU 费用计算

每项功能的 DCU 费用计算方式如下:

1. 自动数据质量扫描:

  • DCU 小时消耗量与分析数据和计算数据质量指标所涉及的处理量成正比。按秒计费,起步时间为 1 分钟。
  • 费用取决于行数、列数、扫描的数据量、数据质量规则配置、表的分区和聚簇设置以及扫描频率。
  • 对于数据质量异常值检测扫描,不收取 DCU 费用。而是适用标准 BigQuery 价格,包括计算、存储以及 BQML 模型训练、处理和部署费用。
  • 使用自定义执行身份会改变扫描的计费方式。指定自定义执行身份后,与扫描相关的计算和存储费用将直接计入您的 BigQuery 项目,而不会使用标准的 Dataplex 高级版 SKU。

2. 您可以通过多种方式降低自动数据质量扫描的费用:

3. 如需过滤总费用,请使用 BigQuery 结算数据导出中提供的以下标签:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

4. 数据分析扫描:

  • DCU 小时消耗量与分析数据和计算数据质量指标所涉及的处理量成正比。按秒计费,起步时间为 1 分钟。
  • 费用取决于行数、列数、扫描的数据量、表的分区和聚簇设置以及扫描频率。
  • 使用自定义执行身份会改变扫描的计费方式。指定自定义执行身份后,与扫描相关的计算和存储费用将直接计入您的 BigQuery 项目,而不会使用标准的 Dataplex 高级版 SKU。

5. 您可以通过多种方式降低数据分析扫描的费用:

  • 采样
  • 增量扫描
  • 列过滤
  • 行过滤
  • 如需在 Dataplex 高级处理 SKU 中将数据分析费用与其他费用区分开,请在 Cloud Billing 结算报告中使用标签 goog-dataplex-workload-type 并将其值设为 DATA_PROFILE。

6. 如需过滤总费用,请使用 BigQuery 结算数据导出功能中提供的以下标签:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

数据沿袭价格

您需要为受支持的 Google Cloud 系统自动沿袭报告所消耗的计算能力付费。账单会显示在您运行作业的项目中。

如需在 Dataplex 高级处理 SKU 中将数据沿袭费用与其他费用区分开,请在 Cloud Billing 结算报告中使用标签 goog-dataplex-workload-type 并将其值设为 LINEAGE。

可计费和不可计费的使用量

以下活动会产生费用:

  • 自动沿袭解析:根据处理复杂性消耗数据计算单元 (DCU) 小时数。DCU 用于衡量分配给执行解析任务的抽象计算容量。用量是根据作业数量、作业执行次数和创建的数据沿袭链接数量计算的。

当 Data Lineage API Origin sourceType 设置为 CUSTOM 以外的任何值时,您需要支付这些费用。BIGQUERY、DATAPROC 或 COMPOSER 等值表示 Google Cloud 正在自动从服务的日志和元数据中提取沿袭。此提取过程需要计算资源 (DCU),因此需要付费。相比之下,CUSTOM 表示您已自行执行解析,并且仅存储结果,这是免费的。

以下活动免费:

  • 自定义沿袭报告:报告来自第三方系统或自定义集成(其中 sourceType 为 CUSTOM)的沿袭是免费的。这包括以下方法:
  • 调用 ProcessOpenLineageRunEvent,以便导入与 OpenLineage 兼容的事件。
  • 使用自定义客户端创建 LineageEvent,以手动报告原生沿袭事件。
  • 报告流程和运行:报告流程元数据本身是免费的;仅对 LineageEvents 的自动解析收费。
  • 沿袭使用:检索沿袭(使用 Get 或 List 方法)和删除沿袭(使用 Delete 方法)是免费的。

价格示例

在本示例中,您将启用数据沿袭,以跟踪项目中 BigQuery 的沿袭。该项目位于 us-central1 位置,其中一个 DCU 小时的费用为 $0.089。

报告一个 EntityReference 的沿袭大约需要 0.0056 DCU 小时。EntityReference 唯一标识 Google Cloud 中的数据资源,例如 BigQuery 表或 Cloud Storage 存储桶。

  • 每日作业:您每天执行一次以下 BigQuery 作业,持续 30 天:

CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);

结果:此操作会生成沿袭链接,将两个源表连接到一个目标表(3 个不同的实体)。

  • 每隔一天执行一次的作业:您每隔一天执行一次以下作业(每月 15 次):

CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;

结果:此操作会生成沿袭链接,将三个源表连接到一个目标表(4 个不同的实体)。

费用计算

假设本月生成了 1 GiB 的数据沿袭元数据。费用计算方式如下:

  • 每日作业:30 天 * 3 个实体 * ~0.0056 DCU 小时 * $0.089 ~= $0.045
  • 隔天作业:15 天 * 4 个实体 * 0.0056 DCU 小时 * $0.089 = $0.030
  • 存储:(1 GiB - 1 MiB 免费层级) * $2.00 = $1.998

总计:约 0.045 美元 + 0.030 美元 + 1.998 美元 = 约 2.07 美元

设计时沿袭价格 (Looker Core)

Looker 的沿袭是设计时沿袭:Knowledge Catalog 根据模型定义(例如 LookML 视图和探索及其引用的 BigQuery 表)而不是作业执行来推导沿袭。设计时沿袭与自动沿袭解析采用相同的 Dataplex 高级处理 SKU 计费,但 DCU 小时消耗量的计算方式不同:

  • 首次报告沿袭链接或流程时,以及每次发生更改(例如,修改并重新发布 Looker 模型)时,都会产生费用。设计时沿袭没有运行,因此没有按事件收费,这与上述基于事件的沿袭处理类似。
  • 报告一个节点的沿袭大约需要 0.0325 DCU 小时(在 us-central1 区域,一个 DCU 小时的费用为 0.089 美元,因此大约需要 0.0029 美元)。
  • 检索和删除沿袭仍然免费。沿袭元数据在元数据存储 SKU 下单独计费。

Looker Core 设计时沿袭处理功能将于 2027 年 3 月 1 日开始计费。在该日期之前报告的 Looker 沿袭是免费的。如需选择停用,请参阅 https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion,了解如何启用或停用 Looker Core 沿袭处理。

Knowledge Catalog (Dataplex Universal Catalog) 元数据存储价格

元数据存储价格

Knowledge Catalog 使用元数据存储 SKU 来收取元数据存储费用。元数据存储量是以吉比字节 (GiB) 为单位计量的,其中 1 GiB 为 1,073,741,824 字节。Knowledge Catalog 会在短时间间隔内计量存储的平均元数据量。计费时,系统会综合计算这些计量结果,得出一个月内的平均值,然后将此平均值乘以每月费率。

注意:对于从 BigQuery 等 Google Cloud 服务自动提取的技术元数据,其元数据存储服务免费提供。

如果您使用非美元货币付费,请参阅 Cloud Platform SKU 上以您的币种列出的价格。

Knowledge Catalog 存储价格

元数据存储费用(包括条目和切面的费用)将计入创建相应资源的项目。

每月平均存储量

价格 (USD)

不限

US$0.002739726 / 1 gibibyte hour

Knowledge Catalog 的 Dataplex Universal Catalog API 费用

用户与 Knowledge Catalog 交互时,API 调用是免费的,包括:

  • 创建和管理 Dataplex Universal Catalog 资源
  • 创建和管理沿袭资源
  • 目录搜索

价格示例

本部分提供了如何计算 Dataplex Universal Catalog 费用的示例。

小切面

  • 用户 A 创建并应用小型切面(每个 1024 字节)。用户每月只需支付 10 美元,即可存储 5 GiB 的元数据,这大约相当于 500 万个切面。假设每个表有一个切面,则总共有 500 万个包含切面的表。
  • 用户 B 在当月 10 日创建了 500 万个切面,每个切面大小为 1 KB,并在 20 日删除了这些切面。费用为 $3.33,计算方式为 5 GiB 数据除以三分之一个月:
  • 示例
正在加载...

大型切面

  • 用户 C 创建并应用大型切面(每个 10 KB)。每月支付 10 美元,用户可以存储 5 GiB 的元数据,这大约相当于 50 万个切面。假设每个表有一个切面,则总共有 50 万个包含切面的表。
  • 用户 D 创建了 1 万个切面类型(例如 ETL、数据治理、数据质量),并使用这 10 个切面类型中的每一个应用大型切面(每个 10 KB)。用户每月支付 10 美元,即可存储 5 GiB 的元数据,大约相当于 50 万个切面。假设每个表有 10 个切面,则总共有 5 万个包含切面的表。

后续步骤

获取定制报价

Google Cloud 采用随用随付的价格模式,您只需为实际使用的服务付费。请与我们的销售团队联系,获取为贵组织量身定制的报价。