Cloud Composer 价格
本文档介绍 Cloud Composer 的价格。
如需查看其他产品的价格,请参阅价格文档。
如需搜索与 Cloud Composer 关联的单个 SKU,请参阅 Google Cloud SKU。
您可以使用 Google Cloud 价格计算器来估算 Google Cloud 产品的费用,包括 Cloud Composer 2 和 Cloud Composer 1。
价格模式
Cloud Composer 使用以下价格模式:
Cloud Composer 环境以较短的时间间隔计费,即运行的实际时间段。例如,如果您创建一个环境,将其运行 6 小时 30 分钟,之后执行删除,则总费用将计为 6.5 小时。
尽管部分价格按小时或按月列出,但 Cloud Composer 仍然按实际使用时间计费。
Cloud Composer 3 价格
本部分介绍 Cloud Composer 3 的价格。
Cloud Composer 3 的价格表
本部分汇总了不同区域的 Cloud Composer 3 费用。 另请参阅其他费用。
Cloud Composer 3 SKU
Cloud Composer 3 具有以下 SKU:
Cloud Composer 3 标准 DCU 毫小时
数据计算单元是一种抽象计量单元,表示 Cloud Composer 环境在某个时间点分配的计算资源。由于 DCU 是衡量环境中当前预配资源的指标,因此费用是按环境的 DCU 值随时间变化的值(DCU-小时)来计算的。
此 SKU 以毫秒 DCU 小时为单位进行计量。例如,如果您的环境使用 1 DCU 一小时,这相当于使用 1000 milliDCU-hours。
DCU-小时代表以下资源的使用情况:
vCPU、内存和存储资源,由运行工作负载的环境组件使用:Airflow 工作器、调度器、DAG 处理器、触发器和 Web 服务器。Airflow 工作器会自动扩缩,因此相应费用会随着环境中工作器数量的变化而变化。
如果您在环境的集群中部署自己的工作负载,例如使用 KubernetesPodOperator 创建 Pod 或使用 Kubernetes Executor 执行任务,那么所用资源也计入 DCU 小时数,并遵循 Cloud Composer 3 价格模式。
环境规模。环境大小是 Cloud Composer 环境的代管式基础架构的规模。环境基础架构有三种不同的大小:小、中和大。
环境的大小在 DCU 中的费用涵盖运行 Airflow 所需的基础架构组件所使用的资源费用。例如,由 Cloud SQL 实例(通过单独的 SKU 涵盖存储费用)或您环境的 Redis 队列来处理。
Cloud Composer 3 数据库存储
此 SKU 涵盖存储您环境的 Airflow 数据库的 Cloud SQL 实例所使用的存储空间的费用。
Cloud SQL 实例的最小磁盘大小为 10 GiB。
Cloud SQL 实例的磁盘大小会随着数据库存储使用量的需求而自动增加,并且如果 Airflow 数据库的大小后来减小,磁盘大小不会减小。
Cloud Composer 网络数据传输
此组 SKU 涵盖由在环境中运行工作负载的环境组件生成的计费出站流量。
Cloud Composer 网络数据传输 SKU 涵盖以下由您环境中运行的工作负载生成的流量类型:
- 可用区内和可用区间数据传输
- 区域间数据传输
- 流向 Google 服务:流向同一区域内的其他 Google Cloud 服务且使用外部 IP 地址或内部 IP 地址的数据传输。
- 互联网数据传输费率(采用高级层级价格)。
如需详细了解网络出站流量结算以及相关 SKU 的说明,请参阅网络流量价格。
您的环境还包含未列入 Cloud Composer 价格中的额外费用。
Cloud Composer 3 的额外费用
以下服务的费用不包含 Cloud Composer 3 环境的费用:
环境的 Cloud Storage 存储桶环境的 Cloud Storage 存储桶, 用于管理 DAG 以及保存任务日志除非手动将其删除,否则此存储桶会永久保留。 Cloud Composer 通过 Cloud Storage API,这会产生额外的操作费用。通过 额外产生的费用是:
创建和存储环境快照会产生与 Cloud Storage 相关的额外费用。费用取决于快照创建频率和快照大小。快照大小取决于 Airflow 数据库大小以及包含在快照中的数据大小。额外费用如下:
Cloud Monitoring 收集的数据,可帮助您了解环境的性能和运行状况。数据采用单独的 Monitoring 价格。
如果您启用了客户管理的加密密钥,使用 Cloud Key Management Service 可能会产生额外费用。请参阅 Cloud Key Management Service 价格了解详情。
Cloud Composer 3 的价格示例
例如,您在爱荷华 (us-central1) 创建一个 Cloud Composer 3 环境,使用它运行工作负载 10 天,然后将其删除。环境在一个 30 天的月份内运行。
例如,您的环境使用以下资源:
- 在 5 天内,它使用了 12 DCU。这些 DCU 涵盖环境组件(调度器、DAG 处理器、触发器、工作器、Web 服务器)所使用的 vCPU、内存和存储资源的总费用,以及环境基础架构的运营费用。
- 在其他 5 天,您的环境使用 15 个 DPU,因为扩大了工作器数量以处理大量任务。
- 您的环境数据库不会超过 10 GiB 的初始大小。
- 该环境不会产生任何计费的网络出站流量,因为它在同一可用区内运行,并且不会通过互联网发送数据。 在这种情况下,所有 Cloud Composer 网络数据传输 SKU 都不会产生费用。
在本例中,费用明细如下:
SKU | 第一时间段 | 第二个时间段 | 爱荷华 (us-central1) 的费用 | 总费用(10 天) |
---|---|---|---|---|
DCU 小时 (或 1000 毫秒 DCU 小时) |
1440 DCU-小时 (120 小时的 12 DCU) |
1,800 DCU-小时 (15 个 DCU,120 小时) |
0.06 美元 |
194.4 美元
(3240 个 DCU 小时) |
数据库存储 |
1.67 GiBy/月 (30 天中 5 天使用 10 GiBy) |
1.67 GiBy/月 (30 天中 5 天使用 10 GiBy) |
$0.17 |
$0.5678
(10 天 10 GiB) |
其他注意事项:
您的环境正在自动扩缩。这意味着,如果在描述期间实际负载较低,则费用也会降低。例如,如果您将环境配置为在 1 到 6 个工作器之间扩缩,并且您的环境在整个期间仅使用单个工作器,那么您只需为 1 个工作器使用的 DCU 小时数付费,而不是 6 个工作器。
如果您的环境在区域之间或通过互联网传输数据,则需要使用 Cloud Composer 网络数据传输 SKU。
您的环境还有额外费用,这些费用不属于 Cloud Composer 3 SKU 的一部分。
Cloud Composer 3 的价格模式转换
本部分介绍了 Cloud Composer 3 与 Cloud Composer 2 相比的价格模式变化。
Cloud Composer 3 进一步简化了流程,隐藏了大多数剩余的基础架构组件,包括您的环境的集群以及对其他服务(例如 Artifact Registry、Cloud Build 或 Pub/Sub)的依赖项。
Cloud Composer 环境的总体费用现在合并为更少数量的 SKU:
代表您环境的组件使用的 Compute Engine 资源的 SKU 已合并到 DCU 小时数 SKU 中。
环境大小的 SKU 包含在 DCU 小时数 SKU 中。
Cloud Composer 3 网络出站 SKU 取代了之前在项目中运行的 Airflow 组件所产生的与网络流量使用相关的额外费用。
您无需为位于您项目中的环境集群在 Cloud Composer 2 中使用过的 Google 服务支付额外费用。
Cloud Composer 2 价格
本部分介绍 Cloud Composer 2 的价格。
Cloud Composer 2 的价格表
下表汇总了不同区域的 Cloud Composer 2 费用。 另请参阅其他费用。
Cloud Composer 2 SKU
Cloud Composer 2 具有以下 SKU:
Cloud Composer Compute SKU
Cloud Composer Compute SKU 表示 Airflow 调度器、Web 服务器和工作器使用的 Compute Engine 容量。Airflow 工作器会自动扩缩,因此相应费用会随着环境中工作器数量的变化而变化。
此外,如果您在环境的集群中部署自己的工作负载,则这些工作负载的价格也遵循 Cloud Composer 2 的价格模式,并使用 Compute Engine Compute SKU。例如,在环境的集群中作为Spot Pod启动的 Pod 遵循 Cloud Composer 2 计算价格模式,而不是 GKE Autopilot Spot 价格模式。
Cloud Composer 计算 CPU
相关费用取决于 Compute Engine 上运行的所有环境组件使用的 vCPU 总数。 这包括环境集群中的 Pod 和服务的费用。例如,您的所有环境的 Airflow 工作器都在环境集群的 pod 中运行。
此 SKU 以每小时 1000 个 mCPU(毫核)为单位进行计量。例如,如果您的环境使用 1 个 vCPU 一小时,这相当于使用 1000 个 mCPU 一小时。
Cloud Composer 计算内存
相关费用取决于 Compute Engine 上运行的所有环境组件所占用的内存总量。
Cloud Composer 计算存储
相关费用取决于 Compute Engine 上运行的所有环境组件所占用的存储空间总量。
Cloud Composer 数据库存储
相关费用取决于 Cloud SQL 实例使用的磁盘空间量。Cloud SQL 实例的磁盘大小会随着数据库存储使用量的需求而自动增加。
此 SKU 组件涵盖 Airflow 数据库存储的费用。
Cloud SQL 实例的最小磁盘大小为 10 GiB。
小/中/大 Cloud Composer 环境费用
相关费用取决于您的环境规模。环境大小是 Cloud Composer 环境的代管式基础架构的规模。
此 SKU 涵盖运行 Airflow 所需的基础架构组件的费用,包括 Cloud SQL 数据库、任务队列、连接代理。环境基础架构有三种不同的大小:小、中和大。
小型/中型/大型高度弹性的 Cloud Composer 环境费用
这些 SKU 代表在高度弹性的 Cloud Composer 环境中运行 Airflow 所需的基础架构组件的费用。
如果您的环境具有高度弹性,这些 SKU 将取代小型/中型/大型 Cloud Composer 环境费用 SKU。
您的环境还包含未列入 Cloud Composer 价格中的额外费用。
Cloud Composer 2 的额外费用
以下服务的费用不包含 Cloud Composer 2 环境的费用:
环境的 Cloud Storage 存储桶, 用于管理 DAG 以及保存任务日志除非手动将其删除,否则此存储桶会永久保留。 Cloud Composer 通过 Cloud Storage API,这会产生额外的操作费用。通过 额外产生的费用是:
创建和存储环境快照会产生与 Cloud Storage 相关的额外费用。费用取决于快照创建频率和快照大小。快照大小取决于 Airflow 数据库大小以及包含在快照中的数据大小。额外费用如下:
Cloud Monitoring 收集的数据,可帮助您了解环境的性能和运行状况。数据采用单独的 Monitoring 价格。
使用 Artifact Registry 时生成的存储和出站数据传输费用。此服务存储并提供 Cloud Composer 环境映像。如需了解详情,请参阅 Artifact Registry 价格页面。
如果您启用了客户管理的加密密钥,使用 Cloud Key Management Service 可能会产生额外费用。请参阅 Cloud Key Management Service 价格了解详情。
如果您使用 Private Service Connect,则会产生以下额外费用:
- 网络 Private Service Connect 使用方端点,使用
Using a Private Service Connect endpoint (forwarding rule) to access a published managed service
规则。 - 网络 Private Service Connect 使用方数据处理。
- 网络 Private Service Connect 使用方端点,使用
环境组件产生的可计费出站流量。如需详细了解网络出站流量结算以及相关 SKU 的说明,请参阅网络价格。
Cloud Composer 2 的价格示例
假设您在爱荷华 (us-central1) 创建 Cloud Composer 2 环境,并使用默认小型环境预设。
在这种情况下,您的环境具有以下影响 Cloud Composer 2 SKU 的默认参数:
- 您的环境有一个调度器。
- 您的环境可在 1 到 3 个工作器之间自动扩缩。
- 您的环境的调度器和网络服务器每个使用 0.5 个 vCPU。
- 您的环境的调度器和网络服务器每个使用 1.875 GiB 的内存。
- 您的环境的调度器和网络服务器每个都会使用 1 GiB 的磁盘空间。
- 环境的工作器数量会在 0.5 到 1.5 个 vCPU 之间自动扩缩,具体取决于工作器数量。
- 您的环境工作器会自动在 1.875 到 5.625 GiB 内存之间进行扩缩,具体取决于工作器数量。
- 环境的工作器会自动在 1 至 3 GiB 的存储空间之间进行扩缩,具体取决于工作器的数量。
- 您的环境数据库将使用 10 GiB 的存储空间。随着数据库存储使用量的增加,存储空间大小会自动增加。此示例假定数据库存储空间不会增加。
- 您的环境使用较小的基础架构大小。
假设您运行此环境 7 天 12 小时(总共 180 小时)。您的环境的负载为 1 个工作器有 50% 的时间,2 个工作器有 50% 的时间。环境使用一段时间后,您可以将其删除。在这种情况下,您的 Cloud Composer 2 SKU 将:
Cloud Composer 计算 CPU 占
( 90 hours * 1.5 vCPU + 90 hours * 2 vCPU ) * $0.045 per 1000 mCPU hours
,总计 $14.175。Cloud Composer 计算内存是
( 90 hours * 5.625 GiB + 90 hours * 7.5 GiB ) * $0.005 per GiB / hour
,总计 $5.906。Cloud Composer 计算存储是
( 90 hours * 3 GiB + 90 hours * 4 GiB ) * $0.0002 per GiB / hour
,总计 $0.126。Cloud Composer 数据库存储是
180 hours out of 740 hours * 10 GiB * $0.17 per GiB / month
,总计 $0.413。Cloud Composer 小环境费用为
180 hours * $0.35 per hour
,总计 $63.00。此示例中的 Cloud Composer 2 总费用如下:
Cloud Composer 2 SKU 费用 Cloud Composer 计算 CPU $14.175 Cloud Composer 计算内存 $5.906 Cloud Composer 计算存储 $0.126 Cloud Composer 数据库存储 每月每 GiB $0.17 小型 Cloud Composer 环境费用 $63.00 总计 $83.62 您的环境正在自动扩缩。这意味着,如果在描述期间实际负载较低,则费用也会降低。例如,如果您将环境配置为在 1 到 6 个工作器之间扩缩,并且您的环境在整个期间仅使用单个工作器,您只需为单个工作器付费。
您的环境还有额外费用,这些费用不属于 Cloud Composer 2 SKU 的一部分。
Cloud Composer 2 的价格模式转换
本部分介绍了 Cloud Composer 2 与 Cloud Composer 1 相比的价格模式变化。
Cloud Composer 2 的功能随附新的价格模式,可助力您充分利用自动扩缩效率。新模型还可让您清楚地了解 Cloud Composer 环境的总拥有成本。
在 Cloud Composer 1 环境中,用于运行 Airflow 的 Compute Engine 层的费用显示为环境 GKE 集群使用的 Compute Engine 实例的费用。
在 Cloud Composer 2 中,此费用不再与 Compute Engine 相关联。而是包含在 Compute Engine CPU 核心、内存和存储的 Cloud Composer 2 SKU 中。这种方法可以清楚地了解 Cloud Composer 环境的总费用。
由于 Cloud Composer 2 的价格模式比之前的价格模式更加丰富,因此您可能会发现 Cloud Composer 环境的费用较高,同时 Compute Engine 实例的费用较低。
Cloud Composer 2 中引入的自动扩缩功能可提高资源利用率方面的效率,因为在这种情况下不再需要为环境不断扩容。自动扩缩所产生的费用节省程度在很大程度上取决于 DAG 运行模式和环境配置。
在 Cloud Composer 2 中,与 Cloud Composer 1 相比:
- 由于环境自动扩缩,您的环境费用可能会有所不同。您只需为环境使用的资源付费。
- 您无需为环境的 Compute Engine 组件支付额外费用。Cloud Composer 2 SKU 取代了这些费用。
- 即使 Cloud Composer 2 环境依赖于 GKE Autopilot 集群,也无需为常规 GKE Autopilot 集群支付集群管理费用。
Cloud Composer 1 价格
展开
本部分介绍 Cloud Composer 1 的价格。
Cloud Composer 1 的价格表
Cloud Composer 1 SKU
Cloud Composer 1 具有以下 SKU:
Cloud Composer vCPU 时间
相关费用取决于您环境的 Web 服务器机器类型。
Cloud Composer SQL vCPU 时间
相关费用取决于 Cloud SQL 实例的机器类型。
Cloud Composer 数据存储
相关费用取决于 Web 服务器机器类型以及 Cloud SQL 实例使用的磁盘空间量。
Cloud SQL 实例的磁盘大小会随着数据库存储使用量的需求而自动增加。
Cloud SQL 实例的最小磁盘大小为 10 GiB。
Cloud Composer 数据传输
相关费用取决于网络服务器和 Cloud SQL 产生的网络流量量。例如,向 Airflow 数据库发出查询、安排任务和 DAG,以及使用 Airflow 网页界面会产生数据传输费用。
您的环境还包含未列入 Cloud Composer 价格中的额外费用。
对于 Cloud Composer 1 中的专用 IP 环境,与网络服务器相关的费用将翻倍。这是因为专用 IP Cloud Composer 环境有两个在负载均衡器后面运行的网络服务器实例。
支持的机器类型
您的 Cloud Composer 1 环境的组件会使用以下机器类型。
环境组件 | 支持的机器类型 |
---|---|
节点数量 | n1-standard、n1-highmem、n1-highcpu、n2-standard、n2-highmem、n2-highcpu、e2-standard、e2-highmem、e2-highcpu、c2-standard、m1-megamem、m1-ultramem、m2-megamem、m2-ultramem、n2d-standard、n2d-highmem、n2d-highcpu |
Cloud SQL 实例 | db-n1-standard-2、db-n1-standard-4、db-n1-standard-8、db-n1-standard-16 |
Web 服务器 | composer-n1-webserver-2、composer-n1-webserver-4、composer-n1-webserver-8 |
Cloud Composer 1 的额外费用
以下服务的费用不包含 Cloud Composer 1 环境的费用:
Google Kubernetes Engine 节点,用作环境中的工作器和调度器。这些节点按照单独的 Compute Engine 价格计费,费用由所用实例的数量和类型决定。这包括每个节点和 Redis 队列使用的 Persistent Disk 的费用。除非手动删除,否则 Redis 队列磁盘仍然存在。
环境的 Cloud Storage 存储桶, 用于管理 DAG 以及保存任务日志除非手动将其删除,否则此存储桶会永久保留。 Cloud Composer 通过 Cloud Storage API,这会产生额外的操作费用。通过 额外产生的费用是:
Cloud Monitoring 收集的数据,可帮助您了解环境的性能和运行状况。数据采用单独的 Monitoring 价格。
使用 Artifact Registry 时生成的存储和出站数据传输费用。此服务存储并提供 Cloud Composer 环境映像。如需了解详情,请参阅 Artifact Registry 价格页面。
如果您启用了客户管理的加密密钥,使用 Cloud Key Management Service 可能会产生额外费用。请参阅 Cloud Key Management Service 价格了解详情。
如果您使用 Private Service Connect,则会产生以下额外费用:
- 网络 Private Service Connect 使用方端点,使用
Using a Private Service Connect endpoint (forwarding rule) to access a published managed service
规则。 - 网络 Private Service Connect 使用方数据处理。
如需了解详情,请参阅 虚拟私有云价格。
- 网络 Private Service Connect 使用方端点,使用
创建和存储环境快照会产生与 Cloud Storage 相关的额外费用。费用取决于快照创建频率和快照大小。快照大小取决于 Airflow 数据库大小以及包含在快照中的数据大小。额外费用如下:
环境组件产生的可计费出站流量。如需详细了解网络出站流量结算,以及相关 SKU 的说明,请参阅网络流量价格。
如果您使用非美元货币付费,请参阅 Cloud Platform SKU 上以您的币种列出的价格。
Cloud Composer 1 的价格示例
假设您在爱荷华 (us-central1) 创建 Cloud Composer 1 环境并使用默认参数。
在这种情况下,您的环境具有以下影响 Cloud Composer 1 SKU 的默认参数:
环境的 Web 服务器使用
composer-n1-webserver-2
机器类型。此机器类型有 2 个 vCPU 和 20 GiB 的存储空间。您的环境的 Cloud SQL 实例使用
db-n1-standard-2
机器类型。此机器类型有 2 个 vCPU。
以下默认参数会影响您环境的额外费用:
- 环境的 GKE 集群有 3 个节点。节点运行环境工作器和调度器。
- 节点使用
n1-standard-1
机器类型。 - 每个节点使用
20 GiB
的存储空间。
假设您运行此环境 7 天 12 小时(总共 180 小时),出站数据传输为 6.5 GiB,然后您删除此环境。在这种情况下,您的 Cloud Composer 1 SKU 为:
Cloud Composer vCPU 时间为
180 hours * 2 vCPU * 0.074 / vCPU hour
,总计 $26.64。Cloud Composer SQL vCPU 时间为
180 hours * 2 vCPU * 0.125 / vCPU hour
,总计 $45.00。Cloud Composer 数据存储有 10 GiB 用于数据库(这是随着数据库大小增加而增长的初始存储),加上网络服务器的 20 GiB,总共 30 GiB。存储空间的费用(假设数据库存储空间不会增加)为
180 hours out of 740 hours * 30 GiB * $0.273 per GiB / month
,总计 1.99 美元。Cloud Composer 出站数据传输是
6.5 GiB * $0.156 / GiB
,总计 $1.04。此示例中的 Cloud Composer 1 总费用如下:
Cloud Composer 1 SKU 费用 Cloud Composer vCPU 时间 $26.64 Cloud Composer SQL vCPU 时间 $45.00 Cloud Composer 数据存储 $1.99 Cloud Composer 出站数据传输 $1.04 总计 $74.67 您的环境还有额外费用,这些费用不属于 Cloud Composer 1 SKU 的一部分。例如,这些费用包括在使用环境的时间段内运行环境集群的 3 个节点的费用。
后续步骤
- 开始使用 Cloud Composer。
- 阅读 Cloud Composer 文档。
- 试用价格计算器。
- 了解 Cloud Composer 解决方案和使用场景。