Cloud Composer 价格

本文档介绍 Cloud Composer 的价格。

如需查看其他产品的价格,请参阅价格文档

如需搜索与 Cloud Composer 关联的单个 SKU,请转到 Google Cloud SKU

价格概览

本部分介绍 Cloud Composer 价格的一般概念。

价格计算器

您可以使用 Google Cloud 价格计算器估算 Cloud Composer 的使用费。

结算周期

Cloud Composer 环境以 10 分钟为单位进行计费。例如,如果您创建一个环境,将其运行 6 小时 30 分钟,之后执行删除,则总费用将计为运行环境的实际时间段,6.5 小时。

测量单位

磁盘大小和网络用量以吉比字节 (GiB) 为单位计算。GiB(吉比字节)是数据处理和传输领域使用的标准单位,以基数 1024 而不是基数 1000 定义。例如,1 GB 定义为 10003 字节,而 1 GiB 定义为 10243 字节。

尽管部分价格按小时或按月列出,但 Cloud Composer 仍然按实际使用时间计费。

价格模式

Cloud Composer 使用两种价格模式:

价格模式从 Cloud Composer 1 转换为 Cloud Composer 2

Cloud Composer 价格模型比较
图 1. 价格模式从 Cloud Composer 1 转换为 Cloud Composer 2(点击可放大)

Cloud Composer 2 的功能随附新的价格模式,可助力您充分利用自动扩缩效率。新模型还可让您清楚地了解 Cloud Composer 环境的总拥有成本。

在 Cloud Composer 1 环境中,用于运行 Airflow 的 Compute Engine 层的费用显示为环境 GKE 集群使用的 Compute Engine 实例的费用。

在 Cloud Composer 2 中,此费用不再与 Compute Engine 相关联。而是包含在 Compute Engine CPU 核心、内存和存储的 Cloud Composer 2 SKU 中。这种方法可以清楚地了解 Cloud Composer 环境的总费用。

下图直观呈现了从 Cloud Composer 1 迁移到 Cloud Composer 2 的价格模式。

由于 Cloud Composer 2 的价格模式比其前身更具包容性,因此您可能会注意到,Cloud Composer 环境的费用较高,而 Compute Engine 实例的费用较低。

Cloud Composer 2 中引入的自动扩缩功能可提高资源利用率方面的效率,因为在这种情况下不再需要为环境不断扩容。自动扩缩所产生的费用节省程度在很大程度上取决于 DAG 运行模式和环境配置。

Cloud Composer 2 的 SKU

与 Cloud Composer 1 相比:

  • 由于环境自动扩缩,您的环境费用可能会有所不同。您只需为环境使用的资源付费。
  • 您无需为环境的 Compute Engine 组件支付额外费用。Cloud Composer 2 SKU 取代了这些费用。
  • 即使 Cloud Composer 2 环境依赖于 GKE Autopilot 集群,也无需为常规 GKE Autopilot 集群支付集群管理费用。

Cloud Composer 2 具有以下 SKU

  • Cloud Composer Compute SKU

    Cloud Composer Compute SKU 表示 Airflow 调度器、网络服务器和工作器使用的 Compute Engine 容量。Airflow 工作器会自动扩缩,因此相应费用会随着环境中工作器数量的变化而变化。

    此外,如果您在环境的集群中部署自己的工作负载,则这些工作负载的价格也遵循 Cloud Composer 2 价格模式并使用 Compute Engine 计算 SKU。例如,在您的环境集群中作为 Spot Pod 启动的 Pod 遵循 Cloud Composer 2 计算价格模式,而不是 GKE Autopilot Spot 价格模式。

    • Cloud Composer 计算 CPU

      相关费用取决于 Compute Engine 上运行的所有环境组件使用的 vCPU 总数。这包括环境集群中的 pod 和服务的费用。例如,您的所有环境的 Airflow 工作器都在环境集群的 pod 中运行。

      此 SKU 以每小时 1000 个 mCPU(毫核)为单位进行计量。例如,如果您的环境使用 1 个 vCPU 一小时,这相当于使用 1000 个 mCPU 一小时。

    • Cloud Composer 计算内存

      相关费用取决于 Compute Engine 上运行的所有环境组件所占用的内存总量。

    • Cloud Composer 计算存储

      相关费用取决于 Compute Engine 上运行的所有环境组件所占用的存储空间总量。

  • Cloud Composer 数据库存储

    相关费用取决于 Cloud SQL 实例使用的磁盘空间量。Cloud SQL 实例的磁盘大小会随着数据库存储使用量的需求而自动增加。

    此 SKU 组件涵盖 Airflow 数据库存储的费用。

    Cloud SQL 实例的最小磁盘大小为 10 GiB。

  • 小/中/大 Cloud Composer 环境费用

    相关费用取决于您的环境规模。环境大小是 Cloud Composer 环境的代管式基础架构的规模。

    此 SKU 涵盖运行 Airflow 所需的基础架构组件的费用,包括 Cloud SQL 数据库、任务队列、连接代理。环境基础架构有三种不同的大小:小、中和大。

  • 高弹性的中小规模/大型 Cloud Composer 环境费用

    这些 SKU 表示在高弹性 Cloud Composer 环境中运行 Airflow 所需的基础架构组件的费用。

    如果您的环境弹性佳,则这些 SKU 将取代小/中/大型 Cloud Composer 环境费用 SKU。

  • 您的环境还包含未列入 Cloud Composer 价格中的额外费用

Cloud Composer 2 的价格表

下表汇总了不同区域的 Cloud Composer 2 费用。

如果您使用非美元货币付费,请参阅 Cloud Platform SKU 上以您的币种列出的价格。

Cloud Composer 2 的价格示例

假设您在爱荷华 (us-central1) 创建 Cloud Composer 2 环境,并使用默认小型环境预设。

在这种情况下,您的环境具有以下影响 Cloud Composer 2 SKU 的默认参数:

  • 您的环境有一个调度器。
  • 您的环境可在 1 到 3 个工作器之间自动扩缩。
  • 您的环境的调度器和网络服务器每个使用 0.5 个 vCPU。
  • 您的环境的调度器和网络服务器每个使用 1.875 GiB 的内存。
  • 您的环境的调度器和网络服务器每个都会使用 1 GiB 的磁盘空间。
  • 环境的工作器数量会在 0.5 到 1.5 个 vCPU 之间自动扩缩,具体取决于工作器数量。
  • 您的环境工作器会自动在 1.875 到 5.625 GiB 内存之间进行扩缩,具体取决于工作器数量。
  • 环境的工作器会自动在 1 至 3 GiB 的存储空间之间进行扩缩,具体取决于工作器的数量。
  • 您的环境数据库将使用 10 GiB 的存储空间。随着数据库存储使用量的增加,存储空间大小会自动增加。此示例假定数据库存储空间不会增加。
  • 您的环境使用较小的基础架构大小。

假设您运行此环境 7 天 12 小时(总共 180 小时)。您的环境的负载为 1 个工作器有 50% 的时间,2 个工作器有 50% 的时间。环境使用一段时间后,您可以将其删除。在这种情况下,您的 Cloud Composer 2 SKU 将:

  • Cloud Composer 计算 CPU( 90 hours * 1.5 vCPU + 90 hours * 2 vCPU ) * $0.045 per 1000 mCPU hours,总计 $14.175。

  • Cloud Composer 计算内存( 90 hours * 5.625 GiB + 90 hours * 7.5 GiB ) * $0.005 per GiB / hour,总计 $5.906。

  • Cloud Composer 计算存储( 90 hours * 3 GiB + 90 hours * 4 GiB ) * $0.0002 per GiB / hour,总计 $0.126。

  • Cloud Composer 数据库存储180 hours out of 740 hours * 10 GiB * $0.17 per GiB / month,总计 $0.413。

  • Cloud Composer 小环境费用180 hours * $0.35 per hour,总计 $63.00。

  • 此示例中的 Cloud Composer 2 总费用如下:

    Cloud Composer 2 SKU 费用
    Cloud Composer 计算 CPU $14.175
    Cloud Composer 计算内存 $5.906
    Cloud Composer 计算存储 $0.126
    Cloud Composer 数据库存储 每月每 GiB $0.17
    小型 Cloud Composer 环境费用 $63.00
    总计 $83.62
  • 您的环境正在自动扩缩。这意味着,如果在描述期间实际负载较低,则费用也会降低。例如,如果您将环境配置为在 1 到 6 个工作器之间扩缩,并且您的环境在整个期间仅使用单个工作器,您只需为单个工作器付费。

  • 您的环境还有额外费用,这些费用不属于 Cloud Composer 2 SKU 的一部分。例如,这些费用包括环境的 Cloud Storage 存储桶的费用,用于管理 DAG 和保存任务日志。

Cloud Composer 1 的 SKU

展开

Cloud Composer 1 具有以下 SKU

  • Cloud Composer vCPU 时间

    相关费用取决于您环境的网络服务器机器类型

  • Cloud Composer SQL vCPU 时间

    相关费用取决于 Cloud SQL 的机器类型

  • Cloud Composer 数据存储

    相关费用取决于网络服务器机器类型以及 Cloud SQL 实例使用的磁盘空间量。

    Cloud SQL 实例的磁盘大小会随着数据库存储使用量的需求而自动增加。

    Cloud SQL 实例的最小磁盘大小为 10 GiB。

  • Cloud Composer 数据传输

    相关费用取决于网络服务器和 Cloud SQL 产生的网络流量量。例如,对 Airflow 数据库执行查询、安排任务和 DAG 以及使用 Airflow 网页界面都会产生数据传输费用。

  • 您的环境还包含未列入 Cloud Composer 价格中的额外费用

对于 Cloud Composer 1 中的专用 IP 环境,与网络服务器相关的费用将翻倍。这是因为专用 IP Cloud Composer 环境有两个在负载均衡器后面运行的网络服务器实例。

Cloud Composer 1 的价格表

下表汇总了不同区域的 Cloud Composer 1 费用。

如果您使用非美元货币付费,请参阅 Cloud Platform SKU 上以您的币种列出的价格。

Cloud Composer 1 的价格示例

假设您在爱荷华 (us-central1) 创建 Cloud Composer 1 环境并使用默认参数。

在这种情况下,您的环境具有以下影响 Cloud Composer 1 SKU 的默认参数:

  • 环境的网络服务器使用 composer-n1-webserver-2 机器类型。此机器类型有 2 个 vCPU 和 20 GiB 的存储空间。

  • 您的环境的 Cloud SQL 实例使用 db-n1-standard-2 机器类型。此机器类型有 2 个 vCPU。

以下默认参数会影响您环境的额外费用

  • 环境的 GKE 集群有 3 个节点。节点运行环境工作器和调度器。
  • 节点使用 n1-standard-1 机器类型。
  • 每个节点使用 20 GiB 的存储空间。

假设您将此环境运行了 7 天 12 小时(共 180 小时),传输的数据量为 6.5 GiB,然后您删除了该环境。在这种情况下,您的 Cloud Composer 1 SKU 为:

  • Cloud Composer vCPU 时间180 hours * 2 vCPU * 0.074 / vCPU hour,总计 $26.64。

  • Cloud Composer SQL vCPU 时间180 hours * 2 vCPU * 0.125 / vCPU hour,总计 $45.00。

  • Cloud Composer 数据存储有 10 GiB 用于数据库(这是随着数据库大小增加而增长的初始存储),加上网络服务器的 20 GiB,总共 30 GiB。存储空间的费用(假设数据库存储空间不会增加)为 180 hours out of 740 hours * 30 GiB * $0.273 per GiB / month,总计 1.99 美元。

  • Cloud Composer 出站数据传输6.5 GiB * $0.156 / GiB,共计 $1.04。

  • 此示例中的 Cloud Composer 1 总费用如下:

    Cloud Composer 1 SKU 费用
    Cloud Composer vCPU 时间 $26.64
    Cloud Composer SQL vCPU 时间 $45.00
    Cloud Composer 数据存储 $1.99
    Cloud Composer 出站数据传输 $1.04
    总计 $74.67
  • 您的环境还有额外费用,这些费用不属于 Cloud Composer 1 SKU 的一部分。例如,这些费用包括在使用环境的时间段内运行环境集群的 3 个节点的费用。

节点的机器类型 (Cloud Composer 1)

您的环境节点会使用这些机器类型。这些机器类型的价格包含在额外费用中。

Cloud Composer 环境支持以下 Compute Engine 实例类型

  • N1 标准机器类型 (n1-standard)
  • N1 高内存机器类型 (n1-highmem)
  • N1 高 CPU 机器类型 (n1-highcpu)
  • N2 标准机器类型 (n2-standard)
  • N2 高内存机器类型 (n2-highmem)
  • N2 高 CPU 机器类型 (n2-highcpu)
  • E2 标准机器类型 (e2-standard)
  • E2 高内存机器类型 (e2-highmem)
  • E2 高 CPU 机器类型 (e2-highcpu)
  • C2 计算优化机器类型 (c2-standard)
  • M1 内存优化机器类型(m1-megamemm1-ultramem
  • M2 内存优化机器类型(m2-megamemm2-ultramem
  • 在 AMD 处理器上运行的 N2D 标准机器类型 (n2d-standard)
  • 在 AMD 处理器上运行的 N2D 高内存机器类型 (n2d-highmem)
  • 在 AMD 处理器上运行的 N2D 高 CPU 机器类型 (n2d-highcpu)

不支持共享核心机器类型

Cloud SQL 实例的机器类型 (Cloud Composer 1)

运行您环境的 Airflow 数据库的 Cloud SQL 支持以下机器类型。

机器类型 vCPUs 内存 磁盘
db-n1-standard-2 2 7.5 GiB 请参阅备注
db-n1-standard-4 4 15 GiB 请参阅备注
db-n1-standard-8 8 30 GiB 请参阅备注
db-n1-standard-16 16 60 GiB 请参阅备注

适用于 Web 服务器的机器类型 (Cloud Composer 1)

运行 Airflow 网络服务器的虚拟机实例支持以下机器类型:

机器类型 vCPUs 内存 磁盘
composer-n1-webserver-2 2 1.6 GiB 20 GiB
composer-n1-webserver-4 4 3.6 GiB 20 GiB
composer-n1-webserver-8 8 7.6 GiB 20 GiB

其他费用

以下服务的费用不包含 Cloud Composer 环境的费用:

  1. (仅限 Cloud Composer 1)Google Kubernetes Engine 节点,用作环境中的工作器和调度器。这些节点按照单独的 Compute Engine 价格计费,费用由所用实例的数量和类型决定。这包括每个节点和 Redis 队列使用的 Persistent Disk 的费用。除非手动删除,否则 Redis 队列磁盘仍然存在。

  2. 环境的 Cloud Storage 存储桶,用于管理 DAG 并保存任务日志。除非您手动将其删除,否则此存储桶会永久保留。

    如需了解详情,请参阅 Cloud Storage 价格

  3. Cloud Monitoring 收集的数据,可帮助您了解环境的性能和运行状况。Monitoring 默认处于启用状态,且数据按照单独的 Monitoring 价格计费。

  4. 使用 Container Registry 和 Artifact Registry 时生成的存储空间和出站数据传输。这些服务用于存储和提供您在安装额外的 PyPI 模块时创建的容器映像。

    如需了解详情,请参阅 Container Registry 价格Artifact Registry 价格页面。

  5. 如果您启用了客户管理的加密密钥,使用 Cloud Key Management Service 可能会产生额外费用。请参阅 Cloud Key Management Service 价格了解详情。

  6. 如果您使用 Private Service Connect,则需支付以下额外费用:

    如需了解详情,请参阅虚拟私有云价格

  7. 创建和存储环境快照会产生与 Cloud Storage 相关的额外费用。这些额外费用如下:

    费用取决于快照创建频率和快照的大小。快照大小取决于 Airflow 数据库大小和快照中包含的数据大小(环境存储桶中的 /dags/data/plugins 文件夹)。

如果您使用非美元货币付费,请参阅 Cloud Platform SKU 上以您的币种列出的价格。

后续步骤

申请自定义报价

Google Cloud 采用随用随付的价格模式,您只需为实际使用的服务付费。请与我们的销售团队联系,获取为贵组织量身定制的报价。
与销售人员联系