Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3
本页面介绍了如何创建 Cloud Composer 环境。
- 如需详细了解环境,请参阅环境架构。
- 如需详细了解如何使用 Terraform 创建环境,请参阅创建环境 (Terraform)。
准备工作
启用 Cloud Composer API。如需查看完整列表 请参阅 Cloud Composer 所需的服务。
创建环境的大致时间为 25 分钟。
在创建环境期间,您需要指定一个服务账号。Cloud Composer 会将此账号绑定到环境集群的 Kubernetes 服务账号。
默认情况下,Cloud Composer 环境使用 Google 管理的默认 Compute Engine 服务账号。我们建议您创建一项用户代管式服务 账号 拥有针对 Cloud Composer 的专属角色
如果您使用 Terraform 创建环境,则 Terraform 使用的服务账号必须具有启用了
composer.environments.create
权限的角色。如需详细了解 Terraform 的服务账号,请参阅 Google 提供方配置参考文档。
如需详细了解如何使用 Terraform 创建 Cloud Composer 环境,请参阅 Terraform 文档。
如需详细了解其他参数,请参阅 Terraform 参数参考。
专用 IP:如需创建专用 IP 环境,您需要遵循特定的网络和对等互连要求。如需了解详情,请参阅配置专用 IP 地址。
共享 VPC:如需在 Cloud Composer 中使用共享 VPC,您需要遵循特定的网络要求。 如需了解相关信息,请参阅配置共享 VPC。
VPC SC:如需在安全边界内部署 Cloud Composer 环境,请参阅配置 VPC SC。与 Cloud Composer 搭配使用时,VPC Service Controls 有多项已知限制。
第 1 步:基本设置
此步骤将创建一个 Cloud Composer 环境 参数。
控制台
在 Google Cloud 控制台中,前往创建环境页面。
在名称字段中,为环境输入名称。
该名称必须以小写字母开头,后面最多可跟 62 个小写字母、数字或连字符,但不能以连字符结尾。该环境名称用于创建环境的子组件,因此您必须提供一个有效的 Cloud Storage 存储桶名称。如需查看限制列表,请参阅存储桶命名准则。
在位置下拉列表中,为您的环境选择一个位置。
位置是指环境所在的区域。
在映像版本下拉列表中,选择所需 Airflow 版本的 Cloud Composer 映像。
gcloud
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version IMAGE_VERSION
替换:
将
ENVIRONMENT_NAME
替换为环境的名称。该名称必须以小写字母开头,后面最多可跟 62 个小写字母、数字或连字符,但不能以连字符结尾。该环境名称用于创建环境的子组件,因此您必须提供一个有效的 Cloud Storage 存储桶名称。如需查看限制列表,请参阅存储桶命名准则。
LOCATION
替换为环境的区域。位置是指环境所在的区域。
将
IMAGE_VERSION
替换为 Cloud Composer 映像的名称。
示例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.1-airflow-2.9.1
API
构建 environments.create
API 请求。在 Environment
资源中指定配置。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"softwareConfig": {
"imageVersion": "IMAGE_VERSION"
}
}
}
替换:
将
PROJECT_ID
替换为项目 ID。LOCATION
替换为环境的区域。位置是指环境所在的区域。
将
ENVIRONMENT_NAME
替换为环境名称。该名称必须以小写字母开头,后面最多可跟 62 个小写字母、数字或连字符,但不能以连字符结尾。该环境名称用于创建环境的子组件,因此您必须提供一个有效的 Cloud Storage 存储桶名称。如需查看限制列表,请参阅存储桶命名准则。
将
IMAGE_VERSION
替换为 Cloud Composer 映像的名称。
示例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"softwareConfig": {
"imageVersion": "composer-2.9.1-airflow-2.9.1"
}
}
}
Terraform
要使用默认参数创建指定位置的环境,请将以下资源块添加到您的 Terraform 配置并运行 terraform apply
。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
image_version = "IMAGE_VERSION"
}
}
}
替换:
将
ENVIRONMENT_NAME
替换为环境的名称。该名称必须以小写字母开头,后面最多可跟 62 个小写字母、数字或连字符,但不能以连字符结尾。该环境名称用于创建环境的子组件,因此您必须提供一个有效的 Cloud Storage 存储桶名称。如需查看限制列表,请参阅存储桶命名准则。
LOCATION
替换为环境的区域。位置是指环境所在的区域。
将
IMAGE_VERSION
替换为 Cloud Composer 映像的名称。
示例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
image_version = "composer-2.9.1-airflow-2.9.1"
}
}
}
第 2 步:(可选)为您的环境选择服务账号
Cloud Composer 会将此服务账号绑定到 Kubernetes 服务 您的环境。环境集群中的节点作为 并使用这些绑定来访问 Google Cloud 项目,例如您的 环境的存储桶中。
默认情况下,Cloud Composer 环境使用默认的 Compute Engine 服务账号。我们建议您为 Cloud Composer 环境设置用户管理的服务账号。
您以后无法更改环境的服务账号。
控制台
在创建环境页面的服务账号下拉列表中,为您的环境选择一个服务账号。
gcloud
创建环境时,--service-account
会为您的环境指定服务账号。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.1-airflow-2.9.1 \
--service-account "SERVICE_ACCOUNT"
替换:
- 将
SERVICE_ACCOUNT
替换为您的环境的服务账号。
例如:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.1-airflow-2.9.1 \
--service-account "example-account@example-project.iam.gserviceaccount.com"
API
创建环境时,请在环境 > EnvironmentConfig 资源, 为您的环境指定服务账号。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
您需要将其中的:
- 将
SERVICE_ACCOUNT
替换为您的环境的服务账号。
例如:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"nodeConfig": {
"serviceAccount": "example-account@example-project.iam.gserviceaccount.com"
}
}
}
Terraform
创建环境时,请使用 node_config
代码块中的 service_account
字段。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
service_account = "SERVICE_ACCOUNT"
}
}
}
替换:
- 将
SERVICE_ACCOUNT
替换为您的环境的服务账号。
例如:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
node_config {
service_account = "example-account@example-project.iam.gserviceaccount.com"
}
}
}
第 3 步:向 Cloud Composer 服务账号授予所需的权限
在项目中启用 Cloud Composer API 后, 系统会在您的项目中创建 Composer Service Agent 账号。 Cloud Composer 使用此账号在您的 Google Cloud 项目。
Cloud Composer v2 API Service Agent Extension 角色可提供 对 Cloud Composer Service Agent 账号的访问权限。此职位 不会被自动授予。您必须手动授予该角色。
控制台
当您在项目中创建环境时,如果 Cloud Composer Service Agent 不具有环境的服务账号所需的权限,则 向 Cloud Composer 服务账号授予所需的权限部分 。
您将 Cloud Composer Service Agent 账号添加为新的主账号 并为环境的服务账号授予 Cloud Composer v2 API Service Agent Extension 角色。
确认您为环境使用预期的服务账号,并且 点击授权。
gcloud
您将 Cloud Composer Service Agent 账号添加为新的主账号 并为环境的服务账号授予 Cloud Composer v2 API Service Agent Extension 角色。
gcloud iam service-accounts add-iam-policy-binding \
SERVICE_ACCOUNT \
--member serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com \
--role roles/composer.ServiceAgentV2Ext
您需要将其中的:
- 将
SERVICE_ACCOUNT
替换为您的环境的服务账号。 - 将
PROJECT_NUMBER
替换为项目编号。
例如:
gcloud iam service-accounts add-iam-policy-binding \
example-account@example-project.iam.gserviceaccount.com \
--member serviceAccount:service-00000000000@cloudcomposer-accounts.iam.gserviceaccount.com \
--role roles/composer.ServiceAgentV2Ext
API
要授予此角色,您必须修改现有的允许政策 “读取-修改-写入”模式:
- 读取您环境的服务账号的现有允许政策。
- 请修改该文件,使其包含 Cloud Composer 服务代理的
roles/composer.ServiceAgentV2Ext
角色。 - 重写现有的允许政策。
如需了解详情,请参阅以编程方式控制访问权限。
{
"role": "roles/composer.ServiceAgentV2Ext",
"members": [
"serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com"
]
}
替换:
- 将
PROJECT_NUMBER
替换为项目编号。
例如:
{
"role": "roles/composer.ServiceAgentV2Ext",
"members": [
"serviceAccount:service-00000000000@cloudcomposer-accounts.iam.gserviceaccount.com"
]
}
Terraform
为环境的服务账号 allow policy 添加新角色绑定。
您将 Cloud Composer Service Agent 账号添加为新的主账号 并为环境的服务账号授予 Cloud Composer v2 API Service Agent Extension 角色。
如果您没有使用 Terraform 定义环境的服务账号允许政策,请执行以下操作: 而不是使用以下示例。请改用其他方法添加此绑定。
resource "google_service_account_iam_member" "custom_service_account" {
provider = google-beta
service_account_id = "SERVICE_ACCOUNT"
role = "roles/composer.ServiceAgentV2Ext"
member = "serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com"
}
您需要将其中的:
- 将
SERVICE_ACCOUNT
替换为您的环境的服务账号。 - 将
PROJECT_NUMBER
替换为项目编号。
示例:
resource "google_service_account_iam_member" "custom_service_account" {
provider = google-beta
service_account_id = "example-account@example-project.iam.gserviceaccount.com"
role = "roles/composer.ServiceAgentV2Ext"
member = "serviceAccount:service-00000000000@cloudcomposer-accounts.iam.gserviceaccount.com"
}
第 4 步:(可选)配置环境规模和性能参数
如需为您的环境指定扩缩和性能配置,请选择环境大小和工作负载配置。
您可以更改所有效果和缩放比例参数 创建环境之后
以下参数可控制规模和性能:
环境大小。用于控制受管理广告资源的性能参数 包含 Airflow 的 Cloud Composer 基础架构 数据库。如果您想在 Google Cloud 中运行 处理大量 DAG 和任务。
工作负载配置。控制您的广告资源的规模和性能 在 GKE 集群中运行的环境组件:Airflow 调度器、Airflow Web 服务器和 Airflow 工作器。
Airflow 调度器。解析 DAG 文件,根据时间表间隔安排 DAG 运行,并将任务排队以待 Airflow 工作器执行。
您的环境可以同时运行多个 Airflow 调度器。使用多个调度器将负载分散到多个 调度程序实例,以提高性能和可靠性。
增加调度器的数量并不总是可以提高 Airflow 性能。例如,仅使用一个调度器的性能可能优于使用两个调度器。如果额外的调度器未得到利用,则可能会发生这种情况,因而会占用环境的资源,而不会提升整体性能。实际的调度器性能取决于 Airflow 工作器的数量、在您的环境中运行的 DAG 和任务的数量,以及 Airflow 和环境的配置。
我们建议您先使用两个调度器,然后再监控环境的性能。如果您更改调度器的数量,则可以随时将环境扩缩回原始调度器的数量。
如需详细了解如何配置多个调度器,请参阅 Airflow 文档。
Airflow 触发器。异步监控 环境如果您的 (在高弹性环境中,则至少要有 2 个), 在 DAG 中使用可延期运算符。
Airflow 网络服务器。运行 Airflow 网页界面,您可在此界面中监控、管理和直观呈现 DAG。
Airflow 工作器。执行由 Airflow 调度器执行的任务。环境中的工作器数量下限和上限会动态变化,具体取决于队列中的任务数量。
控制台
您可以为环境选择预设。选择预设时,系统会自动选择该预设的扩缩和性能参数。您还可以选择自定义预设,并指定环境的所有扩缩和性能参数。
如需为您的环境选择容量和性能配置,请在创建环境页面上执行以下操作:
如需使用预定义的值,请在环境资源部分中点击小、中或大。
要为规模和性能参数指定自定义值,请执行以下操作:
在环境资源部分中,点击自定义。
在调度器部分中,设置您希望 以及 CPU、内存和存储空间的资源分配。
在触发器部分中,使用触发器数量字段 以输入您环境中的触发器数量。您可以设置 将此数字设为 0 在 DAG 中使用可延期运算符。
如果您为环境设置了至少一个触发器,请使用 CPU 和 Memory 字段以配置资源分配 。
在 DAG 处理器部分,指定 DAG 处理器的数量 满足您的需求 每个 DAG 处理器
在网络服务器部分,指定所需的 CPU、内存和 Web 服务器的存储空间。
在 Worker 部分中,指定以下内容:
- 自动扩缩限制的工作器数量下限和上限 您的环境
- 工作器的 CPU、内存和存储空间分配
在核心基础架构部分的环境大小下拉列表中,选择环境大小。
gcloud
创建环境时,以下参数用于控制 您的环境的扩缩和性能参数。
--environment-size
用于指定环境大小。--scheduler-count
用于指定调度器的数量。--scheduler-cpu
用于指定 Airflow 调度器的 CPU 数量。--scheduler-memory
用于指定 Airflow 调度器的内存量。--scheduler-storage
用于指定 Airflow 调度器的磁盘空间。--triggerer-count
用于指定 环境此标志的默认值为0
。 如果您想要执行以下操作,则需要触发器 在 DAG 中使用可延期运算符。- 对于标准弹性环境,请使用
0
到10
。 - 对于高弹性环境,请使用
0
或介于2
和10
。
- 对于标准弹性环境,请使用
--triggerer-cpu
指定 Airflow 的 CPU 数量 触发器类型,以 vCPU 为单位允许使用的值有:0.5
、0.75
和1
。默认值为0.5
。--triggerer-memory
用于指定 Airflow 触发器(以 GB 为单位)。默认值为0.5
。所需的最小内存等于为 触发器。允许的最大值等于 触发器 CPU 数乘以 6.5。
例如,如果您将
--triggerer-cpu
标志设置为1
,则--triggerer-memory
的最小值为1
,且 最大值为6.5
。--web-server-cpu
用于指定 Airflow Web 服务器的 CPU 数量。--web-server-memory
用于指定 Airflow Web 服务器的内存量。--web-server-storage
用于指定 Airflow 网络服务器的磁盘空间。--worker-cpu
用于指定 Airflow 工作器的 CPU 数量。--worker-memory
用于指定 Airflow 工作器的内存量。--worker-storage
用于指定 Airflow 工作器的磁盘空间。--min-workers
用于指定 Airflow 工作器数量下限。您的环境的集群至少运行此数量的工作器。--max-workers
用于指定 Airflow 工作器数量上限。您的环境的集群最多运行此数量的工作器。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.1-airflow-2.9.1 \
--environment-size ENVIRONMENT_SIZE \
--scheduler-count SCHEDULER_COUNT \
--scheduler-cpu SCHEDULER_CPU \
--scheduler-memory SCHEDULER_MEMORY \
--scheduler-storage SCHEDULER_STORAGE \
--triggerer-count TRIGGERER_COUNT \
--triggerer-cpu TRIGGERER_CPU \
--triggerer-memory TRIGGERER_MEMORY \
--web-server-cpu WEB_SERVER_CPU \
--web-server-memory WEB_SERVER_MEMORY \
--web-server-storage WEB_SERVER_STORAGE \
--worker-cpu WORKER_CPU \
--worker-memory WORKER_MEMORY \
--worker-storage WORKER_STORAGE \
--min-workers WORKERS_MIN \
--max-workers WORKERS_MAX
替换:
- 将
ENVIRONMENT_SIZE
替换为small
、medium
或large
。 SCHEDULER_COUNT
替换为调度器的数量。- 将
SCHEDULER_CPU
替换为调度器的 CPU 数量(以 vCPU 为单位)。 - 将
SCHEDULER_MEMORY
替换为调度器的内存量。 - 将
SCHEDULER_STORAGE
替换为调度器的磁盘大小。 - 将
TRIGGERER_COUNT
替换为触发器数量。 - 将
TRIGGERER_CPU
替换为触发器的 CPU 数量(以 vCPU 为单位)。 将
TRIGGERER_MEMORY
替换为触发器的内存量(以 GB 为单位)。将
WEB_SERVER_CPU
替换为网络服务器的 CPU 数量(以 vCPU 为单位)。将
WEB_SERVER_MEMORY
替换为网络服务器的内存量。将
WEB_SERVER_STORAGE
替换为网络服务器的内存量。将
WORKER_CPU
替换为工作器的 CPU 数量(以 vCPU 为单位)。将
WORKER_MEMORY
替换为工作器的内存量。将
WORKER_STORAGE
替换为工作器的磁盘大小。将
WORKERS_MIN
替换为您的环境可运行的 Airflow 工作器数量的下限。您的环境中的工作器数量不能低于此数量,即使更少数量的工作器可以处理负载也是如此。将
WORKERS_MAX
替换为您的环境可运行的 Airflow 工作器数量的上限。您的环境中的工作器数量不能超出此数量,即使需要更多数量的工作器来处理负载也是如此。
例如:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.1-airflow-2.9.1 \
--environment-size small \
--scheduler-count 1 \
--scheduler-cpu 0.5 \
--scheduler-memory 2.5GB \
--scheduler-storage 2GB \
--triggerer-count 1 \
--triggerer-cpu 0.5 \
--triggerer-memory 0.5GB \
--web-server-cpu 1 \
--web-server-memory 2.5GB \
--web-server-storage 2GB \
--worker-cpu 1 \
--worker-memory 2GB \
--worker-storage 2GB \
--min-workers 2 \
--max-workers 4
API
创建环境时,在环境 > 中 EnvironmentConfig > WorkloadsConfig 资源,指定环境 规模和性能参数。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"workloadsConfig": {
"scheduler": {
"cpu": SCHEDULER_CPU,
"memoryGb": SCHEDULER_MEMORY,
"storageGb": SCHEDULER_STORAGE,
"count": SCHEDULER_COUNT
},
"triggerer": {
"count": TRIGGERER_COUNT,
"cpu": TRIGGERER_CPU,
"memoryGb": TRIGGERER_MEMORY
},
"webServer": {
"cpu": WEB_SERVER_CPU,
"memoryGb": WEB_SERVER_MEMORY,
"storageGb": WEB_SERVER_STORAGE
},
"worker": {
"cpu": WORKER_CPU,
"memoryGb": WORKER_MEMORY,
"storageGb": WORKER_STORAGE,
"minCount": WORKERS_MIN,
"maxCount": WORKERS_MAX
}
},
"environmentSize": "ENVIRONMENT_SIZE"
}
}
替换:
- 将
SCHEDULER_CPU
替换为调度器的 CPU 数量(以 vCPU 为单位)。 - 将
SCHEDULER_MEMORY
替换为调度器的内存量(以 GB 为单位)。 - 将
SCHEDULER_STORAGE
替换为调度器的磁盘大小(以 GB 为单位)。 SCHEDULER_COUNT
替换为调度器的数量。将
TRIGGERER_COUNT
替换为触发器数量。默认值为0
。 如果您想要执行以下操作,则需要触发器 在 DAG 中使用可延期运算符。- 对于标准弹性环境,请使用
0
到10
。 - 对于高弹性环境,请使用
0
或介于2
和10
。
如果您使用至少一个触发器,则还必须指定
TRIGGERER_CPU
和TRIGGERER_MEMORY
参数:- 对于标准弹性环境,请使用
TRIGGERER_CPU
指定触发器的 CPU 数量。 以 vCPU 为单位允许使用的值有:0.5
、0.75
和1
。TRIGGERER_MEMORY
用于为实例配置 触发器。所需的最小内存等于 为触发器分配的 CPU。允许的最大值为 等于触发器 CPU 数量乘以 6.5。例如,如果您将
TRIGGERER_CPU
设置为1
,则TRIGGERER_MEMORY
的最小值为1
,且 最大值为6.5
。将
WEB_SERVER_CPU
替换为网络服务器的 CPU 数量(以 vCPU 为单位)。将
WEB_SERVER_MEMORY
替换为 Web 服务器的内存量(以 GB 为单位)。将
WEB_SERVER_STORAGE
替换为 Web 服务器的磁盘大小(以 GB 为单位)。将
WORKER_CPU
替换为工作器的 CPU 数量(以 vCPU 为单位)。将
WORKER_MEMORY
替换为工作器的内存量(以 GB 为单位)。将
WORKER_STORAGE
替换为工作器的磁盘大小(以 GB 为单位)。将
WORKERS_MIN
替换为您的环境可运行的 Airflow 工作器数量的下限。您的环境中的工作器数量不能低于此数量,即使更少数量的工作器可以处理负载也是如此。将
WORKERS_MAX
替换为您的环境可运行的 Airflow 工作器数量的上限。您的环境中的工作器数量不能超出此数量,即使需要更多数量的工作器来处理负载也是如此。将
ENVIRONMENT_SIZE
替换为环境大小,ENVIRONMENT_SIZE_SMALL
、ENVIRONMENT_SIZE_MEDIUM
或ENVIRONMENT_SIZE_LARGE
。
例如:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"workloadsConfig": {
"scheduler": {
"cpu": 2.5,
"memoryGb": 2.5,
"storageGb": 2,
"count": 1
},
"triggerer": {
"cpu": 0.5,
"memoryGb": 0.5,
"count": 1
},
"webServer": {
"cpu": 1,
"memoryGb": 2.5,
"storageGb": 2
},
"worker": {
"cpu": 1,
"memoryGb": 2,
"storageGb": 2,
"minCount": 2,
"maxCount": 4
}
},
"environmentSize": "ENVIRONMENT_SIZE_SMALL"
}
}
Terraform
创建环境时,您可以通过以下参数控制环境的规模和性能参数。
在
config
块中:environment_size
字段用于控制环境大小。
在
workloads_config
块中:scheduler.cpu
字段用于指定 Airflow 调度器的 CPU 数量。scheduler.memory_gb
字段用于指定 Airflow 调度器的内存量。scheduler.storage_gb
字段用于指定调度器的磁盘空间。scheduler.count
字段用于指定 环境triggerer.cpu
字段指定 Airflow 的 CPU 数量 触发器。triggerer.memory_gb
字段用于指定 Airflow 触发器。triggerer.count
字段用于指定 环境web_server.cpu
字段用于指定 Airflow Web 服务器的 CPU 数量。web_server.memory_gb
字段用于指定 Airflow Web 服务器的内存量。web_server.storage_gb
字段指定磁盘可用空间 适用于 Airflow Web 服务器。worker.cpu
字段用于指定 Airflow 工作器的 CPU 数量。worker.memory_gb
字段用于指定 Airflow 工作器的内存量。worker.storage_gb
用于指定 Airflow 工作器的磁盘空间量。worker.min_count
字段用于指定环境中的工作器数量下限。worker.max_count
字段用于指定环境中的工作器数量上限。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
scheduler {
cpu = SCHEDULER_CPU
memory_gb = SCHEDULER_MEMORY
storage_gb = SCHEDULER_STORAGE
count = SCHEDULER_COUNT
}
triggerer {
count = TRIGGERER_COUNT
cpu = TRIGGERER_CPU
memory_gb = TRIGGERER_MEMORY
}
web_server {
cpu = WEB_SERVER_CPU
memory_gb = WEB_SERVER_MEMORY
storage_gb = WEB_SERVER_STORAGE
}
worker {
cpu = WORKER_CPU
memory_gb = WORKER_MEMORY
storage_gb = WORKER_STORAGE
min_count = WORKERS_MIN
max_count = WORKERS_MAX
}
}
environment_size = "ENVIRONMENT_SIZE"
}
}
替换:
ENVIRONMENT_NAME
替换为环境的名称。LOCATION
替换为环境所在的区域。- 将
SCHEDULER_CPU
替换为调度器的 CPU 数量(以 vCPU 为单位)。 - 将
SCHEDULER_MEMORY
替换为调度器的内存量(以 GB 为单位)。 - 将
SCHEDULER_STORAGE
替换为调度器的磁盘大小(以 GB 为单位)。 SCHEDULER_COUNT
替换为调度器的数量。- 将
TRIGGERER_COUNT
替换为触发器数量。 - 将
TRIGGERER_CPU
替换为触发器的 CPU 数量(以 vCPU 为单位)。 - 将
TRIGGERER_MEMORY
替换为触发器的内存量(以 GB 为单位)。 - 将
WEB_SERVER_CPU
替换为网络服务器的 CPU 数量(以 vCPU 为单位)。 - 将
WEB_SERVER_MEMORY
替换为 Web 服务器的内存量(以 GB 为单位)。 - 将
WEB_SERVER_STORAGE
替换为 Web 服务器的磁盘大小(以 GB 为单位)。 - 将
WORKER_CPU
替换为工作器的 CPU 数量(以 vCPU 为单位)。 - 将
WORKER_MEMORY
替换为工作器的内存量(以 GB 为单位)。 - 将
WORKER_STORAGE
替换为工作器的磁盘大小(以 GB 为单位)。 - 将
WORKERS_MIN
替换为您的环境可运行的 Airflow 工作器数量的下限。您的环境中的工作器数量不能低于此数量,即使更少数量的工作器可以处理负载也是如此。 - 将
WORKERS_MAX
替换为您的环境可运行的 Airflow 工作器数量的上限。您的环境中的工作器数量不能超出此数量,即使需要更多数量的工作器来处理负载也是如此。 - 将
ENVIRONMENT_SIZE
替换为环境大小,ENVIRONMENT_SIZE_SMALL
、ENVIRONMENT_SIZE_MEDIUM
或ENVIRONMENT_SIZE_LARGE
。
示例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
scheduler {
cpu = 2.5
memory_gb = 2.5
storage_gb = 2
count = 1
}
triggerer {
count = 1
cpu = 0.5
memory_gb = 0.5
}
web_server {
cpu = 1
memory_gb = 2.5
storage_gb = 2
}
worker {
cpu = 1
memory_gb = 2
storage_gb = 2
min_count = 2
max_count = 4
}
}
environment_size = "ENVIRONMENT_SIZE_SMALL"
}
}
第 5 步:(可选)启用高弹性模式
高弹性 Cloud Composer 环境 是指使用内置冗余和故障切换功能的环境 可降低环境易受可用区级故障影响的机制, 单点故障服务中断
一个高弹性环境
所选区域的至少两个可用区恰好两个 Airflow 调度器,两个 Web
以及至少两个触发器
(如果触发器的数量未设置为 0
)运行
不同的可用区
工作器数量下限设置为 2 个,并且您的环境的集群
在可用区之间分布工作器实例。如果发生可用区级服务中断
工作器实例会重新调度到另一个可用区。Cloud SQL
一个具有高弹性环境的区域级实例,
一个主实例和备用实例
控制台
在创建环境页面中执行以下操作:
在弹性模式部分中,选择高弹性。
在环境资源部分,为 高弹性环境。高弹性环境需要 恰好两个调度器(零或介于 2 到 10 个触发器之间)和至少两个工作器:
点击 Custom(自定义)。
在调度器数量下拉列表中,选择
2
。在触发器数量下拉列表中,选择
0
。 或介于2
和10
之间的值。配置 CPU 和内存 触发器的分配。在工作器数量下限下拉列表中,选择
2
或 具体取决于所需的工作器数量。
在网络配置部分,执行以下操作:
在网络类型中,选择专用 IP 环境。
如果需要,请指定其他网络参数。
gcloud
创建环境时,--enable-high-resilience
实参
用于启用高弹性模式。
设置以下参数:
--enable-high-resilience
--enable-private-environment
和 专用 IP 环境的其他网络参数。 (如果需要)--scheduler-count
至2
--triggerer-count
到0
或介于2
到10
之间的值。 如果您使用触发器,则--triggerer-cpu and
--triggerer-memory` 标志也是创建环境所必需的。如需详细了解
--triggerer-count
、--triggerer-cpu
和--triggerer-memory
标志,请参阅 配置环境规模和性能参数。--min-workers
到2
或更多
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.1-airflow-2.9.1 \
--enable-high-resilience \
--enable-private-environment \
--scheduler-count 2 \
--triggerer-count 2 \
--triggerer-cpu 0.5 \
--triggerer-memory 0.5 \
--min-workers 2
API
创建环境时,在环境 > 中 EnvironmentConfig 资源,启用高 弹性模式
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"resilience_mode": "HIGH_RESILIENCE"
}
}
示例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"resilience_mode": "HIGH_RESILIENCE"
}
}
Terraform
创建环境时,config
中的 resilience_mode
字段
用于启用高弹性模式。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
resilience_mode = "HIGH_RESILIENCE"
}
}
示例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
resilience_mode = "HIGH_RESILIENCE"
}
第 6 步:(可选)为环境的数据库指定可用区
您可以在创建标准 Cloud SQL 时指定首选 Cloud SQL 可用区 可能性。
控制台
在创建环境页面中执行以下操作:
在高级配置部分,展开 显示高级配置项。
在 Airflow 数据库可用区列表中,选择首选 Cloud SQL 可用区。
gcloud
创建环境时,--cloud-sql-preferred-zone
实参
指定首选 Cloud SQL 可用区。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.1-airflow-2.9.1 \
--cloud-sql-preferred-zone SQL_ZONE
替换以下内容:
SQL_ZONE
:首选 Cloud SQL 可用区。此可用区必须位于 创建 Deployment
示例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.1-airflow-2.9.1 \
--cloud-sql-preferred-zone us-central1-a
API
创建环境时,请在环境 > DatabaseConfig 资源,请指定 首选 Cloud SQL 可用区。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"databaseConfig": {
"zone": "SQL_ZONE"
}
}
}
替换以下内容:
SQL_ZONE
:首选 Cloud SQL 可用区。此可用区必须位于 创建 Deployment
示例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"databaseConfig": {
"zone": "us-central1-a"
}
}
}
Terraform
创建环境时,database_config
中的 zone
字段
指定首选 Cloud SQL 可用区。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
database_config {
zone = "SQL_ZONE"
}
}
}
替换以下内容:
SQL_ZONE
:首选 Cloud SQL 可用区。此可用区必须位于 创建 Deployment
第 7 步:(可选)配置环境的网络
网络参数取决于您要创建的环境类型:
公共 IP 环境。使用默认网络参数。
专用 IP 环境(具有 PSC)。在此配置中,您的 环境使用 Private Service Connect 进行连接。
配置专用 IP 环境:
- 为专用 IP 环境配置项目的网络。
- 配置 Private Service Connect 需要注意的一点是
- 为您的专用 IP 环境指定其他参数, 。
对于具有 PSC 的专用 IP 环境,您需要了解以下内容:
- 您的 VPC 网络 ID
- 您的 VPC 子网 ID
VPC 子网中的两个次要 IP 范围:
- pod 的次要 IP 范围
- Service 的次要 IP 范围
环境组成部分的 IP 地址范围:
- GKE 控制平面 IP 地址范围。GKE 控制平面的 IP 范围。
- Cloud Composer 连接子网。 Cloud Composer 连接子网。
专用 IP 环境(VPC 对等互连)。在此配置中,您的 环境使用 VPC 对等互连进行连接。
配置专用 IP 环境:
- 为专用 IP 环境配置项目的网络。
- 按照说明为您的专用 IP 环境指定其他参数 详细介绍。
对于使用 VPC 对等互连的专用 IP 环境,您需要了解以下内容:
- 您的 VPC 网络 ID
- 您的 VPC 子网 ID
VPC 子网中的两个次要 IP 范围:
- pod 的次要 IP 范围
- Service 的次要 IP 范围
环境组成部分的 IP 地址范围:
GKE 控制平面的 IP 地址范围。
要从内部导出的 VPC 对等互连的 IP 范围 Cloud Composer 网络连接到所选网络。Cloud Composer 基础架构组件使用 IP 地址 。
Cloud SQL 实例的 IP 范围。
对于共享 VPC 环境,您必须为宿主项目进行额外的网络设置,然后在服务项目中创建公共或专用 IP 环境。请按照 配置共享 VPC 页面。
对于共享 VPC 环境,您需要了解以下内容:
- 您的宿主项目 VPC 网络 ID
您的宿主项目 VPC 子网 ID
宿主项目 VPC 子网中的两个次要 IP 范围:
- pod 的次要 IP 范围
- Service 的次要 IP 范围
创建公共 IP 共享 VPC 环境时,您仍然需要为 pod 和服务指定宿主项目 VPC 网络、子网和次要 IP 地址范围。
如需创建 VPC SC 环境,您必须创建服务边界,然后在此边界内创建专用 IP 环境。按照配置 VPC Service Controls 中的说明操作。
环境的其他网络选项包括:
- 以不公开方式使用的公共 IP 地址。如果您想使用更多 IP 地址 您的环境 以非公开方式使用某些公共 IP 地址范围作为内部地址, Pod 和 Service 的子网 IP 地址范围
- 已获授权的网络。如果您想访问 GCP 控制台 使用 HTTPS 的专用 IP 环境 已获授权的网络来指定可以执行此操作的 CIDR 范围。
- IP 伪装代理。通过使用具有 IP 伪装的环境 可以使用多对一 IP 地址转换 环境的网络配置。如需详细了解 如何使用 IP 伪装代理创建环境,请参阅 启用 IP 伪装代理。
控制台
要创建专用 IP 环境,请执行以下操作:
确保已针对该环境类型配置网络 资源。
在网络配置部分,展开 显示网络配置项。
在网络下拉列表中,选择您的 VPC 网络 ID。
在子网下拉列表中,选择您的 VPC 子网 ID。
在 pod 的次要 IP 范围部分中,选择或指定 pod 的次要 IP 范围。您可以使用 VPC 网络中的现有次要范围,也可以选择使用自动创建的范围。
在服务的次要 IP 范围部分中,选择或指定服务的次要 IP 范围。您可以使用现有的 范围,或选择使用自动创建的范围。
在网络类型部分中,选择专用 IP 环境选项以创建专用 IP 环境。
在 Composer 连接部分中,为 并为环境组件指定 IP 地址范围:
对于使用 Private Service Connect 的环境:
在 Composer 连接子网部分,指定一个 IP 指定 Cloud Composer 连接子网的 IP 地址范围。通过 即从该范围中选择 PSC 端点的地址。您可以指定自定义范围,也可以选择使用默认范围。
对于使用 VPC 对等互连的环境:
为使用 VPC 对等互连的环境选择 VPC 对等互连。
在 Composer 租户网络的 IP 范围部分中,指定 Cloud Composer 租户网络的 IP 范围。此网络托管您的环境的 SQL 代理组件。您可以指定自定义范围,也可以选择使用默认范围。
在 Cloud SQL 网络的 IP 范围部分, 指定 Cloud SQL 实例的 IP 范围。您可以指定自定义范围,也可以选择使用默认范围。
在 GKE 控制平面网络的 IP 范围部分中,指定 GKE 控制平面的 IP 范围:
如需对环境所在的区域使用默认 IP 范围,请选择默认 IP 范围。
如需指定自定义 IP 范围,请选择自定义 IP 范围,并在 GKE 集群主服务器专用 IP 字段中输入采用 CIDR 表示法的范围。
选择 GKE 控制平面的访问权限级别。通过 控制平面有两个端点一个端点是专用端点, 集群节点和虚拟机。另一个端点是公共端点。您可以指定 访问公共端点的权限级别:
如需允许从授权网络访问公共端点,请执行以下操作: 选择使用其预配的 外部 IP 地址复选框。
使用此选项将控制平面的访问权限级别设置为“启用公共端点访问权限并启用已获授权的网络”。这提供了从已获授权的网络对控制平面的受限访问。默认情况下,未指定来源 IP 地址。您可以 将已获授权的网络添加到集群。
要禁止从授权网络访问公共端点,请执行以下操作: 清除访问集群控制平面端点 外部 IP 地址复选框。
使用此选项将控制平面的访问权限级别设置为“公共端点访问权限已停用”。这样可以阻止对控制平面的所有互联网访问。
gcloud
确保已针对您要创建的环境类型配置网络。
创建环境时,以下参数可控制网络参数。如果您省略参数,则系统会使用默认值。
--enable-private-environment
用于启用专用 IP 环境。--network
用于指定您的 VPC 网络 ID。--subnetwork
用于指定您的 VPC 子网 ID。--cluster-secondary-range-name
或--cluster-ipv4-cidr
用于配置 pod 的次要范围。--services-secondary-range-name
或--services-ipv4-cidr
用于配置服务的次要范围。--master-ipv4-cidr
用于指定 GKE 控制平面的范围。
(具有 PSC 的环境)
--connection-subnetwork
指定 托管 PSC 的 Cloud Composer 连接子网 端点。(具有 VPC 对等互连的环境)
--composer-network-ipv4-cidr
用于指定 Cloud Composer 租户网络的范围。此网络托管您环境的 SQL 代理组件。(具有 VPC 对等互连的环境)
--cloud-sql-ipv4-cidr
指定 Cloud SQL 实例的网络范围。
--enable-private-endpoint
用于控制 GKE 控制平面的访问权限级别。控制平面有两个端点。一个端点是专用的,供集群节点和虚拟机使用。 另一个端点是公共端点。您可以为公共端点指定访问权限级别:如需启用已获授权的网络对公共端点的访问权限,请省略
--enable-private-endpoint
参数。使用此选项将控制平面的访问权限级别设置为“启用公共端点访问权限并启用已获授权的网络”。这提供了从已获授权的网络对控制平面的受限访问。默认情况下,未指定来源 IP 地址。您可以向集群添加授权网络。
如需停用已获授权的网络对公共端点的访问权限,请指定
--enable-private-endpoint
参数。使用此选项将控制平面的访问权限级别设置为“公共端点访问权限已停用”。这样可以阻止对控制平面的所有互联网访问。
--enable-master-authorized-networks
和--master-authorized-networks
参数用于配置已获授权的网络 对环境有利--enable-privately-used-public-ips
进行配置 您的环境的非公开使用的公共 IP 地址。--enable-ip-masq-agent
启用 IP 伪装代理。
示例(专用 IP 环境) )
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.1-airflow-2.9.1 \
--enable-private-environment \
--network NETWORK_ID \
--subnetwork SUBNETWORK_ID \
--cluster-ipv4-cidr PODS_RANGE \
--services-ipv4-cidr SERVICES_RANGE \
--master-ipv4-cidr CONTROL_PLANE_RANGE \
--connection-subnetwork COMPOSER_PSC_RANGE \
您需要将其中的:
- 将
NETWORK_ID
替换为您的 VPC 网络 ID。 将
SUBNETWORK_ID
替换为您的 VPC 子网 ID。将
PODS_RANGE
替换为 pod 的次要范围。将
SERVICES_RANGE
替换为服务的次要范围。将
CONTROL_PLANE_RANGE
替换为 GKE 控制平面的次要范围。将
COMPOSER_PSC_RANGE
替换为 Cloud Composer 的范围 连接子网
第 8 步:(可选)添加网络标记
网络标记会应用于您的环境 集群。标记用于标识网络的有效来源或目标 防火墙。列表中的每个标记都必须符合 RFC 1035。
例如,如果您打算限制 使用防火墙规则的专用 IP 环境的流量。
控制台
在创建环境页面中执行以下操作:
- 找到网络配置部分。
- 在网络标记字段中,输入环境的网络标记。
gcloud
创建环境时,以下参数用于控制网络标记:
--tags
指定应用于所有实例的网络标记(以英文逗号分隔)列表 节点虚拟机
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.1-airflow-2.9.1 \
--tags TAGS
您需要将其中的:
- 将
TAGS
替换为以英文逗号分隔的网络标记列表。
示例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.1-airflow-2.9.1 \
--tags group1,production
API
创建环境时,在环境 > 中 EnvironmentConfig 资源,请指定 网络标记。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"nodeConfig": {
"tags": [
"TAG"
]
}
}
}
您需要将其中的:
- 将
TAG
替换为网络标记。
示例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"nodeConfig": {
"tags": [
"group1",
"production"
]
}
}
}
Terraform
创建环境时,以下字段定义了 您的环境:
node_config
块中的tags
字段指定逗号分隔列表 应用于所有节点虚拟机的网络标记。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
tags = ["TAGS"]
}
}
}
您需要将其中的:
- 将
TAGS
替换为以英文逗号分隔的网络标记列表。
示例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
node_config {
tags = ["group1","production"]
}
}
}
第 9 步:(可选)配置网络服务器网络访问权限
Airflow 网络服务器访问参数不取决于您的环境类型。您可以改为单独配置网络服务器访问权限。例如,专用 IP 环境仍然可以通过互联网访问 Airflow 界面。
您无法使用专用 IP 地址配置允许的 IP 范围。
控制台
在创建环境页面中执行以下操作:
在网络配置部分中,展开显示网络配置项。
在网络服务器网络访问权限控制部分:
为了支持从所有 IP 地址访问 Airflow Web 服务器, 选择允许从所有 IP 地址访问。
如需只允许来自特定 IP 地址范围的访问,请选择仅允许来自特定 IP 地址的访问。在 IP 范围字段中,以 CIDR 表示法指定 IP 范围。在说明字段中,指定此范围的可选说明。如果您想指定多个范围,请点击添加 IP 范围。
如需禁止从所有 IP 地址访问,请选择仅允许从特定 IP 地址访问,然后点击空范围条目旁边的删除项。
gcloud
创建环境时,以下参数可控制网络服务器访问权限级别:
--web-server-allow-all
支持从所有 IP 地址访问 Airflow。 这是默认选项。--web-server-allow-ip
仅允许来自特定来源 IP 地址范围的访问。如需指定多个 IP 范围,请多次使用此参数。--web-server-deny-all
禁止从所有 IP 地址访问。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.1-airflow-2.9.1 \
--web-server-allow-ip ip_range=WS_IP_RANGE,description=WS_RANGE_DESCRIPTION
您需要将其中的:
- 将
WS_IP_RANGE
替换为可以访问 Airflow 界面的 IP 地址范围(采用 CIDR 表示法)。 - 将
WS_RANGE_DESCRIPTION
替换为 IP 地址范围的说明。
例如:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.1-airflow-2.9.1 \
--web-server-allow-ip ip_range=192.0.2.0/24,description="office net 1" \
--web-server-allow-ip ip_range=192.0.4.0/24,description="office net 3"
API
创建环境时,在环境 > 中 EnvironmentConfig 资源,指定 Web 服务器 访问参数。
为了支持从所有 IP 地址访问 Airflow Web 服务器, 省略
webServerNetworkAccessControl
。如需只允许从特定 IP 地址范围访问,请在
allowedIpRanges
中指定一个或多个范围。如需禁止从所有 IP 地址访问,请添加
allowedIpRanges
列表并将其留空。请勿在其中指定 IP 范围。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"webServerNetworkAccessControl": {
"allowedIpRanges": [
{
"value": "WS_IP_RANGE",
"description": "WS_RANGE_DESCRIPTION"
}
]
}
}
}
您需要将其中的:
- 将
WS_IP_RANGE
替换为可以访问 Airflow 界面的 IP 地址范围(采用 CIDR 表示法)。 - 将
WS_RANGE_DESCRIPTION
替换为 IP 地址范围的说明。
例如:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"webServerNetworkAccessControl": {
"allowedIpRanges": [
{
"value": "192.0.2.0/24",
"description": "office net 1"
},
{
"value": "192.0.4.0/24",
"description": "office net 3"
}
]
}
}
}
Terraform
创建环境时,web_server_network_access_control
块中的 allowed_ip_range
块包含可以访问网络服务器的 IP 地址范围。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
web_server_network_access_control {
allowed_ip_range {
value = "WS_IP_RANGE"
description = "WS_RANGE_DESCRIPTION"
}
}
}
}
替换:
- 将
WS_IP_RANGE
替换为可以访问 Airflow 界面的 IP 地址范围(采用 CIDR 表示法)。 - 将
WS_RANGE_DESCRIPTION
替换为 IP 地址范围的说明。
示例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
web_server_network_access_control {
allowed_ip_range {
value = "192.0.2.0/24"
description = "office net 1"
},
allowed_ip_range {
value = "192.0.4.0/24"
description = "office net 3"
}
}
}
第 10 步:(可选)指定 Airflow 配置替换和环境变量
您可以在创建环境时设置 Airflow 配置替换和环境变量。或者,您可以在创建环境后执行此操作。
某些 Airflow 配置选项被屏蔽,您无法替换这些选项。
如需查看可用的 Airflow 配置选项列表,请参阅 Airflow 2 配置参考 和 Airflow 1.10.*
如需指定 Airflow 配置替换和环境变量,请执行以下操作:
控制台
在创建环境页面中执行以下操作:
在环境变量部分中,点击添加环境变量。
输入环境变量的名称和值。
在 Airflow 配置替换部分中,点击添加 Airflow 配置替换。
输入配置选项替换值的部分、键和值。
例如:
节 键 值 webserver
dag_orientation
TB
gcloud
创建环境时,以下参数可用于控制环境变量和 Airflow 配置替换:
--env-variables
用于指定环境变量的英文逗号分隔列表。变量名称可以包含大写和小写字母、数字和下划线,但不能以数字开头。
--airflow-configs
用于指定 Airflow 配置替换的键和值的逗号分隔列表。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.1-airflow-2.9.1 \
--env-variables ENV_VARS \
--airflow-configs CONFIG_OVERRIDES
替换:
- 将
ENV_VARS
替换为环境变量以逗号分隔的NAME=VALUE
对列表。 - 将
CONFIG_OVERRIDES
替换为配置替换以逗号分隔的SECTION-KEY=VALUE
对列表。用-
符号分隔配置部分的名称,后跟键名称。例如:core-dags_are_paused_at_creation
。
例如:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.1-airflow-2.9.1 \
--env-variables SENDGRID_MAIL_FROM=user@example.com,SENDGRID_API_KEY=example-key \
--airflow-configs core-dags_are_paused_at_creation=True,webserver-dag_orientation=TB
API
创建环境时,在环境 > 中 EnvironmentConfig 资源,请指定 环境变量和 Airflow 配置替换
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"SECTION-KEY": "OVERRIDE_VALUE"
},
"envVariables": {
"VAR_NAME": "VAR_VALUE",
}
}
}
}
替换:
- 将
SECTION
替换为 Airflow 配置选项所在配置文件中的部分。 - 将
KEY
替换为 Airflow 配置选项的名称。 - 将
OVERRIDE_VALUE
替换为 Airflow 配置选项的值。 - 将
VAR_NAME
替换为环境变量的名称。 - 将
VAR_VALUE
替换为环境变量的值。
例如:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"core-dags_are_paused_at_creation": "True",
"webserver-dag_orientation": "TB"
},
"envVariables": {
"SENDGRID_MAIL_FROM": "user@example.com",
"SENDGRID_API_KEY": "example-key"
}
}
}
}
Terraform
创建环境时,以下块可用于控制环境变量和 Airflow 配置替换:
software_config
块中的env_variables
块可用于指定环境变量。变量名称可以包含大写和小写字母、数字和下划线,但不能以数字开头。
software_config
块中的airflow_config_overrides
块指定 Airflow 配置替换。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
airflow_config_overrides = {
SECTION-KEY = "OVERRIDE_VALUE"
}
env_variables = {
VAR_NAME = "VAR_VALUE"
}
}
}
}
替换:
- 将
SECTION
替换为 Airflow 配置选项所在配置文件中的部分。 - 将
KEY
替换为 Airflow 配置选项的名称。 - 将
OVERRIDE_VALUE
替换为 Airflow 配置选项的值。 - 将
VAR_NAME
替换为环境变量的名称。 - 将
VAR_VALUE
替换为环境变量的值。
示例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
airflow_config_overrides = {
core-dags_are_paused_at_creation = "True"
webserver-dag_orientation = "TB"
}
env_variables = {
SENDGRID_MAIL_FROM = "user@example.com"
SENDGRID_API_KEY = "example-key"
}
}
}
}
步骤 11.(可选)指定维护窗口
Cloud Composer 2 中的默认维护窗口期为 每周五、周六和周日的 00:00:00 至 04:00:00(格林尼治标准时间)。
如需为您的环境指定自定义维护窗口,请执行以下操作:
控制台
在创建环境页面上
找到维护窗口部分。
在时区下拉列表中,选择维护窗口的时区。
设置开始时间、天数和长度,以便指定 7 天的滚动期内,时间表的总时间至少 12 小时。例如,每个星期一、星期三和星期五的 4 小时提供了所需的时间。
gcloud
以下参数定义了维护窗口参数:
--maintenance-window-start
设置自定义维护窗口的开始时间。--maintenance-window-end
设置维护窗口的结束时间。--maintenance-window-recurrence
设置维护窗口重复。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.1-airflow-2.9.1 \
--maintenance-window-start 'DATETIME_START' \
--maintenance-window-end 'DATETIME_END' \
--maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'
替换:
- 将
ENVIRONMENT_NAME
替换为环境的名称。 - 将
DATETIME_START
替换为采用日期/时间输入格式的开始日期和时间。只有一天中所指定的时间,指定的日期会被忽略。 - 将
DATETIME_END
替换为采用日期/时间输入格式的结束日期和时间。只有一天中所指定的时间,指定的日期会被忽略。指定的日期和时间必须晚于开始日期。 将
MAINTENANCE_RECURRENCE
替换为用于恢复维护窗口的 RFC 5545 RRULE。Cloud Composer 支持两种格式:FREQ=DAILY
格式指定每日重复。FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
格式指定在一周中的选定几天重复。
以下示例将维护窗口指定为 01:00 到 6000 之间,时间为 6 小时 每周三、周六和周日 07:00(世界协调时间 [UTC])。2023 年 1 月 1 日 日期。
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.1-airflow-2.9.1 \
--maintenance-window-start '2023-01-01T01:00:00Z' \
--maintenance-window-end '2023-01-01T07:00:00Z' \
--maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'
API
创建环境后,在 环境 > EnvironmentConfig 资源,请指定 维护窗口参数:
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"maintenanceWindow": {
"startTime": "DATETIME_START",
"endTime": "DATETIME_END",
"recurrence": "MAINTENANCE_RECURRENCE"
}
}
}
替换:
- 将
DATETIME_START
替换为采用日期/时间输入格式的开始日期和时间。只有一天中所指定的时间,指定的日期会被忽略。 - 将
DATETIME_END
替换为采用日期/时间输入格式的结束日期和时间。只有一天中所指定的时间,指定的日期会被忽略。指定的日期和时间必须晚于开始日期。 将
MAINTENANCE_RECURRENCE
替换为用于恢复维护窗口的 RFC 5545 RRULE。Cloud Composer 支持两种格式:FREQ=DAILY
格式指定每日重复。FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
格式指定在一周中的选定几天重复。
以下示例将维护窗口指定为 01:00 到 6000 之间,时间为 6 小时 每周三、周六和周日 07:00(世界协调时间 [UTC])。2023 年 1 月 1 日 日期。
示例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"maintenanceWindow": {
"startTime": "2023-01-01T01:00:00Z",
"endTime": "2023-01-01T07:00:00Z",
"recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
}
}
}
Terraform
maintenance_window
块为您的环境指定维护窗口:
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
maintenance_window {
start_time = "DATETIME_START"
end_time = "DATETIME_END"
recurrence = "MAINTENANCE_RECURRENCE"
}
}
}
替换:
- 将
DATETIME_START
替换为采用日期/时间输入格式的开始日期和时间。只有一天中所指定的时间,指定的日期会被忽略。 - 将
DATETIME_END
替换为采用日期/时间输入格式的结束日期和时间。只有一天中所指定的时间,指定的日期会被忽略。指定的日期和时间必须晚于开始日期。 将
MAINTENANCE_RECURRENCE
替换为用于恢复维护窗口的 RFC 5545 RRULE。Cloud Composer 支持两种格式:FREQ=DAILY
格式指定每日重复。FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
格式指定在一周中的选定几天重复。
以下示例将维护窗口指定为 01:00 到 6000 之间,时间为 6 小时 每周三、周六和周日 07:00(世界协调时间 [UTC])。2023 年 1 月 1 日 日期。
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
maintenance_window {
start_time = "2023-01-01T01:00:00Z"
end_time = "2023-01-01T07:00:00Z"
recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
}
}
}
步骤 12.(可选)数据沿袭集成
数据沿袭是一项 Dataplex 功能,可让您跟踪数据移动。
数据沿袭集成在以下国家/地区提供: Cloud Composer 2 版本 2.1.2 及更高版本,以及 Airflow 版本 2.2.5 及更高版本 。数据沿袭集成会在新的 Cloud Composer 环境:
您的项目中已启用 Data Lineage API。如需了解详情,请参阅 启用 Data Lineage API: Dataplex 文档。
自定义 沿袭后端 未在 Airflow 中配置。
您可以在创建环境时停用数据沿袭集成。对于 例如,如果您要覆盖自动行为或选择 稍后启用数据沿袭,在环境完成运行后 创建。
控制台
如需停用数据沿袭集成,请在创建环境页面上执行以下操作:
在高级配置部分,展开 显示高级配置项。
在 Dataplex 数据沿袭集成部分中,选择 停用与 Dataplex 数据沿袭的集成。
gcloud
创建环境后,--disable-cloud-data-lineage-integration
参数可停用数据沿袭集成。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.1-airflow-2.9.1 \
--disable-cloud-data-lineage-integration
您需要将其中的:
ENVIRONMENT_NAME
替换为环境的名称。LOCATION
替换为环境所在的区域。
示例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.1-airflow-2.9.1 \
--disable-cloud-data-lineage-integration
第 13 步:(可选)配置数据加密 (CMEK)
默认情况下,环境中的数据使用 Google 提供的密钥进行加密。
如需使用客户管理的加密密钥 (CMEK) 来加密您环境中的数据,请按照使用客户管理的加密密钥中的说明操作。
第 14 步:(可选)使用自定义环境的存储桶
当您创建环境时,Cloud Composer 会创建一个 自动配置您的环境
作为替代方案,您可以从 项目。您的环境使用此存储桶的方式与 存储桶。
如需使用自定义环境存储桶,请按照 使用自定义环境的存储桶。
第 15 步:(可选)指定环境标签
您可以为自己的环境分配标签 根据这些标签细分结算费用。
控制台
在创建环境页面的标签部分中,执行以下操作:
点击添加标签。
在键和值字段中,指定环境标签的键值对。
gcloud
当您创建环境时,--labels
参数会指定键和值的逗号分隔列表以及环境标签。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.1-airflow-2.9.1 \
--labels LABELS
替换:
- 将
LABELS
替换为环境标签的KEY=VALUE
对列表。
例如:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.1-airflow-2.9.1 \
--labels owner=engineering-team,env=production
API
创建环境时,在环境资源中指定环境的标签。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"labels": {
"LABEL_KEY": "LABEL_VALUE"
}
}
替换:
- 将
LABEL_KEY
替换为环境标签的键。 - 将
LABEL_VALUE
替换为环境标签的值。
例如:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"labels": {
"owner": "engineering-team",
"env": "production"
}
}
Terraform
创建环境时,请在 labels
块(在 config
块外部)中指定标签。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
labels = {
LABEL_KEY = "LABEL_VALUE"
}
}
替换:
- 将
LABEL_KEY
替换为环境标签的键。 - 将
LABEL_VALUE
替换为环境标签的值。
例如:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
labels = {
owner = "engineering-team"
env = "production"
}
}