使用 Terraform 创建环境

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本页是介绍创建环境的主页面的补充内容。该教程演示了如何使用 Terraform 在现有 Google Cloud 项目中为此环境设置 Cloud Composer 环境和用户管理的服务账号。您可以先使用此页面，然后根据需要为您的环境添加更多配置参数。

准备工作

• 本指南假定您有一个 Google Cloud 已配置结算系统的项目：

  • 您可以使用现有项目。
  • 您可以使用 Google Cloud 控制台、Google Cloud CLI、API 或 Python 客户端库创建新项目。
  • 您可以使用 Terraform 创建和管理项目。如需了解详情，请参阅 google_project 资源的 Terraform 文档。

• 安装 gcloud CLI。

使用 Google Cloud进行身份验证

如需使用 Google Cloud进行身份验证，请运行以下命令：

gcloud auth application-default login

如需详细了解此命令，请参阅 gcloud auth application-default。

在 Terraform 中配置 Google 提供程序

指定现有的项目 ID 和资源的默认区域。您的 Cloud Composer 环境使用此区域。

注意 ：google-beta 提供程序支持处于预览版阶段的 Cloud Composer 功能。如果您只想使用 Cloud Composer 的 GA 功能，请使用 google 提供程序，而不是 google-beta。

provider "google-beta" {
  project = "example-project"
  region  = "us-central1"
}

启用 Cloud Composer API

在您的项目中启用 Cloud Composer API：

resource "google_project_service" "composer_api" {
  provider = google-beta
  project = "example-project"
  service = "composer.googleapis.com"
  // Disabling Cloud Composer API might irreversibly break all other
  // environments in your project.
  // This parameter prevents automatic disabling
  // of the API when the resource is destroyed.
  // We recommend to disable the API only after all environments are deleted.
  disable_on_destroy = false
  // this flag is introduced in 5.39.0 version of Terraform. If set to true it will
  //prevent you from disabling composer_api through Terraform if any environment was
  //there in the last 30 days
  check_if_service_has_usage_on_destroy = true
}

在项目中创建环境的服务账号

本指南演示了如何创建环境的服务账号，该账号具有运行 Cloud Composer 环境所需的所有权限。

我们强烈建议您为 Cloud Composer 环境设置用户管理的服务账号，该账号仅具有在 DAG 中运行环境和操作所需的权限，如本指南中所述。

虽然我们不建议使用此方法，但如果您未指定环境的服务账号，则 Cloud Composer 环境将使用默认的 Compute Engine 服务账号。

即将弃用：从 2025 年 4 月 13 日起，新的 Cloud Composer 环境将默认不再使用 Compute Engine 服务账号。您需要明确指定服务账号，请确保在 Terraform 脚本中指定该账号。如需详细了解此变更，请参阅 [版本说明](/composer/docs/release-notes#January_15_2025)。

警告： 您的环境的服务账号对您的项目的权限过于广泛。由于您的环境代表环境的服务账号运行 DAG，因此能够在环境的存储分区中添加和修改 DAG 或修改项目中的工件注册库的用户可以代表环境的服务账号运行其代码，并行使此账号的所有权限。确保您熟悉环境服务账号的安全注意事项，并了解此账号如何与您向项目中各个用户授予的权限和角色互动。

您的环境的服务账号可能需要额外的权限才能访问项目中的其他资源。例如，如果您的 DAG 将数据转移到 BigQuery，此账号可能需要 BigQuery 专有的权限或角色。

定义具有以下角色和权限的自定义服务账号：

resource "google_service_account" "custom_service_account" {
  provider = google-beta
  account_id   = "custom-service-account"
  display_name = "Example Custom Service Account"
}

resource "google_project_iam_member" "custom_service_account" {
  provider = google-beta
  project  = "example-project"
  member   = format("serviceAccount:%s", google_service_account.custom_service_account.email)
  // Role for Public IP environments
  role     = "roles/composer.worker"
}

向 Cloud Composer 服务账号授予所需的权限

注意 ：如需详细了解 Cloud Composer 如何使用此角色，请参阅向 Cloud Composer 服务代理账号授予角色。

向环境的服务账号许可政策添加新的角色绑定。

您将 Cloud Composer Service Agent 账号添加为环境服务账号的新主账号，并向其授予 Cloud Composer v2 API Service Agent Extension 角色。

如果您未使用 Terraform 定义项目的许可政策，请勿使用以下示例。请改用其他方法添加此绑定。

resource "google_service_account_iam_member" "custom_service_account" {
  provider = google-beta
  service_account_id = google_service_account.custom_service_account.name
  role = "roles/composer.ServiceAgentV2Ext"
  member = "serviceAccount:[e-mail]"
}

创建环境

使用 Terraform 创建环境。

该示例演示了如何创建使用自定义服务账号的环境。您可以添加更多参数来定义环境的其他配置参数，例如自定义规模和性能参数或其他 PyPI 软件包。

如需详细了解其他参数，请参阅创建环境。

注意 ：如果您在 image_version 参数中使用版本别名，则在运行 terraform apply 时，您的环境可能会升级到更高版本。为避免出现这种情况，请在此参数中使用特定版本。

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"

  config {

    software_config {
      image_version = "composer-2.11.1-airflow-2.10.2"
    }

    node_config {
      service_account = google_service_account.custom_service_account.email
    }

  }
}

完整 Terraform 脚本

provider "google-beta" {
  project = "example-project"
  region  = "us-central1"
}

resource "google_project_service" "composer_api" {
  provider = google-beta
  project = "example-project"
  service = "composer.googleapis.com"
  // Disabling Cloud Composer API might irreversibly break all other
  // environments in your project.
  disable_on_destroy = false
  // this flag is introduced in 5.39.0 version of Terraform. If set to true it will
  //prevent you from disabling composer_api through Terraform if any environment was
  //there in the last 30 days
  check_if_service_has_usage_on_destroy = true
}

resource "google_service_account" "custom_service_account" {
  provider = google-beta
  account_id   = "custom-service-account"
  display_name = "Example Custom Service Account"
}

resource "google_project_iam_member" "custom_service_account" {
  provider = google-beta
  project  = "example-project"
  member   = format("serviceAccount:%s", google_service_account.custom_service_account.email)
  // Role for Public IP environments
  role     = "roles/composer.worker"
}

resource "google_service_account_iam_member" "custom_service_account" {
  provider = google-beta
  service_account_id = google_service_account.custom_service_account.name
  role = "roles/composer.ServiceAgentV2Ext"
  member = "serviceAccount:[e-mail]"
}

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"

  config {

    software_config {
      image_version = "composer-2.11.1-airflow-2.10.2"
    }

    node_config {
      service_account = google_service_account.custom_service_account.email
    }

  }
}

后续步骤

如需了解如何使用 Terraform 配置环境，请参阅其他文档页面。例如：

• 创建环境
• 替换 Airflow 配置选项
• 设置环境变量
• 安装 Python 依赖项
• 扩缩环境