使用 Terraform 创建环境

Cloud Composer 1 | Cloud Composer 2

本页面是有关创建环境的主页面的配套说明。它演示了如何使用 Terraform 在现有 Google Cloud 项目中为此环境设置 Cloud Composer 环境和用户代管式服务帐号。您可以从此页面入手，然后根据需要为您的环境添加更多配置参数。

准备工作

• 本指南假定您有一个已配置结算的 Google Cloud 项目：

  • 您可以使用现有项目。
  • 您可以使用 Google Cloud 控制台、Google Cloud CLI、API 或 Python 客户端库创建新项目。
  • 您可以使用 Terraform 创建和管理项目。如需了解详情，请参阅关于 google_project 资源的 Terraform 文档。

• 安装 gcloud CLI。

向 Google Cloud 进行身份验证

如需进行 Google Cloud 身份验证，请运行以下命令：

gcloud auth application-default login

如需详细了解此命令，请参阅 gcloud auth application-default。

在 Terraform 中配置 Google 提供方

指定现有项目 ID 和资源默认区域。您的 Cloud Composer 环境使用此区域。

注意 ：google-beta 提供方支持预览版中的 Cloud Composer 功能。如果您只想使用 Cloud Composer 的正式版功能，请使用 google 提供程序，而不是 google-beta。

provider "google-beta" {
  project = "example-project"
  region  = "us-central1"
}

启用 Cloud Composer API

在项目中启用 Cloud Composer API：

resource "google_project_service" "composer_api" {
  provider = google-beta
  project = "example-project"
  service = "composer.googleapis.com"
  // Disabling Cloud Composer API might irreversibly break all other
  // environments in your project.
  // This parameter prevents automatic disabling
  // of the API when the resource is destroyed.
  // We recommend to disable the API only after all environments are deleted.
  disable_on_destroy = false
}

在项目中创建自定义服务帐号

默认情况下，Cloud Composer 环境使用默认的 Compute Engine 帐号。本指南演示了另一种方法，即创建新的服务帐号，该服务帐号具有运行 Cloud Composer 环境所需的所有权限。

注意 ：此服务帐号可能需要额外的权限才能访问项目中的其他资源。例如，如果您的 DAG 将数据转移到 BigQuery 中，则此帐号可能需要特定于 BigQuery 的权限或角色。

定义具有以下角色和权限的自定义服务帐号。如需详细了解环境服务帐号的权限，请参阅使用 IAM 进行访问权限控制。

resource "google_service_account" "custom_service_account" {
  provider = google-beta
  account_id   = "custom-service-account"
  display_name = "Example Custom Service Account"
}

resource "google_project_iam_member" "custom_service_account" {
  provider = google-beta
  project  = "example-project"
  member   = format("serviceAccount:%s", google_service_account.custom_service_account.email)
  // Role for Public IP environments
  role     = "roles/composer.worker"
}

向 Cloud Composer 服务账号授予所需的权限

注意 ：如需详细了解 Cloud Composer 如何使用此角色，请参阅向 Cloud Composer Service Agent 帐号授予角色。

向环境的服务帐号 allow policy 添加新的角色绑定。

为此，您需要将 Cloud Composer Service Agent 帐号添加为环境服务帐号的新主帐号，并向该帐号授予 Cloud Composer v2 API Service Agent Extension 角色。

如果您不使用 Terraform 定义项目的允许政策，请勿使用以下示例。请改用其他方法添加此绑定。

resource "google_service_account_iam_member" "custom_service_account" {
  provider = google-beta
  service_account_id = google_service_account.custom_service_account.name
  role = "roles/composer.ServiceAgentV2Ext"
  member = "serviceAccount:[e-mail]"
}

创建环境

使用 Terraform 创建环境。

该示例演示了如何创建使用自定义服务帐号的环境。您可以添加更多参数来定义环境的其他配置参数，例如自定义规模和性能参数或其他 PyPI 软件包。

如需详细了解其他参数，请参阅创建环境。

注意 ：如果您在 image_version 参数中使用版本别名，则当您运行 terraform apply 时，您的环境可能会升级到更高版本。为避免出现这种情况，请在此参数中使用特定版本。

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"

  config {
    software_config {
      image_version = "composer-2.5.1-airflow-2.6.3"
    }

    node_config {
      service_account = google_service_account.custom_service_account.email
    }

  }
}

完整的 Terraform 脚本（默认参数）

provider "google-beta" {
  project = "example-project"
  region  = "us-central1"
}

resource "google_project_service" "composer_api" {
  provider = google-beta
  project = "example-project"
  service = "composer.googleapis.com"
  // Disabling Cloud Composer API might irreversibly break all other
  // environments in your project.
  disable_on_destroy = false
}

resource "google_project_iam_member" "service_agent_role" {
  provider = google-beta
  project  = "example-project"
  member   = "serviceAccount:[e-mail]"
  role     = "roles/composer.ServiceAgentV2Ext"
}

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"

  config {

    // Add your environment configuration here
    software_config {
      image_version = "composer-2.5.1-airflow-2.6.3"
    }

  }
}

完整的 Terraform 脚本（自定义服务帐号）

provider "google-beta" {
  project = "example-project"
  region  = "us-central1"
}

resource "google_project_service" "composer_api" {
  provider = google-beta
  project = "example-project"
  service = "composer.googleapis.com"
  // Disabling Cloud Composer API might irreversibly break all other
  // environments in your project.
  disable_on_destroy = false
}

resource "google_service_account" "custom_service_account" {
  provider = google-beta
  account_id   = "custom-service-account"
  display_name = "Example Custom Service Account"
}

resource "google_project_iam_member" "custom_service_account" {
  provider = google-beta
  project  = "example-project"
  member   = format("serviceAccount:%s", google_service_account.custom_service_account.email)
  // Role for Public IP environments
  role     = "roles/composer.worker"
}

resource "google_service_account_iam_member" "custom_service_account" {
  provider = google-beta
  service_account_id = google_service_account.custom_service_account.name
  role = "roles/composer.ServiceAgentV2Ext"
  member = "serviceAccount:[e-mail]"
}

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"

  config {
    software_config {
      image_version = "composer-2.5.1-airflow-2.6.3"
    }

    node_config {
      service_account = google_service_account.custom_service_account.email
    }

  }
}

后续步骤

如需了解如何使用 Terraform 配置环境，请参阅其他文档页面。例如：

• 创建环境
• 替换 Airflow 配置选项
• 设置环境变量
• 安装 Python 依赖项
• 扩缩环境
• 配置已获授权的网络