Terraform を使用して環境を作成する

Cloud Composer 1 | Cloud Composer 2

このページは、環境の作成のメインページに関連しています。Terraform を使用して、既存の Google Cloud プロジェクトでこの環境用に Cloud Composer 環境とユーザー管理サービス アカウントを設定する方法を示します。このページを手始めに、必要に応じて環境の構成パラメータを追加できます。

始める前に

  • このガイドでは、課金が設定済みの Google Cloud プロジェクトがあることを前提としています。

    • 既存のプロジェクトを使用できます。
    • 新しいプロジェクトは、Google Cloud コンソール、Google Cloud CLI、API または Python クライアント ライブラリを使用して作成できます。
    • Terraform を使用してプロジェクトを作成、管理できます。詳細については、google_project リソースの Terraform のドキュメントをご覧ください。

  • gcloud CLI をインストール

Google Cloud での認証

Google Cloud で認証するには、次のコマンドを実行します。

gcloud auth application-default login

このコマンドの詳細については、gcloud auth application-default をご覧ください。

Terraform で Google プロバイダを構成する

既存のプロジェクト ID とリソースのデフォルト リージョンを指定します。Cloud Composer 環境では、そのリージョンが使用されます。

provider "google-beta" {
  project = "example-project"
  region  = "us-central1"
}

Cloud Composer API を有効にする

プロジェクトで Cloud Composer API を有効にします。

resource "google_project_service" "composer_api" {
  provider = google-beta
  project = "example-project"
  service = "composer.googleapis.com"
  // Disabling Cloud Composer API might irreversibly break all other
  // environments in your project.
  // This parameter prevents automatic disabling
  // of the API when the resource is destroyed.
  // We recommend to disable the API only after all environments are deleted.
  disable_on_destroy = false
}

プロジェクトでカスタム サービス アカウントを作成する

デフォルトでは、Cloud Composer 環境は、デフォルトの Compute Engine サービス アカウントを使用します。このガイドでは、Cloud Composer 環境を実行するために必要なすべての権限を持つ新しいサービス アカウントを作成して、もう一つの方法を示します。

次のロールと権限を持つカスタム サービス アカウントを定義します。環境のサービス アカウントに対する権限の詳細については、IAM によるアクセス制御をご覧ください。

resource "google_service_account" "custom_service_account" {
  provider = google-beta
  account_id   = "custom-service-account"
  display_name = "Example Custom Service Account"
}

resource "google_project_iam_member" "custom_service_account" {
  provider = google-beta
  project  = "example-project"
  member   = format("serviceAccount:%s", google_service_account.custom_service_account.email)
  // Role for Public IP environments
  role     = "roles/composer.worker"
}

Cloud Composer サービス アカウントに必要な権限を付与する

環境のサービス アカウントの許可ポリシーに新しいロール バインディングを追加します。

環境のサービス アカウントの新しいプリンシパルとして Cloud Composer サービス エージェント アカウントを追加し、Cloud Composer v2 API サービス エージェント拡張機能のロールを付与します。

Terraform を使用してプロジェクトの許可ポリシーを定義していない場合は、次の例を使用しないでください。代わりに、他の方法でこのバインディングを追加します。

resource "google_service_account_iam_member" "custom_service_account" {
  provider = google-beta
  service_account_id = google_service_account.custom_service_account.name
  role = "roles/composer.ServiceAgentV2Ext"
  member = "serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com"
}

環境の作成

Terraform を使用して環境を作成します。

この例では、カスタム サービス アカウントを使用する環境の作成方法を示しています。カスタム スケーリングやパフォーマンス パラメータ、追加の PyPI パッケージなど、環境の他の構成パラメータを定義するパラメータを追加できます。

他のパラメータの詳細については、環境を作成するをご覧ください。

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"

  config {
    software_config {
      image_version = "composer-2.7.0-airflow-2.7.3"
    }

    node_config {
      service_account = google_service_account.custom_service_account.email
    }

  }
}

Terraform の完全なスクリプト（デフォルト パラメータ）

provider "google-beta" {
  project = "example-project"
  region  = "us-central1"
}

resource "google_project_service" "composer_api" {
  provider = google-beta
  project = "example-project"
  service = "composer.googleapis.com"
  // Disabling Cloud Composer API might irreversibly break all other
  // environments in your project.
  disable_on_destroy = false
}

resource "google_project_iam_member" "service_agent_role" {
  provider = google-beta
  project  = "example-project"
  member   = "serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com"
  role     = "roles/composer.ServiceAgentV2Ext"
}

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"

  config {

    // Add your environment configuration here
    software_config {
      image_version = "composer-2.7.0-airflow-2.7.3"
    }

  }
}

Terraform の完全なスクリプト（カスタム サービス アカウント）

provider "google-beta" {
  project = "example-project"
  region  = "us-central1"
}

resource "google_project_service" "composer_api" {
  provider = google-beta
  project = "example-project"
  service = "composer.googleapis.com"
  // Disabling Cloud Composer API might irreversibly break all other
  // environments in your project.
  disable_on_destroy = false
}

resource "google_service_account" "custom_service_account" {
  provider = google-beta
  account_id   = "custom-service-account"
  display_name = "Example Custom Service Account"
}

resource "google_project_iam_member" "custom_service_account" {
  provider = google-beta
  project  = "example-project"
  member   = format("serviceAccount:%s", google_service_account.custom_service_account.email)
  // Role for Public IP environments
  role     = "roles/composer.worker"
}

resource "google_service_account_iam_member" "custom_service_account" {
  provider = google-beta
  service_account_id = google_service_account.custom_service_account.name
  role = "roles/composer.ServiceAgentV2Ext"
  member = "serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com"
}

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"

  config {
    software_config {
      image_version = "composer-2.7.0-airflow-2.7.3"
    }

    node_config {
      service_account = google_service_account.custom_service_account.email
    }

  }
}

次のステップ

Terraform を使用して環境を構成する方法については、他のドキュメント ページをご覧ください。例: