使用自定义环境的存储分区

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

您可以在创建环境时指定自定义 Cloud Storage 存储分区作为环境的存储分区。您的环境使用此存储分区的方式与默认环境的存储分区相同,并且系统不会创建默认环境的存储分区。

借助自定义存储分区,您可以:

  • 使用符合您要求的存储分区配置。
  • 使用持续存在的存储分区进行定期开发或测试。
  • 重复使用之前环境中的现有存储分区,并保留 CI/CD 和数据集成。
  • 删除并重新创建环境,而无需在存储分区之间传输数据。
  • 使用所需数据(例如 DAG 文件)预先填充自定义存储分区,然后创建环境。

准备工作

  • 自定义存储分区必须与环境位于同一区域。不支持多区域存储分区和双区域存储分区。
  • 自定义存储分区和环境必须位于同一项目中。
  • 自定义存储分区必须采用 Standard 存储类别
  • 自定义存储分区不得应用保留政策或保留政策锁定
  • 您无法同时将同一自定义存储分区用于多个环境。如果指定存储分区已被其他环境使用,Cloud Composer 会生成错误。您可以删除一个环境,然后将同一存储分区用于另一个环境。

  • 当 Cloud Storage 存储分区用于创建环境时,Cloud Composer 不会向其添加任何缺少的 IAM 权限。确保环境的服务账号对存储分区拥有Composer Worker 角色的权限

使用自定义存储分区创建环境

控制台

如需在创建环境时指定自定义 Cloud Storage 存储分区,请执行以下操作:

  1. 创建环境页面的高级配置部分中,点击显示高级配置
  2. 选择自定义存储分区
  3. 存储分区名称字段中,指定或选择一个存储分区。

gcloud

创建环境时,--storage-bucket 参数会指定环境的自定义存储分区。

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --storage-bucket CUSTOM_STORAGE_BUCKET

替换以下内容:

  • ENVIRONMENT_NAME:您的环境的名称。
  • LOCATION:环境所在的区域。
  • CUSTOM_STORAGE_BUCKET:Cloud Storage 存储分区的名称。您还可以指定存储分区 URI(带有 gs:// 前缀)。

示例:

gcloud composer environments create example-environment \
    --location us-cental1 \
    --storage-bucket us-central1-example-bucket

API

创建环境时,请在环境 > StorageConfig 资源中为您的环境指定一个自定义存储分区。

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "storageConfig": {
    "bucket": "CUSTOM_STORAGE_BUCKET"
  }
}

替换以下内容:

  • PROJECT_ID项目 ID
  • LOCATION:环境所在的区域。
  • ENVIRONMENT_NAME:您的环境的名称。
  • CUSTOM_STORAGE_BUCKET:Cloud Storage 存储分区的名称(不带 gs:// 前缀)。

示例:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "storageConfig": {
    "bucket": "us-central1-example-bucket"
  }
}

Terraform

创建环境时,storage_config 块中的 bucket 字段会指定环境的自定义存储分区。

resource "google_composer_environment" "example" {
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  storage_config {

    bucket = CUSTOM_STORAGE_BUCKET

  }
}

替换以下内容:

  • ENVIRONMENT_NAME:您的环境的名称。
  • LOCATION:环境所在的区域。
  • CUSTOM_STORAGE_BUCKET:Cloud Storage 存储分区的名称。您还可以指定存储分区 URI(带有 gs:// 前缀)。

示例:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  storage_config {

    bucket = "gs://us-central1-example-bucket"

  }
}

后续步骤