设置环境变量

Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3

本页面介绍如何在 Cloud Composer 环境中设置环境变量。

Cloud Composer 使用环境变量来更改 Airflow 或 DAG 的运行时行为。

环境变量具有持久性。您指定一个环境变量后，Airflow 会一直使用它，直到您从环境中移除该变量。

例如，Cloud Composer 使用 Apache Airflow SendGrid 模块发送电子邮件通知。如需配置电子邮件通知，您需要设置 SENDGRID_API_KEY 和 SENDGRID_MAIL_FROM 环境变量。

注意：Cloud Composer 不使用环境变量来配置 Airflow。使用 Airflow 配置替换配置 Airflow。

姓名格式

环境变量必须与正则表达式 [a-zA-Z_][a-zA-Z0-9_]* 匹配。

Airflow 配置选项

无法指定用于更改 Apache Airflow 配置选项的变量。

这些变量不能使用 AIRFLOW__{SECTION}__{KEY} 格式，也不能匹配正则表达式 AIRFLOW__[A-Z0-9_]+__[A-Z0-9_]+。例如，无法设置 AIRFLOW__WEBSERVER__DAG_DEFAULT_VIEW。

您可以替换 Airflow 配置选项。

预留变量

Cloud Composer 预留了以下变量名称。时间是 您无法使用这些名称创建变量。

• AIRFLOW_DATABASE_VERSION
• AIRFLOW_HOME
• AIRFLOW_SRC_DIR
• AIRFLOW_WEBSERVER
• AUTO_GKE
• CLOUDSDK_METRICS_ENVIRONMENT
• CLOUD_LOGGING_ONLY
• COMPOSER_ENVIRONMENT
• COMPOSER_GKE_LOCATION
• COMPOSER_GKE_NAME
• COMPOSER_GKE_ZONE
• COMPOSER_LOCATION
• COMPOSER_OPERATION_UUID
• COMPOSER_PYTHON_VERSION
• COMPOSER_VERSION
• CONTAINER_NAME
• C_FORCE_ROOT
• DAGS_FOLDER
• GCP_PROJECT
• GCP_TENANT_PROJECT
• GCSFUSE_EXTRACTED
• GCS_BUCKET
• GKE_CLUSTER_NAME
• GKE_IN_TENANT
• GOOGLE_APPLICATION_CREDENTIALS
• MAJOR_VERSION
• MINOR_VERSION
• PATH
• PIP_DISABLE_PIP_VERSION_CHECK
• PORT
• PROJECT_ID
• PYTHONPYCACHEPREFIX
• PYTHONWARNINGS
• SQL_DATABASE
• SQL_HOST
• SQL_INSTANCE
• SQL_PASSWORD
• SQL_PROJECT
• SQL_REGION
• SQL_USER

注意：Cloud Composer 将这些预留名称用于其内部进程使用的变量。请勿在您的 DAG 中引用预留名称。这些变量的值随时可能变动，恕不另行通知。

为新环境设置环境变量

您可以在创建环境时指定环境变量。如需了解详情，请参阅创建环境。

为现有环境设置环境变量

控制台

如需为现有环境设置环境变量，请执行以下操作：

1. 在 Google Cloud 控制台中，前往环境页面。

   转到“环境”

2. 在环境列表中，点击您的环境名称。环境详情页面会打开。

3. 转到环境变量标签页，然后点击修改。

4. 为您的环境添加、更改或删除环境变量：

   • 在名称字段中，指定变量名称。
   • 在值字段中，指定变量值。
   • 如需添加额外的变量，请点击添加环境变量。
   • 如需删除变量，请将指针悬停在变量上，然后点击删除项。

gcloud

以下参数可控制环境变量：

• --update-env-variables 指定要创建或更新的环境变量的逗号分割列表。

• --remove-env-variables 指定要删除的环境变量逗号分割列表。

• --clear-env-variables 会删除所有现有环境变量。

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --update-env-variables=NAME=VALUE

替换：

• ENVIRONMENT_NAME 替换为环境的名称。
• LOCATION 替换为环境所在的区域。
• 将 NAME 替换为您要创建或更新的变量名称。
• 将 VALUE 替换为变量的值。
• 如需添加多个变量，请用英文逗号分隔定义：NAME=VALUE,NAME=VALUE,...。

例如：

gcloud composer environments update \
  example-environment \
  --location us-central1 \
  --update-env-variables=EXAMPLE_VARIABLE=True,ANOTHER_VARIABLE=test

API

构建 environments.patch API 请求。

在此请求中：

1. 在 updateMask 参数中，指定 config.softwareConfig.envVariables 个蒙版，用于替换所有现有 变量。未指定的变量会被删除。

2. 在请求正文中，指定变量及其值：

   {
     "config": {
       "softwareConfig": {
         "envVariables": {
           "VAR_NAME": "VAR_VALUE"
         }
       }
     }
   }
   

   替换：

   • 将 VAR_NAME 替换为环境变量的名称。
   • 将 VAR_VALUE 替换为环境变量的值。
   • 如需添加多个变量，请在 envVariables 中添加变量的额外条目。

例如：

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.envVariables
{
  "config": {
    "softwareConfig": {
      "envVariables": {
        "EXAMPLE_VARIABLE": "True",
        "ANOTHER_VARIABLE": "test"
      }
    }
  }
}

Terraform

software_config 块中的 env_variables 块可用于指定环境变量。

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    software_config {

      env_variables = {
        VAR_NAME = "VAR_VALUE"
      }

    }
  }
}

替换：

• ENVIRONMENT_NAME 替换为环境的名称。
• LOCATION 替换为环境所在的区域。
• 将 VAR_NAME 替换为环境变量的名称。
• 将 VAR_VALUE 替换为环境变量的值。
• 如需添加多个变量，请在 env_variables 中添加变量的额外条目。

例如：

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    software_config {

      env_variables = {
        EXAMPLE_VARIABLE = "True"
        ANOTHER_VARIABLE = "test"
      }
    }
  }
}

后续步骤

• 替换 Airflow 配置选项
• 更新环境