启用将日志保存到环境存储分区的功能

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本页介绍了如何为新环境或现有环境启用将 Airflow 任务日志保存到环境存储桶的功能。

您可以选择启用任务日志与环境的存储桶的同步。

将日志保存到环境的存储桶简介

将日志保存到环境的存储桶中的工作方式如下：

  • 已停用（默认）：任务日志可在 Cloud Logging 中查看。您可以在 Airflow 界面和 Cloud Logging 中查看这些日志。任务日志文件不会保存到环境的存储桶中。

    如果之前停用了将日志保存到环境存储桶的功能，而在启用该功能后，Airflow 界面中显示的任务日志不会显示仅保存到 Cloud Logging 时生成的日志条目。这些日志不会丢失，仍可在 Cloud Logging 中查看。

  • 已启用：任务日志会同时保存到 Cloud Logging 和环境的存储桶。您可以在 Airflow 界面和 Cloud Logging 中查看这些日志。环境的存储桶会存储包含这些日志的文件。

    如果之前已启用将日志保存到环境存储桶的功能，那么即使您停用该功能，已保存到环境存储桶的日志也不会被删除，而是会继续存储在该存储桶中。

准备工作

  • 从 Cloud Composer 版本 2.8.0 开始，所有环境默认情况下都不会将任务日志存储在环境的存储桶中。您仍然可以在 Cloud Logging 和 Airflow 界面中查看任务日志。

  • 升级环境时，在环境的存储桶中保存日志的配置不会更改。例如，如果您将一个将日志保存到环境存储桶的环境升级到更高版本，该环境会继续将日志保存到环境存储桶。

  • 如需启用或停用此选项，您可以使用 Google Cloud CLI、Cloud Composer API 或 Terraform。无法通过 Google Cloud 控制台更改此选项。

在创建环境时，启用或停用将任务日志保存到环境的存储桶

gcloud

创建环境时，以下实参用于指定 Airflow 任务日志的保存方式：

  • --disable-logs-in-cloud-logging-only 实参用于将 Airflow 任务日志保存到环境的存储桶。
  • --enable-logs-in-cloud-logging-only 实参会禁止将 Airflow 任务日志保存到环境的存储桶。日志仅保存到 Cloud Logging。
gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-logs-in-cloud-logging-only

替换以下内容：

  • ENVIRONMENT_NAME：您的环境的名称。
  • LOCATION：环境所在的区域。

示例：

gcloud composer environments create example-environment \
    --location us-central1 \
    --disable-logs-in-cloud-logging-only

API

创建环境时，在环境 > EnvironmentConfig > DataRetentionConfig > TaskLogsRetentionConfig 资源中，指定 Airflow 任务日志的保存方式：

  • CLOUD_LOGGING_AND_CLOUD_STORAGE 将日志保存到环境的存储桶和 Cloud Logging。
  • CLOUD_LOGGING_ONLY，以便仅在 Cloud Logging 中保存日志。
{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

替换以下内容：

  • ENVIRONMENT_NAME：您的环境的名称。
  • LOCATION：环境所在的区域。
  • PROJECT_ID：项目 ID。

示例：

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Terraform

创建环境时，task_logs_retention_config 块中的 storage_mode 字段用于指定 Airflow 任务日志的保存方式：

  • CLOUD_LOGGING_AND_CLOUD_STORAGE 将日志保存到环境的存储桶和 Cloud Logging。
  • CLOUD_LOGGING_ONLY，以便仅在 Cloud Logging 中保存日志。
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }

替换以下内容：

  • ENVIRONMENT_NAME：您的环境的名称。
  • LOCATION：环境所在的区域。

示例：

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }
}

为现有环境启用或停用将任务日志保存到环境的存储桶的功能

gcloud

更新环境时，以下参数可用于启用或停用将 Airflow 任务日志保存到环境的存储桶的功能：

  • --disable-logs-in-cloud-logging-only 实参用于将 Airflow 任务日志保存到环境的存储桶。日志会保存到环境的存储桶和 Cloud Logging。
  • --enable-logs-in-cloud-logging-only 实参会禁止将 Airflow 任务日志保存到环境的存储桶。日志仅保存到 Cloud Logging。

如需将 Airflow 日志保存在环境的存储桶中，请执行以下操作：

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-logs-in-cloud-logging-only

替换以下内容：

  • ENVIRONMENT_NAME：您的环境的名称。
  • LOCATION：环境所在的区域。

示例：

gcloud composer environments update example-environment \
    --location us-central1 \
    --disable-logs-in-cloud-logging-only

API

  1. 构建 environments.patch API 请求。

  2. 在此请求中：

    1. 在 updateMask 参数中，指定 config.dataRetentionConfig.taskLogsRetentionConfig.storageMode 掩码。

    2. 在请求正文中，指定 Airflow 任务日志的保存方式：

      • CLOUD_LOGGING_AND_CLOUD_STORAGE 将日志保存到环境的存储桶和 Cloud Logging。
      • CLOUD_LOGGING_ONLY，以便仅在 Cloud Logging 中保存日志。
{
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

示例：

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.dataRetentionConfig.taskLogsRetentionConfig.storageMode

{
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Terraform

在 task_logs_retention_config 块中，在 storage_mode 字段中指定 Airflow 任务日志的保存方式：

  • CLOUD_LOGGING_AND_CLOUD_STORAGE 将日志保存到环境的存储桶和 Cloud Logging。
  • CLOUD_LOGGING_ONLY，以便仅在 Cloud Logging 中保存日志。
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }

替换以下内容：

  • ENVIRONMENT_NAME：您的环境的名称。
  • LOCATION：环境所在的区域。

示例：

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }
}

后续步骤