允许将日志保存到环境的存储桶

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

本页面介绍了如何将 Airflow 任务日志保存到环境的 存储桶。

您可以选择启用将任务日志同步到 环境的存储桶中。

准备工作

  • 从 Cloud Composer 2.8.0 版开始,默认情况下,所有环境都不会将任务日志存储在环境的存储桶中。您仍可以在 Cloud Logging 和 Airflow 界面中查看任务日志。

  • 如果您启用此功能,系统会将日志保存到 Cloud Logging 和环境的存储桶中。

  • 升级环境时,用于在 环境的存储桶不会发生变化例如,如果您将将日志保存到环境存储桶的环境升级到更高版本,该环境会继续将日志保存到环境存储桶。

  • 如果您禁止将任务日志保存到环境的存储桶, 尚未删除 。

  • 如需启用或停用此选项,您可以使用 Google Cloud CLI, Cloud Composer API,简称 Terraform您无法通过 Google Cloud 控制台更改此选项。

允许或禁止在创建环境时将任务日志保存到环境的存储桶

gcloud

创建环境时,以下参数指定了必须如何保存 Airflow 任务日志:

  • --disable-logs-in-cloud-logging-only 参数用于保存 Airflow 任务 将日志写入环境的存储桶
  • --enable-logs-in-cloud-logging-only 参数会停用将 Airflow 任务日志保存到环境存储桶的功能。日志只会保存到 Cloud Logging。
gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-logs-in-cloud-logging-only

替换以下内容:

  • ENVIRONMENT_NAME:您的环境的名称。
  • LOCATION:环境所在的区域。

示例:

gcloud composer environments create example-environment \
    --location us-central1 \
    --disable-logs-in-cloud-logging-only

API

创建环境时,请在 Environment > EnvironmentConfig > DataRetentionConfig > TaskLogsRetentionConfig 资源中,指定必须如何保存 Airflow 任务日志:

  • CLOUD_LOGGING_AND_CLOUD_STORAGE 将日志保存到环境的存储桶和 Cloud Logging。
  • CLOUD_LOGGING_ONLY,用于仅在 Cloud Logging 中保存日志。
{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

替换以下内容:

  • ENVIRONMENT_NAME:您的环境的名称。
  • LOCATION:环境所在的区域。
  • PROJECT_ID项目 ID

示例:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Terraform

创建环境时,storage_mode task_logs_retention_config 代码块用于指定 Airflow 任务日志的 已保存:

  • CLOUD_LOGGING_AND_CLOUD_STORAGE 将日志保存到环境的存储桶和 Cloud Logging。
  • CLOUD_LOGGING_ONLY,用于仅在 Cloud Logging 中保存日志。
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }

替换以下内容:

  • ENVIRONMENT_NAME:您的环境的名称。
  • LOCATION:环境所在的区域。

示例:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }
}

为现有环境启用或停用将任务日志保存到环境存储桶的功能

gcloud

更新环境时,以下参数可用于启用或停用将 Airflow 任务日志保存到环境的存储桶:

  • --disable-logs-in-cloud-logging-only 参数用于保存 Airflow 任务 将日志写入环境的存储桶日志会保存到环境的存储桶和 Cloud Logging。
  • --enable-logs-in-cloud-logging-only 参数会停用将 Airflow 任务日志保存到环境存储桶的功能。日志仅会保存到 Cloud Logging。

如需将 Airflow 日志保存在环境的存储桶中,请执行以下操作:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-logs-in-cloud-logging-only

替换以下内容:

  • ENVIRONMENT_NAME:您的环境的名称。
  • LOCATION:环境所在的区域。

示例:

gcloud composer environments update example-environment \
    --location us-central1 \
    --disable-logs-in-cloud-logging-only

API

  1. 构建 environments.patch API 请求。

  2. 在此请求中:

    1. updateMask 参数中,指定 config.dataRetentionConfig.taskLogsRetentionConfig.storageMode

    2. 在请求正文中指定 Airflow 任务日志的必须采用何种格式 已保存:

      • CLOUD_LOGGING_AND_CLOUD_STORAGE,用于将日志保存到环境的 和 Cloud Logging
      • CLOUD_LOGGING_ONLY,以便仅将日志保存在 Cloud Logging 中。
{
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

示例:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.dataRetentionConfig.taskLogsRetentionConfig.storageMode

{
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Terraform

task_logs_retention_config 块的 storage_mode 字段中,指定必须如何保存 Airflow 任务日志:

  • CLOUD_LOGGING_AND_CLOUD_STORAGE 将日志保存到环境的存储桶和 Cloud Logging。
  • CLOUD_LOGGING_ONLY,用于仅在 Cloud Logging 中保存日志。
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }

替换以下内容:

  • ENVIRONMENT_NAME:您的环境的名称。
  • LOCATION:环境所在的区域。

示例:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }
}

后续步骤