Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3
本页面介绍了如何将 Airflow 任务日志保存到环境的 存储桶。
您可以选择启用将任务日志同步到 环境的存储桶中。
准备工作
从 Cloud Composer 2.8.0 版开始，所有环境 默认将任务日志存储在环境的存储桶中。任务日志仍然存在 可在 Cloud Logging 和 Airflow 界面中找到。
如果启用此功能，日志会同时保存到 Cloud Logging 和 环境的存储桶
升级环境时，用于在 环境的存储桶不会发生变化例如，如果您将 将日志保存到环境存储桶的更高版本的环境、 环境持续将日志保存到环境的存储桶中。
如果您禁止将任务日志保存到环境的存储桶， 尚未删除 。
如需启用或停用此选项，您可以使用 Google Cloud CLI， Cloud Composer API，简称 Terraform您无法更改此选项 Google Cloud 控制台
允许或禁止在创建环境时将任务日志保存到环境的存储桶
gcloud
当您创建环境时，以下参数指定 Airflow 如何 必须保存的任务日志：
--disable-logs-in-cloud-logging-only参数用于保存 Airflow 任务 将日志写入环境的存储桶- 使用
--enable-logs-in-cloud-logging-only参数禁止保存 Airflow 任务 将日志写入环境的存储桶日志只会保存到 Cloud Logging。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--disable-logs-in-cloud-logging-only
替换以下内容：
ENVIRONMENT_NAME：您的环境的名称。LOCATION：环境所在的区域。
示例：
gcloud composer environments create example-environment \
--location us-central1 \
--disable-logs-in-cloud-logging-only
API
创建环境时，请在环境 > EnvironmentConfig > DataRetentionConfig > TaskLogsRetentionConfig 资源、 指定必须如何保存 Airflow 任务日志：
CLOUD_LOGGING_AND_CLOUD_STORAGE（用于将日志保存到环境的存储桶） 和 Cloud LoggingCLOUD_LOGGING_ONLY，用于仅将日志保存在 Cloud Logging 中。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"dataRetentionConfig": {
"taskLogsRetentionConfig": {
"storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}
替换以下内容：
ENVIRONMENT_NAME：您的环境的名称。LOCATION：环境所在的区域。PROJECT_ID：项目 ID。
示例：
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"dataRetentionConfig": {
"taskLogsRetentionConfig": {
"storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}
Terraform
创建环境时，storage_mode
task_logs_retention_config 代码块用于指定 Airflow 任务日志的
已保存：
CLOUD_LOGGING_AND_CLOUD_STORAGE（用于将日志保存到环境的存储桶） 和 Cloud LoggingCLOUD_LOGGING_ONLY，用于仅将日志保存在 Cloud Logging 中。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
data_retention_config {
task_logs_retention_config {
storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
替换以下内容：
ENVIRONMENT_NAME：您的环境的名称。LOCATION：环境所在的区域。
示例：
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
data_retention_config {
task_logs_retention_config {
storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}
为现有环境启用或停用将任务日志保存到环境存储桶的功能
gcloud
更新环境时，以下参数可启用或停用 将 Airflow 任务日志保存到环境的存储桶：
--disable-logs-in-cloud-logging-only参数用于保存 Airflow 任务 将日志写入环境的存储桶日志会保存到环境的存储桶和 Cloud Logging。- 使用
--enable-logs-in-cloud-logging-only参数禁止保存 Airflow 任务 将日志写入环境的存储桶日志只会保存到 Cloud Logging。
如需将 Airflow 日志保存到环境的存储桶中，请执行以下操作：
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--disable-logs-in-cloud-logging-only
替换以下内容：
ENVIRONMENT_NAME：您的环境的名称。LOCATION：环境所在的区域。
示例：
gcloud composer environments update example-environment \
--location us-central1 \
--disable-logs-in-cloud-logging-only
API
构建
environments.patchAPI 请求。在此请求中：
在
updateMask参数中，指定config.dataRetentionConfig.taskLogsRetentionConfig.storageMode。在请求正文中指定 Airflow 任务日志的必须采用何种格式 已保存：
CLOUD_LOGGING_AND_CLOUD_STORAGE，用于将日志保存到环境的 和 Cloud LoggingCLOUD_LOGGING_ONLY，用于仅将日志保存在 Cloud Logging 中。
{
"config": {
"dataRetentionConfig": {
"taskLogsRetentionConfig": {
"storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}
示例：
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.dataRetentionConfig.taskLogsRetentionConfig.storageMode
{
"config": {
"dataRetentionConfig": {
"taskLogsRetentionConfig": {
"storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}
Terraform
在 task_logs_retention_config 代码块的 storage_mode 字段中，指定必须如何保存 Airflow 任务日志：
CLOUD_LOGGING_AND_CLOUD_STORAGE（用于将日志保存到环境的存储桶） 和 Cloud LoggingCLOUD_LOGGING_ONLY，用于仅将日志保存在 Cloud Logging 中。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
data_retention_config {
task_logs_retention_config {
storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
替换以下内容：
ENVIRONMENT_NAME：您的环境的名称。LOCATION：环境所在的区域。
示例：
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
data_retention_config {
task_logs_retention_config {
storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}