Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
En esta página, se explica cómo habilitar el guardado de registros de tareas de Airflow en la carpeta bucket para un entorno nuevo o existente.
Como opción, puedes habilitar la sincronización de los registros de tareas con el bucket del entorno.
Antes de comenzar
A partir de la versión 2.8.0 de Cloud Composer, ningún entorno almacenar registros de tareas en el bucket del entorno de forma predeterminada. Los registros de tareas aún están disponibles en Cloud Logging y la IU de Airflow.
Si habilitas esta función, los registros se guardan en Cloud Logging y en en el bucket del entorno.
Cuando actualizas tu entorno, no se cambia la configuración para guardar registros en el bucket del entorno. Por ejemplo, si actualizas un que guardó registros en el bucket del entorno en una versión posterior el entorno sigue guardando registros en su bucket.
Si inhabilitas el guardado de registros de tareas en el bucket del entorno, los registros que ya se guardaron en el bucket del entorno no se borran automáticamente.
Para habilitar o inhabilitar esta opción, puedes usar Google Cloud CLI, la API de Cloud Composer o Terraform. No es posible cambiar esta opción a través de la consola de Google Cloud.
Habilita o inhabilita el guardado de registros de tareas en el bucket del entorno cuando creas un entorno
gcloud
Cuando creas un entorno, los siguientes argumentos especifican cómo se deben guardar los registros de tareas de Airflow:
- El argumento
--disable-logs-in-cloud-logging-only
permite guardar los registros de tareas de Airflow en el bucket del entorno. - El argumento
--enable-logs-in-cloud-logging-only
inhabilita el guardado de la tarea de Airflow. en el bucket del entorno. Los registros solo se guardan en Cloud Logging.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--disable-logs-in-cloud-logging-only
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre de tu entorno.LOCATION
: Es la región en la que se encuentra el entorno.
Ejemplo:
gcloud composer environments create example-environment \
--location us-central1 \
--disable-logs-in-cloud-logging-only
API
Cuando creas un entorno, en el recurso Environment > EnvironmentConfig > DataRetentionConfig > TaskLogsRetentionConfig, especifica cómo se deben guardar los registros de tareas de Airflow:
CLOUD_LOGGING_AND_CLOUD_STORAGE
para guardar registros en el bucket del entorno y Cloud Logging.CLOUD_LOGGING_ONLY
para guardar registros solo en Cloud Logging
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"dataRetentionConfig": {
"taskLogsRetentionConfig": {
"storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre de tu entorno.LOCATION
: Es la región en la que se encuentra el entorno.PROJECT_ID
: El ID del proyecto
Ejemplo:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"dataRetentionConfig": {
"taskLogsRetentionConfig": {
"storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}
Terraform
Cuando creas un entorno, el campo storage_mode
en el bloque task_logs_retention_config
especifica cómo se deben guardar los registros de tareas de Airflow:
CLOUD_LOGGING_AND_CLOUD_STORAGE
para guardar registros en el bucket del entorno y Cloud Logging.CLOUD_LOGGING_ONLY
para guardar registros solo en Cloud Logging
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
data_retention_config {
task_logs_retention_config {
storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre de tu entorno.LOCATION
: Es la región en la que se encuentra el entorno.
Ejemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
data_retention_config {
task_logs_retention_config {
storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}
Habilita o inhabilita el guardado de registros de tareas en el bucket del entorno para un entorno existente
gcloud
Cuando actualizas un entorno, los siguientes argumentos habilitan o inhabilitan Guardar los registros de tareas de Airflow en el bucket del entorno:
- El argumento
--disable-logs-in-cloud-logging-only
permite guardar la tarea de Airflow. en el bucket del entorno. Los registros se guardan en el bucket del entorno y en Cloud Logging. - El argumento
--enable-logs-in-cloud-logging-only
inhabilita el guardado de la tarea de Airflow. en el bucket del entorno. Los registros solo se guardan en Cloud Logging.
Para guardar los registros de Airflow en el bucket del entorno, sigue estos pasos:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--disable-logs-in-cloud-logging-only
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre de tu entorno.LOCATION
: Es la región en la que se encuentra el entorno.
Ejemplo:
gcloud composer environments update example-environment \
--location us-central1 \
--disable-logs-in-cloud-logging-only
API
Realiza una solicitud a la API de
environments.patch
.En esta solicitud, realiza lo siguiente:
En el parámetro
updateMask
, especifica laconfig.dataRetentionConfig.taskLogsRetentionConfig.storageMode
máscara.En el cuerpo de la solicitud, especifica cómo se deben guardar los registros de tareas de Airflow:
CLOUD_LOGGING_AND_CLOUD_STORAGE
para guardar registros en el bucket del entorno y en Cloud Logging.CLOUD_LOGGING_ONLY
para guardar registros solo en Cloud Logging.
{
"config": {
"dataRetentionConfig": {
"taskLogsRetentionConfig": {
"storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}
Ejemplo:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.dataRetentionConfig.taskLogsRetentionConfig.storageMode
{
"config": {
"dataRetentionConfig": {
"taskLogsRetentionConfig": {
"storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}
Terraform
En el bloque task_logs_retention_config
, en el campo storage_mode
, especifica cómo se deben guardar los registros de tareas de Airflow:
CLOUD_LOGGING_AND_CLOUD_STORAGE
para guardar registros en el bucket del entorno y Cloud Logging.CLOUD_LOGGING_ONLY
para guardar registros solo en Cloud Logging
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
data_retention_config {
task_logs_retention_config {
storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
Reemplaza lo siguiente:
ENVIRONMENT_NAME
: Es el nombre de tu entorno.LOCATION
: Es la región en la que se encuentra el entorno.
Ejemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
data_retention_config {
task_logs_retention_config {
storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"
}
}
}
}