Habilita el guardado de registros en el bucket del entorno

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página, se explica cómo habilitar el guardado de registros de tareas de Airflow en el bucket del entorno para un entorno nuevo o existente.

Como opción, puedes habilitar la sincronización de los registros de tareas con el bucket del entorno.

Antes de comenzar

  • A partir de la versión 2.8.0 de Cloud Composer, todos los entornos no almacenan registros de tareas en el bucket del entorno de forma predeterminada. Los registros de tareas aún están disponibles en Cloud Logging y la IU de Airflow.

  • Si habilitas esta función, los registros se guardarán en Cloud Logging y en el bucket del entorno.

  • Cuando actualizas tu entorno, no se cambia la configuración para guardar registros en el bucket del entorno. Por ejemplo, si actualizas un entorno que guardó registros en el bucket del entorno a una versión posterior, el entorno seguirá guardando registros en el bucket del entorno.

  • Si inhabilitas el guardado de registros de tareas en el bucket del entorno, los registros que ya se guardaron en el bucket del entorno no se borran automáticamente.

  • Para habilitar o inhabilitar esta opción, puedes usar Google Cloud CLI, la API de Cloud Composer o Terraform. No es posible cambiar esta opción a través de la consola de Google Cloud.

Habilita o inhabilita el guardado de registros de tareas en el bucket del entorno cuando creas un entorno

gcloud

Cuando creas un entorno, los siguientes argumentos especifican cómo se deben guardar los registros de tareas de Airflow:

  • El argumento --disable-logs-in-cloud-logging-only permite guardar los registros de tareas de Airflow en el bucket del entorno.
  • El argumento --enable-logs-in-cloud-logging-only inhabilita el guardado de registros de tareas de Airflow en el bucket del entorno. Los registros solo se guardan en Cloud Logging.
gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-logs-in-cloud-logging-only

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.

Ejemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --disable-logs-in-cloud-logging-only

API

Cuando creas un entorno, en el recurso Environment > EnvironmentConfig > DataRetentionConfig > TaskLogsRetentionConfig, especifica cómo se deben guardar los registros de tareas de Airflow:

  • CLOUD_LOGGING_AND_CLOUD_STORAGE para guardar registros en el bucket del entorno y en Cloud Logging.
  • CLOUD_LOGGING_ONLY para guardar registros solo en Cloud Logging.
{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.
  • PROJECT_ID: El ID del proyecto.

Ejemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Terraform

Cuando creas un entorno, el campo storage_mode en el bloque task_logs_retention_config especifica cómo se deben guardar los registros de tareas de Airflow:

  • CLOUD_LOGGING_AND_CLOUD_STORAGE para guardar registros en el bucket del entorno y en Cloud Logging.
  • CLOUD_LOGGING_ONLY para guardar registros solo en Cloud Logging.
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }
}

Habilita o inhabilita el guardado de registros de tareas en el bucket del entorno para un entorno existente

gcloud

Cuando actualizas un entorno, los siguientes argumentos habilitan o inhabilitan la opción de guardar registros de tareas de Airflow en el bucket del entorno:

  • El argumento --disable-logs-in-cloud-logging-only permite guardar los registros de tareas de Airflow en el bucket del entorno. Los registros se guardan en el bucket del entorno y en Cloud Logging.
  • El argumento --enable-logs-in-cloud-logging-only inhabilita el guardado de registros de tareas de Airflow en el bucket del entorno. Los registros solo se guardan en Cloud Logging.

Para guardar los registros de Airflow en el bucket del entorno, haz lo siguiente:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-logs-in-cloud-logging-only

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.

Ejemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --disable-logs-in-cloud-logging-only

API

  1. Realiza una solicitud a la API de environments.patch.

  2. En esta solicitud, realiza lo siguiente:

    1. En el parámetro updateMask, especifica la máscara config.dataRetentionConfig.taskLogsRetentionConfig.storageMode.

    2. En el cuerpo de la solicitud, especifica cómo se deben guardar los registros de tareas de Airflow:

      • CLOUD_LOGGING_AND_CLOUD_STORAGE para guardar registros en el bucket del entorno y en Cloud Logging.
      • CLOUD_LOGGING_ONLY para guardar registros solo en Cloud Logging.
{
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.dataRetentionConfig.taskLogsRetentionConfig.storageMode

{
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Terraform

En el bloque task_logs_retention_config, en el campo storage_mode, especifica cómo se deben guardar los registros de tareas de Airflow:

  • CLOUD_LOGGING_AND_CLOUD_STORAGE para guardar registros en el bucket del entorno y en Cloud Logging.
  • CLOUD_LOGGING_ONLY para guardar registros solo en Cloud Logging.
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }
}

¿Qué sigue?