Habilitar el guardado de registros en el bucket del entorno

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

En esta página, se explica cómo habilitar el guardado de registros de tareas de Airflow en la carpeta bucket para un entorno nuevo o existente.

Como opción, puedes habilitar la sincronización de los registros de tareas con el en el bucket de tu entorno.

Antes de comenzar

  • A partir de la versión 2.8.0 de Cloud Composer, todos los entornos no almacenan registros de tareas en el bucket del entorno de forma predeterminada. Los registros de tareas aún están disponibles en Cloud Logging y la IU de Airflow.

  • Si habilitas esta función, los registros se guardan en Cloud Logging y en en el bucket del entorno.

  • Cuando actualizas tu entorno, la configuración para guardar registros en el bucket de tu entorno no se modifica. Por ejemplo, si actualizas un que guardó registros en el bucket del entorno en una versión posterior el entorno sigue guardando registros en su bucket.

  • Si inhabilitas el guardado de registros de tareas en el bucket del entorno, los registros que ya se guardaron en el bucket del entorno no se borran automáticamente.

  • Para habilitar o inhabilitar esta opción, puedes usar Google Cloud CLI, la API de Cloud Composer o Terraform. No es posible cambiar esta opción a través de la consola de Google Cloud.

Habilita o inhabilita el guardado de registros de tareas en el bucket del entorno cuando creas un entorno

gcloud

Cuando creas un entorno, los siguientes argumentos especifican cómo Airflow los registros de tareas deben guardarse:

  • El argumento --disable-logs-in-cloud-logging-only permite guardar los registros de tareas de Airflow en el bucket del entorno.
  • El argumento --enable-logs-in-cloud-logging-only inhabilita el guardado de registros de tareas de Airflow en el bucket del entorno. Los registros solo se guardan en Cloud Logging.
gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-logs-in-cloud-logging-only

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.

Ejemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --disable-logs-in-cloud-logging-only

API

Cuando creas un entorno, en Entorno > EnvironmentConfig > DataRetentionConfig > TaskLogsRetentionConfig, especificar cómo se deben guardar los registros de tareas de Airflow:

  • CLOUD_LOGGING_AND_CLOUD_STORAGE para guardar registros en el bucket del entorno y Cloud Logging.
  • CLOUD_LOGGING_ONLY para guardar registros solo en Cloud Logging
{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.
  • PROJECT_ID: El ID del proyecto

Ejemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Terraform

Cuando creas un entorno, el campo storage_mode en el bloque task_logs_retention_config especifica cómo se deben guardar los registros de tareas de Airflow:

  • CLOUD_LOGGING_AND_CLOUD_STORAGE para guardar registros en el bucket del entorno y Cloud Logging.
  • CLOUD_LOGGING_ONLY para guardar registros solo en Cloud Logging
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }
}

Habilita o inhabilita el guardado de registros de tareas en el bucket del entorno para un entorno existente

gcloud

Cuando actualizas un entorno, los siguientes argumentos habilitan o inhabilitan Guardar los registros de tareas de Airflow en el bucket del entorno:

  • El argumento --disable-logs-in-cloud-logging-only permite guardar los registros de tareas de Airflow en el bucket del entorno. Los registros se guardan en el bucket del entorno y en Cloud Logging.
  • El argumento --enable-logs-in-cloud-logging-only inhabilita el guardado de la tarea de Airflow. en el bucket del entorno. Los registros solo se guardan en Cloud Logging.

Para guardar los registros de Airflow en el bucket del entorno, sigue estos pasos:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-logs-in-cloud-logging-only

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.

Ejemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --disable-logs-in-cloud-logging-only

API

  1. Realiza una solicitud a la API de environments.patch.

  2. En esta solicitud, realiza lo siguiente:

    1. En el parámetro updateMask, especifica la máscara config.dataRetentionConfig.taskLogsRetentionConfig.storageMode.

    2. En el cuerpo de la solicitud, especifica cómo se deben guardar los registros de tareas de Airflow:

      • CLOUD_LOGGING_AND_CLOUD_STORAGE para guardar registros en el bucket del entorno y en Cloud Logging.
      • CLOUD_LOGGING_ONLY para guardar registros solo en Cloud Logging
{
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.dataRetentionConfig.taskLogsRetentionConfig.storageMode

{
  "config": {
    "dataRetentionConfig": {
      "taskLogsRetentionConfig": {
        "storageMode": "CLOUD_LOGGING_AND_CLOUD_STORAGE"
      }
    }
  }
}

Terraform

En el bloque task_logs_retention_config, en el campo storage_mode, especifica cómo se deben guardar los registros de tareas de Airflow:

  • CLOUD_LOGGING_AND_CLOUD_STORAGE para guardar registros en el bucket del entorno y Cloud Logging.
  • CLOUD_LOGGING_ONLY para guardar registros solo en Cloud Logging
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME: Es el nombre de tu entorno.
  • LOCATION: Es la región en la que se encuentra el entorno.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    data_retention_config {

      task_logs_retention_config {

        storage_mode = "CLOUD_LOGGING_AND_CLOUD_STORAGE"

      }
    }
  }
}

¿Qué sigue?