Anula las opciones de configuración de Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página, se describe cómo anular las opciones de configuración de Airflow para entornos nuevos y existentes de Cloud Composer.

Cuando creas o actualizas un entorno, puedes anular las opciones de configuración de Apache Airflow con diferentes valores. Esto te permite ajustar la instancia de Airflow según tus necesidades y requisitos.

Anula las opciones de configuración de Airflow para entornos nuevos

Puedes anular las opciones de configuración de Airflow cuando creas tu entorno. Para obtener más información, consulta Crea entornos.

Anula las opciones de configuración de Airflow para entornos existentes

Console

Para anular las opciones de configuración de Airflow para un entorno existente, haz lo siguiente:

  1. En la Google Cloud consola, ve a la página Entornos.

    Ir a Entornos

  2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página de detalles del entorno.

  3. Ve a la pestaña Anulaciones de configuración de Airflow.

  4. Haz clic en Editar.

  5. Ingresa la Sección, la Clave y el Valor para la opción de configuración de Airflow que deseas cambiar.

Por ejemplo:

Sección Clave Valor
webserver dag_orientation RL

gcloud

Los siguientes argumentos anulan las opciones de configuración de Airflow para un entorno existente:

  • --update-airflow-configs agrega o cambia anulaciones de configuración de Airflow especificadas.
  • --remove-airflow-configs quita las anulaciones de configuración de Airflow especificadas.
  • --clear-airflow-configs quita todas las anulaciones de configuración de Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME por el nombre del entorno.
  • LOCATION por la región en la que se encuentra el entorno.
  • KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.
  • VALUE por el valor correspondiente para una opción

Por ejemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Para anular las opciones de configuración de Airflow para un entorno existente, haz lo siguiente:

  1. Realiza una solicitud a la API de environments.patch.

  2. En esta solicitud, realiza lo siguiente:

    • Para reemplazar todas las anulaciones de configuración de Airflow existentes con las opciones especificadas, en el parámetro updateMask, especifica la máscara config.softwareConfig.airflowConfigOverrides.

    • Para anular una opción de configuración específica de Airflow, en el parámetro updateMask, especifica la máscara config.softwareConfig.airflowConfigOverrides.KEY. Reemplaza KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.

      Si deseas anular varias opciones de configuración de Airflow, en el parámetro updateMask, especifica varias máscaras separadas por comas.

  3. El cuerpo de la solicitud debe contener la lista de opciones de configuración de Airflow. Si reemplazas todas las anulaciones existentes, asegúrate de incluir todas las anulaciones que deseas conservar.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Reemplaza lo siguiente:

  • KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.
  • VALUE por el valor correspondiente para una opción

En el siguiente ejemplo, se anulan dos opciones de configuración específicas de Airflow:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

El bloque airflow_config_overrides del bloque software_config controla las anulaciones de las opciones de configuración de Airflow para tu entorno:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Reemplaza lo siguiente:

  • KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.
  • VALUE por el valor correspondiente para una opción

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

¿Qué sigue?