Anula las opciones de configuración de Airflow

Cloud Composer 1 | Cloud Composer 2

Sigue las instrucciones de esta página a fin de anular las opciones de configuración de Airflow para los entornos nuevos y existentes.

Cuando creas o actualizas un entorno, puedes anular las opciones de configuración de Apache Airflow con valores diferentes. Esto te permite ajustar la instancia de Airflow según tus necesidades y requisitos.

Anular las opciones de configuración de Airflow para entornos nuevos

Puedes anular las opciones de configuración de Airflow cuando creas tu entorno. Para obtener más información, consulta Crea entornos.

Anular las opciones de configuración de Airflow para los entornos existentes

Consola

Para anular las opciones de configuración de Airflow para un entorno existente, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página Entornos.

    Ir a Entornos

  2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página de detalles del entorno.

  3. Ve a la pestaña Anulaciones de configuración de Airflow.

  4. Haz clic en Editar.

  5. Ingresa la Sección, la Clave y el Valor para la opción de configuración de Airflow que deseas cambiar.

Por ejemplo:

Sección Clave Valor
webserver dag_orientation RL

gcloud

Los siguientes argumentos anulan las opciones de configuración de Airflow para un entorno existente:

  • --update-airflow-configs agrega o cambia la configuración de Airflow especificada que se anula.
  • --remove-airflow-configs quita las anulaciones de configuración de Airflow especificadas.
  • --clear-airflow-configs quita todas las anulaciones de configuración de Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME por el nombre del entorno.
  • LOCATION por la región en la que se encuentra el entorno
  • KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.
  • VALUE por el valor correspondiente para una opción

Por ejemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Para anular las propiedades de Airflow en un entorno existente, sigue estos pasos:

  1. Realiza una solicitud a la API de environments.patch.

  2. En esta solicitud, realiza lo siguiente:

    • Para reemplazar todas las anulaciones de configuración de Airflow existentes con las opciones especificadas, en el parámetro updateMask, especifica la máscara config.softwareConfig.airflowConfigOverrides.

    • Para anular una opción de configuración de Airflow específica, en el parámetro updateMask, especifica la máscara config.softwareConfig.airflowConfigOverrides.KEY. Reemplaza KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.

      Si deseas anular varias opciones de configuración de Airflow, en el parámetro updateMask, especifica varias máscaras separadas por comas.

  3. El cuerpo de la solicitud debe contener la lista de opciones de configuración de Airflow. Si reemplazas todas las anulaciones existentes, asegúrate de incluir todas las anulaciones que quieras conservar.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Reemplaza lo siguiente:

  • KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.
  • VALUE por el valor correspondiente para una opción

En el siguiente ejemplo, se anulan dos opciones de configuración específicas de Airflow:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

El bloque airflow_config_overrides del bloque software_config controla las anulaciones de configuración de Airflow para tu entorno:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Reemplaza lo siguiente:

  • KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.
  • VALUE por el valor correspondiente para una opción

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

¿Qué sigue?