Anula las opciones de configuración de Airflow

Cloud Composer 1 | Cloud Composer 2

Sigue las instrucciones de esta página a fin de anular las opciones de configuración de Airflow para entornos nuevos y existentes.

Cuando creas o actualizas un entorno, puedes anular las opciones de configuración de Apache Airflow con diferentes valores. Esto te permite ajustar la instancia de Airflow según tus necesidades y requisitos.

Anular las opciones de configuración de Airflow para entornos nuevos

Puedes anular las opciones de configuración de Airflow cuando creas tu entorno. Para obtener más información, consulta Cómo crear entornos.

Anular las opciones de configuración de Airflow para entornos existentes

Console

Para anular las opciones de configuración de Airflow para un entorno existente, haz lo siguiente:

  1. En Google Cloud Console, ve a la página Entornos.

    Ir a Entornos

  2. En la lista de entornos, haga clic en el nombre de su entorno. Se abrirá la página de detalles del entorno.

  3. Ve a la pestaña Anulaciones de configuración de Airflow.

  4. Haga clic en Editar.

  5. Ingresa la Sección, la Clave y el Valor para la opción de configuración de Airflow que deseas cambiar.

Por ejemplo:

Sección Clave Valor
webserver dag_orientation RL

gcloud

Los siguientes argumentos anulan las opciones de configuración de Airflow para un entorno existente:

  • --update-airflow-configs agrega o cambia la configuración especificada de Airflow.
  • --remove-airflow-configs quita las anulaciones de configuración de Airflow especificadas.
  • --clear-airflow-configs quita todas las anulaciones de configuración de Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME por el nombre del entorno.
  • LOCATION por la región donde se encuentra el entorno
  • KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.
  • VALUE por el valor correspondiente para una opción

Por ejemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Para anular las propiedades de Airflow de un entorno existente, siga estos pasos:

  1. Realiza una solicitud a la API de environments.patch.

  2. En esta solicitud, realiza lo siguiente:

    • Para reemplazar todas las anulaciones de configuración de Airflow existentes con las opciones especificadas, en el parámetro updateMask, especifica la máscara config.softwareConfig.airflowConfigOverrides.

    • Para anular una opción de configuración específica de Airflow, en el parámetro updateMask, especifica la máscara config.softwareConfig.airflowConfigOverrides.KEY. Reemplaza KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.

      Si deseas anular varias opciones de configuración de Airflow, en el parámetro updateMask, especifica varias máscaras separadas por comas.

  3. El cuerpo de la solicitud debe contener la lista de opciones de configuración de Airflow. Si vas a reemplazar todas las anulaciones existentes, asegúrate de incluir todas las anulaciones que deseas conservar.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Reemplaza lo siguiente:

  • KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.
  • VALUE por el valor correspondiente para una opción

En el siguiente ejemplo, se anulan dos opciones de configuración específicas de Airflow:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

El bloque airflow_config_overrides en el bloque software_config controla las anulaciones de configuración de Airflow para tu entorno:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Reemplaza lo siguiente:

  • KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, webserver-dag_orientation.
  • VALUE por el valor correspondiente para una opción

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

¿Qué sigue?