Anula configuraciones de Airflow

Sigue las instrucciones de esta página a fin de anular las opciones de configuración de Airflow para entornos nuevos y existentes.

Cuando creas o actualizas un entorno, puedes anular las opciones de configuración de Apache Airflow con diferentes parámetros. valores. Esto permite ajustar la instancia de Airflow según tus necesidades y requisitos.

Anula configuraciones para entornos nuevos

Console

  1. Abre la página Crear entorno.

    Abrir la página Crear entorno

  2. En Anulaciones de configuración de Airflow, haz clic en Agregar anulación de configuración de Airflow.

  3. Ingresa la Sección, la Clave y el Valor nuevo para la configuración.

Por ejemplo:

Sección Clave Valor
webserver dag_orientation RL

gcloud

Para anular las opciones de configuración de Airflow cuando creas un entorno, haz lo siguiente:

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --airflow-configs=KEY=VALUE,KEY=VALUE,...

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME por el nombre del entorno
  • LOCATION por la región de Compute Engine donde se encuentra el entorno.
  • KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, core-print_stats_interval
  • VALUE con el valor correspondiente para una opción

Por ejemplo:

gcloud composer environments create test-environment \
    --location us-central1 \
    --airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

El comando termina cuando finaliza la operación. Para no tener que esperar, usa la marca --async. Para ver ejemplos adicionales, consulta la página de referencia gcloud composer environments create.

API

Para anular las propiedades de Airflow durante la creación del entorno de Cloud Composer con la API de REST de Cloud Composer, haz lo siguiente:

  1. Crea la solicitud environments.create.
  2. En esta solicitud, completa el campo opcional airflowConfigOverrides del recurso Environment.

Anula configuraciones para entornos existentes

Console

  1. Abre la página Entornos.

    Abrir la página Entornos

  2. En la lista de entornos, haz clic en el entorno. Se abrirá la página de detalles del entorno.
  3. Navega a la pestaña Anulaciones de configuración de Airflow.
  4. Haz clic en Edit.
  5. Ingresa la Sección, la Clave y el Valor nuevo para la configuración.

Por ejemplo:

Sección Clave Valor
webserver dag_orientation RL

gcloud

Para anular las opciones de configuración de Airflow para un entorno existente, haz lo siguiente:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME por el nombre del entorno
  • LOCATION por la región de Compute Engine donde se encuentra el entorno.
  • KEY por la sección de configuración y el nombre de la opción separados por un guion, por ejemplo, core-print_stats_interval
  • VALUE con el valor correspondiente para una opción

Por ejemplo:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_examples=True,webserver-dag_orientation=TB 

El comando termina cuando finaliza la operación. Para no tener que esperar, usa la marca --async. Para ver ejemplos adicionales, consulta la página de referencia gcloud composer environments update.

API

Para anular las propiedades de Airflow de un entorno existente de Cloud Composer con la API de REST de Cloud Composer, haz lo siguiente:

  1. Crea la solicitud environments.patch.
  2. En esta solicitud se incluye lo siguiente:

    • Para reemplazar todas las anulaciones de configuración de Airflow existentes por las opciones especificadas, en el parámetro updateMask, especifica la máscara config.softwareConfig.airflowConfigOverrides.
    • Para anular opciones de configuración de Airflow específicas, en el parámetro updateMask, especifica la máscara config.softwareConfig.airflowConfigOverrides. section-name.

¿Qué sigue?