Como modificar as configurações do Airflow

Siga as instruções nesta página para modificar as opções de configuração do Airflow para ambientes novos e atuais.

Ao criar ou atualizar um ambiente, é possível substituir as opções de configuração do Apache Airflow (em inglês) por diferentes valores. Ao fazer isso, você ajusta a instância do Airflow de acordo com suas necessidades e requisitos.

Como modificar configurações para novos ambientes

Console

  1. Abra a página Criar ambiente.

    Abrir a página "Criar ambiente"

  2. Em Modificações da configuração do Airflow, clique em Adicionar modificação da configuração do Airflow.

  3. Insira a seção, a chave e o novo valor para a configuração.

Por exemplo:

Seção Chave Valor
webserver dag_orientation RL

gcloud

Para modificar as opções de configuração do Airflow ao criar um ambiente:

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --airflow-configs=KEY=VALUE,KEY=VALUE,...

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente;
  • LOCATION pela região do Compute Engine em que o ambiente está localizado;
  • KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, core-print_stats_interval.
  • VALUE pelo valor correspondente de uma opção.

Exemplo:

gcloud composer environments create test-environment \
    --location us-central1 \
    --airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

O comando termina quando a operação é concluída. Para não ficar esperando, use a sinalização --async. Para mais exemplos, consulte a página de referência gcloud composer environments create.

API

Para modificar as propriedades do Airflow durante a criação do ambiente do Cloud Composer com a API REST do Cloud Composer:

  1. Crie a solicitação environments.create.
  2. Nessa solicitação, preencha o campo opcional airflowConfigOverrides do recurso Environment.

Como modificar configurações de ambientes atuais

Console

  1. Abra a página Ambientes.

    Abrir a página "Ambientes"

  2. Na lista de ambientes, clique no ambiente. A página Detalhes do ambiente é aberta.
  3. Navegue até a guia Modificações da configuração do Airflow.
  4. Clique em Editar.
  5. Insira a seção, a chave e o novo valor para a configuração.

Por exemplo:

Seção Chave Valor
webserver dag_orientation RL

gcloud

Para modificar as opções de configuração do Airflow para um ambiente atual:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente;
  • LOCATION pela região do Compute Engine em que o ambiente está localizado;
  • KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, core-print_stats_interval.
  • VALUE pelo valor correspondente de uma opção.

Exemplo:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_examples=True,webserver-dag_orientation=TB 

O comando termina quando a operação é concluída. Para não ficar esperando, use a sinalização --async. Para mais exemplos, consulte a página de referência gcloud composer environments update.

API

Para modificar as propriedades do Airflow de um ambiente atual do Cloud Composer com a API REST do Cloud Composer:

  1. Crie a solicitação environments.patch.
  2. Nesta solicitação:

    • Para substituir todas as modificações de configuração atuais do Airflow pelas opções especificadas, especifique a máscara config.softwareConfig.airflowConfigOverrides no parâmetro updateMask.
    • Para modificar opções de configuração específicas do Airflow, especifique a máscara config.softwareConfig.airflowConfigOverrides. section-name no parâmetro updateMask.

A seguir