Substituir as opções de configuração do Airflow

Cloud Composer 1 | Cloud Composer 2

Siga as instruções nesta página para modificar as opções de configuração do Airflow para ambientes novos e atuais.

Ao criar ou atualizar um ambiente, é possível substituir as opções de configuração do Apache Airflow por valores diferentes. Ao fazer isso, você ajusta a instância do Airflow de acordo com suas necessidades e requisitos.

Modificar as opções de configuração do Airflow para novos ambientes

É possível modificar as opções de configuração do Airflow ao criar o ambiente. Para mais informações, consulte Criar ambientes.

Substituir as opções de configuração do Airflow para ambientes atuais

Console

Para modificar as opções de configuração do Airflow em um ambiente:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página de detalhes do ambiente é aberta.

  3. Acesse a guia Substituições de configuração do Airflow.

  4. Clique em Editar.

  5. Insira a Seção, Chave e Valor da opção de configuração do Airflow que você quer alterar.

Exemplo:

Seção Chave Valor
webserver dag_orientation RL

gcloud

Os argumentos a seguir substituem as opções de configuração do Airflow para um ambiente atual:

  • --update-airflow-configs adiciona ou altera modificações especificadas de configuração do Airflow.
  • --remove-airflow-configs remove as substituições especificadas de configuração do Airflow.
  • --clear-airflow-configs remove todas as substituições de configuração do Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE pelo valor correspondente de uma opção.

Exemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Para substituir as propriedades do Airflow em um ambiente atual, faça o seguinte:

  1. Crie uma solicitação de API environments.patch.

  2. Nesta solicitação:

    • Para substituir todas as modificações de configuração atuais do Airflow pelas opções especificadas, especifique a máscara config.softwareConfig.airflowConfigOverrides no parâmetro updateMask.

    • Para modificar uma opção de configuração específica do Airflow, especifique a máscara config.softwareConfig.airflowConfigOverrides.KEY no parâmetro updateMask. Substitua KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.

      Se você quiser modificar várias opções de configuração do Airflow, especifique diversas máscaras separadas por vírgulas no parâmetro updateMask.

  3. O corpo da solicitação precisa conter a lista de opções de configuração do Airflow. Se você estiver substituindo todas as substituições atuais, inclua todas as que quer manter.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Substitua:

  • KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE pelo valor correspondente de uma opção.

O exemplo a seguir modifica duas opções específicas de configuração do Airflow:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

O bloco airflow_config_overrides no bloco software_config controla as substituições de configuração do Airflow para o ambiente:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Substitua:

  • KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE pelo valor correspondente de uma opção.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

A seguir