Substituir as opções de configuração do Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página descreve como modificar as opções de configuração do Airflow para ambientes novos e existentes do Cloud Composer.

Ao criar ou atualizar um ambiente, é possível modificar as opções de configuração do Apache Airflow com valores diferentes. Ao fazer isso, você ajusta a instância do Airflow de acordo com suas necessidades e requisitos.

Modificar as opções de configuração do Airflow para novos ambientes

É possível substituir as opções de configuração do Airflow ao criar seu ambiente. Para mais informações, consulte Criar ambientes.

Modificar as opções de configuração do Airflow para ambientes atuais

Console

Para modificar as opções de configuração do Airflow em um ambiente:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página de detalhes do ambiente é aberta.

  3. Acesse a guia Modificações de configuração do Airflow.

  4. Clique em Editar.

  5. Insira a Seção, a Chave e o Valor para a opção de configuração do Airflow que você quer mudar.

Exemplo:

Seção Chave Valor
webserver dag_orientation RL

gcloud

Os argumentos a seguir substituem as opções de configuração do Airflow para um ambiente existente:

  • --update-airflow-configs adiciona ou muda substituições de configuração do Airflow.
  • --remove-airflow-configs remove substituições de configuração do Airflow especificadas.
  • --clear-airflow-configs remove todas as substituições de configuração do Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE pelo valor correspondente de uma opção.

Exemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Para modificar as propriedades do Airflow em um ambiente:

  1. Crie uma solicitação de API environments.patch.

  2. Nesta solicitação:

    • Para substituir todas as modificações de configuração atuais do Airflow pelas opções especificadas, especifique a máscara config.softwareConfig.airflowConfigOverrides no parâmetro updateMask.

    • Para substituir uma opção de configuração específica do Airflow, no parâmetro updateMask, especifique a máscara config.softwareConfig.airflowConfigOverrides.KEY. Substitua KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.

      Se você quiser substituir várias opções de configuração do Airflow, no parâmetro updateMask, especifique várias máscaras separadas por vírgulas.

  3. O corpo da solicitação precisa conter a lista de opções de configuração do Airflow. Se você estiver substituindo todas as substituições atuais, inclua todas as substituições que você quer manter.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Substitua:

  • KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE pelo valor correspondente de uma opção.

O exemplo a seguir substitui duas opções de configuração específicas do Airflow:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

O bloco airflow_config_overrides no bloco software_config controla as substituições de configuração do Airflow para seu ambiente:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Substitua:

  • KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE pelo valor correspondente de uma opção.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

A seguir