Substituir as opções de configuração do Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Siga as instruções nesta página para modificar as opções de configuração do Airflow. para ambientes novos e atuais.

Ao criar ou atualizar um ambiente, será possível sobrepor-se Opções de configuração do Apache Airflow com valores diferentes. Ao fazer isso, você ajusta a instância do Airflow de acordo com suas necessidades e requisitos.

Modificar as opções de configuração do Airflow para novos ambientes

É possível modificar as opções de configuração do Airflow ao criar de nuvem. Para mais informações, consulte Criar ambientes.

Modificar as opções de configuração do Airflow para ambientes atuais

Console

Para modificar as opções de configuração do Airflow em um ambiente:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do ambiente. A página de detalhes do ambiente é aberta.

  3. Acesse a guia Substituições da configuração do Airflow.

  4. Clique em Editar.

  5. Insira a Seção, a Chave e o Valor do Airflow. opção de configuração que você quer alterar.

Exemplo:

Seção Chave Valor
webserver dag_orientation RL

gcloud

Os argumentos a seguir substituem as opções de configuração do Airflow para uma de nuvem:

  • --update-airflow-configs adiciona ou muda a configuração especificada do Airflow substituições.
  • --remove-airflow-configs remove a configuração especificada do Airflow substituições.
  • --clear-airflow-configs remove todas as substituições de configuração do Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE pelo valor correspondente de uma opção.

Exemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Para modificar as propriedades do Airflow para um ambiente atual, faça o seguinte:

  1. Crie uma solicitação de API environments.patch.

  2. Nesta solicitação:

    • Para substituir todas as modificações de configuração atuais do Airflow pelas opções especificadas, especifique a máscara config.softwareConfig.airflowConfigOverrides no parâmetro updateMask.

    • Para substituir uma opção específica de configuração do Airflow, em o parâmetro updateMask, especifique config.softwareConfig.airflowConfigOverrides.KEY máscara Substitua KEY pela seção de configuração e pela opção. separados por um hífen, por exemplo, webserver-dag_orientation.

      Se você quiser modificar várias opções de configuração do Airflow, o parâmetro updateMask, especifique várias máscaras separadas por vírgulas.

  3. O corpo da solicitação precisa conter a lista de opções de configuração do Airflow. Se você estiver substituindo todas as substituições atuais, inclua todas as as substituições que você quer manter.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Substitua:

  • KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE pelo valor correspondente de uma opção.

O exemplo a seguir modifica duas opções específicas de configuração do Airflow:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

O bloco airflow_config_overrides no bloco software_config controla as substituições de configuração do Airflow para seu ambiente:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Substitua:

  • KEY pela seção de configuração e pelo nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE pelo valor correspondente de uma opção.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

A seguir