Substitua as opções de configuração do Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página descreve como substituir as opções de configuração do Airflow para ambientes do Cloud Composer novos e existentes.

Quando cria ou atualiza um ambiente, pode substituir as opções de configuração do Apache Airflow por valores diferentes. Ao fazê-lo, pode ajustar a instância do Airflow às suas necessidades e requisitos.

Substitua as opções de configuração do Airflow para novos ambientes

Pode substituir as opções de configuração do Airflow quando cria o seu ambiente. Para mais informações, consulte o artigo Crie ambientes.

Substitua as opções de configuração do Airflow para ambientes existentes

Consola

Para substituir as opções de configuração do Airflow para um ambiente existente:

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Na lista de ambientes, clique no nome do seu ambiente. É apresentada a página de detalhes do ambiente.

  3. Aceda ao separador Substituições da configuração do Airflow.

  4. Clique em Edit.

  5. Introduza a Secção, a Chave e o Valor da opção de configuração do Airflow que quer alterar.

Por exemplo:

Secção Chave Valor
webserver dag_orientation RL

gcloud

Os seguintes argumentos substituem as opções de configuração do Airflow para um ambiente existente:

  • --update-airflow-configs adiciona ou altera substituições de configuração do Airflow especificadas.
  • --remove-airflow-configs remove as substituições de configuração do Airflow especificadas.
  • O --clear-airflow-configs remove todas as substituições de configuração do Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Substituir:

  • ENVIRONMENT_NAME com o nome do ambiente.
  • LOCATION com a região onde o ambiente está localizado.
  • KEY com a secção de configuração e o nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE com o valor correspondente para uma opção.

Por exemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Para substituir as opções de configuração do Airflow para um ambiente existente:

  1. Construa um pedido de API environments.patch.

  2. Neste pedido:

    • Para substituir todas as substituições de configuração do Airflow existentes pelas opções especificadas, no parâmetro updateMask, especifique a máscara config.softwareConfig.airflowConfigOverrides.

    • Para substituir uma opção de configuração específica do Airflow, no parâmetro updateMask, especifique a máscara config.softwareConfig.airflowConfigOverrides.KEY. Substitua KEY pela secção de configuração e o nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.

      Se quiser substituir várias opções de configuração do Airflow, no parâmetro updateMask, especifique várias máscaras separadas por vírgulas.

  3. O corpo do pedido tem de conter a lista de opções de configuração do Airflow. Se estiver a substituir todas as substituições existentes, certifique-se de que inclui todas as substituições que quer manter.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Substituir:

  • KEY com a secção de configuração e o nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE com o valor correspondente para uma opção.

O exemplo seguinte substitui duas opções de configuração específicas do Airflow:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

O bloco airflow_config_overrides no bloco software_config controla as substituições das opções de configuração do Airflow para o seu ambiente:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Substituir:

  • KEY com a secção de configuração e o nome da opção separados por um hífen, por exemplo, webserver-dag_orientation.
  • VALUE com o valor correspondente para uma opção.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

O que se segue?