Escalonar ambientes

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Nesta página, descrevemos como escalonar ambientes do Cloud Composer.

Dimensionar vertical e horizontalmente

No Cloud Composer 1, você não define recursos específicos de CPU e memória para componentes do Cloud Composer e do Airflow, como workers e programadores. Em vez disso, especifique o número e o tipo de máquinas para nós no cluster do seu ambiente.

Opções de escalonamento horizontal:

  • Ajustar o número de nós
  • Ajustar o número de programadores

Opções para escalonamento vertical:

  • Ajustar o tipo de máquina da instância do Cloud SQL
  • Ajustar o tipo de máquina do servidor da Web

Ajustar parâmetros do programador

Seu ambiente pode executar mais de um programador do Airflow ao mesmo tempo. Use vários programadores para distribuir a carga entre várias instâncias do programador e tenha melhor desempenho e confiabilidade.

Se o ambiente usa o Airflow 2, é possível especificar vários programadores. com o número de nós do ambiente.

Aumentar o número de programadores nem sempre melhora o desempenho do Airflow. Por exemplo, ter apenas um programador pode proporcionar um desempenho melhor do que com dois. Isso pode acontecer quando o programador extra não é utilizado e, portanto, consome recursos do seu ambiente sem contribuir com o desempenho geral. O desempenho real do programador depende do número de workers do Airflow, do número de DAGs e tarefas executados no ambiente e da configuração do Airflow e do ambiente.

Recomendamos começar com dois programadores e depois monitorar o desempenho do ambiente. Se você alterar o número de programadores, será possível escalonar o ambiente novamente para o número original de programadores.

Para mais informações sobre como configurar vários programadores, consulte a documentação do Airflow.

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente.

  4. No item Recursos > Configuração de cargas de trabalho, clique em Editar.

  5. No item Recursos > Número de programadores, faça o seguinte: Clique em Editar.

  6. No painel Configuração do programador, da seção No campo Number of schedulers, especifique o número de programadores para em seu ambiente.

  7. Clique em Salvar.

gcloud

Os seguintes parâmetros do programador do Airflow estão disponíveis:

  • --scheduler-count: o número de programadores no seu ambiente.

Execute o seguinte comando da CLI do Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-count SCHEDULER_COUNT

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-count 2

API

  1. Crie uma solicitação de API environments.patch.

  2. Nesta solicitação:

    1. No parâmetro updateMask, especifique Máscara config.workloadsConfig.schedulerCount.

    2. No corpo da solicitação, especifique o número de programadores para seu ambiente.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": SCHEDULER_COUNT
    }
  }
}

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.

  • SCHEDULER_COUNT: o número de programadores.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": 2
    }
  }
}

Terraform

Os seguintes campos no bloco workloads_config.scheduler controlam o Parâmetros do programador do Airflow. Cada programador usa a quantidade especificada de do Google Cloud.

  • scheduler.count: o número de programadores no seu ambiente.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        count = SCHEDULER_COUNT
      }
    }

  }
}

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.

  • SCHEDULER_COUNT: o número de programadores.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        count = 2
      }
    }

  }
}

Ajustar os parâmetros do acionador

Você pode definir o número de acionadores como zero, mas precisa de pelo menos um instância do engatilhador no seu ambiente (ou pelo menos duas em ambientes altamente resilientes ambientes), para usar operadores adiáveis nos DAGs.

Dependendo da configuração modo de resiliência, há diferentes configurações possíveis para o número de acionadores:

  • Resiliência padrão: você pode ter até 10 acionadores.
  • Alta resiliência: pelo menos dois acionadores, até um máximo de 10.

Mesmo que o número de acionadores seja definido como zero, uma definição de pod do acionador é criado e visível no cluster do ambiente, mas nenhum acionador real cargas de trabalho sejam executadas.

Também é possível especificar a quantidade de CPUs, memória e espaço em disco usados pelos acionadores do Airflow no seu ambiente. Dessa forma, você pode aumentar a performance do ambiente, além do escalonamento horizontal fornecido usando vários acionadores.

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente.

  4. No item Recursos > Configuração de cargas de trabalho, clique em Editar.

  5. No painel Configuração de cargas de trabalho, ajuste os parâmetros para o Airflow. acionadores:

    1. Na seção Acionador, no campo Número de acionadores, insira o número de acionadores no seu ambiente.

      Se você definir pelo menos um acionador para seu ambiente, use também o os campos CPU e Memory para configurar a alocação de recursos; para os acionadores.

    2. Nos campos CPU e Memória, especifique o número de CPUs, memória e armazenamento para acionadores do Airflow. Cada acionador usa a quantidade especificada de recursos.

  6. Clique em Salvar.

gcloud

Os seguintes parâmetros do acionador do Airflow estão disponíveis:

  • --triggerer-count: o número de acionadores no ambiente.

    • Para ambientes de resiliência padrão, use um valor entre 0 e 10.
    • Para ambientes altamente resilientes, use 0 ou um valor entre 2 e 10.
  • --triggerer-cpu: o número de CPUs de um acionador do Airflow.

  • --triggerer-memory: a quantidade de memória para um fluxo engatilhador.

Execute o seguinte comando da CLI do Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --triggerer-count TRIGGERER_COUNT \
  --triggerer-cpu TRIGGERER_CPU \
  --triggerer-memory TRIGGERER_MEMORY

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.
  • TRIGGERER_COUNT: o número de acionadores.
  • TRIGGERER_CPU: o número de CPUs de um acionador, em unidades de vCPU.
  • TRIGGERER_MEMORY: a quantidade de memória para um acionador.

Exemplos:

  • Escalonar para quatro instâncias de acionador:
  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 4 \
    --triggerer-cpu 1 \
    --triggerer-memory 1
  ```

- Disable triggerers by setting triggerer count to `0`. This operation
  doesn't require specifying CPU or memory for the triggerers.

```bash
  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 0
  ```

API

  1. No parâmetro de consulta updateMask, especifique a máscara config.workloadsConfig.triggerer.

  2. No corpo da solicitação, especifique os três parâmetros para acionadores.

"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": TRIGGERER_COUNT,
      "cpu": TRIGGERER_CPU,
      "memoryGb": TRIGGERER_MEMORY
    }
  }
}

Substitua:

  • TRIGGERER_COUNT: o número de acionadores.

    • Para ambientes de resiliência padrão, use um valor entre 0 e 10.
    • Para ambientes altamente resilientes, use 0, ou um valor entre 2 e 10
  • TRIGGERER_CPU: o número de CPUs de um engatilhador, em unidades de vCPU.

  • TRIGGERER_MEMORY: a quantidade de memória para um acionador.

Exemplos:

  • Para desativar os acionadores, defina a contagem do acionador como 0. Essa operação não exige a especificação de CPU ou memória para os acionadores.
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 0
    }
  }
}
  • Escalonar para quatro instâncias de acionador:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 4,
      "cpu": 1,
      "memoryGb": 1
    }
  }
}

Terraform

Os campos a seguir no bloco workloads_config.triggerer controlam os parâmetros do acionador do Airflow. Cada engatilhador usa a quantidade especificada de do Google Cloud.

  • triggerer.count: o número de acionadores no ambiente.

    • Para ambientes de resiliência padrão, use um valor entre 0 e 10.
    • Para ambientes altamente resilientes, use 0 ou um valor entre 2 e 10.
  • triggerer.cpu: o número de CPUs de um acionador do Airflow.

  • triggerer.memory_gb: a quantidade de memória para um gatilho do Airflow.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
    }

  }
}

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.
  • TRIGGERER_COUNT: o número de acionadores.
  • TRIGGERER_CPU: o número de CPUs de um engatilhador, em unidades de vCPU.
  • TRIGGERER_MEMORY: a quantidade de memória de um acionador, em GB.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
    }

  }
}

Ajustar os parâmetros do servidor da Web

É possível especificar a quantidade de CPUs, memória e espaço em disco usados pelo servidor da Web do Airflow no seu ambiente. Dessa forma, é possível escalonar o desempenho da interface do Airflow, por exemplo, para corresponder à demanda de um grande número de usuários ou de DAGs gerenciados.

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente.

  4. No item Recursos > Configuração de cargas de trabalho, faça o seguinte: Clique em Editar.

  5. No painel Configuração de cargas de trabalho, ajuste os parâmetros do servidor da Web. Nos campos CPU, Memória e Armazenamento, especifique o número de CPUs, memória e armazenamento para o servidor da Web.

  6. Clique em Salvar.

gcloud

Os seguintes parâmetros do servidor da Web do Airflow estão disponíveis:

  • --web-server-cpu: o número de CPUs do servidor da Web do Airflow.
  • --web-server-memory: a quantidade de memória para a Web do Airflow servidor.
  • --web-server-storage: a quantidade de espaço em disco para o servidor da Web do Airflow.

Execute o seguinte comando da Google Cloud CLI:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-cpu WEB_SERVER_CPU \
  --web-server-memory WEB_SERVER_MEMORY \
  --web-server-storage WEB_SERVER_STORAGE

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.
  • WEB_SERVER_CPU: o número de CPUs do servidor da Web, em unidades de vCPU.
  • WEB_SERVER_MEMORY: a quantidade de memória para o servidor da Web.
  • WEB_SERVER_STORAGE: a quantidade de memória do servidor da Web.

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-cpu 1 \
  --web-server-memory 2.5 \
  --web-server-storage 2

API

  1. Crie uma solicitação de API environments.patch.

  2. Nesta solicitação:

    1. No parâmetro updateMask, especifique a máscara config.workloadsConfig.webServer para atualizar todos os parâmetros do servidor da Web. Também é possível atualizar parâmetros individuais do servidor da Web especificando uma máscara para esses parâmetros: config.workloadsConfig.webServer.cpu, config.workloadsConfig.webServer.memoryGb e config.workloadsConfig.webServer.storageGb.

    2. No corpo da solicitação, especifique os novos parâmetros do servidor da Web.

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": WEB_SERVER_CPU,
      "memoryGb": WEB_SERVER_MEMORY,
      "storageGb": WEB_SERVER_STORAGE
    }
  }
}

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.
  • WEB_SERVER_CPU: o número de CPUs do servidor da Web, em unidades de vCPU.
  • WEB_SERVER_MEMORY: a quantidade de memória do servidor da Web, em GB.
  • WEB_SERVER_STORAGE: o tamanho do disco do servidor da Web em GB.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

Os campos a seguir no bloco workloads_config.web_server controlam os parâmetros do servidor da Web.

  • web_server.cpu: o número de CPUs para o servidor da Web.
  • web_server.memory_gb: a quantidade de memória do servidor da Web.
  • web_server.storage_gb: a quantidade de espaço em disco para o servidor da Web.
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
    }

  }
}

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.
  • WEB_SERVER_CPU: o número de CPUs do servidor da Web, em unidades de vCPU.
  • WEB_SERVER_MEMORY: a quantidade de memória do servidor da Web, em GB.
  • WEB_SERVER_STORAGE: o tamanho do disco do servidor da Web em GB.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      web_server {
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
      }
    }

  }
}

Ajustar o tamanho do ambiente

O tamanho do ambiente controla os parâmetros de desempenho da infraestrutura gerenciada do Cloud Composer que inclui, por exemplo, o banco de dados do Airflow.

Selecione um tamanho maior de ambiente se você quiser executar um grande número de DAGs e tarefas.

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente.

  4. No item Recursos > Configuração de cargas de trabalho, faça o seguinte: Clique em Editar.

  5. No item Recursos > Infraestrutura principal: Clique em Editar.

  6. No painel Infraestrutura principal, no campo Tamanho do ambiente, especifique o tamanho do ambiente.

  7. Clique em Salvar.

gcloud

O argumento --environment-size controla o tamanho do ambiente:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --environment-size ENVIRONMENT_SIZE

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.
  • ENVIRONMENT_SIZE: small, medium ou large.

Exemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --environment-size medium

API

  1. Crie uma solicitação de API environments.patch.

  2. Nesta solicitação:

    1. No parâmetro updateMask, especifique a máscara config.environmentSize.

    2. No corpo da solicitação, especifique o tamanho do ambiente.

  "config": {
    "environmentSize": "ENVIRONMENT_SIZE"
  }

Substitua:

  • ENVIRONMENT_SIZE: o tamanho do ambiente, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize

"config": {
  "environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}

Terraform

O campo environment_size no bloco config controla o tamanho do ambiente:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    environment_size = "ENVIRONMENT_SIZE"

  }
}

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.
  • ENVIRONMENT_SIZE: o tamanho do ambiente, ENVIRONMENT_SIZE_SMALL. ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    }
  }
}

Ajustar o número de nós

É possível alterar o número de nós no ambiente.

Esse número corresponde ao número de workers do Airflow no seu ambiente. Além de executar workers do Airflow, os nós de ambiente também executam os programadores e outros componentes do ambiente.

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente.

  4. No item Nós de trabalho > Contagem de nós, clique em Editar.

  5. No painel Configuração de nós de trabalho, no campo Contagem de nós, especifique o número de nós no seu ambiente.

  6. Clique em Salvar.

gcloud

O argumento --node-count controla o número de nós no seu ambiente:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --zone NODE_ZONE \
    --node-count NODE_COUNT

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.
  • NODE_COUNT: o número de nós. O número mínimo de nós é 3.
  • NODE_ZONE: a zona do Compute Engine para as VMs do ambiente.

Exemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --zone us-central1-a \
    --node-count 6

API

  1. Crie uma solicitação de API environments.patch.

  2. Nesta solicitação:

    1. No parâmetro updateMask, especifique a máscara config.nodeCount.

    2. No corpo da solicitação, especifique o número de nós do seu ambiente.

  "config": {
    "nodeCount": NODE_COUNT
  }

Substitua:

  • NODE_COUNT: o número de nós. O número mínimo de nós é 3.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount

"config": {
  "nodeCount": 6
}

Terraform

O campo node_count no bloco node_config especifica o número de nós no seu ambiente.

resource "google_composer_environment" "example" {

  config {
    node_config {
      node_count = NODE_COUNT
    }
}

Substitua:

  • NODE_COUNT: o número de nós.

Exemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
    }

}

Ajustar o tipo de máquina da instância do Cloud SQL

É possível mudar o tipo de máquina da instância do Cloud SQL que armazena o banco de dados do Airflow do seu ambiente.

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente.

  4. No item Recursos > Tipo de máquina do Cloud SQL, clique em Editar.

  5. No painel Configuração do Cloud SQL, abaixo Tipo de máquina do Cloud SQL, selecione o tipo de máquina a instância do Cloud SQL do seu ambiente.

  6. Clique em Salvar.

gcloud

Os argumentos --cloud-sql-machine-type controlam o tipo de máquina da instância do Cloud SQL no seu ambiente.

Execute o seguinte comando da CLI do Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-sql-machine-type SQL_MACHINE_TYPE

Substitua:

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --cloud-sql-machine-type db-n1-standard-2

API

  1. Crie um environments.patch.

  2. Nesta solicitação:

    1. No parâmetro updateMask, especifique Máscara config.databaseConfig.machineType.

    2. No corpo da solicitação, especifique o tipo de máquina para a instância do Cloud SQL.

{
  "config": {
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    }
  }
}

Substitua:

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType

{
  "config": {
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    }
  }
}

Terraform

O campo machine_type no bloco database_config especifica o tipo de máquina para a instância do Cloud SQL.

resource "google_composer_environment" "example" {

  config {
    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }
  }
}

Substitua:

Exemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    database_config {
      machine_type = "db-n1-standard-2"
    }
}

Ajustar o tipo de máquina do servidor da Web

É possível alterar o tipo de máquina do servidor da Web do Airflow do seu ambiente.

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente.

  4. No item Recursos > Tipo de máquina do servidor da Web: Clique em Editar.

  5. No painel Configuração do servidor da Web, faça o seguinte: Tipo de máquina do servidor da Web, selecione o tipo de máquina no servidor da Web do Airflow.

  6. Clique em Salvar.

gcloud

Os argumentos --web-server-machine-type controlam o tipo de máquina da instância do servidor da Web do Airflow no ambiente.

Execute o seguinte comando da Google Cloud CLI:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-machine-type WS_MACHINE_TYPE

Substitua:

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-machine-type composer-n1-webserver-2

API

  1. Crie um environments.patch.

  2. Nesta solicitação:

    1. No parâmetro updateMask, especifique Máscara config.webServerConfig.machineType.

    2. No corpo da solicitação, especifique o tipo de máquina para o servidor da Web.

{
  "config": {
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

Substitua:

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType

{
  "config": {
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

O campo machine_type no bloco web_server_config especifica o tipo de máquina para a instância do servidor da Web do Airflow.

resource "google_composer_environment" "example" {

  config {
    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

Substitua:

Exemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
}

A seguir