Escalonar ambientes

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Nesta página, descrevemos como escalonar ambientes do Cloud Composer.

Dimensionar vertical e horizontalmente

No Cloud Composer 1, você não define recursos específicos de CPU e memória para componentes do Cloud Composer e do Airflow, como workers e programadores. Em vez disso, especifique o número e o tipo de máquinas para nós no cluster do seu ambiente.

Observação :durante a distribuição de componentes no Cloud Composer 1, parte do Airflow podem ser colocados de maneira desigual sobre os nós disponíveis. Em uma a carga na CPU ou na memória de um ou mais nós é maior do que outros nós do cluster.

Opções de escalonamento horizontal:

• Ajustar o número de nós
• Ajustar o número de programadores

Opções para escalonamento vertical:

• Ajustar o tipo de máquina da instância do Cloud SQL
• Ajustar o tipo de máquina do servidor da Web

Ajustar parâmetros do programador

Seu ambiente pode executar mais de um programador do Airflow ao mesmo tempo. Use vários programadores para distribuir a carga entre várias instâncias do programador e tenha melhor desempenho e confiabilidade.

Se o ambiente usa o Airflow 2, é possível especificar vários programadores. com o número de nós do ambiente.

Aumentar o número de programadores nem sempre melhora o desempenho do Airflow. Por exemplo, ter apenas um programador pode proporcionar um desempenho melhor do que com dois. Isso pode acontecer quando o programador extra não é utilizado e, portanto, consome recursos do seu ambiente sem contribuir com o desempenho geral. O desempenho real do programador depende do número de workers do Airflow, do número de DAGs e tarefas executados no ambiente e da configuração do Airflow e do ambiente.

Recomendamos começar com dois programadores e depois monitorar o desempenho do ambiente. Se você alterar o número de programadores, será possível escalonar o ambiente novamente para o número original de programadores.

Para mais informações sobre como configurar vários programadores, consulte a documentação do Airflow.

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente.

4. No item Recursos > Configuração de cargas de trabalho, clique em Editar.

5. No item Recursos > Número de programadores, faça o seguinte: Clique em Editar.

6. No painel Configuração do programador, da seção No campo Number of schedulers, especifique o número de programadores para em seu ambiente.

7. Clique em Salvar.

gcloud

Os seguintes parâmetros do programador do Airflow estão disponíveis:

• --scheduler-count: o número de programadores no seu ambiente.

Execute o seguinte comando da CLI do Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-count SCHEDULER_COUNT

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.

• LOCATION: a região em que o ambiente está localizado.

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-count 2

API

1. Crie uma solicitação de API environments.patch.

2. Nesta solicitação:

   1. No parâmetro updateMask, especifique Máscara config.workloadsConfig.schedulerCount.

   2. No corpo da solicitação, especifique o número de programadores para seu ambiente.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": SCHEDULER_COUNT
    }
  }
}

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.

• LOCATION: a região em que o ambiente está localizado.

• SCHEDULER_COUNT: o número de programadores.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": 2
    }
  }
}

Terraform

Os seguintes campos no bloco workloads_config.scheduler controlam o Parâmetros do programador do Airflow. Cada programador usa a quantidade especificada de do Google Cloud.

• scheduler.count: o número de programadores no seu ambiente.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        count = SCHEDULER_COUNT
      }
    }

  }
}

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.

• LOCATION: a região em que o ambiente está localizado.

• SCHEDULER_COUNT: o número de programadores.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        count = 2
      }
    }

  }
}

Ajustar os parâmetros do acionador

Você pode definir o número de acionadores como zero, mas precisa de pelo menos um instância do engatilhador no seu ambiente (ou pelo menos duas em ambientes altamente resilientes ambientes), para usar operadores adiáveis nos DAGs.

Dependendo da configuração modo de resiliência, há diferentes configurações possíveis para o número de acionadores:

• Resiliência padrão: você pode ter até 10 acionadores.
• Alta resiliência: pelo menos dois acionadores, até um máximo de 10.

Mesmo que o número de acionadores seja definido como zero, uma definição de pod do acionador é criado e visível no cluster do ambiente, mas nenhum acionador real cargas de trabalho sejam executadas.

Também é possível especificar a quantidade de CPUs, memória e espaço em disco usados pelos acionadores do Airflow no seu ambiente. Dessa forma, você pode aumentar a performance do ambiente, além do escalonamento horizontal fornecido usando vários acionadores.

Observação :para informações sobre possíveis valores e limites de recursos, consulte Seção Limites de recursos.

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente.

4. No item Recursos > Configuração de cargas de trabalho, clique em Editar.

5. No painel Configuração de cargas de trabalho, ajuste os parâmetros para o Airflow. acionadores:

   1. Na seção Acionador, no campo Número de acionadores, insira o número de acionadores no seu ambiente.

      Se você definir pelo menos um acionador para seu ambiente, use também o os campos CPU e Memory para configurar a alocação de recursos; para os acionadores.

   2. Nos campos CPU e Memória, especifique o número de CPUs, memória e armazenamento para acionadores do Airflow. Cada acionador usa a quantidade especificada de recursos.

6. Clique em Salvar.

gcloud

Os seguintes parâmetros do acionador do Airflow estão disponíveis:

Atenção: sempre use os três argumentos: --triggerer-cpu, --triggerer-memory e --triggerer-count. Se você omitir um parâmetro, o valor atual dele será redefinido para o padrão: 0.5 GB de memória, 0.5 vCPU ou o número de acionadores do modo de resiliência do seu ambiente.

• --triggerer-count: o número de acionadores no ambiente.

  • Para ambientes de resiliência padrão, use um valor entre 0 e 10.
  • Para ambientes altamente resilientes, use 0 ou um valor entre 2 e 10.

• --triggerer-cpu: o número de CPUs de um acionador do Airflow.

• --triggerer-memory: a quantidade de memória para um fluxo engatilhador.

Execute o seguinte comando da CLI do Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --triggerer-count TRIGGERER_COUNT \
  --triggerer-cpu TRIGGERER_CPU \
  --triggerer-memory TRIGGERER_MEMORY

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região em que o ambiente está localizado.
• TRIGGERER_COUNT: o número de acionadores.
• TRIGGERER_CPU: o número de CPUs de um acionador, em unidades de vCPU.
• TRIGGERER_MEMORY: a quantidade de memória para um acionador.

Observação: o valor especificado para memória e espaço em disco precisa ser um número inteiro seguido de uma unidade de tamanho de KB para kilobyte, MB para megabyte ou GB para gigabyte. A unidade de tamanho padrão é GB. Por exemplo, 10GB produz um resultado 10 gigabytes.

Exemplos:

• Escalonar para quatro instâncias de acionador:

  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 4 \
    --triggerer-cpu 1 \
    --triggerer-memory 1
  ```

- Disable triggerers by setting triggerer count to `0`. This operation
  doesn't require specifying CPU or memory for the triggerers.

```bash
  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 0
  ```

API

1. No parâmetro de consulta updateMask, especifique a máscara config.workloadsConfig.triggerer.

2. No corpo da solicitação, especifique os três parâmetros para acionadores.

"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": TRIGGERER_COUNT,
      "cpu": TRIGGERER_CPU,
      "memoryGb": TRIGGERER_MEMORY
    }
  }
}

Substitua:

• TRIGGERER_COUNT: o número de acionadores.

  • Para ambientes de resiliência padrão, use um valor entre 0 e 10.
  • Para ambientes altamente resilientes, use 0, ou um valor entre 2 e 10

• TRIGGERER_CPU: o número de CPUs de um engatilhador, em unidades de vCPU.

• TRIGGERER_MEMORY: a quantidade de memória para um acionador.

Exemplos:

• Para desativar os acionadores, defina a contagem do acionador como 0. Essa operação não exige a especificação de CPU ou memória para os acionadores.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 0
    }
  }
}

• Escalonar para quatro instâncias de acionador:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 4,
      "cpu": 1,
      "memoryGb": 1
    }
  }
}

Terraform

Os campos a seguir no bloco workloads_config.triggerer controlam os parâmetros do acionador do Airflow. Cada engatilhador usa a quantidade especificada de do Google Cloud.

• triggerer.count: o número de acionadores no ambiente.

  • Para ambientes de resiliência padrão, use um valor entre 0 e 10.
  • Para ambientes altamente resilientes, use 0 ou um valor entre 2 e 10.

• triggerer.cpu: o número de CPUs de um acionador do Airflow.

• triggerer.memory_gb: a quantidade de memória para um gatilho do Airflow.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
    }

  }
}

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região em que o ambiente está localizado.
• TRIGGERER_COUNT: o número de acionadores.
• TRIGGERER_CPU: o número de CPUs de um engatilhador, em unidades de vCPU.
• TRIGGERER_MEMORY: a quantidade de memória de um acionador, em GB.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
    }

  }
}

Ajustar os parâmetros do servidor da Web

É possível especificar a quantidade de CPUs, memória e espaço em disco usados pelo servidor da Web do Airflow no seu ambiente. Dessa forma, é possível escalonar o desempenho da interface do Airflow, por exemplo, para corresponder à demanda de um grande número de usuários ou de DAGs gerenciados.

Observação :para informações sobre possíveis valores e limites de recursos, consulte Seção Limites de recursos.

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente.

4. No item Recursos > Configuração de cargas de trabalho, faça o seguinte: Clique em Editar.

5. No painel Configuração de cargas de trabalho, ajuste os parâmetros do servidor da Web. Nos campos CPU, Memória e Armazenamento, especifique o número de CPUs, memória e armazenamento para o servidor da Web.

6. Clique em Salvar.

gcloud

Os seguintes parâmetros do servidor da Web do Airflow estão disponíveis:

• --web-server-cpu: o número de CPUs do servidor da Web do Airflow.
• --web-server-memory: a quantidade de memória para a Web do Airflow servidor.
• --web-server-storage: a quantidade de espaço em disco para o servidor da Web do Airflow.

Execute o seguinte comando da Google Cloud CLI:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-cpu WEB_SERVER_CPU \
  --web-server-memory WEB_SERVER_MEMORY \
  --web-server-storage WEB_SERVER_STORAGE

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região em que o ambiente está localizado.
• WEB_SERVER_CPU: o número de CPUs do servidor da Web, em unidades de vCPU.
• WEB_SERVER_MEMORY: a quantidade de memória para o servidor da Web.
• WEB_SERVER_STORAGE: a quantidade de memória do servidor da Web.

Observação: o valor especificado para memória e espaço em disco precisa ser um número inteiro seguido por uma unidade de tamanho de KB para kilobyte, MB para megabyte ou GB para gigabyte. A unidade de tamanho padrão é GB. Por exemplo, 10GB produz um resultado 10 gigabytes.

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-cpu 1 \
  --web-server-memory 2.5 \
  --web-server-storage 2

API

1. Crie uma solicitação de API environments.patch.

2. Nesta solicitação:

   1. No parâmetro updateMask, especifique a máscara config.workloadsConfig.webServer para atualizar todos os parâmetros do servidor da Web. Também é possível atualizar parâmetros individuais do servidor da Web especificando uma máscara para esses parâmetros: config.workloadsConfig.webServer.cpu, config.workloadsConfig.webServer.memoryGb e config.workloadsConfig.webServer.storageGb.

   2. No corpo da solicitação, especifique os novos parâmetros do servidor da Web.

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": WEB_SERVER_CPU,
      "memoryGb": WEB_SERVER_MEMORY,
      "storageGb": WEB_SERVER_STORAGE
    }
  }
}

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região em que o ambiente está localizado.
• WEB_SERVER_CPU: o número de CPUs do servidor da Web, em unidades de vCPU.
• WEB_SERVER_MEMORY: a quantidade de memória do servidor da Web, em GB.
• WEB_SERVER_STORAGE: o tamanho do disco do servidor da Web em GB.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

Os campos a seguir no bloco workloads_config.web_server controlam os parâmetros do servidor da Web.

• web_server.cpu: o número de CPUs para o servidor da Web.
• web_server.memory_gb: a quantidade de memória do servidor da Web.
• web_server.storage_gb: a quantidade de espaço em disco para o servidor da Web.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
    }

  }
}

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região em que o ambiente está localizado.
• WEB_SERVER_CPU: o número de CPUs do servidor da Web, em unidades de vCPU.
• WEB_SERVER_MEMORY: a quantidade de memória do servidor da Web, em GB.
• WEB_SERVER_STORAGE: o tamanho do disco do servidor da Web em GB.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      web_server {
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
      }
    }

  }
}

Ajustar o tamanho do ambiente

O tamanho do ambiente controla os parâmetros de desempenho da infraestrutura gerenciada do Cloud Composer que inclui, por exemplo, o banco de dados do Airflow.

Selecione um tamanho maior de ambiente se você quiser executar um grande número de DAGs e tarefas.

Observação: o tamanho do ambiente é diferente das predefinições do ambiente. Predefinições de ambiente, que podem ser selecionadas ao criar um ambiente, determinar todos os limites, escalas e parâmetros de desempenho, incluindo o tamanho do ambiente. O tamanho do ambiente determina apenas os parâmetros de desempenho da infraestrutura gerenciada do Cloud Composer do seu ambiente.

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente.

4. No item Recursos > Configuração de cargas de trabalho, faça o seguinte: Clique em Editar.

5. No item Recursos > Infraestrutura principal: Clique em Editar.

6. No painel Infraestrutura principal, no campo Tamanho do ambiente, especifique o tamanho do ambiente.

7. Clique em Salvar.

gcloud

O argumento --environment-size controla o tamanho do ambiente:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --environment-size ENVIRONMENT_SIZE

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região em que o ambiente está localizado.
• ENVIRONMENT_SIZE: small, medium ou large.

Exemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --environment-size medium

API

1. Crie uma solicitação de API environments.patch.

2. Nesta solicitação:

   1. No parâmetro updateMask, especifique a máscara config.environmentSize.

   2. No corpo da solicitação, especifique o tamanho do ambiente.

  "config": {
    "environmentSize": "ENVIRONMENT_SIZE"
  }

Substitua:

• ENVIRONMENT_SIZE: o tamanho do ambiente, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize

"config": {
  "environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}

Terraform

O campo environment_size no bloco config controla o tamanho do ambiente:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    environment_size = "ENVIRONMENT_SIZE"

  }
}

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região em que o ambiente está localizado.
• ENVIRONMENT_SIZE: o tamanho do ambiente, ENVIRONMENT_SIZE_SMALL. ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    }
  }
}

Ajustar o número de nós

É possível alterar o número de nós no ambiente.

Esse número corresponde ao número de workers do Airflow no seu ambiente. Além de executar workers do Airflow, os nós de ambiente também executam os programadores e outros componentes do ambiente.

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente.

4. No item Nós de trabalho > Contagem de nós, clique em Editar.

5. No painel Configuração de nós de trabalho, no campo Contagem de nós, especifique o número de nós no seu ambiente.

6. Clique em Salvar.

gcloud

O argumento --node-count controla o número de nós no seu ambiente:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --zone NODE_ZONE \
    --node-count NODE_COUNT

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região em que o ambiente está localizado.
• NODE_COUNT: o número de nós. O número mínimo de nós é 3.
• NODE_ZONE: a zona do Compute Engine para as VMs do ambiente.

Exemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --zone us-central1-a \
    --node-count 6

API

1. Crie uma solicitação de API environments.patch.

2. Nesta solicitação:

   1. No parâmetro updateMask, especifique a máscara config.nodeCount.

   2. No corpo da solicitação, especifique o número de nós do seu ambiente.

  "config": {
    "nodeCount": NODE_COUNT
  }

Substitua:

• NODE_COUNT: o número de nós. O número mínimo de nós é 3.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount

"config": {
  "nodeCount": 6
}

Terraform

O campo node_count no bloco node_config especifica o número de nós no seu ambiente.

resource "google_composer_environment" "example" {

  config {
    node_config {
      node_count = NODE_COUNT
    }
}

Substitua:

• NODE_COUNT: o número de nós.

Exemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
    }

}

Observação: alterar a contagem de nós de um ambiente não aciona a recriação de imagens do Airflow usadas no ambiente.

Ajustar o tipo de máquina da instância do Cloud SQL

É possível mudar o tipo de máquina da instância do Cloud SQL que armazena o banco de dados do Airflow do seu ambiente.

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente.

4. No item Recursos > Tipo de máquina do Cloud SQL, clique em Editar.

5. No painel Configuração do Cloud SQL, abaixo Tipo de máquina do Cloud SQL, selecione o tipo de máquina a instância do Cloud SQL do seu ambiente.

6. Clique em Salvar.

gcloud

Os argumentos --cloud-sql-machine-type controlam o tipo de máquina da instância do Cloud SQL no seu ambiente.

Execute o seguinte comando da CLI do Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-sql-machine-type SQL_MACHINE_TYPE

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região em que o ambiente está localizado.
• SQL_MACHINE_TYPE: o tipo de máquina da instância do Cloud SQL.

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --cloud-sql-machine-type db-n1-standard-2

API

1. Crie um environments.patch.

2. Nesta solicitação:

   1. No parâmetro updateMask, especifique Máscara config.databaseConfig.machineType.

   2. No corpo da solicitação, especifique o tipo de máquina para a instância do Cloud SQL.

{
  "config": {
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    }
  }
}

Substitua:

• SQL_MACHINE_TYPE: o tipo de máquina. para a instância do Cloud SQL.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType

{
  "config": {
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    }
  }
}

Terraform

O campo machine_type no bloco database_config especifica o tipo de máquina para a instância do Cloud SQL.

resource "google_composer_environment" "example" {

  config {
    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }
  }
}

Substitua:

• SQL_MACHINE_TYPE: o tipo de máquina. para a instância do Cloud SQL.

Exemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    database_config {
      machine_type = "db-n1-standard-2"
    }
}

Ajustar o tipo de máquina do servidor da Web

É possível alterar o tipo de máquina do servidor da Web do Airflow do seu ambiente.

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente.

4. No item Recursos > Tipo de máquina do servidor da Web: Clique em Editar.

5. No painel Configuração do servidor da Web, faça o seguinte: Tipo de máquina do servidor da Web, selecione o tipo de máquina no servidor da Web do Airflow.

6. Clique em Salvar.

gcloud

Os argumentos --web-server-machine-type controlam o tipo de máquina da instância do servidor da Web do Airflow no ambiente.

Execute o seguinte comando da Google Cloud CLI:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-machine-type WS_MACHINE_TYPE

Substitua:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região em que o ambiente está localizado.
• WS_MACHINE_TYPE: o tipo de máquina para a instância do servidor da Web do Airflow.

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-machine-type composer-n1-webserver-2

API

1. Crie um environments.patch.

2. Nesta solicitação:

   1. No parâmetro updateMask, especifique Máscara config.webServerConfig.machineType.

   2. No corpo da solicitação, especifique o tipo de máquina para o servidor da Web.

{
  "config": {
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

Substitua:

• WS_MACHINE_TYPE: o Tipo de máquina para a instância do servidor da Web do Airflow.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType

{
  "config": {
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

O campo machine_type no bloco web_server_config especifica o tipo de máquina para a instância do servidor da Web do Airflow.

resource "google_composer_environment" "example" {

  config {
    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

Substitua:

• WS_MACHINE_TYPE: o tipo de máquina para a instância do servidor da Web do Airflow.

Exemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
}

A seguir

• Escalonamento e desempenho do ambiente
• Preços do Cloud Composer
• Atualizar ambientes
• Arquitetura de ambiente