Dimensione ambientes

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página descreve como dimensionar ambientes do Cloud Composer.

Aumente a escala vertical e horizontalmente

No Cloud Composer 1, não define recursos específicos de CPU e memória para os componentes do Cloud Composer e do Airflow, como trabalhadores e programadores. Em alternativa, especifica o número e o tipo de máquinas para os nós no cluster do seu ambiente.

Nota: durante a distribuição de componentes no Cloud Composer 1, alguns componentes do Airflow podem ser colocados de forma desigual nos nós disponíveis. Neste cenário, a carga da CPU ou da memória de um ou mais nós é superior em comparação com outros nós no cluster.

Opções de escalabilidade horizontal:

• Ajuste o número de nós
• Ajuste o número de agendadores

Opções de dimensionamento vertical:

• Ajuste o tipo de máquina da instância do Cloud SQL
• Ajuste o tipo de máquina do servidor Web

Nota: quando configurar limites de recursos para componentes do Airflow, certifique-se de que os limites excedem os requisitos mínimos de recursos para o seu cenário de utilização. Os contentores auxiliares que são executados juntamente com o contentor do componente principal do Airflow usam alguns dos recursos atribuídos.

Ajuste os parâmetros do programador

O seu ambiente pode executar mais do que um programador do Airflow em simultâneo. Use vários agendadores para distribuir a carga entre várias instâncias do agendador para um melhor desempenho e fiabilidade.

Se o seu ambiente usar o Airflow 2, pode especificar um número de agendadores até ao número de nós no seu ambiente.

Ao dimensionar programadores, tenha em atenção as seguintes considerações:

• Em ambientes do Cloud Composer 3, os processadores DAG do Airflow são executados como componentes do ambiente separados dos programadores. Uma vez que o processador de DAGs transfere o processamento de DAGs do programador, é recomendável redistribuir os recursos anteriormente atribuídos aos programadores do Airflow.

  Uma vez que os programadores não analisam os DAGs no Cloud Composer 3, têm limites de recursos mais baixos para CPU e memória do que no Cloud Composer 2.

• O aumento do número de agendadores nem sempre melhora o desempenho do Airflow.

  Por exemplo, isto pode acontecer quando o agendador adicional não é usado e consome recursos do seu ambiente sem contribuir para o desempenho geral. O desempenho real do programador depende do número de trabalhadores do Airflow, do número de DAGs e tarefas que são executados no seu ambiente, e da configuração do Airflow e do ambiente.

• Recomendamos que comece com dois programadores e, em seguida, monitorize o desempenho do seu ambiente. Se alterar o número de programadores, pode sempre reduzir a escala do seu ambiente para o número original de programadores.

Para mais informações sobre a configuração de várias programações, consulte a documentação do Airflow.

Consola

1. Na Google Cloud consola, aceda à página Ambientes.

   Aceder a Ambientes

2. Na lista de ambientes, clique no nome do seu ambiente. É apresentada a página Detalhes do ambiente.

3. Aceda ao separador Configuração do ambiente.

4. No item Resources > Workloads configuration, clique em Edit.

5. No item Recursos > Número de programadores, clique em Editar.

6. No painel Configuração do programador, no campo Número de programadores, especifique o número de programadores para o seu ambiente.

7. Clique em Guardar.

gcloud

Estão disponíveis os seguintes parâmetros do programador do Airflow:

• --scheduler-count: o número de agendadores no seu ambiente.

Execute o seguinte comando da CLI Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-count SCHEDULER_COUNT

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.

• LOCATION: a região onde o ambiente está localizado.

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-count 2

API

1. Construa um pedido de API environments.patch.

2. Neste pedido:

   1. No parâmetro updateMask, especifique a máscara config.workloadsConfig.schedulerCount.

   2. No corpo do pedido, especifique o número de agendadores para o seu ambiente.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": SCHEDULER_COUNT
    }
  }
}

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.

• LOCATION: a região onde o ambiente está localizado.

• SCHEDULER_COUNT: o número de programadores.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": 2
    }
  }
}

Terraform

Os campos seguintes no bloco workloads_config.scheduler controlam os parâmetros do agendador do Airflow. Cada agendador usa a quantidade especificada de recursos.

• scheduler.count: o número de agendadores no seu ambiente.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        count = SCHEDULER_COUNT
      }
    }

  }
}

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.

• LOCATION: a região onde o ambiente está localizado.

• SCHEDULER_COUNT: o número de programadores.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        count = 2
      }
    }

  }
}

Ajuste os parâmetros do acionador

Pode definir o número de acionadores como zero, mas precisa de, pelo menos, uma instância de acionador no seu ambiente (ou, pelo menos, duas em ambientes altamente resilientes) para usar operadores adiáveis nos seus DAGs.

Consoante o modo de resiliência do seu ambiente, existem diferentes configurações possíveis para o número de acionadores:

• Resiliência padrão: pode executar até 10 acionadores.
• Resiliência elevada: pelo menos 2 acionadores, até um máximo de 10 acionadores.

Mesmo que o número de acionadores esteja definido como zero, é criada uma definição de pod de acionador e fica visível no cluster do seu ambiente, mas não são executadas cargas de trabalho de acionador reais.

Também pode especificar a quantidade de CPUs, memória e espaço em disco usados pelos acionadores do Airflow no seu ambiente. Desta forma, pode aumentar o desempenho do seu ambiente, além do escalonamento horizontal fornecido através da utilização de vários acionadores.

Nota: para obter informações sobre os valores possíveis e os limites dos recursos, consulte a secção Limites de recursos.

Consola

1. Na Google Cloud consola, aceda à página Ambientes.

   Aceder a Ambientes

2. Na lista de ambientes, clique no nome do seu ambiente. É apresentada a página Detalhes do ambiente.

3. Aceda ao separador Configuração do ambiente.

4. No item Resources > Workloads configuration, clique em Edit.

5. No painel Configuração de cargas de trabalho, ajuste os parâmetros dos acionadores do Airflow:

   1. Na secção Acionador, no campo Número de acionadores, introduza o número de acionadores no seu ambiente.

      Se definir, pelo menos, um acionador para o seu ambiente, use também os campos CPU e Memória para configurar a atribuição de recursos para os acionadores.

   2. Em CPU e Memória, especifique o número de CPUs, memória e armazenamento para os acionadores do Airflow. Cada acionador usa a quantidade especificada de recursos.

6. Clique em Guardar.

gcloud

Estão disponíveis os seguintes parâmetros do acionador do Airflow:

Atenção: use sempre os três argumentos: --triggerer-cpu, --triggerer-memory e --triggerer-count. Se omitir um parâmetro, o respetivo valor atual é reposto para o valor predefinido: 0.5 vCPU, 0.5 GB de memória ou o número de acionadores para o modo de resiliência do seu ambiente.

• --triggerer-count: o número de acionadores no seu ambiente.

  • Para ambientes de resiliência padrão, use um valor entre 0 e 10.
  • Para ambientes altamente resilientes, use 0, ou um valor entre 2 e 10.

• --triggerer-cpu: o número de CPUs para um acionador do Airflow.

• --triggerer-memory: a quantidade de memória para um acionador do Airflow.

Execute o seguinte comando da CLI Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --triggerer-count TRIGGERER_COUNT \
  --triggerer-cpu TRIGGERER_CPU \
  --triggerer-memory TRIGGERER_MEMORY

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região onde o ambiente está localizado.
• TRIGGERER_COUNT: o número de acionadores.
• TRIGGERER_CPU: o número de CPUs para um acionador, em unidades de vCPU.
• TRIGGERER_MEMORY: a quantidade de memória para um acionador.

Nota: o valor especificado para a memória e o espaço em disco tem de ser um número inteiro seguido de uma unidade de tamanho de KB para quilobyte, MB para megabyte ou GB para gigabyte. A unidade de tamanho predefinida é GB. Por exemplo, 10GB produz um armazenamento de 10 gigabytes.

Exemplos:

• Dimensionar para quatro instâncias de acionador:

gcloud composer environments update example-environment \
  --location us-central1 \
  --triggerer-count 4 \
  --triggerer-cpu 1 \
  --triggerer-memory 1

• Desative os acionadores definindo a contagem de acionadores como 0. Esta operação não requer a especificação da CPU nem da memória para os acionadores.

gcloud composer environments update example-environment \
  --location us-central1 \
  --triggerer-count 0

API

1. No parâmetro de consulta updateMask, especifique a máscara config.workloadsConfig.triggerer.

2. No corpo do pedido, especifique todos os três parâmetros para os acionadores.

"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": TRIGGERER_COUNT,
      "cpu": TRIGGERER_CPU,
      "memoryGb": TRIGGERER_MEMORY
    }
  }
}

Substitua o seguinte:

• TRIGGERER_COUNT: o número de acionadores.

  • Para ambientes de resiliência padrão, use um valor entre 0 e 10.
  • Para ambientes altamente resilientes, use 0, ou um valor entre 2 e 10.

• TRIGGERER_CPU: o número de CPUs para um acionador, em unidades de vCPU.

• TRIGGERER_MEMORY: a quantidade de memória para um acionador.

Exemplos:

• Desative os acionadores definindo a contagem de acionadores como 0. Esta operação não requer a especificação da CPU nem da memória para os acionadores.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 0
    }
  }
}

• Dimensionar para quatro instâncias de acionador:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 4,
      "cpu": 1,
      "memoryGb": 1
    }
  }
}

Terraform

Os campos seguintes no bloco workloads_config.triggerer controlam os parâmetros do acionador do Airflow. Cada acionador usa a quantidade especificada de recursos.

• triggerer.count: o número de acionadores no seu ambiente.

  • Para ambientes de resiliência padrão, use um valor entre 0 e 10.
  • Para ambientes altamente resilientes, use 0, ou um valor entre 2 e 10.

• triggerer.cpu: o número de CPUs para um acionador do Airflow.

• triggerer.memory_gb: a quantidade de memória para um acionador do Airflow.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
    }

  }
}

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região onde o ambiente está localizado.
• TRIGGERER_COUNT: o número de acionadores.
• TRIGGERER_CPU: o número de CPUs para um acionador, em unidades de vCPU.
• TRIGGERER_MEMORY: a quantidade de memória para um acionador, em GB.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
    }

  }
}

Ajuste os parâmetros do servidor Web

Pode especificar a quantidade de CPUs, memória e espaço em disco usados pelo servidor Web do Airflow no seu ambiente. Deste modo, pode dimensionar o desempenho da IU do Airflow, por exemplo, para corresponder à procura proveniente de um grande número de utilizadores ou de um grande número de DAGs geridos.

Nota: para obter informações sobre os valores possíveis e os limites dos recursos, consulte a secção Limites de recursos.

Consola

1. Na Google Cloud consola, aceda à página Ambientes.

   Aceder a Ambientes

2. Na lista de ambientes, clique no nome do seu ambiente. É apresentada a página Detalhes do ambiente.

3. Aceda ao separador Configuração do ambiente.

4. No item Resources > Workloads configuration, clique em Edit.

5. No painel Configuração das cargas de trabalho, ajuste os parâmetros do servidor Web. Nos campos CPU, Memória e Armazenamento, especifique o número de CPUs, a memória e o armazenamento para o servidor Web.

6. Clique em Guardar.

gcloud

Estão disponíveis os seguintes parâmetros do servidor Web do Airflow:

• --web-server-cpu: o número de CPUs para o servidor Web do Airflow.
• --web-server-memory: a quantidade de memória para o servidor Web do Airflow.
• --web-server-storage: a quantidade de espaço em disco para o servidor Web do Airflow.

Execute o seguinte comando da CLI Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-cpu WEB_SERVER_CPU \
  --web-server-memory WEB_SERVER_MEMORY \
  --web-server-storage WEB_SERVER_STORAGE

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região onde o ambiente está localizado.
• WEB_SERVER_CPU: o número de CPUs para o servidor Web, em unidades de vCPU.
• WEB_SERVER_MEMORY: a quantidade de memória para o servidor Web.
• WEB_SERVER_STORAGE: a quantidade de memória para o servidor Web.

Nota: o valor especificado para a memória e o espaço em disco tem de ser um número inteiro seguido de uma unidade de tamanho de KB para quilobyte, MB para megabyte ou GB para gigabyte. A unidade de tamanho predefinida é GB. Por exemplo, 10GB produz um armazenamento de 10 gigabytes.

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-cpu 1 \
  --web-server-memory 2.5 \
  --web-server-storage 2

API

1. Construa um pedido de API environments.patch.

2. Neste pedido:

   1. No parâmetro updateMask, especifique a máscara config.workloadsConfig.webServer para atualizar todos os parâmetros do servidor Web. Também pode atualizar parâmetros individuais do servidor Web especificando uma máscara para esses parâmetros: config.workloadsConfig.webServer.cpu, config.workloadsConfig.webServer.memoryGb, config.workloadsConfig.webServer.storageGb.

   2. No corpo do pedido, especifique os novos parâmetros do servidor Web.

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": WEB_SERVER_CPU,
      "memoryGb": WEB_SERVER_MEMORY,
      "storageGb": WEB_SERVER_STORAGE
    }
  }
}

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região onde o ambiente está localizado.
• WEB_SERVER_CPU: o número de CPUs para o servidor Web, em unidades de vCPU.
• WEB_SERVER_MEMORY: a quantidade de memória para o servidor Web, em GB.
• WEB_SERVER_STORAGE: o tamanho do disco para o servidor Web, em GB.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

Os campos seguintes no bloco workloads_config.web_server controlam os parâmetros do servidor Web.

• O web_server.cpu: o número de CPUs para o servidor Web.
• O web_server.memory_gb: a quantidade de memória para o servidor Web.
• O web_server.storage_gb: a quantidade de espaço em disco para o servidor Web.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
    }

  }
}

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região onde o ambiente está localizado.
• WEB_SERVER_CPU: o número de CPUs para o servidor Web, em unidades de vCPU.
• WEB_SERVER_MEMORY: a quantidade de memória para o servidor Web, em GB.
• WEB_SERVER_STORAGE: o tamanho do disco para o servidor Web, em GB.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      web_server {
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
      }
    }

  }
}

Ajuste o tamanho do ambiente

O tamanho do ambiente controla os parâmetros de desempenho da infraestrutura do Cloud Composer gerida, que inclui, por exemplo, a base de dados do Airflow.

Pondere selecionar um tamanho do ambiente maior se quiser executar um grande número de DAGs e tarefas.

Nota: o tamanho do ambiente é diferente das predefinições do ambiente. As predefinições do ambiente, que pode selecionar quando cria um ambiente, determinam todos os limites, a escala e os parâmetros de desempenho do ambiente, incluindo o tamanho do ambiente. O tamanho do ambiente determina apenas os parâmetros de desempenho da infraestrutura do Cloud Composer gerida do seu ambiente.

Consola

1. Na Google Cloud consola, aceda à página Ambientes.

   Aceder a Ambientes

2. Na lista de ambientes, clique no nome do seu ambiente. É apresentada a página Detalhes do ambiente.

3. Aceda ao separador Configuração do ambiente.

4. No item Resources > Workloads configuration, clique em Edit.

5. No item Recursos > Infraestrutura principal, clique em Editar.

6. No painel Infraestrutura principal, no campo Tamanho do ambiente, especifique o tamanho do ambiente.

7. Clique em Guardar.

gcloud

O argumento --environment-size controla o tamanho do ambiente:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --environment-size ENVIRONMENT_SIZE

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região onde o ambiente está localizado.
• ENVIRONMENT_SIZE: small, medium ou large.

Exemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --environment-size medium

API

1. Crie um pedido de API environments.patch.

2. Neste pedido:

   1. No parâmetro updateMask, especifique a máscara config.environmentSize.

   2. No corpo do pedido, especifique o tamanho do ambiente.

  "config": {
    "environmentSize": "ENVIRONMENT_SIZE"
  }

Substitua o seguinte:

• ENVIRONMENT_SIZE: o tamanho do ambiente, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize

"config": {
  "environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}

Terraform

O campo environment_size no bloco config controla o tamanho do ambiente:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    environment_size = "ENVIRONMENT_SIZE"

  }
}

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região onde o ambiente está localizado.
• ENVIRONMENT_SIZE: o tamanho do ambiente, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    }
  }
}

Ajuste o número de nós

Pode alterar o número de nós no seu ambiente.

Este número corresponde ao número de trabalhadores do Airflow no seu ambiente. Além de executar trabalhadores do Airflow, os nós do ambiente também executam programadores do Airflow e outros componentes do ambiente.

Consola

1. Na Google Cloud consola, aceda à página Ambientes.

   Aceder a Ambientes

2. Na lista de ambientes, clique no nome do seu ambiente. É apresentada a página Detalhes do ambiente.

3. Aceda ao separador Configuração do ambiente.

4. No item Nós de trabalho > Número de nós, clique em Editar.

5. No painel Configuração dos nós de trabalho, no campo Número de nós, especifique o número de nós no seu ambiente.

6. Clique em Guardar.

gcloud

O argumento --node-count controla o número de nós no seu ambiente:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --zone NODE_ZONE \
    --node-count NODE_COUNT

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região onde o ambiente está localizado.
• NODE_COUNT: o número de nós. O número mínimo de nós é 3.
• NODE_ZONE: a zona do Compute Engine para as VMs do seu ambiente.

Exemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --zone us-central1-a \
    --node-count 6

API

1. Crie um pedido de API environments.patch.

2. Neste pedido:

   1. No parâmetro updateMask, especifique a máscara config.nodeCount.

   2. No corpo do pedido, especifique o número de nós para o seu ambiente.

  "config": {
    "nodeCount": NODE_COUNT
  }

Substitua o seguinte:

• NODE_COUNT: o número de nós. O número mínimo de nós é 3.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount

"config": {
  "nodeCount": 6
}

Terraform

O campo node_count no bloco node_config especifica o número de nós no seu ambiente.

resource "google_composer_environment" "example" {

  config {
    node_config {
      node_count = NODE_COUNT
    }
}

Substitua o seguinte:

• NODE_COUNT: o número de nós.

Exemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
    }

}

Nota: a alteração da quantidade de nós de um ambiente não aciona a recompilação das imagens do Airflow usadas para o ambiente.

Ajuste o tipo de máquina da instância do Cloud SQL

Pode alterar o tipo de máquina da instância do Cloud SQL que armazena a base de dados do Airflow do seu ambiente.

Consola

1. Na Google Cloud consola, aceda à página Ambientes.

   Aceder a Ambientes

2. Na lista de ambientes, clique no nome do seu ambiente. É apresentada a página Detalhes do ambiente.

3. Aceda ao separador Configuração do ambiente.

4. No item Resources > Cloud SQL machine type, clique em Edit.

5. No painel Configuração do Cloud SQL, na lista pendente Tipo de máquina do Cloud SQL, selecione o tipo de máquina para a instância do Cloud SQL do seu ambiente.

6. Clique em Guardar.

gcloud

Os argumentos --cloud-sql-machine-type controlam o tipo de máquina da instância do Cloud SQL no seu ambiente.

Execute o seguinte comando da CLI Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-sql-machine-type SQL_MACHINE_TYPE

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região onde o ambiente está localizado.
• SQL_MACHINE_TYPE: o tipo de máquina para a instância do Cloud SQL.

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --cloud-sql-machine-type db-n1-standard-2

API

1. Crie um pedido de API environments.patch.

2. Neste pedido:

   1. No parâmetro updateMask, especifique a máscara config.databaseConfig.machineType.

   2. No corpo do pedido, especifique o tipo de máquina para a instância do Cloud SQL.

{
  "config": {
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    }
  }
}

Substitua o seguinte:

• SQL_MACHINE_TYPE: o tipo de máquina para a instância do Cloud SQL.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType

{
  "config": {
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    }
  }
}

Terraform

O campo machine_type no bloco database_config especifica o tipo de máquina para a instância do Cloud SQL.

resource "google_composer_environment" "example" {

  config {
    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }
  }
}

Substitua o seguinte:

• SQL_MACHINE_TYPE: o tipo de máquina para a instância do Cloud SQL.

Exemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    database_config {
      machine_type = "db-n1-standard-2"
    }
}

Ajuste o tipo de máquina do servidor Web

Pode alterar o tipo de máquina do servidor Web do Airflow do seu ambiente.

Consola

1. Na Google Cloud consola, aceda à página Ambientes.

   Aceder a Ambientes

2. Na lista de ambientes, clique no nome do seu ambiente. É apresentada a página Detalhes do ambiente.

3. Aceda ao separador Configuração do ambiente.

4. No item Recursos > Tipo de máquina do servidor Web, clique em Editar.

5. No painel Configuração do servidor Web, na lista pendente Tipo de máquina do servidor Web, selecione o tipo de máquina para o servidor Web do Airflow.

6. Clique em Guardar.

gcloud

Os argumentos --web-server-machine-type controlam o tipo de máquina da instância do servidor Web do Airflow no seu ambiente.

Execute o seguinte comando da CLI Google Cloud:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-machine-type WS_MACHINE_TYPE

Substitua o seguinte:

• ENVIRONMENT_NAME: o nome do ambiente.
• LOCATION: a região onde o ambiente está localizado.
• WS_MACHINE_TYPE: o tipo de máquina para a instância do servidor Web do Airflow.

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-machine-type composer-n1-webserver-2

API

1. Crie um pedido de API environments.patch.

2. Neste pedido:

   1. No parâmetro updateMask, especifique a máscara config.webServerConfig.machineType.

   2. No corpo do pedido, especifique o tipo de máquina para o servidor Web.

{
  "config": {
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

Substitua o seguinte:

• WS_MACHINE_TYPE: o tipo de máquina para a instância do servidor Web do Airflow.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType

{
  "config": {
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

O campo machine_type no bloco web_server_config especifica o tipo de máquina para a instância do servidor Web do Airflow.

resource "google_composer_environment" "example" {

  config {
    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

Substitua o seguinte:

• WS_MACHINE_TYPE: o tipo de máquina para a instância do servidor Web do Airflow.

Exemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
}

O que se segue?

• Escalabilidade e desempenho do ambiente
• Preços do Cloud Composer
• Atualize ambientes
• Arquitetura do ambiente