Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Nesta página, descrevemos como configurar o Cloud Composer altamente resiliente e ambientes de teste.
Sobre a resiliência para falhas em zonas no Cloud Composer
Os ambientes do Cloud Composer altamente resilientes usam redundância integrada e mecanismos de failover que reduzem a suscetibilidade do ambiente e falhas temporárias de ponto único de falha.
Por exemplo, uma interrupção de zona interrompe tarefas do Airflow que são executadas em um zona. Em seguida, um ambiente altamente resiliente se recupera, reinicia a componentes afetados em uma zona diferente e muda seu banco de dados para um na zona secundária. Assim, as tarefas com falha do Airflow podem ser reprogramadas e reiniciada pelo Airflow e, ao mesmo tempo, preserva o histórico do DAG execuções e outras configurações.
Um ambiente altamente resiliente é executado em pelo menos duas zonas de uma na mesma região. Cloud Composer distribui automaticamente os componentes da sua entre as zonas.
É possível usar ambientes do Cloud Composer altamente resilientes para e processos empresariais críticos.
Sobre o banco de dados altamente disponível do seu ambiente
Em ambientes altamente disponíveis do Cloud Composer, o que armazena o banco de dados do ambiente é executado no modo de alta disponibilidade. Uma instância do Cloud SQL configurada para alta disponibilidade também é chamada de instância regional e está localizado em uma zona primária e secundária dentro da região configurada. Em uma instância regional, a configuração é composta por uma instância principal e uma instância em espera.
Em caso de interrupção, a instância do Cloud SQL do seu ambiente executa o failover automático do banco de dados para o Cloud SQL em espera instância. Você não precisa realizar nenhuma ação adicional no ambiente do Cloud Composer. Depois que a zona principal estiver em funcionamento o ambiente volta a ter duas zonas (principal e secundário). As zonas primária e secundária podem ser trocadas em alguns casos. A A instância do Cloud SQL no modo de alta disponibilidade usa o mesmo IP após um failover.
Sobre os componentes altamente disponíveis do Airflow
Ambientes altamente disponíveis do Cloud Composer executam o Airflow componentes distribuídos entre zonas.
Seu ambiente sempre executa exatamente dois programadores do Airflow, dois servidores da Web e pelo menos dois (e não mais que dez) acionadores se os acionadores estiverem ativados. Esses pares de são executados em zonas separadas. O número mínimo de workers é definido como dois, e o cluster do ambiente distribui instâncias de worker entre as zonas. Em caso de interrupção de serviço zonal, as instâncias de worker afetadas são reprogramadas em uma zona diferente.
Para mais informações sobre a arquitetura de ambientes altamente resilientes, consulte Arquitetura de ambiente altamente resiliente.
Antes de começar
Há ambientes altamente resilientes disponíveis apenas em ambientes de IP privado.
Ambientes altamente resilientes são oferecidos por uma cobrança incremental quando comparado a em ambientes regulares.
Ambientes altamente resilientes estão disponíveis no Cloud Composer versão 2.2.0 e posteriores.
Se quiser atualizar um ambiente padrão para um altamente resiliente, se ele atende aos requisitos de configuração a seguir. Se seu ambiente não atender a esses requisitos, será possível atualizar os parâmetros de escala e desempenho.
- O número mínimo de workers do Airflow é dois ou mais.
- O número de programadores do Airflow é exatamente dois.
- Se você usar operadores adiáveis nos DAGs, e, em seguida, pelo menos dois acionadores.
Crie um ambiente altamente resiliente
Para criar um ambiente altamente resiliente, ativar o modo de alta resiliência ao criar um de nuvem.
Atualizar um ambiente padrão para o modo de alta resiliência
Console
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.
Selecione a guia Configuração do ambiente.
Na seção Resilience mode, clique em Edit.
Selecione Alta resiliência e clique em Salvar.
gcloud
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--enable-high-resilience
Substitua:
ENVIRONMENT_NAME
: o nome do ambiente;LOCATION
: a região em que o ambiente está localizado.
API
Crie uma solicitação de API
environments.patch
.Nesta solicitação:
No parâmetro
updateMask
, especifique Máscaraconfig.resilienceMode
.No corpo da solicitação, especifique
HIGH_RESILIENCE
para alternar para a modo de resiliência.
Exemplo:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.resilienceMode
{
"config": {
"resilience_mode": { "HIGH_RESILIENCE" }
}
}
Terraform
O campo resilience_mode
no bloco config
especifica a resiliência
modo Para usar o modo de alta resiliência, defina esse valor como HIGH_RESILIENCE
.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
resilience_mode = "HIGH_RESILIENCE"
}
}
Substitua:
ENVIRONMENT_NAME
: o nome do ambiente;LOCATION
: a região em que o ambiente está localizado.
Exemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
resilience_mode = "HIGH_RESILIENCE"
}
Mudar um ambiente altamente resiliente para o modo de resiliência padrão
É possível mudar o ambiente para o modo de resiliência padrão a qualquer momento. Isso operação:
- reduz para um o número de servidores da Web no seu ambiente;
- Desativa o modo de alta disponibilidade do no banco de dados do Airflow do ambiente.
Não altera as configurações do número mínimo de workers do Airflow, programadores ou gatilhos.
Console
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.
Selecione a guia Configuração do ambiente.
Na seção Resilience mode, clique em Edit.
Selecione Resiliência padrão (padrão) e clique em Salvar.
gcloud
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--disable-high-resilience
Substitua:
ENVIRONMENT_NAME
: o nome do ambiente do Cloud Composer.LOCATION
: a região em que o ambiente está localizado.
API
Crie uma solicitação de API
environments.patch
.Nesta solicitação:
No parâmetro
updateMask
, especifique Máscaraconfig.resilienceMode
.No corpo da solicitação, especifique
RESILIENCE_MODE_UNSPECIFIED
para alternar para o modo de resiliência padrão.
Exemplo:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.resilienceMode
{
"config": {
"resilience_mode": { "RESILIENCE_MODE_UNSPECIFIED" }
}
}
Terraform
O campo resilience_mode
no bloco config
especifica a resiliência
modo Para usar o modo de resiliência padrão, defina esse valor como
STANDARD_RESILIENCE
:
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
resilience_mode = "STANDARD_RESILIENCE"
}
}
Substitua:
ENVIRONMENT_NAME
: o nome do ambiente;LOCATION
: a região em que o ambiente está localizado.
Exemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
resilience_mode = "STANDARD_RESILIENCE"
}
Verificar se o ambiente é executado no modo de alta resiliência
Console
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.
Selecione a guia Configuração do ambiente.
Na seção Modo de resiliência, confira o modo de resiliência do seu de nuvem.
gcloud
Para verificar se o modo de alta resiliência está ativado no seu ambiente, execute o comando
comando da Google Cloud CLI. O valor de True
significa que alta
o modo de resiliência está ativado no seu ambiente.
gcloud composer environments describe ENVIRONMENT_NAME \
--location LOCATION \
--format="value(config.resilienceMode)"
Substitua:
ENVIRONMENT_NAME
: o nome do ambiente do Cloud Composer.LOCATION
: a região em que o ambiente está localizado.
A seguir
- Execute testes de failover para os aplicativos resiliente.
- Recuperação de desastres com snapshots de ambienteh