O Cloud Composer 1 está no modo pós-manutenção. O Google não lançou mais atualizações do Cloud Composer 1, incluindo novas versões do Airflow, correções de bugs e atualizações de segurança. Recomendamos planejar a migração para o Cloud Composer 2.

Esta página foi traduzida pela API Cloud Translation.

criar ambientes do Cloud Composer

Cloud Composer 1 | Cloud Composer 2

Nesta página, explicamos como criar um ambiente do Cloud Composer 2.

Um ambiente do Cloud Composer é uma instalação autônoma do Apache Airflow (em inglês) implantada em um cluster gerenciado do Google Kubernetes Engine. É possível criar um ou mais ambientes em um único projeto do Google Cloud.

Para mais informações sobre ambientes, consulte Arquitetura do ambiente.
Para mais informações sobre como criar um ambiente com o Terraform, consulte Criar ambientes (Terraform).

Antes de começar

Ative a API Cloud Composer. Para ver a lista completa de serviços usados pelo Cloud Composer, consulte Serviços exigidos pelo Cloud Composer.
O tempo aproximado para criar um ambiente é de 25 minutos.

Durante a criação do ambiente, você especifica uma conta de serviço. O Cloud Composer vincula essa conta a uma conta de serviço do Kubernetes do cluster do seu ambiente.

Por padrão, os ambientes do Cloud Composer usam a conta de serviço padrão do Compute Engine gerenciada pelo Google. Recomendamos que você crie uma conta de serviço gerenciada pelo usuário que tenha um papel específico para o Cloud Composer e use-a nos seus ambientes.

Observação: anteriormente, os usuários do Cloud Composer podiam implantar aplicativos do Cloud Composer autenticados como contas de serviço, mesmo que não tivessem permissão de conta de serviço. Esse comportamento legado ainda afeta algumas organizações. Para mais informações, consulte Como exigir permissões de representação ao anexar contas de serviço a recursos.

Se você criar um ambiente com o Terraform, a conta de serviço usada pelo Terraform precisará ter um papel com a permissão composer.environments.create ativada.

Para mais informações sobre a conta de serviço do Terraform, consulte Referência de configuração do provedor do Google.

Para mais informações sobre como usar o Terraform para criar um ambiente do Cloud Composer, consulte a documentação do Terraform.

Para mais informações sobre parâmetros adicionais, consulte Referência de argumentos do Terraform.
IP particular: há requisitos de peering e de rede específicos para criar um ambiente de IP particular. Para mais informações, consulte Como configurar o IP particular.
VPC compartilhada: você precisa atender a requisitos específicos de rede para usar a VPC compartilhada com o Cloud Composer. Para mais informações, consulte Como configurar a VPC compartilhada.
VPC SC: para implantar ambientes do Cloud Composer em um perímetro de segurança, consulte Como configurar o VPC SC. Quando usado com o Cloud Composer, o VPC Service Controls tem várias limitações conhecidas.

Etapa 1. Configuração básica

Nesta etapa, um ambiente do Cloud Composer é criado com parâmetros padrão no local especificado.

Console

No console do Google Cloud, acesse a página Criar ambiente do Cloud Composer 2.

Acessar "Criar ambiente"
No campo Nome, digite um nome para o ambiente.

O nome precisa começar com uma letra minúscula seguida por até 62 letras minúsculas, números ou hifens. Ele não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente. Você precisa fornecer um nome que também seja válido como um nome de bucket do Cloud Storage. Para ver uma lista de restrições, consulte Diretrizes de nomenclatura de bucket.
Na lista suspensa Local, escolha um local para o ambiente.

Um local é a região em que o cluster do GKE do ambiente está localizado.
Na lista suspensa Versão da imagem, selecione uma imagem do Cloud Composer com a versão necessária do Airflow.

gcloud

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version IMAGE_VERSION

Substitua:

ENVIRONMENT_NAME pelo nome do ambiente;

O nome precisa começar com uma letra minúscula seguida por até 62 letras minúsculas, números ou hifens. Ele não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente. Você precisa fornecer um nome que também seja válido como um nome de bucket do Cloud Storage. Para ver uma lista de restrições, consulte Diretrizes de nomenclatura de bucket.
LOCATION pela região do ambiente.

Um local é a região em que o cluster do GKE do ambiente está localizado.
IMAGE_VERSION pelo nome da imagem do Cloud Composer.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.6.6-airflow-2.6.3

API

Crie uma solicitação de API environments.create. Especifique a configuração no recurso Environment.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "imageVersion": "IMAGE_VERSION"
    }
  }
}

Substitua:

PROJECT_ID pelo ID do projeto;
LOCATION pela região do ambiente.

Um local é a região em que o cluster do GKE do ambiente está localizado.
ENVIRONMENT_NAME pelo nome do ambiente.

O nome precisa começar com uma letra minúscula seguida por até 62 letras minúsculas, números ou hifens. Ele não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente. Você precisa fornecer um nome que também seja válido como um nome de bucket do Cloud Storage. Para ver uma lista de restrições, consulte Diretrizes de nomenclatura de bucket.
IMAGE_VERSION pelo nome da imagem do Cloud Composer.

Exemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "softwareConfig": {
      "imageVersion": "composer-2.6.6-airflow-2.6.3"
    }
  }
}

Terraform

Para criar um ambiente com parâmetros padrão como um local especificado, adicione o seguinte bloco de recursos à configuração do Terraform e execute terraform apply.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "IMAGE_VERSION"
    }
  }
}

Substitua:

ENVIRONMENT_NAME pelo nome do ambiente;

O nome precisa começar com uma letra minúscula seguida por até 62 letras minúsculas, números ou hifens. Ele não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente. Você precisa fornecer um nome que também seja válido como um nome de bucket do Cloud Storage. Para ver uma lista de restrições, consulte Diretrizes de nomenclatura de bucket.
LOCATION pela região do ambiente.

Um local é a região em que o cluster do GKE do ambiente está localizado.
IMAGE_VERSION pelo nome da imagem do Cloud Composer.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-2.6.6-airflow-2.6.3"
    }
  }
}

Etapa 2: (Opcional) Selecionar uma conta de serviço para o ambiente

O Cloud Composer vincula essa conta de serviço à conta de serviço do Kubernetes do ambiente. Os nós no cluster do ambiente são executados como a conta de serviço do Kubernetes e usam as vinculações para acessar recursos no projeto do Google Cloud, como arquivos de definição de DAG no bucket do ambiente.

Por padrão, os ambientes do Cloud Composer usam a conta de serviço padrão do Compute Engine. Recomendamos configurar uma conta de serviço gerenciada pelo usuário para ambientes do Cloud Composer.

Não é possível alterar a conta de serviço do ambiente posteriormente.

Console

Na página Criar ambiente, na lista suspensa Conta de serviço, selecione uma conta de serviço para seu ambiente.

gcloud

Quando você cria um ambiente, o --service-account especifica a conta de serviço do ambiente.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --service-account "SERVICE_ACCOUNT"

Substitua:

SERVICE_ACCOUNT pela conta de serviço do seu ambiente.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --service-account "example-account@example-project.iam.gserviceaccount.com"

API

Ao criar um ambiente, no recurso Ambiente > EnvironmentConfig, especifique uma conta de serviço para seu ambiente.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
}

Substitua:

SERVICE_ACCOUNT pela conta de serviço do seu ambiente.

Exemplo:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "nodeConfig": {
      "serviceAccount": "example-account@example-project.iam.gserviceaccount.com"
    }
  }
}

Terraform

Ao criar um ambiente, use o campo service_account no bloco node_config.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Substitua:

SERVICE_ACCOUNT pela conta de serviço do seu ambiente.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    node_config {
      service_account = "example-account@example-project.iam.gserviceaccount.com"
    }
  }
}

Etapa 3. Conceder as permissões necessárias à conta de serviço do Cloud Composer

Quando você ativa a API Cloud Composer no projeto, a conta do agente de serviço do Composer é criada nesse projeto. O Cloud Composer usa essa conta para realizar operações no seu projeto do Google Cloud.

O papel Extensão do agente de serviço da API Cloud Composer v2 fornece outras permissões à conta do agente de serviço do Cloud Composer. Esse papel não é concedido automaticamente. Você precisa concedê-la manualmente.

Console

Ao criar um ambiente no projeto, se o agente de serviço do Cloud Composer não tiver as permissões necessárias na conta de serviço do ambiente, a seção Conceder permissões necessárias à conta de serviço do Cloud Composer será exibida.

Adicione a conta do agente de serviço do Cloud Composer como uma nova conta principal na conta de serviço do seu ambiente e conceda a ela o papel Extensão do agente de serviço da API Cloud Composer v2.

Confirme se você está usando a conta de serviço pretendida para seu ambiente e clique em Conceder.

gcloud

gcloud iam service-accounts add-iam-policy-binding \
    SERVICE_ACCOUNT \
    --member serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com \
    --role roles/composer.ServiceAgentV2Ext

Substitua:

SERVICE_ACCOUNT pela conta de serviço do seu ambiente.
PROJECT_NUMBER pelo número do projeto.

Exemplo:

gcloud iam service-accounts add-iam-policy-binding \
    example-account@example-project.iam.gserviceaccount.com \
    --member serviceAccount:service-00000000000@cloudcomposer-accounts.iam.gserviceaccount.com \
    --role roles/composer.ServiceAgentV2Ext

API

Para conceder o papel, é preciso modificar a política de permissão atual usando o padrão leitura-modificação-gravação:

Leia a política de permissão atual para a conta de serviço do seu ambiente.
Modifique-o para incluir o papel roles/composer.ServiceAgentV2Ext no agente de serviço do Cloud Composer.
Reescreva a política de permissão atual.

Para mais informações, consulte Como controlar o acesso de maneira programática.

{
  "role": "roles/composer.ServiceAgentV2Ext",
  "members": [
    "serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com"
  ]
}

Substitua:

PROJECT_NUMBER pelo número do projeto.

Exemplo:

{
  "role": "roles/composer.ServiceAgentV2Ext",
  "members": [
    "serviceAccount:service-00000000000@cloudcomposer-accounts.iam.gserviceaccount.com"
  ]
}

Terraform

Adicione uma nova vinculação de papel à política de permissão da conta de serviço do ambiente.

Se você não estiver usando o Terraform para definir a política de permissão da conta de serviço do ambiente, não use o exemplo a seguir. Em vez disso, adicione essa vinculação usando outros métodos.

resource "google_service_account_iam_member" "custom_service_account" {
  provider = google-beta
  service_account_id = "SERVICE_ACCOUNT"
  role = "roles/composer.ServiceAgentV2Ext"
  member = "serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com"
}

Substitua:

SERVICE_ACCOUNT pela conta de serviço do seu ambiente.
PROJECT_NUMBER pelo número do projeto.

Exemplo:

resource "google_service_account_iam_member" "custom_service_account" {
  provider = google-beta
  service_account_id = "example-account@example-project.iam.gserviceaccount.com"
  role = "roles/composer.ServiceAgentV2Ext"
  member = "serviceAccount:service-00000000000@cloudcomposer-accounts.iam.gserviceaccount.com"
}

Etapa 4. (Opcional) Configurar a escala do ambiente e os parâmetros de desempenho

Para especificar a configuração de escalonamento e desempenho do ambiente, selecione o tamanho do ambiente e a configuração de cargas de trabalho.

No Cloud Composer 2, é possível alterar todos os parâmetros de desempenho e escala depois de criar um ambiente.

Os seguintes parâmetros controlam a escala e o desempenho:

Tamanho do ambiente. Controla os parâmetros de desempenho da infraestrutura gerenciada do Cloud Composer, que inclui o banco de dados do Airflow. Selecione um tamanho de ambiente maior se você quiser executar um grande número de DAGs e tarefas.
Configuração das cargas de trabalho. Controla a escala e o desempenho dos componentes do ambiente executados em um cluster do GKE: programadores do Airflow, servidor da Web do Airflow e workers do Airflow.
- Programador do Airflow. Analisa arquivos de definição do DAG, programa execuções de DAG com base no intervalo de programação e coloca em fila as tarefas a serem executadas por workers do Airflow.
  
  Seu ambiente pode executar mais de um programador do Airflow ao mesmo tempo. Use vários programadores para distribuir a carga entre várias instâncias do programador e tenha melhor desempenho e confiabilidade.
  É possível ter até 10 programadores no ambiente.
  Aumentar o número de programadores nem sempre melhora o desempenho do Airflow. Por exemplo, ter apenas um programador pode proporcionar um desempenho melhor do que com dois. Isso pode acontecer quando o programador extra não é utilizado e, portanto, consome recursos do seu ambiente sem contribuir com o desempenho geral. O desempenho real do programador depende do número de workers do Airflow, do número de DAGs e tarefas executados no ambiente e da configuração do Airflow e do ambiente.
  
  Recomendamos começar com dois programadores e depois monitorar o desempenho do ambiente. Se você alterar o número de programadores, será possível escalonar o ambiente novamente para o número original de programadores.
  
  Para mais informações sobre como configurar vários programadores, consulte a documentação do Airflow.
- Acionador do Airflow. Monitora de maneira assíncrona todas as tarefas adiadas no ambiente. Se você tiver pelo menos uma instância de engatilhador no ambiente ou pelo menos duas em ambientes altamente resilientes, use operadores adiáveis nos DAGs.
- Servidor da Web do Airflow. Executa a interface da Web do Airflow em que é possível monitorar, gerenciar e visualizar os DAGs.
- Workers do Airflow. Executar tarefas programadas pelos programadores do Airflow. Os números mínimo e máximo de workers no ambiente mudam dinamicamente dependendo do número de tarefas na fila.

Console

É possível selecionar uma predefinição para o ambiente. Quando você seleciona uma predefinição, os parâmetros de escala e desempenho dela são selecionados automaticamente. Você também tem a opção de selecionar uma predefinição personalizada e especificar todos os parâmetros de escala e desempenho para seu ambiente.

Para selecionar a configuração de escala e desempenho do ambiente, na página Criar ambiente:

Para usar valores predefinidos, na seção Recursos do ambiente, clique em Pequeno, Médio ou Grande.
Para especificar valores personalizados para os parâmetros de escala e desempenho, siga estas etapas:
1. Na seção Recursos do ambiente, clique em Personalizado.
2. Na seção Programador, defina o número de programadores que você quer usar e a alocação de recursos para a CPU, memória e armazenamento deles.
3. Na seção Acionador, use o campo Número de acionadores para inserir o número de acionadores no ambiente. Defina esse número como 0 se não quiser usar operadores adiáveis nos DAGs.
  
  Se você definir pelo menos um engatilhador para o ambiente, use os campos CPU e Memória para configurar a alocação de recursos para os acionadores.
4. Na seção Worker, especifique:
  - os números mínimo e máximo de workers para os limites de escalonamento automático no seu ambiente;
  - a alocação de CPU, memória e armazenamento para os workers
5. Na seção Infraestrutura principal, selecione o tamanho do ambiente na lista suspensa Tamanho do ambiente.

gcloud

Ao criar um ambiente, defina os argumentos a seguir para controlar os parâmetros de escalonamento e desempenho dele.

--environment-size especifica o tamanho do ambiente.
--scheduler-count especifica o número de programadores.
--scheduler-cpu especifica o número de CPUs para um programador do Airflow.
--scheduler-memory especifica a quantidade de memória para um programador do Airflow.
--scheduler-storage especifica a quantidade de espaço em disco para um programador do Airflow.
--triggerer-count especifica o número de acionadores do Airflow no ambiente. O valor padrão dessa sinalização é 0. Você vai precisar de acionadores se quiser usar operadores adiáveis nos DAGs.
- Para ambientes de resiliência padrão, use um valor entre 0 e 10.
- Para ambientes altamente resilientes, use 0 ou um valor entre 2 e 10.
  
  Por padrão, os engatilhadores são criados com alocação de memória de 0.5 GB e 0.5 vCPU padrão. Use as sinalizações --triggerer-cpu e --triggerer-memory para especificar a alocação de recursos diferentes para os acionadores:
  - --triggerer-cpu especifica o número de CPUs de um acionador do Airflow, em unidades de vCPU. Valores permitidos: 0.5, 0.75, 1.
  - --triggerer-memory especifica a quantidade de memória para um acionador do Airflow. A memória mínima necessária é igual ao número de CPUs alocadas para os engatilhadores. O valor máximo permitido é igual ao número de CPUs do engatilhador multiplicado por 6,5.
    
    Por exemplo, se você definir a sinalização --triggerer-cpu como 1, o valor mínimo de --triggerer-memory será 1 e o valor máximo será 6.5.
--web-server-cpu especifica o número de CPUs para o servidor da Web do Airflow.
--web-server-memory especifica a quantidade de memória do servidor da Web do Airflow.
--web-server-storage especifica a quantidade de espaço em disco para o servidor da Web do Airflow.
--worker-cpu especifica o número de CPUs para um worker do Airflow.
--worker-memory especifica a quantidade de memória para um worker do Airflow.
--worker-storage especifica a quantidade de espaço em disco para um worker do Airflow.
--min-workers especifica o número mínimo de workers do Airflow. O cluster do ambiente é executado com pelo menos esse número de workers.
--max-workers especifica o número máximo de workers do Airflow. O cluster do ambiente é executado com no máximo esse número de workers.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --environment-size ENVIRONMENT_SIZE \
    --scheduler-count SCHEDULER_COUNT \
    --scheduler-cpu SCHEDULER_CPU \
    --scheduler-memory SCHEDULER_MEMORY \
    --scheduler-storage SCHEDULER_STORAGE \
    --triggerer-count TRIGGERER_COUNT \
    --triggerer-cpu TRIGGERER_CPU \
    --triggerer-memory TRIGGERER_MEMORY \
    --web-server-cpu WEB_SERVER_CPU \
    --web-server-memory WEB_SERVER_MEMORY \
    --web-server-storage WEB_SERVER_STORAGE \
    --worker-cpu WORKER_CPU \
    --worker-memory WORKER_MEMORY \
    --worker-storage WORKER_STORAGE \
    --min-workers WORKERS_MIN \
    --max-workers WORKERS_MAX

Substitua:

ENVIRONMENT_SIZE por small, medium ou large.
SCHEDULER_COUNT pelo número de programadores.
SCHEDULER_CPU pelo número de CPUs de um programador, em unidades de vCPU.
SCHEDULER_MEMORY pela quantidade de memória de um programador.
SCHEDULER_STORAGE pelo tamanho do disco de um programador.
TRIGGERER_COUNT pelo número de acionadores.
TRIGGERER_CPU pelo número de CPUs de um acionador, em unidades de vCPU.
TRIGGERER_MEMORY pela quantidade de memória para um acionador, em GB.
WEB_SERVER_CPU pelo número de CPUs do servidor da Web, em unidades de vCPU.
WEB_SERVER_MEMORY pela quantidade de memória do servidor da Web.
WEB_SERVER_STORAGE pela quantidade de memória do servidor da Web.
WORKER_CPU pelo número de CPUs de um worker em unidades de vCPU.
WORKER_MEMORY pela quantidade de memória de um worker.
WORKER_STORAGE pelo tamanho do disco de um worker.
WORKERS_MIN pelo número mínimo de workers do Airflow que o ambiente pode executar. O número de workers no ambiente não ultrapassa esse número, mesmo que um número menor de workers possa processar a carga.
WORKERS_MAX pelo número máximo de workers do Airflow que o ambiente pode executar. O número de workers no ambiente não ultrapassa esse número, mesmo que seja necessário um número maior de workers para processar a carga.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --environment-size small \
    --scheduler-count 1 \
    --scheduler-cpu 0.5 \
    --scheduler-memory 2.5GB \
    --scheduler-storage 2GB \
    --triggerer-count 1 \
    --triggerer-cpu 0.5 \
    --triggerer-memory 0.5GB \
    --web-server-cpu 1 \
    --web-server-memory 2.5GB \
    --web-server-storage 2GB \
    --worker-cpu 1 \
    --worker-memory 2GB \
    --worker-storage 2GB \
    --min-workers 2 \
    --max-workers 4

API

Ao criar um ambiente, no recurso Ambiente > EnvironmentConfig > WorkloadsConfig, especifique os parâmetros de escala e desempenho do ambiente.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "workloadsConfig": {
      "scheduler": {
        "cpu": SCHEDULER_CPU,
        "memoryGb": SCHEDULER_MEMORY,
        "storageGb": SCHEDULER_STORAGE,
        "count": SCHEDULER_COUNT
      },
      "triggerer": {
        "count": TRIGGERER_COUNT,
        "cpu": TRIGGERER_CPU,
        "memoryGb": TRIGGERER_MEMORY
      },
      "webServer": {
        "cpu": WEB_SERVER_CPU,
        "memoryGb": WEB_SERVER_MEMORY,
        "storageGb": WEB_SERVER_STORAGE
      },
      "worker": {
        "cpu": WORKER_CPU,
        "memoryGb": WORKER_MEMORY,
        "storageGb": WORKER_STORAGE,
        "minCount": WORKERS_MIN,
        "maxCount": WORKERS_MAX
      }
    },
    "environmentSize": "ENVIRONMENT_SIZE"
  }
}

Substitua:

SCHEDULER_CPU pelo número de CPUs de um programador, em unidades de vCPU.
SCHEDULER_MEMORY pela quantidade de memória de um programador, em GB.
SCHEDULER_STORAGE pelo tamanho do disco de um programador, em GB.
SCHEDULER_COUNT pelo número de programadores.
TRIGGERER_COUNT pelo número de acionadores. O valor padrão é 0. Você vai precisar de acionadores se quiser usar operadores adiáveis nos DAGs.
- Para ambientes de resiliência padrão, use um valor entre 0 e 10.
- Para ambientes altamente resilientes, use 0 ou um valor entre 2 e 10.
  
  Se você usar pelo menos um engatilhador, também vai precisar especificar os parâmetros TRIGGERER_CPU e TRIGGERER_MEMORY:
  - TRIGGERER_CPU configura o número de CPUs de um acionador, em unidades de vCPU. Valores permitidos: 0.5, 0.75, 1.
  - TRIGGERER_MEMORY configura a quantidade de memória para um acionador. A memória mínima necessária é igual ao número de CPUs alocadas para os engatilhadores. O valor máximo permitido é igual ao número de CPUs do engatilhador multiplicado por 6,5.
    
    Por exemplo, se você definir TRIGGERER_CPU como 1, o valor mínimo de TRIGGERER_MEMORY será 1 e o valor máximo será 6.5.
WEB_SERVER_CPU pelo número de CPUs do servidor da Web, em unidades de vCPU.
WEB_SERVER_MEMORY pela quantidade de memória do servidor da Web, em GB.
WEB_SERVER_STORAGE pelo tamanho do disco do servidor da Web, em GB.
WORKER_CPU pelo número de CPUs de um worker em unidades de vCPU.
WORKER_MEMORY pela quantidade de memória de um worker, em GB.
WORKER_STORAGE pelo tamanho do disco de um worker, em GB.
WORKERS_MIN pelo número mínimo de workers do Airflow que o ambiente pode executar. O número de workers no ambiente não ultrapassa esse número, mesmo que um número menor de workers possa processar a carga.
WORKERS_MAX pelo número máximo de workers do Airflow que o ambiente pode executar. O número de workers no ambiente não ultrapassa esse número, mesmo que seja necessário um número maior de workers para processar a carga.
ENVIRONMENT_SIZE pelo tamanho do ambiente, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemplo:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "workloadsConfig": {
      "scheduler": {
        "cpu": 2.5,
        "memoryGb": 2.5,
        "storageGb": 2,
        "count": 1
      },
      "triggerer": {
        "cpu": 0.5,
        "memoryGb": 0.5,
        "count": 1
      },
      "webServer": {
        "cpu": 1,
        "memoryGb": 2.5,
        "storageGb": 2
      },
      "worker": {
        "cpu": 1,
        "memoryGb": 2,
        "storageGb": 2,
        "minCount": 2,
        "maxCount": 4
      }
    },
    "environmentSize": "ENVIRONMENT_SIZE_SMALL"
  }
}

Terraform

Quando você cria um ambiente, os argumentos a seguir controlam os parâmetros de escala e desempenho do seu ambiente.

No bloco config:
- O campo environment_size controla o tamanho do ambiente.
No bloco workloads_config:
- O campo scheduler.cpu especifica o número de CPUs para um programador do Airflow.
- O campo scheduler.memory_gb especifica a quantidade de memória para um programador do Airflow.
- O campo scheduler.storage_gb especifica a quantidade de espaço em disco para um programador.
- O campo scheduler.count especifica o número de programadores no seu ambiente.
- O campo triggerer.cpu especifica o número de CPUs de um acionador do Airflow.
- O campo triggerer.memory_gb especifica a quantidade de memória para um acionador do Airflow.
- O campo triggerer.count especifica o número de engatilhadores no seu ambiente.
- O campo web_server.cpu especifica o número de CPUs para o servidor da Web do Airflow.
- O campo web_server.memory_gb especifica a quantidade de memória do servidor da Web do Airflow.
- O campo web_server.storage_gb especifica a quantidade de espaço em disco para o servidor da Web do Airflow.
- O campo worker.cpu especifica o número de CPUs para um worker do Airflow.
- O campo worker.memory_gb especifica a quantidade de memória para um worker do Airflow.
- O campo worker.storage_gb especifica a quantidade de espaço em disco para um worker do Airflow.
- O campo worker.min_count especifica o número mínimo de workers no ambiente.
- O campo worker.max_count especifica o número máximo de workers no ambiente.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {

      scheduler {
        cpu = SCHEDULER_CPU
        memory_gb = SCHEDULER_MEMORY
        storage_gb = SCHEDULER_STORAGE
        count = SCHEDULER_COUNT
      }
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
      worker {
        cpu = WORKER_CPU
        memory_gb = WORKER_MEMORY
        storage_gb = WORKER_STORAGE
        min_count = WORKERS_MIN
        max_count = WORKERS_MAX
      }
    }

    environment_size = "ENVIRONMENT_SIZE"

  }
}

Substitua:

ENVIRONMENT_NAME pelo nome do ambiente
LOCATION pela região em que o ambiente está localizado;
SCHEDULER_CPU pelo número de CPUs de um programador, em unidades de vCPU.
SCHEDULER_MEMORY pela quantidade de memória de um programador, em GB.
SCHEDULER_STORAGE pelo tamanho do disco de um programador, em GB.
SCHEDULER_COUNT pelo número de programadores.
TRIGGERER_COUNT pelo número de acionadores.
TRIGGERER_CPU pelo número de CPUs de um acionador, em unidades de vCPU.
TRIGGERER_MEMORY pela quantidade de memória para um acionador, em GB.
WEB_SERVER_CPU pelo número de CPUs do servidor da Web, em unidades de vCPU.
WEB_SERVER_MEMORY pela quantidade de memória do servidor da Web, em GB.
WEB_SERVER_STORAGE pelo tamanho do disco do servidor da Web, em GB.
WORKER_CPU pelo número de CPUs de um worker em unidades de vCPU.
WORKER_MEMORY pela quantidade de memória de um worker, em GB.
WORKER_STORAGE pelo tamanho do disco de um worker, em GB.
WORKERS_MIN pelo número mínimo de workers do Airflow que o ambiente pode executar. O número de workers no ambiente não ultrapassa esse número, mesmo que um número menor de workers possa processar a carga.
WORKERS_MAX pelo número máximo de workers do Airflow que o ambiente pode executar. O número de workers no ambiente não ultrapassa esse número, mesmo que seja necessário um número maior de workers para processar a carga.
ENVIRONMENT_SIZE pelo tamanho do ambiente, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {

      scheduler {
        cpu = 2.5
        memory_gb = 2.5
        storage_gb = 2
        count = 1
      }
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
      web_server {
        cpu = 1
        memory_gb = 2.5
        storage_gb = 2
      }
      worker {
        cpu = 1
        memory_gb = 2
        storage_gb = 2
        min_count = 2
        max_count = 4
      }
    }

    environment_size = "ENVIRONMENT_SIZE_SMALL"

  }
}

Etapa 5. (Opcional) Ativar o modo de alta resiliência

Ambientes altamente resilientes do Cloud Composer são ambientes do Cloud Composer 2 que usam mecanismos integrados de redundância e failover que reduzem a suscetibilidade do ambiente a falhas zonais e interrupções de ponto único de falha.

Um ambiente altamente resiliente é executado em pelo menos duas zonas de uma região selecionada. Exatamente dois programadores do Airflow, dois servidores da Web e pelo menos dois engatilhadores (se o número de acionadores não estiver definido como 0) são executados em zonas separadas. O número mínimo de workers é definido como dois, e o cluster do ambiente distribui instâncias de worker entre as zonas. No caso de uma interrupção zonal, as instâncias de worker afetadas são reprogramadas em uma zona diferente. O banco de dados do Cloud SQL de um ambiente altamente resiliente é uma instância regional que tem uma instância primária e uma em espera.

Console

Na página Criar ambiente:

Na seção Modo de resiliência, selecione Alta resiliência.
Na seção Recursos do ambiente, selecione os parâmetros de escalonamento para um ambiente altamente resiliente. Ambientes altamente resilientes exigem exatamente dois programadores, zero ou entre dois e dez engatilhadores, e pelo menos dois workers:
1. Clique em Custom.
2. Na lista suspensa Número de programadores, selecione 2.
3. Na lista suspensa Número de acionadores, selecione 0 ou um valor entre 2 e 10. Configure a alocação de CPU e Memória para os engatilhadores.
4. Na lista suspensa Número mínimo de workers, selecione 2 ou mais, dependendo do número necessário de workers.
Na seção Configuração de rede:
1. Em Tipo de rede, selecione Ambiente de IP privado.
2. Se necessário, especifique outros parâmetros de rede.

gcloud

Quando você cria um ambiente, o argumento --enable-high-resilience ativa o modo de alta resiliência.

Defina os seguintes argumentos:

--enable-high-resilience
--enable-private-environment e outros parâmetros de rede para um ambiente de IP privado, se necessário
2 para --scheduler-count
--triggerer-count a 0 ou um número entre 2 e 10

Se você usar engatilhadores, as sinalizações --triggerer-cpu e --triggerer-memory também serão necessárias para a criação do ambiente:

- `--triggerer-cpu` specifies the number of CPUs for an Airflow triggerer.
Allowed values: `0.5`, `0.75`, `1`.

- `--triggerer-memory` specifies the amount of memory for an Airflow
triggerer. The minimum required memory is equal to the number of
CPUs allocated for the triggerers. The maximum allowed value is
equal to the number of triggerer CPUs multiplied by 6.5.

For example, if you set the `--triggerer-cpu` flag to `1`, the
**minimum value** for `--triggerer-memory` is `1` and the
**maximum value** is `6.5`.

De --min-workers para 2 ou mais

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --enable-high-resilience \
    --enable-private-environment \
    --scheduler-count 2 \
    --triggerer-count 2 \
    --triggerer-cpu 0.5 \
    --triggerer-memory 0.5 \
    --min-workers 2

API

Ao criar um ambiente, no recurso Ambiente > EnvironmentConfig, ative o modo de alta resiliência.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "resilience_mode": "HIGH_RESILIENCE"
  }
}

Exemplo:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "resilience_mode": "HIGH_RESILIENCE"
  }
}

Terraform

Quando você cria um ambiente, o campo resilience_mode no bloco config ativa o modo de alta resiliência.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    resilience_mode = "HIGH_RESILIENCE"

  }
}

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    resilience_mode = "HIGH_RESILIENCE"

}

Etapa 6. (Opcional) Especifique uma zona para o banco de dados do ambiente

É possível especificar uma zona preferencial do Cloud SQL ao criar um ambiente de resiliência padrão.

Console

Na página Criar ambiente:

Na seção Configuração avançada, expanda o item Mostrar configuração avançada.
Na lista Zona do banco de dados do Airflow, selecione uma zona de preferência do Cloud SQL.

gcloud

Ao criar um ambiente, o argumento --cloud-sql-preferred-zone especifica uma zona preferencial do Cloud SQL.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --cloud-sql-preferred-zone SQL_ZONE

Substitua:

SQL_ZONE: zona de preferência do Cloud SQL. Essa zona precisa estar localizada na região em que o ambiente está localizado.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --cloud-sql-preferred-zone us-central1-a

API

Ao criar um ambiente, em Ambiente > DatabaseConfig, especifique a zona preferencial do Cloud SQL.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "databaseConfig": {
      "zone": "SQL_ZONE"
    }
  }
}

Substitua:

SQL_ZONE: zona de preferência do Cloud SQL. Essa zona precisa estar localizada na região em que o ambiente está localizado.

Exemplo:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "databaseConfig": {
      "zone": "us-central1-a"
    }
  }
}

Terraform

Ao criar um ambiente, o campo zone no bloco database_config especifica a zona preferencial do Cloud SQL.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    database_config {
      zone = "SQL_ZONE"
    }
  }
}

Substitua:

SQL_ZONE: zona de preferência do Cloud SQL. Essa zona precisa estar localizada na região em que o ambiente está localizado.

Etapa 7. (Opcional) Configurar a rede do ambiente

Os parâmetros de rede dependem do tipo de ambiente que você quer criar:

Ambiente de IP público: use os parâmetros de rede padrão.

Ambiente de IP privado (com PSC). Nessa configuração, seu ambiente usa o Private Service Connect para conectividade.

Configure o ambiente de IP privado:
1. Configure a rede do seu projeto para ambientes de IP privado.
2. Configure o Private Service Connect ao criar o ambiente.
3. Especifique outros parâmetros para o ambiente de IP privado, conforme descrito mais adiante nesta seção.
Para um ambiente de IP privado com PSC, você precisa saber:
- O ID da rede VPC
- O ID da sub-rede VPC
- Dois intervalos de IP secundários na sub-rede VPC:
  - Intervalo de IP secundário para pods
  - Intervalo de IP secundário para serviços
- Intervalos de IP para os componentes do ambiente:
  - Intervalo de IP do plano de controle do GKE. Intervalo de IP para o plano de controle do GKE.
  - Sub-rede de conexão do Cloud Composer. Intervalo de IP da sub-rede de conexão do Cloud Composer.
Ambiente de IP privado (peering de VPC): Nessa configuração, seu ambiente usa peerings de VPC para conectividade.

Configure o ambiente de IP privado:
1. Configure a rede do seu projeto para ambientes de IP privado.
2. Especifique outros parâmetros para o ambiente de IP privado, conforme descrito em mais detalhes nesta seção.
Para um ambiente de IP privado com peerings de VPC, você precisa saber:
- O ID da rede VPC
- O ID da sub-rede VPC
- Dois intervalos de IP secundários na sub-rede VPC:
  - Intervalo de IP secundário para pods
  - Intervalo de IP secundário para serviços
- Intervalos de IP para os componentes do ambiente:
  - Intervalo de IP para o plano de controle do GKE.
  - Intervalo de IP do peering de VPC para exportar da rede interna do Cloud Composer para a rede selecionada. Os componentes da infraestrutura do Cloud Composer usam endereços IP desse intervalo.
  - Intervalo de IP para a instância do Cloud SQL.
Para um ambiente de VPC compartilhada, é preciso fazer mais configurações de rede para o projeto host e, em seguida, criar um ambiente de IP público ou particular em um projeto de serviço. Siga as instruções na página Como configurar a VPC compartilhada.

Importante :se você criar um ambiente no projeto de serviço usando o console do Google Cloud, sua conta precisará ter a permissão compute.subnetworks.use no projeto host. Caso contrário, a lista de sub-redes disponíveis não contém sub-redes do projeto host. Se você criar um ambiente usando gcloud, a API ou o Terraform, sua conta não vai precisar dessa permissão extra.

Para um ambiente de VPC compartilhada, você precisa saber:
- O ID da rede VPC do projeto host
- O ID da sub-rede VPC do projeto host
- Dois intervalos de IP secundários na sub-rede VPC do projeto host:
  - Intervalo de IP secundário para pods
  - Intervalo de IP secundário para serviços
Ao criar um ambiente de VPC compartilhada de IP público, ainda é preciso especificar a rede VPC do projeto host, a sub-rede e os intervalos de IP secundários para pods e serviços.
Para criar um ambiente VPC SC, crie um perímetro de serviço e, em seguida, crie ambientes de IP particular nesse perímetro. Siga as instruções descritas em Como configurar o VPC Service Controls.
Outras opções de rede para ambientes são:
- Endereços IP públicos de uso particular. Se você quiser usar mais endereços IP, seu ambiente poderá usar de maneira particular determinados intervalos de endereços IP públicos como intervalos de endereços IP de sub-rede internos para pods e serviços.
- Redes autorizadas. Se você quiser acessar o plano de controle do seu ambiente de IP particular usando HTTPS, use redes autorizadas para especificar intervalos CIDR que podem fazer isso.
- Agente de mascaramento de IP. Ao usar ambientes com o agente de mascaramento de IP, é possível usar conversões de endereço IP de muitos para um nas configurações de rede do ambiente. Para mais informações sobre a criação de ambientes com o agente de mascaramento de IP, consulte Ativar o agente de mascaramento de IP.

Console

Para criar um ambiente de IP particular:

Verifique se a rede está configurada para o tipo de ambiente que você quer criar.
Na seção Configuração de rede, expanda o item Mostrar configuração de rede.
Na lista suspensa Rede, selecione o ID da rede VPC.
Na lista suspensa Sub-rede, selecione o ID da sub-rede VPC.
Na seção Intervalo de IP secundário para pods, selecione ou especifique o intervalo de IP secundário para os pods. É possível usar um intervalo secundário atual na sua rede VPC ou optar por usar um intervalo criado automaticamente.
Na seção Intervalo de IP secundário para serviços, selecione ou especifique o intervalo de IP secundário para serviços. Você pode usar um intervalo secundário existente na sua rede VPC ou optar por usar um intervalo criado automaticamente.
Na seção Tipo de rede, selecione a opção Ambiente de IP particular para criar um ambiente de IP particular.
Na seção Conectividade do Composer, selecione o tipo de rede para seu ambiente e especifique os intervalos de IP para os componentes do ambiente:

Para um ambiente que usa o Private Service Connect:
1. Selecione Private Service Connect para um ambiente que use o Private Service Connect.
2. Na seção Sub-rede de conexão do Composer, especifique um intervalo de IP para a sub-rede de conexão do Cloud Composer. O endereço do endpoint do PSC é selecionado nesse intervalo. Você pode especificar um intervalo personalizado ou optar por usar o padrão.
Para um ambiente que usa peerings de VPC:
1. Selecione Peerings de VPC para um ambiente que use peerings de VPC.
  
  Observação :ambientes com peerings de VPC têm mais limitações do que ambientes com PSC.
2. Na seção Intervalo de IP da rede de locatário do Composer, especifique um intervalo de IP para a rede de locatário do Cloud Composer. Essa rede hospeda o componente de proxy SQL do ambiente. Você pode especificar um intervalo personalizado ou optar por usar o padrão.
3. Na seção Intervalo de IP para a rede do Cloud SQL, especifique um intervalo de IP para a instância do Cloud SQL. Você pode especificar um intervalo personalizado ou optar por usar o padrão.
  
  Cuidado :o intervalo 172.17.0.0/16 está reservado no Cloud SQL.
Na seção Intervalo de IP da rede do plano de controle do GKE, especifique um intervalo de IP para o plano de controle do GKE:
- Para usar o intervalo de IP padrão na região em que o ambiente está localizado, selecione Intervalo de IP padrão.
- Para especificar um intervalo de IP personalizado, selecione Intervalo de IP personalizado e digite um intervalo na notação CIDR no campo IP particular do mestre do cluster do GKE.
Selecione o acesso de nível para o plano de controle do GKE. O plano de controle tem dois endpoints. Um deles é particular para uso por nós e VMs do cluster. Outro endpoint é público. É possível especificar o nível de acesso do endpoint público:
- Para ativar o acesso ao endpoint público de redes autorizadas, marque a caixa de seleção Acessar o endpoint do plano de controle do cluster usando o endereço IP externo.
  
  Com essa opção, o nível de acesso do plano de controle é definido como "Acesso ao endpoint público ativado, redes autorizadas ativadas". Isso fornece acesso restrito ao plano de controle a partir de redes autorizadas. Por padrão, nenhum endereço IP de origem é especificado. É possível adicionar redes autorizadas ao cluster.
- Para desativar o acesso ao endpoint público de redes autorizadas, desmarque a caixa de seleção Acessar o endpoint do plano de controle do cluster usando o endereço IP externo.
  
  Com essa opção, o nível de acesso do plano de controle é definido como "Acesso ao endpoint público desativado". Isso impede todo o acesso à Internet ao plano de controle.

gcloud

Verifique se a rede está configurada para o tipo de ambiente que você quer criar.

Quando você cria um ambiente, os argumentos a seguir controlam os parâmetros de rede. Se você omitir um parâmetro, o valor padrão será usado.

--enable-private-environment ativa um ambiente de IP particular.
--network especifica o ID da rede VPC.
--subnetwork especifica o ID da sub-rede VPC.
--cluster-secondary-range-name ou --cluster-ipv4-cidr configura o intervalo secundário para pods.
--services-secondary-range-name ou --services-ipv4-cidr para configurar o intervalo secundário para serviços.
--master-ipv4-cidr especifica um intervalo para o plano de controle do GKE.

(Ambientes com PSC) --connection-subnetwork especifica um intervalo para a sub-rede de conexão do Cloud Composer, que hospeda o endpoint do PSC.
(Ambientes com peerings de VPC) --composer-network-ipv4-cidr especifica um intervalo para a rede de locatário do Cloud Composer. Essa rede hospeda o componente de proxy SQL do ambiente.
(Ambientes com peerings de VPC) --cloud-sql-ipv4-cidr especifica um intervalo para a instância do Cloud SQL.

--enable-private-endpoint controla o acesso de nível do plano de controle do GKE. O plano de controle tem dois endpoints. Um endpoint é particular, para uso por nós de cluster e VMs. Outro endpoint é público. É possível especificar o nível de acesso ao endpoint público:
- Para ativar o acesso ao endpoint público de redes autorizadas, omita o argumento --enable-private-endpoint.
  
  Com essa opção, o nível de acesso do plano de controle é definido como "Acesso ao endpoint público ativado, redes autorizadas ativadas". Isso fornece acesso restrito ao plano de controle a partir de redes autorizadas. Por padrão, nenhum endereço IP de origem é especificado. É possível adicionar redes autorizadas ao cluster.
- Para desativar o acesso ao endpoint público de redes autorizadas, especifique o argumento --enable-private-endpoint.
  
  Com essa opção, o nível de acesso do plano de controle é definido como "Acesso ao endpoint público desativado". Isso impede todo o acesso à Internet ao plano de controle.
--enable-ip-masq-agent ativa o agente de mascaramento de IP.

gcloud composer environments create ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version composer-2.6.6-airflow-2.6.3 \
  --enable-private-environment \
  --network NETWORK_ID \
  --subnetwork SUBNETWORK_ID \
  --cluster-ipv4-cidr PODS_RANGE \
  --services-ipv4-cidr SERVICES_RANGE \
  --master-ipv4-cidr CONTROL_PLANE_RANGE \
  --connection-subnetwork COMPOSER_PSC_RANGE \

Substitua:

NETWORK_ID pelo ID de rede VPC.
SUBNETWORK_ID pelo ID de sub-rede VPC.
PODS_RANGE pelo intervalo secundário de pods.
SERVICES_RANGE pelo intervalo secundário de serviços.
CONTROL_PLANE_RANGE pelo intervalo secundário do plano de controle do GKE.
COMPOSER_PSC_RANGE pelo intervalo da sub-rede de conexão do Cloud Composer.

Etapa 8. (Opcional) Adicionar tags de rede

As tags de rede são aplicadas a todas as VMs de nó no cluster do ambiente. As tags são usadas para identificar origens ou destinos válidos para firewalls de rede. Cada tag na lista precisa estar em conformidade com o RFC 1035 (link em inglês).

Por exemplo, adicione tags de rede se você planeja restringir o tráfego de um ambiente de IP privado com regras de firewall.

Console

Na página Criar ambiente:

Localize a seção Configuração de rede.
No campo Tags de rede, insira as tags de rede para o ambiente.

gcloud

Quando você cria um ambiente, os seguintes argumentos controlam as tags de rede:

--tags especifica uma lista separada por vírgulas de tags de rede aplicadas a todas as VMs de nós.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --tags TAGS

Substitua:

TAGS por uma lista de tags de rede separada por vírgulas;

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --tags group1,production

API

Ao criar um ambiente, em Ambiente > EnvironmentConfig, especifique as tags de rede para o ambiente.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "nodeConfig": {
      "tags": [
        "TAG"
      ]
    }
  }
}

Substitua:

TAG por uma tag de rede.

Exemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "nodeConfig": {
      "tags": [
        "group1",
        "production"
      ]
    }
  }
}

Terraform

Ao criar um ambiente, os campos a seguir definem as tags de rede para ele:

O campo tags no bloco node_config especifica uma lista separada por vírgulas de tags de rede aplicadas a todas as VMs de nós.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      tags = ["TAGS"]
    }
  }
}

Substitua:

TAGS por uma lista de tags de rede separada por vírgulas;

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    node_config {
      tags = ["group1","production"]
    }
  }
}

Etapa 9: (Opcional) Configurar o acesso à rede do servidor da Web

Os parâmetros de acesso do servidor da Web do Airflow não dependem do tipo de ambiente. Em vez disso, você pode configurar o acesso ao servidor da Web separadamente. Por exemplo, um ambiente de IP privado ainda pode ter a IU do Airflow acessível pela Internet.

No momento, não é possível configurar os intervalos de IP permitidos usando endereços IP particulares.

Console

Na página Criar ambiente:

Na seção Configuração de rede, expanda o item Mostrar configuração de rede.
Na seção Controle de acesso à rede do servidor da Web:
- Para conceder acesso ao servidor da Web do Airflow de todos os endereços IP, selecione Permitir o acesso de todos os endereços IP.
- Para restringir o acesso somente a intervalos de IP específicos, selecione Permitir acesso apenas de endereços IP específicos . No campo Intervalo de IP, especifique um intervalo de IP na notação CIDR. No campo Descrição, especifique uma descrição opcional para este intervalo. Se você quiser especificar mais de um intervalo, clique em Adicionar intervalo de IP.
- Para proibir o acesso de todos os endereços IP, selecione Permitir acesso somente de endereços IP específicos e clique em Excluir item ao lado da entrada de intervalo vazia.

gcloud

Quando você cria um ambiente, os seguintes argumentos controlam o nível de acesso do servidor da Web:

--web-server-allow-all fornece acesso ao Airflow de todos os endereços IP. Essa é a opção padrão.
--web-server-allow-ip restringe o acesso apenas a intervalos de IP de origem específicos. Para especificar vários intervalos de IP, use esse argumento várias vezes.
--web-server-deny-all proíbe o acesso a todos os endereços IP.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --web-server-allow-ip ip_range=WS_IP_RANGE,description=WS_RANGE_DESCRIPTION

Substitua:

WS_IP_RANGE pelo intervalo de IP, na notação CIDR, que pode acessar a IU do Airflow.
WS_RANGE_DESCRIPTION pela descrição do intervalo de IP;

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --web-server-allow-ip ip_range=192.0.2.0/24,description="office net 1" \
    --web-server-allow-ip ip_range=192.0.4.0/24,description="office net 3"

API

Ao criar um ambiente, no recurso Ambiente > EnvironmentConfig, especifique parâmetros de acesso ao servidor da Web.

Para fornecer acesso ao servidor da Web do Airflow de todos os endereços IP, omita webServerNetworkAccessControl.
Para restringir o acesso apenas a intervalos de IP específicos, especifique um ou mais intervalos em allowedIpRanges.
Para proibir o acesso de todos os endereços IP, adicione allowedIpRanges e transforme-o em uma lista vazia. Não especifique intervalos de IP nele.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "webServerNetworkAccessControl": {
      "allowedIpRanges": [
        {
          "value": "WS_IP_RANGE",
          "description": "WS_RANGE_DESCRIPTION"
        }
      ]
    }
  }
}

Substitua:

WS_IP_RANGE pelo intervalo de IP, na notação CIDR, que pode acessar a IU do Airflow.
WS_RANGE_DESCRIPTION pela descrição do intervalo de IP;

Exemplo:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "webServerNetworkAccessControl": {
      "allowedIpRanges": [
        {
          "value": "192.0.2.0/24",
          "description": "office net 1"
        },
        {
          "value": "192.0.4.0/24",
          "description": "office net 3"
        }
      ]
    }
  }
}

Terraform

Quando você cria um ambiente, o bloco allowed_ip_range no bloco web_server_network_access_control contém intervalos de IP que podem acessar o servidor da Web.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    web_server_network_access_control {

      allowed_ip_range {
        value = "WS_IP_RANGE"
        description = "WS_RANGE_DESCRIPTION"
      }

    }

  }
}

Substitua:

WS_IP_RANGE pelo intervalo de IP, na notação CIDR, que pode acessar a IU do Airflow.
WS_RANGE_DESCRIPTION pela descrição do intervalo de IP;

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    web_server_network_access_control {
      allowed_ip_range {
        value = "192.0.2.0/24"
        description = "office net 1"
      },
      allowed_ip_range {
        value = "192.0.4.0/24"
        description = "office net 3"
      }

    }
}

Etapa 10: (Opcional) Especificar substituições de configuração e variáveis de ambiente do Airflow

É possível configurar substituições de configuração do Airflow e variáveis de ambiente ao criar um ambiente. Como alternativa, faça isso mais tarde, depois que seu ambiente for criado.

Algumas opções de configuração do Airflow são bloqueadas e não é possível substituí-las.

Para ver a lista de opções de configuração do Airflow disponíveis, consulte a Referência de configuração do Airflow 2 e o Airflow 1.10.*

Para especificar substituições de configuração e variáveis de ambiente do Airflow:

Console

Na página Criar ambiente:

Na seção Variáveis de ambiente, clique em Adicionar variável de ambiente.
Digite o Nome e o Valor da variável de ambiente.
Na seção Substituições de configuração do Airflow, clique em Adicionar substituição da configuração do Airflow.
Insira a Seção, a Chave e o Valor para substituir a opção de configuração.

Exemplo:

Seção Chave Valor

webserver dag_orientation TB

Seção	Chave	Valor
`webserver`	`dag_orientation`	`TB`

gcloud

Quando você cria um ambiente, os argumentos a seguir controlam as variáveis de ambiente e as substituições de configuração do Airflow:

--env-variables especifica uma lista separada por vírgulas de variáveis de ambiente.

Os nomes das variáveis podem conter letras maiúsculas e minúsculas, dígitos e sublinhados, mas não podem começar com um dígito.
--airflow-configs especifica uma lista de chaves e valores separada por vírgula para substituições de configuração do Airflow.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --env-variables ENV_VARS \
    --airflow-configs CONFIG_OVERRIDES

Substitua:

ENV_VARS por uma lista de pares NAME=VALUE separados por vírgulas para variáveis de ambiente.
CONFIG_OVERRIDES por uma lista de pares SECTION-KEY=VALUE separados por vírgulas para substituições de configuração. Separe o nome da seção de configuração com um símbolo -, seguido pelo nome da chave. Por exemplo, core-dags_are_paused_at_creation.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --env-variables SENDGRID_MAIL_FROM=user@example.com,SENDGRID_API_KEY=example-key \
    --airflow-configs core-dags_are_paused_at_creation=True,webserver-dag_orientation=TB

API

Ao criar um ambiente, no recurso Ambiente > EnvironmentConfig, especifique variáveis de ambiente e substituições de configuração do Airflow.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "SECTION-KEY": "OVERRIDE_VALUE"
      },
      "envVariables": {
        "VAR_NAME": "VAR_VALUE",
      }
    }
  }
}

Substitua:

SECTION pela seção no arquivo de configuração em que a opção de configuração do Airflow está localizada;
KEY pelo nome da opção de configuração do Airflow;
OVERRIDE_VALUE por um valor da opção de configuração do Airflow;
VAR_NAME pelo nome da variável de ambiente;
VAR_VALUE pelo valor da variável de ambiente.

Exemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "core-dags_are_paused_at_creation": "True",
        "webserver-dag_orientation": "TB"
      },
      "envVariables": {
        "SENDGRID_MAIL_FROM": "user@example.com",
        "SENDGRID_API_KEY": "example-key"
      }
    }
  }
}

Terraform

Quando você cria um ambiente, os seguintes blocos controlam as variáveis de ambiente e as substituições de configuração do Airflow:

O bloco env_variables no bloco software_config especifica as variáveis de ambiente.

Os nomes das variáveis podem conter letras maiúsculas e minúsculas, dígitos e sublinhados, mas não podem começar com um dígito.
O bloco airflow_config_overrides no bloco software_config especifica substituições de configuração do Airflow.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    software_config {

      airflow_config_overrides = {
        SECTION-KEY = "OVERRIDE_VALUE"
      }

      env_variables = {
        VAR_NAME = "VAR_VALUE"
      }
    }
  }
}

Substitua:

SECTION pela seção no arquivo de configuração em que a opção de configuração do Airflow está localizada;
KEY pelo nome da opção de configuração do Airflow;
OVERRIDE_VALUE por um valor da opção de configuração do Airflow;
VAR_NAME pelo nome da variável de ambiente;
VAR_VALUE pelo valor da variável de ambiente.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    software_config {

      airflow_config_overrides = {
        core-dags_are_paused_at_creation = "True"
        webserver-dag_orientation = "TB"
      }

      env_variables = {
        SENDGRID_MAIL_FROM = "user@example.com"
        SENDGRID_API_KEY = "example-key"
      }
    }
  }
}

Etapa 11: (Opcional) Especificar janelas de manutenção

Por padrão, as janelas de manutenção vão da 0h às 4h00:00 (GMT) às sextas, sábados e domingos, todas as semanas.

Para definir janelas de manutenção para seu ambiente:

Console

Na página Criar ambiente:

Na lista suspensa Fuso horário, escolha um fuso horário para janelas de manutenção.
Defina Horário de início, Dias e Duração para que o horário combinado da programação especificada seja de pelo menos 12 horas em uma janela de 7 dias. Por exemplo, um período de quatro horas toda segunda, quarta e sexta-feira fornece o tempo necessário.

gcloud

Os argumentos a seguir definem os parâmetros das janelas de manutenção:

--maintenance-window-start define o horário de início de uma janela de manutenção.
--maintenance-window-end define o horário de término de uma janela de manutenção.
--maintenance-window-recurrence define a recorrência da janela de manutenção.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --maintenance-window-start 'DATETIME_START' \
    --maintenance-window-end 'DATETIME_END' \
    --maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'

Substitua:

ENVIRONMENT_NAME pelo nome do ambiente;
DATETIME_START pela data e hora de início no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada.
DATETIME_END pela data e hora de término no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada. A data e hora especificadas precisam ser posteriores à data de início.
MAINTENANCE_RECURRENCE por um RFC 5545 RRULE para recorrência de janelas de manutenção. O Cloud Composer é compatível com dois formatos:
O formato FREQ=DAILY especifica uma recorrência diária.
O formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA especifica uma recorrência nos dias da semana selecionados.

O exemplo a seguir especifica uma janela de manutenção de seis horas entre 1h e 7h (UTC) às quartas-feiras, sábados e domingos. A data de 1o de janeiro de 2023 será ignorada.

gcloud composer environments create example-environment \
  --location us-central1 \
  --image-version composer-2.6.6-airflow-2.6.3 \
  --maintenance-window-start '2023-01-01T01:00:00Z' \
  --maintenance-window-end '2023-01-01T07:00:00Z' \
  --maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'

API

Ao criar um ambiente, em Ambiente > EnvironmentConfig, especifique os parâmetros das janelas de manutenção:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "maintenanceWindow": {
        "startTime": "DATETIME_START",
        "endTime": "DATETIME_END",
        "recurrence": "MAINTENANCE_RECURRENCE"
    }
  }
}

Substitua:

DATETIME_START pela data e hora de início no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada.
DATETIME_END pela data e hora de término no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada. A data e a hora especificadas precisam ser posteriores à data de início.
MAINTENANCE_RECURRENCE por um RFC 5545 RRULE para a recorrência de janelas de manutenção. O Cloud Composer é compatível com dois formatos:
O formato FREQ=DAILY especifica uma recorrência diária.
O formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA especifica uma recorrência nos dias da semana selecionados.

O exemplo a seguir especifica uma janela de manutenção de seis horas entre 1h e 7h (UTC) às quartas-feiras, sábados e domingos. A data de 1o de janeiro de 2023 será ignorada.

Exemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "maintenanceWindow": {
        "startTime": "2023-01-01T01:00:00Z",
        "endTime": "2023-01-01T07:00:00Z",
        "recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    }
  }
}

Terraform

O bloco maintenance_window especifica as janelas de manutenção do ambiente:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    maintenance_window {
      start_time = "DATETIME_START"
      end_time = "DATETIME_END"
      recurrence = "MAINTENANCE_RECURRENCE"
    }
  }
}

Substitua:

DATETIME_START pela data e hora de início no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada.
DATETIME_END pela data e hora de término no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada. A data e a hora especificadas precisam ser posteriores à data de início.
MAINTENANCE_RECURRENCE por um RFC 5545 RRULE para a recorrência de janelas de manutenção. O Cloud Composer é compatível com dois formatos:
- O formato FREQ=DAILY especifica uma recorrência diária.
- O formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA especifica uma recorrência nos dias da semana selecionados.

O exemplo a seguir especifica uma janela de manutenção de seis horas entre 1h e 7h (UTC) às quartas-feiras, sábados e domingos. A data de 1o de janeiro de 2023 será ignorada.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    maintenance_window {
      start_time = "2023-01-01T01:00:00Z"
      end_time = "2023-01-01T07:00:00Z"
      recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    }
  }
}

Etapa 12: (Opcional) Integração da linhagem de dados

A linhagem de dados é um recurso do Dataplex que rastreia a movimentação de dados. A integração da linhagem de dados está disponível para as versões 2.1.2 e posteriores do Cloud Composer 2.2.5 e posteriores do Airflow.

A integração da linhagem de dados será ativada automaticamente em um novo ambiente do Cloud Composer se as seguintes condições forem atendidas:

A API Data Lineage está ativada no projeto. Para mais informações, consulte Como ativar a API Data Lineage na documentação do Dataplex.

Cuidado: depois de ativar a API Data Lineage, o Dataplex começa a ingerir automaticamente os dados do BigQuery, Cloud Data Fusion e Dataproc. Isso acontece mesmo que você não crie um ambiente do Cloud Composer com integração de linhagem de dados.
Um back-end de linhagem personalizado não está configurado no Airflow.
A chave de criptografia gerenciada pelo cliente (CMEK) não está ativada no ambiente. A linhagem de dados não oferece suporte a CMEK para os metadados ingeridos. Não é possível ativar a integração da linhagem de dados nos ambientes do Cloud Composer que usam a CMEK. Para mais informações e outras limitações, consulte Considerações sobre linhagem de dados.

É possível desativar a integração da linhagem de dados ao criar um ambiente. Por exemplo, se você quiser modificar o comportamento automático ou optar por ativar a linhagem de dados mais tarde, após a criação do ambiente.

Console

Para desativar a integração da linhagem de dados, faça o seguinte na página Criar ambiente:

Na seção Configuração avançada, expanda o item Mostrar configuração avançada.
Na seção Integração da linhagem de dados do Dataplex, selecione Desativar a integração com a linhagem de dados do Dataplex.

gcloud

Quando você cria um ambiente, o argumento --disable-cloud-data-lineage-integration desativa a integração da linhagem de dados.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --disable-cloud-data-lineage-integration

Substitua:

ENVIRONMENT_NAME pelo nome do ambiente;

O nome precisa começar com uma letra minúscula seguida por até 62 letras minúsculas, números ou hifens. Ele não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente. Você precisa fornecer um nome que também seja válido como um nome de bucket do Cloud Storage. Para ver uma lista de restrições, consulte Diretrizes de nomenclatura de bucket.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --disable-cloud-data-lineage-integration

Etapa 13. (Opcional) Configurar criptografia de dados (CMEK)

Por padrão, os dados do seu ambiente são criptografados com uma chave fornecida pelo Google.

Para usar chaves de criptografia gerenciadas pelo cliente (CMEK) para criptografar dados no ambiente, siga as instruções descritas em Como usar chaves de criptografia gerenciadas pelo cliente.

Etapa 14. (Opcional) Usar o bucket de um ambiente personalizado

Quando você cria um ambiente, o Cloud Composer cria um bucket para ele automaticamente.

Como alternativa, você pode especificar um bucket personalizado do Cloud Storage a partir do seu projeto. Seu ambiente usa esse bucket da mesma maneira que o bucket criado automaticamente.

Para usar um bucket de ambiente personalizado, siga as instruções descritas em Usar um bucket de ambiente personalizado.

Etapa 15: (Opcional) Especificar identificadores de ambiente

É possível atribuir identificadores aos ambientes para dividir os custos de faturamento com base nesses identificadores.

Console

Na página Criar ambiente, na seção Identificadores:

Clique em Adicionar rótulo.
Nos campos Chave e Valor, especifique os pares de chave e valor para os identificadores de ambiente.

gcloud

Quando você cria um ambiente, o argumento --labels especifica uma lista de chaves e valores separada por vírgulas com identificadores de ambiente.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --labels LABELS

Substitua:

LABELS por uma lista de pares KEY=VALUE separados por vírgulas para identificadores de ambiente.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.6.6-airflow-2.6.3 \
    --labels owner=engineering-team,env=production

API

Ao criar um ambiente, no recurso Ambiente, especifique identificadores para o ambiente.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "labels": {
    "LABEL_KEY": "LABEL_VALUE"
  }
}

Substitua:

LABEL_KEY por uma chave do identificador do ambiente.
LABEL_VALUE por um valor do identificador de ambiente.

Exemplo:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "labels": {
    "owner": "engineering-team",
    "env": "production"
  }
}

Terraform

Ao criar um ambiente, especifique identificadores no bloco labels (fora do bloco config).

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  labels = {
    LABEL_KEY = "LABEL_VALUE"
  }

}

Substitua:

LABEL_KEY por uma chave do identificador do ambiente.
LABEL_VALUE por um valor do identificador de ambiente.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  labels = {
    owner = "engineering-team"
    env = "production"
  }

}

criar ambientes do Cloud Composer

Antes de começar

Etapa 1. Configuração básica

Console

gcloud

API

Terraform

Etapa 2: (Opcional) Selecionar uma conta de serviço para o ambiente

Console

gcloud

API

Terraform

Etapa 3. Conceder as permissões necessárias à conta de serviço do Cloud Composer

Console

gcloud

API

Terraform

Etapa 4. (Opcional) Configurar a escala do ambiente e os parâmetros de desempenho

Console

gcloud

API

Terraform

Etapa 5. (Opcional) Ativar o modo de alta resiliência

Console

gcloud

API

Terraform

Etapa 6. (Opcional) Especifique uma zona para o banco de dados do ambiente

Console

gcloud

API

Terraform

Etapa 7. (Opcional) Configurar a rede do ambiente

Console

gcloud

Etapa 8. (Opcional) Adicionar tags de rede

Console

gcloud

API

Terraform

Etapa 9: (Opcional) Configurar o acesso à rede do servidor da Web

Console

gcloud

API

Terraform

Etapa 10: (Opcional) Especificar substituições de configuração e variáveis de ambiente do Airflow

Console

gcloud

API

Terraform

Etapa 11: (Opcional) Especificar janelas de manutenção

Console

gcloud

API

Terraform

Etapa 12: (Opcional) Integração da linhagem de dados

Console

gcloud

Etapa 13. (Opcional) Configurar criptografia de dados (CMEK)

Etapa 14. (Opcional) Usar o bucket de um ambiente personalizado

Etapa 15: (Opcional) Especificar identificadores de ambiente

Console

gcloud

API

Terraform

A seguir