A 15 de setembro de 2026, todos os ambientes do Cloud Composer 1 e do Cloud Composer 2 versão 2.0.x vão atingir o fim da vida útil planeado e não vai poder usá-los. Recomendamos que planeie a migração para o Cloud Composer 3.

Esta página foi traduzida pela API Cloud Translation.

Crie ambientes do Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página explica como criar um ambiente do Cloud Composer.

Para mais informações sobre ambientes, consulte o artigo Arquitetura de ambientes.
Para mais informações sobre como criar um ambiente com o Terraform, consulte o artigo Crie ambientes (Terraform).

Antes de começar

Ative a API Cloud Composer. Para ver a lista completa dos serviços usados pelo Cloud Composer, consulte o artigo Serviços necessários para o Cloud Composer.
O tempo aproximado para criar um ambiente é de 25 minutos.
Se criar um ambiente com o Terraform, a conta de serviço usada pelo Terraform tem de ter uma função com a autorização composer.environments.create ativada.

Para mais informações acerca da conta de serviço do Terraform, consulte a referência de configuração do fornecedor Google.

Para mais informações sobre a utilização do Terraform para criar um ambiente do Cloud Composer, consulte a documentação do Terraform.

Para mais informações sobre parâmetros adicionais, consulte a Referência de argumentos do Terraform.
VPC SC: para implementar ambientes do Cloud Composer num perímetro de segurança, consulte o artigo Configurar o VPC SC. Quando usados com o Cloud Composer, os VPC Service Controls têm várias limitações conhecidas.

Passo 1. Crie ou escolha a conta de serviço de um ambiente

Quando cria um ambiente, especifica uma conta de serviço. Esta conta de serviço chama-se conta de serviço do ambiente. O seu ambiente usa esta conta de serviço para realizar a maioria das operações.

A conta de serviço do seu ambiente não é uma conta de utilizador. Uma conta de serviço é um tipo especial de conta usada por uma aplicação ou uma instância de máquina virtual (VM) e não por uma pessoa.

Não pode alterar a conta de serviço do seu ambiente mais tarde.

Se ainda não tiver uma conta de serviço para ambientes do Cloud Composer no seu projeto, crie-a.

Consulte o artigo Criar ambientes (Terraform) para ver um exemplo expandido de como criar uma conta de serviço para o seu ambiente no Terraform.

Para criar uma nova conta de serviço para o seu ambiente:

Crie uma nova conta de serviço conforme descrito na documentação de gestão de identidade e de acesso.
Atribuir-lhe uma função, conforme descrito na documentação da gestão de identidade e de acesso. A função necessária é Composer Worker (composer.worker).
Para aceder a outros recursos no seu Google Cloud projeto, conceda autorizações adicionais para aceder a esses recursos a esta conta de serviço. A função Composer Worker (composer.worker) fornece este conjunto de autorizações necessário na maioria dos casos. Adicione autorizações adicionais a esta conta de serviço apenas quando for necessário para o funcionamento dos seus DAGs.

Passo 2. Configuração básica

Este passo cria um ambiente do Cloud Composer com parâmetros predefinidos na localização especificada.

Consola

Na Google Cloud consola, aceda à página Criar ambiente.

Aceda a Criar ambiente
No campo Nome, introduza um nome para o seu ambiente.

O nome tem de começar com uma letra minúscula seguida de até 62 letras minúsculas, números ou hífenes, e não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente, pelo que tem de fornecer um nome que também seja válido como nome de contentor do Cloud Storage. Consulte as diretrizes de nomenclatura de contentores para ver uma lista de restrições.
Na lista pendente Localização, escolha uma localização para o seu ambiente.

Uma localização é a região onde o ambiente está localizado.
Na lista pendente Versão da imagem, selecione uma imagem do Cloud Composer com a versão necessária do Airflow.
Na lista pendente Conta de serviço, selecione uma conta de serviço para o seu ambiente.

Se ainda não tiver uma conta de serviço para o seu ambiente, consulte o artigo Crie ou escolha a conta de serviço de um ambiente.

gcloud

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version IMAGE_VERSION \
    --service-account "SERVICE_ACCOUNT"

Substituir:

ENVIRONMENT_NAME com o nome do ambiente.

O nome tem de começar com uma letra minúscula seguida de até 62 letras minúsculas, números ou hífenes, e não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente, pelo que tem de fornecer um nome que também seja válido como nome de contentor do Cloud Storage. Consulte as diretrizes de nomenclatura de contentores para ver uma lista de restrições.
LOCATION com a região para o ambiente.

Uma localização é a região onde o ambiente está localizado.
SERVICE_ACCOUNT com a conta de serviço do seu ambiente.
IMAGE_VERSION com o nome de uma imagem do Cloud Composer.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "
example-account@example-project.iam.gserviceaccount.com
"

API

Construa um pedido de API environments.create. Especifique a configuração no recurso Environment.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "imageVersion": "IMAGE_VERSION"
    },
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Substituir:

PROJECT_ID com o ID do projeto.
LOCATION com a região para o ambiente.

Uma localização é a região onde o ambiente está localizado.
ENVIRONMENT_NAME com o nome do ambiente.

O nome tem de começar com uma letra minúscula seguida de até 62 letras minúsculas, números ou hífenes, e não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente, pelo que tem de fornecer um nome que também seja válido como nome de contentor do Cloud Storage. Consulte as diretrizes de nomenclatura de contentores para ver uma lista de restrições.
IMAGE_VERSION com o nome de uma imagem do Cloud Composer.
SERVICE_ACCOUNT com a conta de serviço do seu ambiente.

Exemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "softwareConfig": {
      "imageVersion": "composer-3-airflow-2.10.5-build.11"
    },
    "nodeConfig": {
      "serviceAccount": "
example-account@example-project.iam.gserviceaccount.com
"
    }
  }
}

Terraform

Para criar um ambiente com parâmetros predefinidos numa localização especificada, adicione o seguinte bloco de recursos à configuração do Terraform e execute terraform apply.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "IMAGE_VERSION"
    }
    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Substituir:

ENVIRONMENT_NAME com o nome do ambiente.

O nome tem de começar com uma letra minúscula seguida de até 62 letras minúsculas, números ou hífenes, e não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente, pelo que tem de fornecer um nome que também seja válido como nome de contentor do Cloud Storage. Consulte as diretrizes de nomenclatura de contentores para ver uma lista de restrições.
LOCATION com a região para o ambiente.

Uma localização é a região onde o ambiente está localizado.
IMAGE_VERSION com o nome de uma imagem do Cloud Composer.
SERVICE_ACCOUNT com a conta de serviço do seu ambiente.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-3-airflow-2.10.5-build.11"
    }
    node_config {
      service_account = "
example-account@example-project.iam.gserviceaccount.com
"
    }
  }
}

Passo 3. (Opcional) Configure a escala do ambiente e os parâmetros de desempenho

Para especificar a configuração de escala e desempenho do seu ambiente, selecione o tamanho do ambiente e a configuração das cargas de trabalho.

Pode alterar todos os parâmetros de desempenho e escala depois de criar um ambiente.

Os seguintes parâmetros controlam a escala e o desempenho:

Tamanho do ambiente. Controla os parâmetros de desempenho da infraestrutura do Cloud Composer gerido, que inclui a base de dados do Airflow. Considere selecionar um tamanho do ambiente maior se quiser executar um grande número de DAGs e tarefas com um desempenho de infraestrutura mais elevado. Por exemplo, o tamanho maior do ambiente aumenta a quantidade de entradas do registo de tarefas do Airflow que o seu ambiente pode processar com um atraso mínimo.
Configuração das cargas de trabalho. Controla a escala e o desempenho dos componentes do Airflow que são executados num cluster do GKE do seu ambiente.
- Programador do Airflow. Analisa ficheiros de definição de DAG, agenda execuções de DAG com base no intervalo de agendamento e coloca tarefas em fila para execução por parte dos trabalhadores do Airflow.
  
  O seu ambiente pode executar mais do que um programador do Airflow em simultâneo. Use vários agendadores para distribuir a carga entre várias instâncias do agendador para um melhor desempenho e fiabilidade.
  
  O aumento do número de agendadores nem sempre melhora o desempenho do Airflow. Por exemplo, ter apenas um programador pode oferecer um melhor desempenho do que ter dois. Isto pode acontecer quando o agendador adicional não é usado e, por isso, consome recursos do seu ambiente sem contribuir para o desempenho geral. O desempenho real do agendador depende do número de trabalhadores do Airflow, do número de DAGs e tarefas executadas no seu ambiente, bem como da configuração do Airflow e do ambiente.
  
  Recomendamos que comece com dois programadores e, em seguida, monitorize o desempenho do seu ambiente. Se alterar o número de programadores, pode sempre reduzir a escala do seu ambiente para o número original de programadores.
  
  Para mais informações sobre a configuração de várias programações, consulte a documentação do Airflow.
- Acionador do Airflow. Monitoriza de forma assíncrona todas as tarefas adiadas no seu ambiente. Se tiver, pelo menos, uma instância de acionador no seu ambiente (ou, pelo menos, duas em ambientes altamente resilientes), pode usar operadores adiáveis nos seus DAGs.
  
  No Cloud Composer 3, o acionador do Airflow está ativado por predefinição. Se quiser criar um ambiente sem um acionador, defina o número de acionadores como zero.
- Processador DAG do Airflow. Processa ficheiros DAG e transforma-os em objetos DAG. No Cloud Composer 3, esta parte do agendador é executada como um componente de ambiente separado.
- Servidor Web do Airflow. Executa a interface Web do Airflow, onde pode monitorizar, gerir e visualizar os seus DAGs.
- Trabalhadores do Airflow. Executar tarefas agendadas pelos programadores do Airflow. O número mínimo e máximo de trabalhadores no seu ambiente muda dinamicamente consoante o número de tarefas na fila.

Consola

Pode selecionar uma predefinição para o seu ambiente. Quando seleciona uma predefinição, os parâmetros de escala e desempenho dessa predefinição são selecionados automaticamente. Também tem a opção de selecionar uma predefinição personalizada e especificar todos os parâmetros de escala e desempenho para o seu ambiente.

Para selecionar a configuração de escala e desempenho para o seu ambiente, na página Criar ambiente:

Para usar valores predefinidos, na secção Recursos do ambiente, clique em Pequeno, Médio ou Grande.
Para especificar valores personalizados para os parâmetros de escala e desempenho:
1. Na secção Recursos do ambiente, clique em Personalizado.
2. Na secção Agendador, defina o número de agendadores que quer usar e a atribuição de recursos para a respetiva CPU, memória e armazenamento.
3. Na secção Acionador, use o campo Número de acionadores para introduzir o número de acionadores no seu ambiente.
  
  Se não quiser usar operadores adiáveis nos seus DAGs, defina o número de acionadores como zero.
  
  Se definir, pelo menos, um acionador para o seu ambiente, use os campos CPU e Memória para configurar a atribuição de recursos para os acionadores.
4. Na secção Processador DAG, especifique o número de processadores DAG no seu ambiente e a quantidade de CPUs, memória e armazenamento para cada processador DAG.
  
  Os ambientes altamente resilientes requerem, pelo menos, dois processadores DAG.
5. Na secção Servidor Web, especifique a quantidade de CPUs, memória e armazenamento para o servidor Web.
6. Na secção Trabalhador, especifique:
  - O número mínimo e máximo de trabalhadores para os limites de dimensionamento automático no seu ambiente.
  - A atribuição de CPU, memória e armazenamento para os seus trabalhadores
7. Na secção Infraestrutura principal, na lista pendente Tamanho do ambiente, selecione o tamanho do ambiente.

gcloud

Quando cria um ambiente, os seguintes argumentos controlam os parâmetros de escala e desempenho do seu ambiente.

--environment-size especifica o tamanho do ambiente.
--scheduler-count especifica o número de agendadores.
--scheduler-cpu especifica o número de CPUs para um programador do Airflow.
--scheduler-memory especifica a quantidade de memória para um programador do Airflow.
--scheduler-storage especifica a quantidade de espaço em disco para um programador do Airflow.
--triggerer-count especifica o número de acionadores do Airflow no seu ambiente. O valor predefinido para esta flag é 0. Precisa de acionadores se quiser usar operadores adiáveis nos seus DAGs.
- Para ambientes de resiliência padrão, use um valor entre 0 e 10.
- Para ambientes altamente resilientes, use 0 ou um valor entre 2 e 10.
--triggerer-cpu especifica o número de CPUs para um acionador do Airflow, em unidades de vCPU. Valores permitidos: 0.5, 0.75, 1. O valor predefinido é 0.5.
--triggerer-memory especifica a quantidade de memória para um acionador do Airflow, em GB. O valor predefinido é 0.5.

A memória mínima necessária é igual ao número de CPUs atribuídas aos acionadores. O valor máximo permitido é igual ao número de CPUs do acionador multiplicado por 6,5.

Por exemplo, se definir a flag --triggerer-cpu como 1, o valor mínimo para --triggerer-memory é 1 e o valor máximo é 6.5.
--dag-processor-count especifica o número de processadores DAG no seu ambiente.

Os ambientes altamente resilientes requerem, pelo menos, dois processadores DAG.
--dag-processor-cpu especifica o número de CPUs para o processador DAG.
--dag-processor-memory especifica a quantidade de memória para o processador DAG.
--dag-processor-storage especifica a quantidade de espaço em disco para o processador DAG.
--web-server-cpu especifica o número de CPUs para o servidor Web do Airflow.
--web-server-memory especifica a quantidade de memória para o servidor Web do Airflow.
--web-server-storage especifica a quantidade de espaço em disco para o servidor Web do Airflow.
--worker-cpu especifica o número de CPUs para um trabalhador do Airflow.
--worker-memory especifica a quantidade de memória para um trabalhador do Airflow.
--worker-storage especifica a quantidade de espaço em disco para um worker do Airflow.
--min-workers especifica o número mínimo de trabalhadores do Airflow. O cluster do seu ambiente executa, pelo menos, este número de trabalhadores.
--max-workers especifica o número máximo de trabalhadores do Airflow. O cluster do seu ambiente executa, no máximo, este número de trabalhadores.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "SERVICE_ACCOUNT" \
    --environment-size ENVIRONMENT_SIZE \
    --scheduler-count SCHEDULER_COUNT \
    --scheduler-cpu SCHEDULER_CPU \
    --scheduler-memory SCHEDULER_MEMORY \
    --scheduler-storage SCHEDULER_STORAGE \
    --triggerer-count TRIGGERER_COUNT \
    --triggerer-cpu TRIGGERER_CPU \
    --triggerer-memory TRIGGERER_MEMORY \
    --dag-processor-count DAG_PROCESSOR_COUNT \
    --dag-processor-cpu DAG_PROCESSOR_CPU \
    --dag-processor-memory DAG_PROCESSOR_MEMORY \
    --dag-processor-storage DAG_PROCESSOR_STORAGE \
    --web-server-cpu WEB_SERVER_CPU \
    --web-server-memory WEB_SERVER_MEMORY \
    --web-server-storage WEB_SERVER_STORAGE \
    --worker-cpu WORKER_CPU \
    --worker-memory WORKER_MEMORY \
    --worker-storage WORKER_STORAGE \
    --min-workers WORKERS_MIN \
    --max-workers WORKERS_MAX

Substituir:

ENVIRONMENT_SIZE com small, medium ou large.
SCHEDULER_COUNT com o número de programadores.
SCHEDULER_CPU com o número de CPUs para um programador, em unidades de vCPU.
SCHEDULER_MEMORY com a quantidade de memória para um programador.
SCHEDULER_STORAGE com o tamanho do disco para um programador.
TRIGGERER_COUNT com o número de acionadores.
TRIGGERER_CPU com o número de CPUs para um acionador, em unidades de vCPU.
TRIGGERER_MEMORY com a quantidade de memória para um acionador, em GB.
DAG_PROCESSOR_COUNT com o número de processadores DAG.
DAG_PROCESSOR_CPU com o número de CPUs para o processador DAG.
DAG_PROCESSOR_MEMORY com a quantidade de memória para o processador DAG.
DAG_PROCESSOR_STORAGE com a quantidade de espaço em disco para o processador DAG.
WEB_SERVER_CPU com o número de CPUs do servidor Web, em unidades de vCPU.
WEB_SERVER_MEMORY com a quantidade de memória do servidor Web.
WEB_SERVER_STORAGE com a quantidade de memória do servidor Web.
WORKER_CPU com o número de CPUs para um trabalhador, em unidades de vCPU.
WORKER_MEMORY com a quantidade de memória para um trabalhador.
WORKER_STORAGE com o tamanho do disco para um trabalhador.
WORKERS_MIN com o número mínimo de trabalhadores do Airflow que o seu ambiente pode executar. O número de trabalhadores no seu ambiente não excede este número, mesmo que um número inferior de trabalhadores consiga processar a carga.
WORKERS_MAX com o número máximo de trabalhadores do Airflow que o seu ambiente pode executar. O número de trabalhadores no seu ambiente não excede este número, mesmo que seja necessário um número superior de trabalhadores para processar a carga.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "
example-account@example-project.iam.gserviceaccount.com
" \
    --environment-size small \
    --scheduler-count 1 \
    --scheduler-cpu 0.5 \
    --scheduler-memory 2.5GB \
    --scheduler-storage 2GB \
    --triggerer-count 1 \
    --triggerer-cpu 0.5 \
    --triggerer-memory 0.5GB \
    --dag-processor-count 1 \
    --dag-processor-cpu 0.5 \
    --dag-processor-memory 2GB \
    --dag-processor-storage 1GB \
    --web-server-cpu 1 \
    --web-server-memory 2.5GB \
    --web-server-storage 2GB \
    --worker-cpu 1 \
    --worker-memory 2GB \
    --worker-storage 2GB \
    --min-workers 2 \
    --max-workers 4

API

Quando cria um ambiente, no recurso Environment > EnvironmentConfig > WorkloadsConfig, especifique os parâmetros de escala e desempenho do ambiente.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "workloadsConfig": {
      "scheduler": {
        "cpu": SCHEDULER_CPU,
        "memoryGb": SCHEDULER_MEMORY,
        "storageGb": SCHEDULER_STORAGE,
        "count": SCHEDULER_COUNT
      },
      "triggerer": {
        "count": TRIGGERER_COUNT,
        "cpu": TRIGGERER_CPU,
        "memoryGb": TRIGGERER_MEMORY
      },
      "dagProcessor": {
        "count": DAG_PROCESSOR_COUNT,
        "cpu": DAG_PROCESSOR_CPU,
        "memoryGb": DAG_PROCESSOR_MEMORY,
        "storageGb": DAG_PROCESSOR_STORAGE
      },
      "webServer": {
        "cpu": WEB_SERVER_CPU,
        "memoryGb": WEB_SERVER_MEMORY,
        "storageGb": WEB_SERVER_STORAGE
      },
      "worker": {
        "cpu": WORKER_CPU,
        "memoryGb": WORKER_MEMORY,
        "storageGb": WORKER_STORAGE,
        "minCount": WORKERS_MIN,
        "maxCount": WORKERS_MAX
      }
    },
    "environmentSize": "ENVIRONMENT_SIZE",
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Substituir:

SCHEDULER_CPU com o número de CPUs para um programador, em unidades de vCPU.
SCHEDULER_MEMORY com a quantidade de memória para um programador, em GB.
SCHEDULER_STORAGE com o tamanho do disco para um programador, em GB.
SCHEDULER_COUNT com o número de programadores.
TRIGGERER_COUNT com o número de acionadores. O valor predefinido é 0. Precisa de acionadores se quiser usar operadores adiáveis nos seus DAGs.
- Para ambientes de resiliência padrão, use um valor entre 0 e 10.
- Para ambientes altamente resilientes, use 0 ou um valor entre 2 e 10.
Se usar, pelo menos, um acionador, também tem de especificar os parâmetros TRIGGERER_CPU e TRIGGERER_MEMORY:
TRIGGERER_CPU especifica o número de CPUs para um acionador, em unidades de vCPU. Valores permitidos: 0.5, 0.75, 1.
TRIGGERER_MEMORY configura a quantidade de memória para um acionador. A memória mínima necessária é igual ao número de CPUs atribuídas aos acionadores. O valor máximo permitido é igual ao número de CPUs do acionador multiplicado por 6,5.

Por exemplo, se definir TRIGGERER_CPU como 1, o valor mínimo para TRIGGERER_MEMORY é 1 e o valor máximo é 6.5.
DAG_PROCESSOR_COUNT com o número de processadores DAG.

Os ambientes altamente resilientes requerem, pelo menos, dois processadores DAG.
DAG_PROCESSOR_CPU com o número de CPUs para o processador DAG, em unidades de vCPU.
DAG_PROCESSOR_MEMORY com a quantidade de memória para o processador DAG, em GB.
DAG_PROCESSOR_STORAGE com a quantidade de espaço em disco para o processador DAG, em GB.
WEB_SERVER_CPU com o número de CPUs do servidor Web, em unidades de vCPU.
WEB_SERVER_MEMORY com a quantidade de memória do servidor Web, em GB.
WEB_SERVER_STORAGE com o tamanho do disco para o servidor Web, em GB.
WORKER_CPU com o número de CPUs para um trabalhador, em unidades de vCPU.
WORKER_MEMORY com a quantidade de memória para um trabalhador, em GB.
WORKER_STORAGE com o tamanho do disco para um trabalhador, em GB.
WORKERS_MIN com o número mínimo de trabalhadores do Airflow que o seu ambiente pode executar. O número de trabalhadores no seu ambiente não excede este número, mesmo que um número inferior de trabalhadores consiga processar a carga.
WORKERS_MAX com o número máximo de trabalhadores do Airflow que o seu ambiente pode executar. O número de trabalhadores no seu ambiente não excede este número, mesmo que seja necessário um número superior de trabalhadores para processar a carga.
ENVIRONMENT_SIZE com o tamanho do ambiente, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "workloadsConfig": {
      "scheduler": {
        "cpu": 2.5,
        "memoryGb": 2.5,
        "storageGb": 2,
        "count": 1
      },
      "triggerer": {
        "cpu": 0.5,
        "memoryGb": 0.5,
        "count": 1
      },
      "dagProcessor": {
        "count": 1,
        "cpu": 0.5,
        "memoryGb": 2,
        "storageGb": 1
      },
      "webServer": {
        "cpu": 1,
        "memoryGb": 2.5,
        "storageGb": 2
      },
      "worker": {
        "cpu": 1,
        "memoryGb": 2,
        "storageGb": 2,
        "minCount": 2,
        "maxCount": 4
      }
    },
    "environmentSize": "ENVIRONMENT_SIZE_SMALL",
    "nodeConfig": {
      "serviceAccount": "
example-account@example-project.iam.gserviceaccount.com
"
    }
  }
}

Terraform

Quando cria um ambiente, os seguintes argumentos controlam os parâmetros de escala e desempenho do seu ambiente.

No bloco config:
- O campo environment_size controla o tamanho do ambiente.
No bloco workloads_config:
- O campo scheduler.cpu especifica o número de CPUs para um programador do Airflow.
- O campo scheduler.memory_gb especifica a quantidade de memória para um programador do Airflow.
- O campo scheduler.storage_gb especifica a quantidade de espaço em disco para um agendador.
- O campo scheduler.count especifica o número de agendadores no seu ambiente.
- O campo triggerer.cpu especifica o número de CPUs para um acionador do Airflow.
- O campo triggerer.memory_gb especifica a quantidade de memória para um acionador do Airflow.
- O campo triggerer.count especifica o número de acionadores no seu ambiente.
- O campo dag_processor.cpu especifica o número de CPUs para um processador DAG.
- O campo dag_processor.memory_gb especifica a quantidade de memória para um processador DAG.
- O campo dag_processor.storage_gb especifica a quantidade de espaço em disco para um processador DAG.
- O campo dag_processor.count especifica o número de processadores DAG.
  
  Os ambientes altamente resilientes requerem, pelo menos, dois processadores DAG.
- O campo web_server.cpu especifica o número de CPUs para o servidor Web do Airflow.
- O campo web_server.memory_gb especifica a quantidade de memória para o servidor Web do Airflow.
- O campo web_server.storage_gb especifica a quantidade de espaço em disco para o servidor Web do Airflow.
- O campo worker.cpu especifica o número de CPUs para um worker do Airflow.
- O campo worker.memory_gb especifica a quantidade de memória para um trabalhador do Airflow.
- O campo worker.storage_gb especifica a quantidade de espaço em disco para um trabalhador do Airflow.
- O campo worker.min_count especifica o número mínimo de trabalhadores no seu ambiente.
- O campo worker.max_count especifica o número máximo de trabalhadores no seu ambiente.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {

      scheduler {
        cpu = SCHEDULER_CPU
        memory_gb = SCHEDULER_MEMORY
        storage_gb = SCHEDULER_STORAGE
        count = SCHEDULER_COUNT
      }
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
      dag_processor {
        cpu = DAG_PROCESSOR_CPU
        memory_gb = DAG_PROCESSOR_MEMORY
        storage_gb = DAG_PROCESSOR_STORAGE
        count = DAG_PROCESSOR_COUNT
      }
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
      worker {
        cpu = WORKER_CPU
        memory_gb = WORKER_MEMORY
        storage_gb = WORKER_STORAGE
        min_count = WORKERS_MIN
        max_count = WORKERS_MAX
      }
    }

    environment_size = "ENVIRONMENT_SIZE"

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Substituir:

ENVIRONMENT_NAME com o nome do ambiente.
LOCATION com a região onde o ambiente está localizado.
SERVICE_ACCOUNT com a conta de serviço do seu ambiente.
SCHEDULER_CPU com o número de CPUs para um programador, em unidades de vCPU.
SCHEDULER_MEMORY com a quantidade de memória para um programador, em GB.
SCHEDULER_STORAGE com o tamanho do disco para um programador, em GB.
SCHEDULER_COUNT com o número de programadores.
TRIGGERER_COUNT com o número de acionadores.
TRIGGERER_CPU com o número de CPUs para um acionador, em unidades de vCPU.
TRIGGERER_MEMORY com a quantidade de memória para um acionador, em GB.
DAG_PROCESSOR_CPU com o número de CPUs para o processador DAG, em unidades de vCPU.
DAG_PROCESSOR_MEMORY com a quantidade de memória para o processador DAG, em GB.
DAG_PROCESSOR_STORAGE com a quantidade de espaço em disco para o processador DAG, em GB.
DAG_PROCESSOR_COUNT com o número de processadores DAG.
WEB_SERVER_CPU com o número de CPUs do servidor Web, em unidades de vCPU.
WEB_SERVER_MEMORY com a quantidade de memória do servidor Web, em GB.
WEB_SERVER_STORAGE com o tamanho do disco para o servidor Web, em GB.
WORKER_CPU com o número de CPUs para um trabalhador, em unidades de vCPU.
WORKER_MEMORY com a quantidade de memória para um trabalhador, em GB.
WORKER_STORAGE com o tamanho do disco para um trabalhador, em GB.
WORKERS_MIN com o número mínimo de trabalhadores do Airflow que o seu ambiente pode executar. O número de trabalhadores no seu ambiente não excede este número, mesmo que um número inferior de trabalhadores consiga processar a carga.
WORKERS_MAX com o número máximo de trabalhadores do Airflow que o seu ambiente pode executar. O número de trabalhadores no seu ambiente não excede este número, mesmo que seja necessário um número superior de trabalhadores para processar a carga.
ENVIRONMENT_SIZE com o tamanho do ambiente, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM ou ENVIRONMENT_SIZE_LARGE.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {

      scheduler {
        cpu = 2.5
        memory_gb = 2.5
        storage_gb = 2
        count = 1
      }
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
      dag_processor {
        cpu = 1
        memory_gb = 2
        storage_gb = 1
        count = 1
    }
      web_server {
        cpu = 1
        memory_gb = 2.5
        storage_gb = 2
      }
      worker {
        cpu = 1
        memory_gb = 2
        storage_gb = 2
        min_count = 2
        max_count = 4
      }
    }

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    node_config {
      service_account = "
example-account@example-project.iam.gserviceaccount.com
"
    }

  }
}

Passo 4. (Opcional) Ative o modo de alta resiliência

Altamente resiliente (altamente disponível) Os ambientes do Cloud Composer são ambientes que usam mecanismos de redundância e de comutação por falha incorporados que reduzem a suscetibilidade do ambiente a falhas zonais e interrupções de pontos únicos de falha.

Um ambiente altamente resiliente é multizonal e é executado em, pelo menos, duas zonas de uma região selecionada. Os seguintes componentes são executados em zonas separadas:

Exatamente dois programadores do Airflow
Pelo menos dois acionadores (se o número de acionadores não estiver definido como 0)
Pelo menos, dois processadores DAG
Dois servidores Web

O número mínimo de trabalhadores está definido como dois e o cluster do seu ambiente distribui instâncias de trabalhadores entre zonas. Em caso de uma indisponibilidade zonal, as instâncias de trabalho afetadas são reagendadas numa zona diferente. O componente do Cloud SQL de um ambiente altamente resiliente tem uma instância principal e uma instância de reserva que são distribuídas entre zonas.

Consola

Na página Criar ambiente:

Na secção Modo de resiliência, selecione Resiliência elevada.
Na secção Recursos do ambiente, selecione parâmetros de escalabilidade para um ambiente altamente resiliente. Os ambientes altamente resilientes requerem exatamente dois agendadores, zero ou entre dois e dez acionadores e, pelo menos, dois trabalhadores:
1. Clique em Personalizado.
2. Na lista pendente Número de agendadores, selecione 2.
3. Na lista pendente Número de acionadores, selecione 0 ou um valor entre 2 e 10. Configure a atribuição de CPU e memória para os acionadores.
4. Na lista pendente Número mínimo de trabalhadores, selecione 2 ou mais, consoante o número necessário de trabalhadores.
Na secção Configuração da rede:
1. Em Tipo de rede, selecione Ambiente de IP privado.
2. Se necessário, especifique outros parâmetros de rede.

gcloud

Quando cria um ambiente, o argumento --enable-high-resilience ativa o modo de elevada resiliência.

Defina os seguintes argumentos:

--enable-high-resilience
--enable-private-environment e outros parâmetros de rede para um ambiente de IP privado, se necessário
--scheduler-count a 2
--triggerer-count a 0 ou um valor entre 2 e 10. Se usar acionadores, as flags --triggerer-cpu and--triggerer-memory` também são necessárias para a criação do ambiente.

Para mais informações sobre as flags --triggerer-count, --triggerer-cpu e --triggerer-memory, consulte o artigo Configure os parâmetros de desempenho e escala do ambiente.
--min-workers a 2 ou mais

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "SERVICE_ACCOUNT" \
    --enable-high-resilience \
    --enable-private-environment \
    --scheduler-count 2 \
    --triggerer-count 2 \
    --triggerer-cpu 0.5 \
    --triggerer-memory 0.5 \
    --min-workers 2

API

Quando cria um ambiente, no recurso Environment > EnvironmentConfig, ative o modo de elevada resiliência.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "resilience_mode": "HIGH_RESILIENCE",
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }

  }
}

Exemplo:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "resilience_mode": "HIGH_RESILIENCE",
    "nodeConfig": {
      "serviceAccount": "
example-account@example-project.iam.gserviceaccount.com
"
    }

  }
}

Terraform

Quando cria um ambiente, o campo resilience_mode no bloco config ativa o modo de elevada resiliência.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    resilience_mode = "HIGH_RESILIENCE"

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }

  }
}

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    resilience_mode = "HIGH_RESILIENCE"

    node_config {
      service_account = "
example-account@example-project.iam.gserviceaccount.com
"
    }
  }
}

Passo 5. (Opcional) Especifique uma zona para a base de dados do ambiente

Pode especificar uma zona preferida do Cloud SQL quando criar um ambiente de resiliência padrão.

Consola

Na página Criar ambiente:

Na secção Configuração avançada, expanda o item Mostrar configuração avançada.
Na lista Zona da base de dados do Airflow, selecione uma zona do Cloud SQL preferencial.

gcloud

Quando cria um ambiente, o argumento --cloud-sql-preferred-zone especifica uma zona do Cloud SQL preferencial.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "SERVICE_ACCOUNT" \
    --cloud-sql-preferred-zone SQL_ZONE

Substitua o seguinte:

SQL_ZONE: zona preferencial do Cloud SQL. Esta zona tem de estar localizada na região onde o ambiente está localizado.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "
example-account@example-project.iam.gserviceaccount.com
" \
    --cloud-sql-preferred-zone us-central1-a

API

Quando cria um ambiente, no recurso Environment > DatabaseConfig, especifique a zona do Cloud SQL preferencial.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "databaseConfig": {
      "zone": "SQL_ZONE"
    },
      "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Substitua o seguinte:

SQL_ZONE: zona preferencial do Cloud SQL. Esta zona tem de estar localizada na região onde o ambiente está localizado.

Exemplo:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "databaseConfig": {
      "zone": "us-central1-a"
    },
    "nodeConfig": {
      "serviceAccount": "
example-account@example-project.iam.gserviceaccount.com
"
    }
  }
}

Terraform

Quando cria um ambiente, o campo zone no bloco database_config especifica a zona do Cloud SQL preferencial.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    database_config {
      zone = "SQL_ZONE"
    }

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Substitua o seguinte:

SQL_ZONE: zona preferencial do Cloud SQL. Esta zona tem de estar localizada na região onde o ambiente está localizado.

Passo 6: (Opcional) Configure a rede do seu ambiente

Pode configurar a rede do Cloud Composer 3 das seguintes formas:

Num ambiente de IP público, os componentes do Airflow do seu ambiente podem aceder à Internet.
Num ambiente de IP privado, os componentes do Airflow do seu ambiente não têm acesso à Internet.
Os ambientes de IP privado e IP público podem ligar-se à sua rede VPC como uma opção separada.
Pode especificar o intervalo de IP interno do seu ambiente. Não é possível alterar este intervalo mais tarde.
Pode ativar o acesso à Internet quando instalar pacotes do PyPI. Por exemplo, o seu ambiente de IP privado pode continuar a instalar pacotes PyPI a partir do Python Package Index se ativar esta opção.
Para um ambiente de VPC partilhada, tem de fazer uma configuração de rede adicional para o projeto anfitrião e, em seguida, criar um ambiente de IP público ou privado num projeto de serviço. Siga as instruções na página Configurar VPC partilhada.

Consola

Certifique-se de que a rede está configurada para o tipo de ambiente que quer criar.
Na secção Configuração da rede, expanda o item Mostrar configuração da rede.
Se quiser ligar o seu ambiente a uma rede de VPC, no campo Anexo de rede, selecione um anexo de rede. Também pode criar um novo anexo de rede. Para mais informações, consulte o artigo Ligue um ambiente a uma rede de VPC.
Se quiser criar um ambiente de IP privado, na secção Tipo de rede, selecione a opção Ambiente de IP privado.
Se quiser adicionar etiquetas de rede, consulte o artigo Adicione etiquetas de rede para obter mais informações.

gcloud

Certifique-se de que a sua rede está configurada para o tipo de ambiente que quer criar.

Quando cria um ambiente, os seguintes argumentos controlam os parâmetros de rede. Se omitir um parâmetro, é usado o valor predefinido.

--enable-private-environment ativa um ambiente de IP privado.
--network especifica o ID da sua rede de VPC.
--subnetwork especifica o ID da sub-rede de VPC.

--composer-internal-ipv4-cidr-block especifica o intervalo de IP interno do ambiente. Este intervalo é usado pelo Cloud Composer no projeto de inquilino do seu ambiente.

Exemplo (ambiente de IP privado com uma rede VPC ligada)

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "SERVICE_ACCOUNT" \
    --enable-private-environment \
    --network NETWORK_ID \
    --subnetwork SUBNETWORK_ID \

Substituir:

NETWORK_ID com o ID da sua rede VPC.
SUBNETWORK_ID com o ID da sub-rede da VPC.

Passo 7. (Opcional) Adicione etiquetas de rede

As etiquetas de rede são aplicadas a todas as VMs de nós no cluster do seu ambiente. As etiquetas são usadas para identificar origens ou destinos válidos para firewalls de rede. Cada etiqueta na lista tem de estar em conformidade com a RFC 1035.

Por exemplo, é recomendável adicionar etiquetas de rede se planear restringir o tráfego para um ambiente de IP privado com regras de firewall.

Consola

Na página Criar ambiente:

Localize a secção Configuração de rede.
No campo Etiquetas de rede, introduza etiquetas de rede para o seu ambiente.

gcloud

Quando cria um ambiente, os seguintes argumentos controlam as etiquetas de rede:

--tags especifica uma lista separada por vírgulas de etiquetas de rede aplicadas a todas as VMs de nós.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "SERVICE_ACCOUNT" \
    --tags TAGS

Substituir:

TAGS com uma lista de etiquetas de rede separadas por vírgulas.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --tags group1,production

API

Quando cria um ambiente, no recurso Environment > EnvironmentConfig, especifique as etiquetas de rede para o seu ambiente.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "nodeConfig": {
      "tags": [
        "TAG"
      ],
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Substituir:

TAG com uma etiqueta de rede.

Exemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "nodeConfig": {
      "tags": [
        "group1",
        "production"
      ],
      "serviceAccount": "
example-account@example-project.iam.gserviceaccount.com
"
    }
  }
}

Terraform

Quando cria um ambiente, os seguintes campos definem as etiquetas de rede para o seu ambiente:

O campo tags no bloco node_config especifica uma lista separada por vírgulas de etiquetas de rede aplicadas a todas as VMs de nós.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      tags = ["TAGS"]
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Substituir:

TAGS com uma lista de etiquetas de rede separadas por vírgulas.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    node_config {
      tags = ["group1","production"]
      service_account = "
example-account@example-project.iam.gserviceaccount.com
"
    }
  }
}

Passo 8. (Opcional) Configure o acesso à rede do servidor Web

Os parâmetros de acesso do servidor Web do Airflow não dependem do tipo do seu ambiente. Em alternativa, pode configurar o acesso ao servidor Web separadamente. Por exemplo, um ambiente de IP privado pode continuar a ter a IU do Airflow acessível a partir da Internet.

Não pode configurar os intervalos de IPs permitidos com endereços IP privados.

Consola

Na página Criar ambiente:

Na secção Configuração da rede, expanda o item Mostrar configuração da rede.
Na secção Controlo de acesso à rede do servidor Web:
- Para conceder acesso ao servidor Web do Airflow a partir de todos os endereços IP, selecione Permitir acesso a partir de todos os endereços IP.
- Para restringir o acesso apenas a intervalos de IP específicos, selecione Permitir acesso apenas a partir de endereços IP específicos. No campo Intervalo de IP, especifique um intervalo de IP na notação CIDR. No campo Descrição, especifique uma descrição opcional para este intervalo. Se quiser especificar mais do que um intervalo, clique em Adicionar intervalo de IP.
- Para proibir o acesso a todos os endereços IP, selecione Permitir acesso apenas a endereços IP específicos e clique em Eliminar item junto à entrada de intervalo vazia.

gcloud

Quando cria um ambiente, os seguintes argumentos controlam o nível de acesso do servidor Web:

O --web-server-allow-all fornece acesso ao Airflow a partir de todos os endereços IP. Esta é a opção predefinida.
O --web-server-allow-ip restringe o acesso apenas a intervalos de IP de origem específicos. Para especificar vários intervalos de IP, use este argumento várias vezes.
--web-server-deny-all proíbe o acesso para todos os endereços IP.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --web-server-allow-ip ip_range=WS_IP_RANGE,description=WS_RANGE_DESCRIPTION

Substituir:

WS_IP_RANGE com o intervalo de IP, na notação CIDR, que pode aceder à IU do Airflow.
WS_RANGE_DESCRIPTION com a descrição do intervalo de IP.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "
example-account@example-project.iam.gserviceaccount.com
" \
    --web-server-allow-ip ip_range=192.0.2.0/24,description="office net 1" \
    --web-server-allow-ip ip_range=192.0.4.0/24,description="office net 3"

API

Quando cria um ambiente, no recurso Environment > EnvironmentConfig, especifique os parâmetros de acesso do servidor Web.

Para conceder acesso ao servidor Web do Airflow a partir de todos os endereços IP, omita webServerNetworkAccessControl.
Para restringir o acesso apenas a intervalos de IP específicos, especifique um ou mais intervalos em allowedIpRanges.
Para proibir o acesso a todos os endereços IP, adicione allowedIpRanges e torne-a numa lista vazia. Não especifique intervalos de IP no mesmo.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "webServerNetworkAccessControl": {
      "allowedIpRanges": [
        {
          "value": "WS_IP_RANGE",
          "description": "WS_RANGE_DESCRIPTION"
        }
      ]
    },
      "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Substituir:

WS_IP_RANGE com o intervalo de IP, na notação CIDR, que pode aceder à IU do Airflow.
WS_RANGE_DESCRIPTION com a descrição do intervalo de IP.

Exemplo:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "webServerNetworkAccessControl": {
      "allowedIpRanges": [
        {
          "value": "192.0.2.0/24",
          "description": "office net 1"
        },
        {
          "value": "192.0.4.0/24",
          "description": "office net 3"
        }
      ]
    },
      "nodeConfig": {
        "serviceAccount": "
example-account@example-project.iam.gserviceaccount.com
"
    }
  }
}

Terraform

Quando cria um ambiente, o bloco allowed_ip_range no bloco web_server_network_access_control contém intervalos de IP que podem aceder ao servidor Web.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    web_server_network_access_control {

      allowed_ip_range {
        value = "WS_IP_RANGE"
        description = "WS_RANGE_DESCRIPTION"
      }
    }

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Substituir:

WS_IP_RANGE com o intervalo de IP, na notação CIDR, que pode aceder à IU do Airflow.
WS_RANGE_DESCRIPTION com a descrição do intervalo de IP.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    web_server_network_access_control {
      allowed_ip_range {
        value = "192.0.2.0/24"
        description = "office net 1"
      },
      allowed_ip_range {
        value = "192.0.4.0/24"
        description = "office net 3"
      }
    }

    node_config {
      service_account = "
example-account@example-project.iam.gserviceaccount.com
"
    }

}

Passo 9. (Opcional) Especifique substituições da configuração do Airflow e variáveis de ambiente

Pode configurar substituições da configuração do Airflow e variáveis de ambiente quando cria um ambiente. Em alternativa, pode fazê-lo mais tarde, depois de criar o ambiente.

Algumas opções de configuração do Airflow estão bloqueadas e não pode substituí-las.

Para ver a lista de opções de configuração do Airflow disponíveis, consulte a referência de configuração do Airflow 2 e do Airflow 1.10.*

Para especificar substituições de configuração do Airflow e variáveis de ambiente:

Consola

Na página Criar ambiente:

Na secção Variáveis de ambiente, clique em Adicionar variável de ambiente.
Introduza o Nome e o Valor da variável de ambiente.
Na secção Substituições da configuração do Airflow, clique em Adicionar substituição da configuração do Airflow.
Introduza a Secção, a Chave e o Valor para substituir a opção de configuração.

Por exemplo:

Secção Chave Valor

webserver dag_orientation TB

Secção	Chave	Valor
`webserver`	`dag_orientation`	`TB`

gcloud

Quando cria um ambiente, os seguintes argumentos controlam as variáveis de ambiente e as substituições da configuração do Airflow:

--env-variables especifica uma lista de variáveis de ambiente separadas por vírgulas.

Os nomes das variáveis podem conter letras maiúsculas e minúsculas, dígitos e sublinhados, mas não podem começar por um dígito.
--airflow-configs especifica uma lista de chaves e valores separados por vírgulas para substituições da configuração do Airflow.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "SERVICE_ACCOUNT" \
    --env-variables ENV_VARS \
    --airflow-configs CONFIG_OVERRIDES

Substituir:

ENV_VARS com uma lista de pares NAME=VALUE separados por vírgulas para variáveis de ambiente.
CONFIG_OVERRIDES com uma lista de pares SECTION-KEY=VALUE separados por vírgulas para substituições de configuração. Separe o nome da secção de configuração com o símbolo -, seguido do nome da chave. Por exemplo: core-dags_are_paused_at_creation.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "
example-account@example-project.iam.gserviceaccount.com
" \
    --env-variables SENDGRID_MAIL_FROM=user@example.com,SENDGRID_API_KEY=example-key \
    --airflow-configs core-dags_are_paused_at_creation=True,webserver-dag_orientation=TB

API

Quando cria um ambiente, no recurso Environment > EnvironmentConfig, especifique variáveis de ambiente e substituições da configuração do Airflow.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "SECTION-KEY": "OVERRIDE_VALUE"
      },
      "envVariables": {
        "VAR_NAME": "VAR_VALUE",
      }
    },
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Substituir:

SECTION com a secção no ficheiro de configuração onde se encontra a opção de configuração do Airflow.
KEY com o nome da opção de configuração do Airflow.
OVERRIDE_VALUE com um valor da opção de configuração do Airflow.
VAR_NAME com o nome da variável de ambiente.
VAR_VALUE com o valor da variável de ambiente.

Exemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "core-dags_are_paused_at_creation": "True",
        "webserver-dag_orientation": "TB"
      },
      "envVariables": {
        "SENDGRID_MAIL_FROM": "user@example.com",
        "SENDGRID_API_KEY": "example-key"
      }
    },
    "nodeConfig": {
        "serviceAccount": "
example-account@example-project.iam.gserviceaccount.com
"
    }
  }
}

Terraform

Quando cria um ambiente, os seguintes blocos controlam as variáveis de ambiente e as substituições de configuração do Airflow:

O bloco env_variables no bloco software_config especifica as variáveis de ambiente.

Os nomes das variáveis podem conter letras maiúsculas e minúsculas, dígitos e sublinhados, mas não podem começar por um dígito.
O bloco airflow_config_overrides no bloco software_config especifica as substituições da configuração do Airflow.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    software_config {

      airflow_config_overrides = {
        SECTION-KEY = "OVERRIDE_VALUE"
      }

      env_variables = {
        VAR_NAME = "VAR_VALUE"
      }
    }

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }

  }
}

Substituir:

SECTION com a secção no ficheiro de configuração onde se encontra a opção de configuração do Airflow.
KEY com o nome da opção de configuração do Airflow.
OVERRIDE_VALUE com um valor da opção de configuração do Airflow.
VAR_NAME com o nome da variável de ambiente.
VAR_VALUE com o valor da variável de ambiente.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    software_config {

      airflow_config_overrides = {
        core-dags_are_paused_at_creation = "True"
        webserver-dag_orientation = "TB"
      }

      env_variables = {
        SENDGRID_MAIL_FROM = "user@example.com"
        SENDGRID_API_KEY = "example-key"
      }
    }

    node_config {
      service_account = "
example-account@example-project.iam.gserviceaccount.com
"
    }
  }
}

Passo 10. (Opcional) Especifique períodos de manutenção

As janelas de manutenção predefinidas no Cloud Composer 3 são definidas da seguinte forma:

Todas as horas estão no fuso horário local da região onde o seu ambiente está localizado, mas o horário de verão é ignorado.
Às terças, quartas, quintas e sextas-feiras, as janelas de manutenção são das 00:00:00 às 02:00:00.
Aos sábados, domingos e segundas-feiras, as janelas de manutenção são das 00:00:00 às 04:00:00.

Para especificar períodos de manutenção personalizados para o seu ambiente:

Consola

Na página Criar ambiente

Localize a secção Períodos de manutenção.
Na lista pendente Fuso horário, escolha um fuso horário para as janelas de manutenção.
Defina a Hora de início, os Dias e a Duração, de modo que:
- São atribuídas, pelo menos, 12 horas num único semana.
- Pode usar vários horários, mas a duração de cada horário tem de ser de, pelo menos, 4 horas.
Por exemplo, um período de 4 horas todas as segundas, quartas e sextas-feiras fornece a quantidade de tempo necessária.

gcloud

Os seguintes argumentos definem os parâmetros das janelas de manutenção:

--maintenance-window-start define a hora de início de um período de manutenção.
--maintenance-window-end define a hora de fim de um período de manutenção.
--maintenance-window-recurrence define a recorrência do período de manutenção.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "SERVICE_ACCOUNT" \
    --maintenance-window-start 'DATETIME_START' \
    --maintenance-window-end 'DATETIME_END' \
    --maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'

Substituir:

ENVIRONMENT_NAME com o nome do ambiente.
DATETIME_START com a data e a hora de início no formato de introdução de data/hora. Só é usada a hora especificada do dia. A data especificada é ignorada.
DATETIME_END com a data e a hora de fim no formato de introdução de data/hora. Só é usada a hora especificada do dia. A data especificada é ignorada. A data e a hora especificadas têm de ser posteriores à data de início.
MAINTENANCE_RECURRENCE com uma RRULE RFC 5545 para a recorrência das janelas de manutenção. O Cloud Composer suporta dois formatos:
O formato FREQ=DAILY especifica uma recorrência diária.
O formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA especifica uma recorrência nos dias da semana selecionados.

O exemplo seguinte especifica um período de manutenção de 6 horas entre as 01:00 e as 07:00 (UTC) às quartas-feiras, sábados e domingos. A data de 1 de janeiro de 2023 é ignorada.

gcloud composer environments create example-environment \
  --location us-central1 \
  --image-version composer-3-airflow-2.10.5-build.11 \
  --service-account "
example-account@example-project.iam.gserviceaccount.com
" \
  --maintenance-window-start '2023-01-01T01:00:00Z' \
  --maintenance-window-end '2023-01-01T07:00:00Z' \
  --maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'

API

Quando cria um ambiente, no recurso Environment > EnvironmentConfig, especifique os parâmetros das janelas de manutenção:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "maintenanceWindow": {
        "startTime": "DATETIME_START",
        "endTime": "DATETIME_END",
        "recurrence": "MAINTENANCE_RECURRENCE"
    },
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Substituir:

DATETIME_START com a data e a hora de início no formato de introdução de data/hora. Só é usado o horário especificado do dia. A data especificada é ignorada.
DATETIME_END com a data e a hora de fim no formato de introdução de data/hora. Só é usado o horário especificado do dia. A data especificada é ignorada. A data e a hora especificadas têm de ser posteriores à data de início.
MAINTENANCE_RECURRENCE com uma RRULE RFC 5545 para a recorrência dos períodos de manutenção. O Cloud Composer suporta dois formatos:
O formato FREQ=DAILY especifica uma recorrência diária.
O formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA especifica uma recorrência nos dias da semana selecionados.

O exemplo seguinte especifica um período de manutenção de 6 horas entre as 01:00 e as 07:00 (UTC) às quartas-feiras, sábados e domingos. A data de 1 de janeiro de 2023 é ignorada.

Exemplo:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "maintenanceWindow": {
        "startTime": "2023-01-01T01:00:00Z",
        "endTime": "2023-01-01T07:00:00Z",
        "recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    },
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Terraform

O bloco maintenance_window especifica os períodos de manutenção do seu ambiente:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    maintenance_window {
      start_time = "DATETIME_START"
      end_time = "DATETIME_END"
      recurrence = "MAINTENANCE_RECURRENCE"
    }

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Substituir:

DATETIME_START com a data e a hora de início no formato de introdução de data/hora. Só é usado o horário especificado do dia. A data especificada é ignorada.
DATETIME_END com a data e a hora de fim no formato de introdução de data/hora. Só é usado o horário especificado do dia. A data especificada é ignorada. A data e a hora especificadas têm de ser posteriores à data de início.
MAINTENANCE_RECURRENCE com uma RRULE RFC 5545 para a recorrência dos períodos de manutenção. O Cloud Composer suporta dois formatos:
- O formato FREQ=DAILY especifica uma recorrência diária.
- O formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA especifica uma recorrência nos dias da semana selecionados.

O exemplo seguinte especifica um período de manutenção de 6 horas entre as 01:00 e as 07:00 (UTC) às quartas-feiras, sábados e domingos. A data de 1 de janeiro de 2023 é ignorada.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    maintenance_window {
      start_time = "2023-01-01T01:00:00Z"
      end_time = "2023-01-01T07:00:00Z"
      recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    }
  }
}

Passo 11. (Opcional) Integração da linhagem de dados

A linhagem de dados é uma funcionalidade do catálogo universal do Dataplex que lhe permite acompanhar o movimento de dados.

A integração da linhagem de dados está disponível em todas as versões do Cloud Composer 3.

A integração da linhagem de dados é ativada automaticamente num novo ambiente do Cloud Composer se forem cumpridas as seguintes condições:

A API Data Lineage está ativada no seu projeto. Para mais informações, consulte o artigo Ativar a API Data Lineage na documentação do catálogo universal do Dataplex.

Aviso: depois de ativar a API Data Lineage, o catálogo universal do Dataplex começa automaticamente a carregar dados para o BigQuery, Cloud Data Fusion e Dataproc. Isto acontece mesmo que não crie um ambiente do Cloud Composer com integração da linhagem de dados.
Não está configurado um Lineage Backend personalizado no Airflow.

Pode desativar a integração da linhagem de dados quando cria um ambiente. Por exemplo, se quiser substituir o comportamento automático ou optar por ativar a linhagem de dados mais tarde, após a criação do ambiente.

Consola

Para desativar a integração da linhagem de dados, na página Criar ambiente:

Na secção Configuração avançada, expanda o item Mostrar configuração avançada.
Na secção Integração da linhagem de dados do Dataplex, selecione Desativar integração com a linhagem de dados do Dataplex.

gcloud

Quando cria um ambiente, o argumento --disable-cloud-data-lineage-integration desativa a integração da linhagem de dados.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "SERVICE_ACCOUNT" \
    --disable-cloud-data-lineage-integration

Substituir:

ENVIRONMENT_NAME com o nome do ambiente.
LOCATION com a região onde o ambiente está localizado.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "
example-account@example-project.iam.gserviceaccount.com
" \
    --disable-cloud-data-lineage-integration

Passo 12. (Opcional) Configure a encriptação de dados (CMEK)

Por predefinição, os dados no seu ambiente são encriptados com uma chave fornecida pela Google.

Para usar chaves de encriptação geridas pelo cliente (CMEK) para encriptar dados no seu ambiente, siga as instruções descritas no artigo Usar chaves de encriptação geridas pelo cliente.

Passo 13. (Opcional) Use o contentor de um ambiente personalizado

Quando cria um ambiente, o Cloud Composer cria automaticamente um contentor para o seu ambiente.

Em alternativa, pode especificar um contentor do Cloud Storage personalizado a partir do seu projeto. O seu ambiente usa este contentor da mesma forma que o contentor criado automaticamente.

Para usar um contentor de ambiente personalizado, siga as instruções descritas no artigo Use o contentor de um ambiente personalizado.

Passo 14. (Opcional) Configure a retenção da base de dados

Se ativar a retenção da base de dados no seu ambiente, o Cloud Composer remove periodicamente os registos relacionados com as execuções de DAG e as sessões de utilizadores mais antigos do que o período especificado da base de dados do Airflow. As informações de execução do DAG mais recentes são sempre retidas.

Por predefinição, a retenção da base de dados está ativada. Para configurar o período de retenção para um novo ambiente ou desativar a retenção da base de dados, siga as instruções descritas no artigo Configure a política de retenção da base de dados. Também pode configurar a retenção da base de dados mais tarde.

Passo 15. (Opcional) Especifique etiquetas de ambiente

Pode atribuir etiquetas aos seus ambientes para discriminá-los nos custos de faturação com base nessas etiquetas.

Consola

Na página Criar ambiente, na secção Etiquetas:

Clique em Adicionar etiqueta.
Nos campos Chave e Valor, especifique pares de chaves e valores para as etiquetas de ambiente.

gcloud

Quando cria um ambiente, o argumento --labels especifica uma lista de chaves e valores separados por vírgulas com etiquetas de ambiente.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "SERVICE_ACCOUNT" \
    --labels LABELS

Substituir:

LABELS com uma lista de pares KEY=VALUE separados por vírgulas para etiquetas de ambiente.

Exemplo:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-3-airflow-2.10.5-build.11 \
    --service-account "
example-account@example-project.iam.gserviceaccount.com
" \
    --labels owner=engineering-team,env=production

API

Quando cria um ambiente, no recurso Environment, especifique etiquetas para o seu ambiente.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "labels": {
    "LABEL_KEY": "LABEL_VALUE"
  }
}

Substituir:

LABEL_KEY com uma chave da etiqueta de ambiente.
LABEL_VALUE com um valor da etiqueta do ambiente.

Exemplo:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "labels": {
    "owner": "engineering-team",
    "env": "production"
  }
}

Terraform

Quando cria um ambiente, especifique etiquetas no bloco labels (fora do bloco config).

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  labels = {
    LABEL_KEY = "LABEL_VALUE"
  }

}

Substituir:

LABEL_KEY com uma chave da etiqueta de ambiente.
LABEL_VALUE com um valor da etiqueta do ambiente.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  labels = {
    owner = "engineering-team"
    env = "production"
  }

}

Crie ambientes do Cloud Composer Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Antes de começar

Passo 1. Crie ou escolha a conta de serviço de um ambiente

Passo 2. Configuração básica

Consola

gcloud

API

Terraform

Passo 3. (Opcional) Configure a escala do ambiente e os parâmetros de desempenho

Consola

gcloud

API

Terraform

Passo 4. (Opcional) Ative o modo de alta resiliência

Consola

gcloud

API

Terraform

Passo 5. (Opcional) Especifique uma zona para a base de dados do ambiente

Consola

gcloud

API

Terraform

Passo 6: (Opcional) Configure a rede do seu ambiente

Consola

gcloud

Passo 7. (Opcional) Adicione etiquetas de rede

Consola

gcloud

API

Terraform

Passo 8. (Opcional) Configure o acesso à rede do servidor Web

Consola

gcloud

API

Terraform

Passo 9. (Opcional) Especifique substituições da configuração do Airflow e variáveis de ambiente

Consola

gcloud

API

Terraform

Passo 10. (Opcional) Especifique períodos de manutenção

Consola

gcloud

API

Terraform

Passo 11. (Opcional) Integração da linhagem de dados

Consola

gcloud

Passo 12. (Opcional) Configure a encriptação de dados (CMEK)

Passo 13. (Opcional) Use o contentor de um ambiente personalizado

Passo 14. (Opcional) Configure a retenção da base de dados

Passo 15. (Opcional) Especifique etiquetas de ambiente

Consola

gcloud

API

Terraform

O que se segue?

Crie ambientes do Cloud Composer