Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Nesta página, explicamos como criar um ambiente do Cloud Composer.
- Para mais informações sobre ambientes, consulte Arquitetura do ambiente.
- Para mais informações sobre como criar um ambiente com o Terraform, consulte Criar ambientes (Terraform).
Antes de começar
Ative a API Cloud Composer. Para acessar a lista completa serviços usados pelo Cloud Composer, consulte Serviços exigidos pelo Cloud Composer.
O tempo aproximado para criar um ambiente é de 25 minutos.
Durante a criação do ambiente, você especifica uma conta de serviço. Os nós no cluster do ambiente são executados como esta conta.
Por padrão, os ambientes do Cloud Composer usam a conta de serviço padrão do Compute Engine gerenciada pelo Google. Recomendamos que você crie um serviço gerenciado pelo usuário que tem um papel específico para o Cloud Composer e o utiliza para seus ambientes.
Se você criar um ambiente com o Terraform, a conta de serviço usada pelo Terraform precisará ter um papel com a permissão
composer.environments.create
ativada.Para mais informações sobre a conta de serviço do Terraform, consulte Referência de configuração do provedor do Google.
Para mais informações sobre como usar o Terraform para criar um ambiente do Cloud Composer, consulte a documentação do Terraform.
Para mais informações sobre parâmetros adicionais, consulte Referência de argumentos do Terraform.
IP particular: há requisitos de peering e de rede específicos para criar um ambiente de IP particular. Para mais informações, consulte Como configurar o IP particular.
VPC compartilhada: você precisa atender a requisitos específicos de rede para usar a VPC compartilhada com o Cloud Composer. Para mais informações, consulte Como configurar a VPC compartilhada.
VPC SC: para implantar ambientes do Cloud Composer em um perímetro de segurança, consulte Como configurar o VPC SC. Quando usado com o Cloud Composer, o VPC Service Controls tem várias limitações conhecidas.
Etapa 1. Configuração básica
Esta etapa cria um ambiente do Cloud Composer com padrões no local especificado.
Console
No console do Google Cloud, acesse a página Criar ambiente.
No campo Nome, digite um nome para o ambiente.
O nome precisa começar com uma letra minúscula seguida por até 62 letras minúsculas, números ou hifens. Ele não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente. Você precisa fornecer um nome que também seja válido como um nome de bucket do Cloud Storage. Para ver uma lista de restrições, consulte Diretrizes de nomenclatura de bucket.
Na lista suspensa Local, escolha um local para o ambiente.
O local é a região em que o ambiente está localizado.
Na lista suspensa Versão da imagem, selecione uma imagem do Cloud Composer com a versão necessária do Airflow.
gcloud
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version IMAGE_VERSION
Substitua:
ENVIRONMENT_NAME
pelo nome do ambiente;O nome precisa começar com uma letra minúscula seguida por até 62 letras minúsculas, números ou hifens. Ele não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente. Você precisa fornecer um nome que também seja válido como um nome de bucket do Cloud Storage. Para ver uma lista de restrições, consulte Diretrizes de nomenclatura de bucket.
LOCATION
pela região do ambiente.O local é a região em que o ambiente está localizado.
IMAGE_VERSION
pelo nome de uma imagem do Cloud Composer.
Exemplo:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15
API
Crie uma solicitação de API environments.create
. Especifique a
configuração no recurso Environment
.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"softwareConfig": {
"imageVersion": "IMAGE_VERSION"
}
}
}
Substitua:
PROJECT_ID
pelo ID do projeto;LOCATION
pela região do ambiente.O local é a região em que o ambiente está localizado.
ENVIRONMENT_NAME
pelo nome do ambiente.O nome precisa começar com uma letra minúscula seguida por até 62 letras minúsculas, números ou hifens. Ele não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente. Você precisa fornecer um nome que também seja válido como um nome de bucket do Cloud Storage. Para ver uma lista de restrições, consulte Diretrizes de nomenclatura de bucket.
IMAGE_VERSION
pelo nome de uma imagem do Cloud Composer.
Exemplo:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"softwareConfig": {
"imageVersion": "composer-1.20.12-airflow-1.10.15"
}
}
}
Terraform
Para criar um ambiente com parâmetros padrão como um local especificado,
adicione o seguinte bloco de recursos à configuração do Terraform e execute
terraform apply
.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
image_version = "IMAGE_VERSION"
}
}
}
Substitua:
ENVIRONMENT_NAME
pelo nome do ambiente;O nome precisa começar com uma letra minúscula seguida por até 62 letras minúsculas, números ou hifens. Ele não pode terminar com um hífen. O nome do ambiente é usado para criar subcomponentes para o ambiente. Você precisa fornecer um nome que também seja válido como um nome de bucket do Cloud Storage. Para ver uma lista de restrições, consulte Diretrizes de nomenclatura de bucket.
LOCATION
pela região do ambiente.O local é a região em que o ambiente está localizado.
IMAGE_VERSION
pelo nome de uma imagem do Cloud Composer.
Exemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
image_version = "composer-1.20.12-airflow-1.10.15"
}
}
}
Etapa 2: (Opcional) Selecionar uma conta de serviço para o ambiente
Os nós no cluster do ambiente são executados como essa conta de serviço.
Por padrão, os ambientes do Cloud Composer usam a conta de serviço padrão do Compute Engine. Recomendamos configurar uma conta de serviço gerenciada pelo usuário para ambientes do Cloud Composer.
Não é possível alterar a conta de serviço do ambiente posteriormente.
Console
Na página Criar ambiente, na seção Configuração de nó, na lista suspensa Conta de serviço, selecione uma conta de serviço para seu ambiente.
gcloud
Quando você cria um ambiente, o --service-account
especifica a
conta de serviço do ambiente.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-1.20.12-airflow-1.10.15 \
--service-account "SERVICE_ACCOUNT"
Substitua:
SERVICE_ACCOUNT
pela conta de serviço do seu ambiente.
Exemplo:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15 \
--service-account "example-account@example-project.iam.gserviceaccount.com"
API
Quando você cria um ambiente, na seção Environment > EnvironmentConfig, especificar uma conta de serviço para o ambiente.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
Substitua:
SERVICE_ACCOUNT
pela conta de serviço do seu ambiente.
Exemplo:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"nodeConfig": {
"serviceAccount": "example-account@example-project.iam.gserviceaccount.com"
}
}
}
Terraform
Ao criar um ambiente, use o campo service_account
no
bloco node_config
.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
service_account = "SERVICE_ACCOUNT"
}
}
}
Substitua:
SERVICE_ACCOUNT
pela conta de serviço do seu ambiente.
Exemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
node_config {
service_account = "example-account@example-project.iam.gserviceaccount.com"
}
}
}
Etapa 3. (Opcional) Configurar a escala do ambiente e os parâmetros de desempenho
Para especificar a configuração de escalonamento e desempenho do ambiente, forneça o número de nós no cluster do GKE do ambiente e selecione tipos de máquina para componentes do ambiente.
Console
Na página Criar ambiente:
Na seção Configuração do nó:
Insira a Contagem de nós.
A contagem de nós é o número de nós do Google Kubernetes Engine no cluster do ambiente. Por padrão, os ambientes têm três nós.
É possível alterar esse valor depois de criar o ambiente.
Escolha Tipo de máquina para nós.
O tipo de máquina para os nós é Tipo de máquina do Compute Engine para instâncias de cluster. Este parâmetro determina o número de CPUs e a quantidade de memória do ambiente. O tipo de máquina padrão é
n1-standard-1
.Para alterar esse valor depois de criar o ambiente, é necessário reconfigurar manualmente o cluster de ambiente.
Insira o Tamanho do disco.
O tamanho do disco, em GB, para nós do ambiente. Cada nó no ambiente tem essa quantidade de espaço em disco. Selecione um tamanho de disco maior se você quiser armazenar um grande volume de dados em pastas sincronizadas com as VMs de ambiente. Por exemplo, na pasta
/data
do bucket do ambiente.O tamanho mínimo é 30 GB. O tamanho padrão é 100 GB. Não é possível alterar esse parâmetro depois de criar um ambiente.
Escolha o Número de programadores.
Seu ambiente pode executar mais de um programador do Airflow ao mesmo tempo. Use vários programadores para distribuir a carga entre várias instâncias do programador e tenha melhor desempenho e confiabilidade.
Aumentar o número de programadores nem sempre melhora o desempenho do Airflow. Por exemplo, ter apenas um programador pode proporcionar um desempenho melhor do que com dois. Isso pode acontecer quando o programador extra não é utilizado e, portanto, consome recursos do seu ambiente sem contribuir com o desempenho geral. O desempenho real do programador depende do número de workers do Airflow, do número de DAGs e tarefas executados no ambiente e da configuração do Airflow e do ambiente.
Recomendamos começar com dois programadores e depois monitorar o desempenho do ambiente. Se você alterar o número de programadores, será possível escalonar o ambiente novamente para o número original de programadores.
Para mais informações sobre como configurar vários programadores, consulte a documentação do Airflow.
Expanda o item Rede, substituições de configuração do Airflow e outros recursos.
Na seção Configuração do Cloud SQL, escolha Tipo de máquina do Cloud SQL.
Este parâmetro determina o tipo de máquina para a instância do Cloud SQL que executa o banco de dados do Airflow. O tipo de máquina padrão do Cloud SQL é
db-n1-standard-2
.Na seção Configuração do servidor da Web, escolha o Tipo de máquina do servidor da Web.
Este parâmetro determina o tipo de máquina para a instância do Compute Engine que executa o servidor da Web do Airflow..
O tipo de máquina do servidor da Web padrão é
composer-n1-webserver-2
.
gcloud
Ao criar um ambiente, os seguintes argumentos controlam os parâmetros de escalonamento e desempenho do ambiente:
--node-count
especifica o número de nós no ambiente.A contagem de nós é o número de nós do Google Kubernetes Engine no cluster do ambiente. Por padrão, os ambientes têm três nós.
É possível alterar esse valor depois de criar o ambiente.
--scheduler-count
especifica o número de programadores no seu ambiente.Seu ambiente pode executar mais de um programador do Airflow ao mesmo tempo. Use vários programadores para distribuir a carga entre várias instâncias do programador e tenha melhor desempenho e confiabilidade.
Aumentar o número de programadores nem sempre melhora o desempenho do Airflow. Por exemplo, ter apenas um programador pode proporcionar um desempenho melhor do que com dois. Isso pode acontecer quando o programador extra não é utilizado e, portanto, consome recursos do seu ambiente sem contribuir com o desempenho geral. O desempenho real do programador depende do número de workers do Airflow, do número de DAGs e tarefas executados no ambiente e da configuração do Airflow e do ambiente.
Recomendamos começar com dois programadores e depois monitorar o desempenho do ambiente. Se você alterar o número de programadores, será possível escalonar o ambiente novamente para o número original de programadores.
Para mais informações sobre como configurar vários programadores, consulte a documentação do Airflow.
--disk-size
especifica o tamanho do disco para as VMs de ambiente.O tamanho do disco, em GB, para nós do ambiente. Cada nó no ambiente tem essa quantidade de espaço em disco. Selecione um tamanho de disco maior se você quiser armazenar um grande volume de dados em pastas sincronizadas com as VMs de ambiente. Por exemplo, na pasta
/data
do bucket do ambiente.O tamanho mínimo é 30 GB. O tamanho padrão é 100 GB. Não é possível alterar esse parâmetro depois de criar um ambiente.
--machine-type
especifica o tipo de máquina para VMs de nó;O tipo de máquina para os nós é Tipo de máquina do Compute Engine para instâncias de cluster. Este parâmetro determina o número de CPUs e a quantidade de memória do ambiente. O tipo de máquina padrão é
n1-standard-1
.Para alterar esse valor depois de criar o ambiente, é necessário reconfigurar manualmente o cluster de ambiente.
--cloud-sql-machine-type
especifica o tipo de máquina para a instância do Cloud SQL.Este parâmetro determina o tipo de máquina para a instância do Cloud SQL que executa o banco de dados do Airflow. O tipo de máquina padrão do Cloud SQL é
db-n1-standard-2
.--web-server-machine-type
especifica o tipo de máquina para a instância do servidor da Web do Airflow.Este parâmetro determina o tipo de máquina para a instância do Compute Engine que executa o servidor da Web do Airflow..
O tipo de máquina do servidor da Web padrão é
composer-n1-webserver-2
.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-1.20.12-airflow-1.10.15 \
--zone NODE_ZONE \
--node-count NODE_COUNT \
--scheduler-count SCHEDULER_COUNT \
--disk-size DISK_SIZE \
--machine-type NODE_MACHINE_TYPE \
--cloud-sql-machine-type SQL_MACHINE_TYPE \
--web-server-machine-type WS_MACHINE_TYPE
Substitua:
NODE_COUNT
pelo número de nós;NODE_ZONE
pela zona do Compute Engine para as VMs do ambiente.SCHEDULER_COUNT
pelo número de programadores.DISK_SIZE
pelo tamanho do disco das VMs de ambiente em GB.NODE_MACHINE_TYPE
pelo tipo de máquina para VMs de nó;SQL_MACHINE_TYPE
pelo tipo de máquina da instância do Cloud SQL;WS_MACHINE_TYPE
pelo tipo de máquina para a instância do servidor da Web do Airflow.
Exemplo:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15 \
--zone us-central1-a \
--node-count 6 \
--scheduler-count 1 \
--disk-size 50 \
--machine-type n1-standard-2 \
--cloud-sql-machine-type db-n1-standard-2 \
--web-server-machine-type composer-n1-webserver-2
API
Ao criar um ambiente, em Ambiente > EnvironmentConfig, especifique parâmetros de escalonamento e desempenho do ambiente.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"nodeCount": NODE_COUNT,
"nodeConfig": {
"machineType": "NODE_MACHINE_TYPE",
"diskSizeGb": DISK_SIZE
},
"softwareConfig": {
"schedulerCount": SCHEDULER_COUNT
},
"databaseConfig": {
"machineType": "SQL_MACHINE_TYPE"
},
"webServerConfig": {
"machineType": "WS_MACHINE_TYPE"
}
}
}
Substitua:
NODE_COUNT
pelo número de nós;DISK_SIZE
pelo tamanho do disco das VMs de ambiente em GB.NODE_MACHINE_TYPE
pelo tipo de máquina para VMs de nó; Esse valor deve conter um para as VMs do ambiente.SCHEDULER_COUNT
pelo número de programadores.SQL_MACHINE_TYPE
pelo tipo de máquina para a instância do Cloud SQL;WS_MACHINE_TYPE
pelo tipo de máquina para a instância do servidor da Web do Airflow.
Exemplo:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"nodeCount": 6,
"nodeConfig": {
"machineType": "projects/example-project/zones/us-central1-a/machineTypes/n1-standard-2",
"diskSizeGb": 50
},
"softwareConfig": {
"schedulerCount": 1
},
"databaseConfig": {
"machineType": "db-n1-standard-2"
},
"webServerConfig": {
"machineType": "composer-n1-webserver-2"
}
}
}
Terraform
Ao criar um ambiente, os seguintes campos controlam os parâmetros de escalonamento e desempenho do ambiente:
node_count
no bloconode_config
especifica o número de nós no seu ambiente.A contagem de nós é o número de nós do Google Kubernetes Engine no cluster do ambiente. Por padrão, os ambientes têm três nós.
É possível alterar esse valor depois de criar o ambiente.
disk_size_gb
no bloconode_config
especifica o tamanho do disco para as VMs de ambiente.O tamanho do disco, em GB, para nós do ambiente. Cada nó no ambiente tem essa quantidade de espaço em disco. Selecione um tamanho de disco maior se você quiser armazenar um grande volume de dados em pastas sincronizadas com as VMs de ambiente. Por exemplo, na pasta
/data
do bucket do ambiente.O tamanho mínimo é 30 GB. O tamanho padrão é 100 GB. Não é possível alterar esse parâmetro depois de criar um ambiente.
machine_type
no bloconode_config
especifica o tipo de máquina para VMs de nós. Ao especificar esse campo, forneça também uma zona do Compute Engine para suas VMs de ambiente no campozone
.O tipo de máquina para os nós é Tipo de máquina do Compute Engine para instâncias de cluster. Este parâmetro determina o número de CPUs e a quantidade de memória do ambiente. O tipo de máquina padrão é
n1-standard-1
.Para alterar esse valor depois de criar o ambiente, é necessário reconfigurar manualmente o cluster de ambiente.
machine_type
no blocodatabase_config
especifica o tipo de máquina para a instância do Cloud SQL.Este parâmetro determina o tipo de máquina para a instância do Cloud SQL que executa o banco de dados do Airflow. O tipo de máquina padrão do Cloud SQL é
db-n1-standard-2
.machine_type
no blocoweb_server_config
especifica o tipo de máquina para a instância do servidor da Web do Airflow.Este parâmetro determina o tipo de máquina para a instância do Compute Engine que executa o servidor da Web do Airflow..
O tipo de máquina do servidor da Web padrão é
composer-n1-webserver-2
.O campo
scheduler_count
no blocosoftware_config
especifica o número de programadores no seu ambiente. Seu ambiente precisa usar o Airflow 2.
resource "google_composer_environment" "example" {
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
node_count = NODE_COUNT
disk_size_gb = DISK_SIZE
machine_type = "NODE_MACHINE_TYPE"
zone = "NODE_ZONE"
}
software_config {
scheduler_count = SCHEDULER_COUNT
}
database_config {
machine_type = "SQL_MACHINE_TYPE"
}
web_server_config {
machine_type = "WS_MACHINE_TYPE"
}
}
}
Substitua:
NODE_COUNT
pelo número de nós;DISK_SIZE
pelo tamanho do disco das VMs de ambiente em GB.NODE_MACHINE_TYPE
pelo tipo de máquina para VMs de nó;NODE_ZONE
pela zona do Compute Engine para as VMs do ambiente.SCHEDULER_COUNT
pelo número de programadores.SQL_MACHINE_TYPE
pelo tipo de máquina para a instância do Cloud SQL;WS_MACHINE_TYPE
pelo tipo de máquina para a instância do servidor da Web do Airflow.
Exemplo:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
node_config {
node_count = 4
disk_size_gb = 100
zone = "us-central1-a"
machine_type = "n1-standard-2"
}
software_config {
scheduler_count = 2
}
database_config {
machine_type = "db-n1-standard-2"
}
web_server_config {
machine_type = "composer-n1-webserver-2"
}
}
}
Etapa 4. (Opcional) Configurar a rede do ambiente
Os parâmetros de rede dependem do tipo de ambiente que você quer criar:
Ambiente de IP público: Use os parâmetros de rede padrão.
Ambiente de IP particular (peerings de VPC). Nessa configuração, seu de rede usa peerings de VPC para conectividade.
Configure o ambiente de IP privado:
- Configure a rede do seu projeto para ambientes de IP privado.
- Especifique outros parâmetros para seu ambiente de IP privado, conforme descrito mais adiante nesta seção.
Para um ambiente de IP privado com peerings de VPC, você precisa saber:
- O ID da rede VPC
- O ID da sub-rede VPC
Dois intervalos de IP secundários na sub-rede VPC:
- Intervalo de IP secundário para pods
- Intervalo de IP secundário para serviços
Intervalos de IPs para os componentes do ambiente:
- Intervalo de IP para o plano de controle do GKE.
- Intervalo de IP do servidor da Web.
- Intervalo de IP da instância do Cloud SQL.
Para um ambiente de VPC compartilhada, é preciso fazer mais configurações de rede para o projeto host e, em seguida, criar um ambiente de IP público ou particular em um projeto de serviço. Siga as instruções Como configurar a VPC compartilhada.
Para um ambiente de VPC compartilhada, você precisa saber:
- O ID da rede VPC do projeto host
O ID da sub-rede VPC do projeto host
Dois intervalos de IP secundários na sub-rede VPC do projeto host:
- Intervalo de IP secundário para pods
- Intervalo de IP secundário para serviços
Ao criar um ambiente de VPC compartilhada de IP público, ainda é preciso especificar a rede VPC do projeto host, a sub-rede e os intervalos de IP secundários para pods e serviços.
Para criar um ambiente VPC SC, crie um perímetro de serviço e, em seguida, crie ambientes de IP particular nesse perímetro. Siga as instruções descritas em Como configurar o VPC Service Controls.
Outras opções de rede para ambientes são:
- Endereços IP públicos de uso particular. Se você quiser usar mais endereços IP endereços IP internos, seu ambiente pode usar de modo particular determinados intervalos de endereços IP públicos como endereços IP internos, intervalos de endereços IP de sub-rede para pods e serviços.
- Redes autorizadas. Se você quiser acessar o plano de controle do um ambiente IP particular com HTTPS, é possível usar redes autorizadas para especificar intervalos CIDR que podem fazer isso.
- Agente de mascaramento de IP. Usar ambientes com o mascaramento de IP é possível usar traduções de muitos para um endereço IP em seu as configurações de rede do seu ambiente. Para mais informações sobre criar ambientes com o agente de mascaramento de IP, consulte Ative o agente de mascaramento de IP.
Console
Para criar um ambiente de IP particular:
Verifique se a rede está configurada para o tipo de ambiente que você quer criar.
Expanda o item Rede, substituições de configuração do Airflow e outros recursos.
Na seção Configuração de rede, marque a caixa de seleção Ativar cluster nativo de VPC (usando o IP de alias).
Na lista suspensa Rede, selecione o ID da rede VPC.
Na lista suspensa Sub-rede, selecione o ID da sub-rede VPC.
Na seção Alocação de endereços IP do pod, especifique o intervalo de IP secundário dos pods. É possível usar um intervalo secundário existente na sua rede VPC ou especificar um novo na notação CIDR.
Na seção Alocação de endereços IP de serviço, especifique o intervalo de IP secundário para os serviços. É possível usar um intervalo secundário existente na sua rede VPC ou especificar um novo na notação CIDR.
Na seção IP privado, marque a caixa de seleção Ativar IP privado.
Na seção IP privado do mestre do cluster do GKE, especifique um intervalo de IP para o plano de controle do GKE:
Para usar o intervalo de IP padrão na região em que o ambiente está localizado, selecione Intervalo de IP padrão.
Para especificar um intervalo de IP personalizado, selecione Intervalo de IP personalizado e insira um intervalo na notação CIDR no campo IP particular do mestre do cluster do GKE.
Selecione o acesso de nível para o plano de controle do GKE. O plano de controle tem dois endpoints. Um endpoint é particular, para uso por nós de cluster e VMs. Outro endpoint é público. É possível especificar o nível de acesso ao endpoint público:
Para ativar o acesso ao endpoint público de redes autorizadas, marque a caixa de seleção Acessar o endpoint mestre usando o endereço IP externo.
Com essa opção, o nível de acesso do plano de controle é definido como "Acesso ao endpoint público ativado, redes autorizadas ativadas". Isso fornece acesso restrito ao plano de controle a partir de redes autorizadas. Por padrão, nenhum endereço IP de origem é especificado. É possível adicionar redes autorizadas ao cluster.
Para desativar o acesso ao endpoint público de redes autorizadas, desmarque a caixa de seleção Acessar o endpoint mestre usando o endereço IP externo.
Com essa opção, o nível de acesso do plano de controle é definido como "Acesso ao endpoint público desativado". Isso impede todo o acesso à Internet ao plano de controle.
Na seção IP privado do servidor da Web, especifique um intervalo de IP para a instância do servidor da Web do Airflow.
Na seção IP privado do Cloud SQL, especifique um intervalo de IP para a instância do Cloud SQL.
gcloud
Verifique se a rede está configurada para o tipo de ambiente que você quer criar.
Quando você cria um ambiente, os argumentos a seguir controlam os parâmetros de rede. Se você omitir um parâmetro, o valor padrão será usado.
--enable-private-environment
ativa um ambiente de IP particular.--enable-ip-alias
ativa o Nativo de VPC usando endereços IP de alias.Esse parâmetro é obrigatório ao usar
--enable-private-environment
ou ao configurar intervalos secundários para pods e serviços.--network
especifica o ID da rede VPC.--subnetwork
especifica o ID da sub-rede VPC.--cluster-secondary-range-name
ou--cluster-ipv4-cidr
configura o intervalo secundário para pods.--services-secondary-range-name
ou--services-ipv4-cidr
para configurar o intervalo secundário para serviços.--master-ipv4-cidr
especifica um intervalo para o plano de controle do GKE.
--web-server-ipv4-cidr
especifica um intervalo da instância do servidor da Web do Airflow.--cloud-sql-ipv4-cidr
especifica um intervalo da instância do Cloud SQL.
--enable-private-endpoint
controla o acesso de nível do plano de controle do GKE. O plano de controle tem dois endpoints. Um endpoint é particular, para uso por nós de cluster e VMs. Outro endpoint é público. É possível especificar o nível de acesso ao endpoint público:Para ativar o acesso ao endpoint público de redes autorizadas, omita o argumento
--enable-private-endpoint
.Com essa opção, o nível de acesso do plano de controle é definido como "Acesso ao endpoint público ativado, redes autorizadas ativadas". Isso fornece acesso restrito ao plano de controle a partir de redes autorizadas. Por padrão, nenhum endereço IP de origem é especificado. É possível adicionar redes autorizadas ao cluster.
Para desativar o acesso ao endpoint público de redes autorizadas, especifique o argumento
--enable-private-endpoint
.Com essa opção, o nível de acesso do plano de controle é definido como "Acesso ao endpoint público desativado". Isso impede todo o acesso à Internet ao plano de controle.
--enable-master-authorized-networks
e--master-authorized-networks
argumentos configurar redes autorizadas para seu ambiente.--enable-privately-used-public-ips
configura endereços IP públicos utilizados de modo privado no seu ambiente.--enable-ip-masq-agent
ativa o agente de mascaramento de IP.
Exemplo (ambiente de IP privado )
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-1.20.12-airflow-1.10.15 \
--enable-private-environment \
--enable-ip-alias \
--network NETWORK_ID \
--subnetwork SUBNETWORK_ID \
--cluster-ipv4-cidr PODS_RANGE \
--services-ipv4-cidr SERVICES_RANGE \
--master-ipv4-cidr CONTROL_PLANE_RANGE \
--web-server-ipv4-cidr WEB_SERVER_RANGE \
--cloud-sql-ipv4-cidr SQL_RANGE
Substitua:
NETWORK_ID
pelo ID de rede VPC.SUBNETWORK_ID
pelo ID de sub-rede VPC.PODS_RANGE
pelo intervalo secundário de pods.SERVICES_RANGE
pelo intervalo secundário de serviços.CONTROL_PLANE_RANGE
pelo intervalo secundário do plano de controle do GKE.WEB_SERVER_RANGE
pelo intervalo secundário da instância do servidor da Web do Airflow.SQL_RANGE
pelo intervalo da instância do Cloud SQL.
Etapa 5. (Opcional) Adicionar tags de rede
As tags de rede são aplicadas a todas as VMs de nós no aglomerado. As tags são usadas para identificar origens ou destinos válidos para a rede firewalls. Cada tag na lista deve estar em conformidade com RFC 1035.
Por exemplo, é possível adicionar tags de rede se você planeja restringir tráfego para um ambiente de IP privado com regras de firewall.
Console
Na página Criar ambiente:
- Localize a seção Configuração do nó.
- No campo Tags, especifique as tags de instância para VMs de nó.
gcloud
Quando você cria um ambiente, os seguintes argumentos controlam as tags de rede:
--tags
especifica uma lista separada por vírgulas de tags de rede aplicadas a todas e VMs de nós.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-1.20.12-airflow-1.10.15 \
--tags TAGS
Substitua:
TAGS
por uma lista separada por vírgulas de tags de rede.
Exemplo:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15 \
--tags group1,production
API
Ao criar um ambiente, em Ambiente > EnvironmentConfig, especifique as tags de rede do seu ambiente.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"nodeConfig": {
"tags": [
"TAG"
]
}
}
}
Substitua:
TAG
por uma tag de rede.
Exemplo:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"nodeConfig": {
"tags": [
"group1",
"production"
]
}
}
}
Terraform
Quando você cria um ambiente, os seguintes campos definem tags de rede para seu ambiente:
- O campo
tags
no bloconode_config
especifica uma lista separada por vírgulas. de tags de rede aplicadas a todas as VMs de nós.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
tags = ["TAGS"]
}
}
}
Substitua:
TAGS
por uma lista separada por vírgulas de tags de rede.
Exemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
node_config {
tags = ["group1","production"]
}
}
}
Etapa 6. (Opcional) Configurar o acesso à rede do servidor da Web
Os parâmetros de acesso do servidor da Web do Airflow não dependem do tipo de ambiente. Em vez disso, você pode configurar o acesso ao servidor da Web separadamente. Por exemplo, um ambiente de IP privado ainda pode ter a IU do Airflow acessível pela Internet.
Não é possível configurar os intervalos de IP permitidos usando endereços IP particulares.
Console
Na página Criar ambiente, na seção Configuração do servidor da Web:
Para fornecer acesso de todos os endereços IP ao servidor da Web do Airflow, selecione Permitir o acesso de todos os endereços IP.
Para restringir o acesso somente a intervalos de IP específicos, selecione Permitir acesso apenas de endereços IP específicos . No campo Intervalo de IP, especifique um intervalo de IP na notação CIDR. No campo Descrição, especifique uma descrição opcional para este intervalo. Para especificar mais de um intervalo, clique em Adicionar intervalo de IP.
Para proibir o acesso de todos os endereços IP, selecione Permitir acesso somente de endereços IP específicos e clique em Excluir item ao lado da entrada de intervalo vazia.
gcloud
Quando você cria um ambiente, os seguintes argumentos controlam o nível de acesso do servidor da Web:
--web-server-allow-all
fornece acesso ao Airflow de todos os endereços IP. Essa é a opção padrão.--web-server-allow-ip
restringe o acesso apenas a intervalos de IP de origem específicos. Para especificar vários intervalos de IP, use esse argumento várias vezes.--web-server-deny-all
proíbe o acesso a todos os endereços IP.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-1.20.12-airflow-1.10.15 \
--web-server-allow-ip ip_range=WS_IP_RANGE,description=WS_RANGE_DESCRIPTION
Substitua:
WS_IP_RANGE
pelo intervalo de IP, na notação CIDR, que pode acessar a IU do Airflow.WS_RANGE_DESCRIPTION
pela descrição do intervalo de IP;
Exemplo:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15 \
--web-server-allow-ip ip_range=192.0.2.0/24,description="office net 1" \
--web-server-allow-ip ip_range=192.0.4.0/24,description="office net 3"
API
Ao criar um ambiente, em Ambiente > EnvironmentConfig, especifique o servidor da Web parâmetros de acesso.
Para fornecer acesso de todos os endereços IP ao servidor da Web do Airflow, omitir
webServerNetworkAccessControl
.Para restringir o acesso apenas a intervalos de IP específicos, especifique um ou mais intervalos em
allowedIpRanges
.Para proibir o acesso de todos os endereços IP, adicione
allowedIpRanges
e transforme-o em uma lista vazia. Não especifique intervalos de IP nele.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"webServerNetworkAccessControl": {
"allowedIpRanges": [
{
"value": "WS_IP_RANGE",
"description": "WS_RANGE_DESCRIPTION"
}
]
}
}
}
Substitua:
WS_IP_RANGE
pelo intervalo de IP, na notação CIDR, que pode acessar a IU do Airflow.WS_RANGE_DESCRIPTION
pela descrição do intervalo de IP;
Exemplo:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"webServerNetworkAccessControl": {
"allowedIpRanges": [
{
"value": "192.0.2.0/24",
"description": "office net 1"
},
{
"value": "192.0.4.0/24",
"description": "office net 3"
}
]
}
}
}
Terraform
Quando você cria um ambiente, o bloco allowed_ip_range
no bloco web_server_network_access_control
contém intervalos de IP que podem acessar o servidor da Web.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
web_server_network_access_control {
allowed_ip_range {
value = "WS_IP_RANGE"
description = "WS_RANGE_DESCRIPTION"
}
}
}
}
Substitua:
WS_IP_RANGE
pelo intervalo de IP, na notação CIDR, que pode acessar a IU do Airflow.WS_RANGE_DESCRIPTION
pela descrição do intervalo de IP;
Exemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
web_server_network_access_control {
allowed_ip_range {
value = "192.0.2.0/24"
description = "office net 1"
},
allowed_ip_range {
value = "192.0.4.0/24"
description = "office net 3"
}
}
}
Etapa 7: (Opcional) Especificar substituições de configuração e variáveis de ambiente do Airflow
É possível configurar substituições de configuração do Airflow e variáveis de ambiente ao criar um ambiente. Como alternativa, faça isso mais tarde, depois que seu ambiente for criado.
Algumas opções de configuração do Airflow são bloqueadas e não é possível substituí-las.
Para ver a lista de opções de configuração disponíveis do Airflow, consulte Referência de configuração para o Airflow 2 e o Airflow 1.10.*
Para especificar substituições de configuração e variáveis de ambiente do Airflow:
Console
Na página Criar ambiente:
Expanda o item Rede, substituições de configuração do Airflow e outros recursos.
Na seção Variáveis de ambiente, clique em Adicionar variável de ambiente.
Digite o Nome e o Valor da variável de ambiente.
Na seção Substituições de configuração do Airflow, clique em Adicionar substituição da configuração do Airflow.
Insira a Seção, a Chave e o Valor para substituir a opção de configuração.
Exemplo:
Seção Chave Valor webserver
dag_orientation
TB
gcloud
Quando você cria um ambiente, os argumentos a seguir controlam as variáveis de ambiente e as substituições de configuração do Airflow:
--env-variables
especifica uma lista separada por vírgulas de variáveis de ambiente.Os nomes das variáveis podem conter letras maiúsculas e minúsculas, dígitos e sublinhados, mas não podem começar com um dígito.
--airflow-configs
especifica uma lista de chaves e valores separada por vírgula para substituições de configuração do Airflow.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-1.20.12-airflow-1.10.15 \
--env-variables ENV_VARS \
--airflow-configs CONFIG_OVERRIDES
Substitua:
ENV_VARS
por uma lista de paresNAME=VALUE
separados por vírgulas para variáveis de ambiente.CONFIG_OVERRIDES
por uma lista de paresSECTION-KEY=VALUE
separados por vírgulas para substituições de configuração. Separe o nome da seção de configuração com um símbolo-
, seguido pelo nome da chave. Por exemplo,core-dags_are_paused_at_creation
.
Exemplo:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15 \
--env-variables SENDGRID_MAIL_FROM=user@example.com,SENDGRID_API_KEY=example-key \
--airflow-configs core-dags_are_paused_at_creation=True,webserver-dag_orientation=TB
API
Ao criar um ambiente, em Ambiente > EnvironmentConfig, especifique variáveis de ambiente e substituições de configuração do Airflow.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"SECTION-KEY": "OVERRIDE_VALUE"
},
"envVariables": {
"VAR_NAME": "VAR_VALUE",
}
}
}
}
Substitua:
SECTION
pela seção no arquivo de configuração em que a opção de configuração do Airflow está localizada;KEY
pelo nome da opção de configuração do Airflow;OVERRIDE_VALUE
por um valor da opção de configuração do Airflow;VAR_NAME
pelo nome da variável de ambiente;VAR_VALUE
pelo valor da variável de ambiente.
Exemplo:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"core-dags_are_paused_at_creation": "True",
"webserver-dag_orientation": "TB"
},
"envVariables": {
"SENDGRID_MAIL_FROM": "user@example.com",
"SENDGRID_API_KEY": "example-key"
}
}
}
}
Terraform
Quando você cria um ambiente, os seguintes blocos controlam as variáveis de ambiente e as substituições de configuração do Airflow:
O bloco
env_variables
no blocosoftware_config
especifica as variáveis de ambiente.Os nomes das variáveis podem conter letras maiúsculas e minúsculas, dígitos e sublinhados, mas não podem começar com um dígito.
O bloco
airflow_config_overrides
no blocosoftware_config
especifica substituições de configuração do Airflow.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
airflow_config_overrides = {
SECTION-KEY = "OVERRIDE_VALUE"
}
env_variables = {
VAR_NAME = "VAR_VALUE"
}
}
}
}
Substitua:
SECTION
pela seção no arquivo de configuração em que a opção de configuração do Airflow está localizada;KEY
pelo nome da opção de configuração do Airflow;OVERRIDE_VALUE
por um valor da opção de configuração do Airflow;VAR_NAME
pelo nome da variável de ambiente;VAR_VALUE
pelo valor da variável de ambiente.
Exemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
airflow_config_overrides = {
core-dags_are_paused_at_creation = "True"
webserver-dag_orientation = "TB"
}
env_variables = {
SENDGRID_MAIL_FROM = "user@example.com"
SENDGRID_API_KEY = "example-key"
}
}
}
}
Etapa 8: (Opcional) Especificar janelas de manutenção
Por padrão, os ambientes do Cloud Composer 1 não têm definição janelas de manutenção caso você as crie usando console do Google Cloud, API ou Terraform. Recomendamos especificar e as janelas de manutenção dos ambientes novos e atuais.
Se você criar seu ambiente usando CLI gcloud, seu ambiente tem janelas de manutenção padrão de 0h às 4h (GMT) na sexta-feira, sábado e domingo, toda semana.
Para especificar janelas de manutenção personalizadas para seu ambiente:
Console
Na página Criar ambiente:
Expanda o item Rede, substituições de configuração do Airflow e outros recursos.
Na seção Janelas de manutenção, marque a caixa de seleção Definir horário personalizado para janelas de manutenção.
Na lista suspensa Fuso horário, escolha um fuso horário para janelas de manutenção.
Defina Horário de início, Dias e Duração para que o horário combinado da programação especificada seja de pelo menos 12 horas em uma janela de 7 dias. Por exemplo, um período de quatro horas toda segunda, quarta e sexta-feira fornece o tempo necessário.
gcloud
Os argumentos a seguir definem os parâmetros das janelas de manutenção:
--maintenance-window-start
define o horário de início de uma janela de manutenção.--maintenance-window-end
define o horário de término de uma janela de manutenção.--maintenance-window-recurrence
define a recorrência da janela de manutenção.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-1.20.12-airflow-1.10.15 \
--maintenance-window-start 'DATETIME_START' \
--maintenance-window-end 'DATETIME_END' \
--maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'
Substitua:
ENVIRONMENT_NAME
pelo nome do ambiente;DATETIME_START
pela data e hora de início no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada.DATETIME_END
pela data e hora de término no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada. A data e hora especificadas precisam ser posteriores à data de início.MAINTENANCE_RECURRENCE
por um RFC 5545 RRULE para recorrência de janelas de manutenção. O Cloud Composer é compatível com dois formatos:O formato
FREQ=DAILY
especifica uma recorrência diária.O formato
FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
especifica uma recorrência nos dias da semana selecionados.
O exemplo a seguir especifica uma janela de manutenção de seis horas entre a 1h e 07:00 (UTC) às quartas-feiras, aos sábados e aos domingos. O dia 1o de janeiro de 2023 a data é ignorada.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15 \
--maintenance-window-start '2023-01-01T01:00:00Z' \
--maintenance-window-end '2023-01-01T07:00:00Z' \
--maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'
API
Quando você cria um ambiente, Ambiente > EnvironmentConfig, especifique parâmetros das janelas de manutenção:
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"maintenanceWindow": {
"startTime": "DATETIME_START",
"endTime": "DATETIME_END",
"recurrence": "MAINTENANCE_RECURRENCE"
}
}
}
Substitua:
DATETIME_START
pela data e hora de início no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada.DATETIME_END
pela data e hora de término no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada. A data e a hora especificadas precisam ser posteriores à data de início.MAINTENANCE_RECURRENCE
por um RFC 5545 RRULE para a recorrência de janelas de manutenção. O Cloud Composer é compatível com dois formatos:O formato
FREQ=DAILY
especifica uma recorrência diária.O formato
FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
especifica uma recorrência nos dias da semana selecionados.
O exemplo a seguir especifica uma janela de manutenção de seis horas entre a 1h e 07:00 (UTC) às quartas-feiras, aos sábados e aos domingos. O dia 1o de janeiro de 2023 a data é ignorada.
Exemplo:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"maintenanceWindow": {
"startTime": "2023-01-01T01:00:00Z",
"endTime": "2023-01-01T07:00:00Z",
"recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
}
}
}
Terraform
O bloco maintenance_window
especifica as janelas de manutenção dos
de nuvem:
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
maintenance_window {
start_time = "DATETIME_START"
end_time = "DATETIME_END"
recurrence = "MAINTENANCE_RECURRENCE"
}
}
}
Substitua:
DATETIME_START
pela data e hora de início no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada.DATETIME_END
pela data e hora de término no formato de entrada de data/hora. Somente a hora especificada do dia é usada, a data especificada é ignorada. A data e a hora especificadas precisam ser posteriores à data de início.MAINTENANCE_RECURRENCE
por um RFC 5545 RRULE para a recorrência de janelas de manutenção. O Cloud Composer é compatível com dois formatos:- O formato
FREQ=DAILY
especifica uma recorrência diária. - O formato
FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
especifica uma recorrência nos dias da semana selecionados.
- O formato
O exemplo a seguir especifica uma janela de manutenção de seis horas entre a 1h e 07:00 (UTC) às quartas-feiras, aos sábados e aos domingos. O dia 1o de janeiro de 2023 a data é ignorada.
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
maintenance_window {
start_time = "2023-01-01T01:00:00Z"
end_time = "2023-01-01T07:00:00Z"
recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
}
}
}
Etapa 9: (Opcional) Configurar criptografia de dados (CMEK)
Por padrão, os dados do seu ambiente são criptografados com uma chave fornecida pelo Google.
Para usar chaves de criptografia gerenciadas pelo cliente (CMEK) para criptografar dados no ambiente, siga as instruções descritas em Como usar chaves de criptografia gerenciadas pelo cliente.
Etapa 10: (Opcional) Especificar identificadores de ambiente
É possível atribuir rótulos aos ambientes para detalhar os custos de faturamento com base nesses rótulos.
Console
Na página Criar ambiente:
Expanda o item Rede, substituições de configuração do Airflow e outros recursos.
Na seção Marcadores, clique em Adicionar marcador.
Nos campos Chave e Valor, especifique os pares de chave e valor para os identificadores de ambiente.
gcloud
Quando você cria um ambiente, o argumento --labels
especifica uma lista de chaves e valores separada por vírgulas com identificadores de ambiente.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-1.20.12-airflow-1.10.15 \
--labels LABELS
Substitua:
LABELS
por uma lista de paresKEY=VALUE
separados por vírgulas para identificadores de ambiente.
Exemplo:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15 \
--labels owner=engineering-team,env=production
API
Ao criar um ambiente, no recurso Ambiente, especifique identificadores para o ambiente.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"labels": {
"LABEL_KEY": "LABEL_VALUE"
}
}
Substitua:
LABEL_KEY
por uma chave do identificador do ambiente.LABEL_VALUE
por um valor do identificador de ambiente.
Exemplo:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"labels": {
"owner": "engineering-team",
"env": "production"
}
}
Terraform
Ao criar um ambiente, especifique identificadores no bloco labels
(fora do bloco config
).
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
labels = {
LABEL_KEY = "LABEL_VALUE"
}
}
Substitua:
LABEL_KEY
por uma chave do identificador do ambiente.LABEL_VALUE
por um valor do identificador de ambiente.
Exemplo:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
labels = {
owner = "engineering-team"
env = "production"
}
}
Etapa 11: (Opcional) Configurar outros parâmetros
Outros parâmetros incluem:
Zona dos nós do ambiente
Zona do Compute Engine em que os nós do cluster serão implantados. Nesse parâmetro, você pode selecionar uma zona específica no local do seu ambiente.
Por padrão, uma zona aleatória é selecionada automaticamente.
Escopos do OAuth
Um escopo do OAuth é um conjunto de escopos da API do Google a serem disponibilizados em todas as VMs do nó. Se estiver vazio, o padrão será
https://www.googleapis.com/auth/cloud-platform
.Se você especificar escopos OAuth personalizados, inclua
https://www.googleapis.com/auth/cloud-platform
na lista de escopos especificados.Versão do Python
Se seu ambiente usa o Airflow 1.10.* e versões anteriores, é possível fazer com que o ambiente use o Python 2. A versão padrão do Python é Python 3. Para mais informações sobre o suporte ao Python 2 no Cloud Composer, consulte Versões compatíveis do Python.
Console
Na página Criar ambiente:
Na seção Configuração do nó:
Na lista suspensa Zona, selecione uma zona para os nós do ambiente.
Não é possível alterar a zona posteriormente.
No campo Escopos OAuth, especifique os escopos OAuth para VMs de nós.
Não será possível alterar os escopos do OAuth posteriormente.
Para especificar vários escopos OAuth, forneça uma lista de valores separados por vírgula. Inclua
https://www.googleapis.com/auth/cloud-platform
na lista de escopos especificados.No campo Python version, escolha a versão do Python.
Não será possível alterar a versão do Python posteriormente.
gcloud
Quando você cria um ambiente, os argumentos a seguir controlam parâmetros diversos do seu ambiente:
--zone
especifica uma zona do Compute Engine para suas VMs;--oauth-scopes
especifica uma lista separada por vírgulas de escopos do OAuth. Incluahttps://www.googleapis.com/auth/cloud-platform
na lista de escopos especificados.--python-version
especifica a versão do Python.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-1.20.12-airflow-1.10.15 \
--zone ZONE \
--oauth-scopes OAUTH_SCOPES \
--python-version PYTHON_VERSION
Substitua:
ZONE
pelo nome da zona do Compute Engine.OAUTH_SCOPES
é uma lista separada por vírgulas de escopos do OAuth.PYTHON_VERSION
pela versão do Python (3
ou2
);
Exemplo:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15 \
--zone us-central1-a \
--oauth-scopes https://www.googleapis.com/auth/cloud-platform,https://www.googleapis.com/auth/bigquery \
--python-version 3
API
Ao criar um ambiente, em Ambiente > EnvironmentConfig, especifique parâmetros diversos do seu ambiente.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"nodeConfig": {
"location": "projects/PROJECT_ID/zones/ZONE",
"oauthScopes": [
"OAUTH_SCOPE"
]
},
"softwareConfig": {
"pythonVersion": "PYTHON_VERSION"
}
}
}
Substitua:
ZONE
pelo nome da zona do Compute Engine.OAUTH_SCOPE
por um escopo do OAuth; Para especificar escopos adicionais, adicione o escopohttps://www.googleapis.com/auth/cloud-platform
, seguido pelos itens extras do escopo.PYTHON_VERSION
pela versão do Python (3
ou2
);
Exemplo:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"nodeConfig": {
"location": "projects/example-project/zones/us-central1-a",
"oauthScopes": [
"https://www.googleapis.com/auth/cloud-platform",
"https://www.googleapis.com/auth/bigquery"
]
},
"softwareConfig": {
"pythonVersion": "3"
}
}
}
Terraform
Quando você cria um ambiente, os campos a seguir controlam diversos parâmetros do ambiente:
O campo
zone
no bloconode_config
especifica uma zona do Compute Engine para suas VMs de ambiente.O campo
oauth_scopes
no bloconode_config
especifica uma lista separada por vírgulas de escopos do OAuth.O campo
python_version
no blocosoftware_config
especifica a versão do Python.
resource "google_composer_environment" "example" {
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
zone = "ZONE"
oauth_scopes = "[OAUTH_SCOPES]"
}
software_config {
python_version = "PYTHON_VERSION"
}
}
}
Substitua:
ZONE
pelo nome da zona do Compute Engine.OAUTH_SCOPES
é uma lista separada por vírgulas de escopos do OAuth.PYTHON_VERSION
pela versão do Python (3
ou2
);
Exemplo:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
node_config {
zone = "us-central1-a"
oauth_scopes = "[https://www.googleapis.com/auth/cloud-platform,https://www.googleapis.com/auth/bigquery]"
}
software_config {
python_version = "3"
}
}
}
Etapa 12: (Opcional) Aplicar o uso da API Beta
É possível fazer explicitamente com que o ambiente use a API Cloud Composer Beta, mesmo que o ambiente não tenha recursos de visualização. Se você fizer
isso, seu ambiente será criado usando o endpoint do serviço v1beta1
.
Console
Na página Criar ambiente:
Expanda o item Rede, substituições de configuração do Airflow e outros recursos.
Na seção API Beta, marque a caixa de seleção Aplicar o uso da API Beta.
gcloud
Crie seu ambiente usando o comando gcloud beta composer
.
API
Crie seu ambiente usando o endpoint do serviço v1beta1
.
Terraform
Por padrão, o provedor do Terraform para o Cloud Composer usa a API Beta.
A seguir
- Como resolver problemas da criação de ambientes
- Como configurar a VPC compartilhada
- Como configurar o VPC Service Controls
- Como adicionar e atualizar DAGs
- Como acessar a IU do Airflow
- Como atualizar e excluir ambientes
- Sobre as versões do Cloud Composer