Cloud Composer 1 | Cloud Composer 2
Nesta página, você verá informações sobre como configurar a rede de projetos do Google Cloud para ambientes de IP privado.
Para ambientes de IP privado, o Cloud Composer atribui apenas endereços IP privados (RFC 1918) às VMs gerenciadas do Cloud Kubernetes e Google Kubernetes Engine no ambiente.
Como opção, também é possível usar endereços IP públicos usados de modo privado e o agente de mascaramento de IP para salvar o espaço de endereço IP e usar endereços não RFC 1918.
Para mais informações sobre como se conectar a recursos no ambiente, consulte IP privado.
Antes de começar
Verifique se você tem as permissões apropriadas da conta de serviço e do usuário para criar um ambiente.
Verificar os requisitos de rede
Verifique se a rede VPC do projeto atende aos seguintes requisitos:
Certifique-se de que não haja conflitos com blocos de IPs particulares. Se a rede VPC e os pares estabelecidos dela tiverem blocos de IPs sobrepostos no projeto de locatário gerenciado pelo Google, o Cloud Composer não criará o ambiente. Consulte a tabela de intervalos de IP padrão para saber os padrões usados em cada região.
Verifique se há intervalos de IP secundários suficientes para os pods e serviços do GKE do Cloud Composer. O GKE pesquisa esses intervalos para realizar o alias de IP. Se nenhum intervalo for encontrado, o Cloud Composer não criará o ambiente.
Verifique se o número de intervalos secundários na sub-rede não excede 30. Considere o seguinte:
- O cluster do GKE para o ambiente de IP privado cria dois intervalos secundários na sub-rede. É possível criar várias sub-redes na mesma região e na mesma rede VPC.
- O número máximo aceito de intervalos secundários é 30. Cada ambiente de IP privado requer dois intervalos secundários para os pods e serviços do GKE do Cloud Composer.
Verifique se a rede do projeto pode acomodar o limite do número máximo de conexões com uma única rede VPC. O número máximo de ambientes de IP privado que pode ser criado depende do número de conexões de peering de VPC atuais na rede VPC.
Cada ambiente de IP privado usa no máximo dois peerings de VPC por ambiente. O Cloud Composer cria um peering de VPC para a rede de projetos de locatário. O segundo peering é criado pelo cluster do GKE do seu ambiente, e os clusters do GKE podem reutilizar essa conexão.
Escolher uma rede, uma sub-rede e intervalos de rede
Escolha os intervalos de rede do ambiente do IP privado ou use os padrão. Você usará esses intervalos de rede mais tarde ao criar um ambiente de IP privado.
Para criar um ambiente de IP privado, você precisa ter as seguintes informações:
- O ID da rede VPC
- O ID da sub-rede VPC
- Dois intervalos de IP secundários na sub-rede VPC:
- Intervalo de IP secundário para pods
- Intervalo de IP secundário para serviços
Intervalos de IP para os componentes do ambiente:
- Intervalo de IP do plano de controle do GKE. Intervalo de IP para
o plano de controle do GKE.
- Intervalo de IP do servidor da Web.
- Intervalo de IP do servidor da Web. Intervalo de IP para a instância do servidor da Web do Airflow.
Intervalo de IP do Cloud SQL. Intervalo de IP para a instância do Cloud SQL.
- Intervalo de IP do plano de controle do GKE. Intervalo de IP para
o plano de controle do GKE.
Consulte a tabela de intervalos de IP padrão para saber os padrões usados em cada região.
Intervalos de IP padrão
| Região | Intervalo de IP do plano de controle do GKE | Intervalo de IP do servidor da Web | Intervalo de IP do Cloud SQL |
|---|---|---|---|
| asia-east1 | 172.16.42.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
| asia-east2 | 172.16.0.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
| asia-northeast1 | 172.16.2.0/23 | 172.31.254.0/24 | 10.0.0.0/12 |
| asia-northeast2 | 172.16.32.0/23 | 172.31.239.0/24 | 10.0.0.0/12 |
| asia-northeast3 | 172.16.30.0/23 | 172.31.240.0/24 | 10.0.0.0/12 |
| asia-south1 | 172.16.4.0/23 | 172.31.253.0/24 | 10.0.0.0/12 |
| asia-south2 | 172.16.50.0/23 | 172.31.230.0/24 | 10.0.0.0/12 |
| asia-southeast1 | 172.16.40.0/23 | 172.31.235.0/24 | 10.0.0.0/12 |
| asia-southeast2 | 172.16.44.0/23 | 172.31.233.0/24 | 10.0.0.0/12 |
| australia-southeast1 | 172.16.6.0/23 | 172.31.252.0/24 | 10.0.0.0/12 |
| australia-southeast2 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
| europe-central2 | 172.16.36.0/23 | 172.31.237.0/24 | 10.0.0.0/12 |
| europe-north1 | 172.16.48.0/23 | 172.31.231.0/24 | 10.0.0.0/12 |
| europe-southwest1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
| europe-west1 | 172.16.8.0/23 | 172.31.251.0/24 | 10.0.0.0/12 |
| europe-west10 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
| europe-west12 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
| europe-west2 | 172.16.10.0/23 | 172.31.250.0/24 | 10.0.0.0/12 |
| europe-west3 | 172.16.12.0/23 | 172.31.249.0/24 | 10.0.0.0/12 |
| europe-west4 | 172.16.42.0/23 | 172.31.234.0/24 | 10.0.0.0/12 |
| europe-west6 | 172.16.14.0/23 | 172.31.248.0/24 | 10.0.0.0/12 |
| europe-west8 | 172.16.60.0/23 | 172.31.225.0/24 | 10.0.0.0/12 |
| europe-west9 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
| me-central1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
| me-west1 | 172.16.54.0/23 | 172.31.228.0/24 | 10.0.0.0/12 |
| northamerica-northeast1 | 172.16.16.0/23 | 172.31.247.0/24 | 10.0.0.0/12 |
| northamerica-northeast2 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
| southamerica-east1 | 172.16.18.0/23 | 172.31.246.0/24 | 10.0.0.0/12 |
| southamerica-west1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
| us-central1 | 172.16.20.0/23 | 172.31.245.0/24 | 10.0.0.0/12 |
| us-east1 | 172.16.22.0/23 | 172.31.244.0/24 | 10.0.0.0/12 |
| us-east4 | 172.16.24.0/23 | 172.31.243.0/24 | 10.0.0.0/12 |
| us-east5 | 172.16.52.0/23 | 172.31.229.0/24 | 10.0.0.0/12 |
| us-south1 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
| us-west1 | 172.16.38.0/23 | 172.31.236.0/24 | 10.0.0.0/12 |
| us-west2 | 172.16.34.0/23 | 172.31.238.0/24 | 10.0.0.0/12 |
| us-west3 | 172.16.26.0/23 | 172.31.242.0/24 | 10.0.0.0/12 |
| us-west4 | 172.16.28.0/23 | 172.31.241.0/24 | 10.0.0.0/12 |
(Opcional) Configurar a conectividade com as APIs e os serviços do Google
Uma opção é rotear todo o tráfego para as APIs e serviços do Google
usando vários endereços IP que pertencem ao domínio
private.googleapis.com. Nessa configuração, o ambiente acessa APIs e serviços do Google por meio de endereços IP roteáveis apenas no Google Cloud.
Se o ambiente de IP privado também usar o VPC Service Controls, utilize as instruções para ambientes com o VPC Service Controls.
Os ambientes do Cloud Composer usam os seguintes domínios:
*.googleapis.comé usado para acessar outros Serviços do Google.*.pkg.devé usado para receber imagens do ambiente, por exemplo, ao criar ou atualizar um ambiente.*.gcr.ioO GKE requer conectividade com o domínio do Container Registry, seja qual for a versão do Cloud Composer.
Configure a conectividade com o endpoint private.googleapis.com:
| Domínio | Nome do DNS | Registro CNAME | Registro A |
|---|---|---|---|
*.googleapis.com
|
googleapis.com. |
Nome do DNS: *.googleapis.com.Tipo de registro de recurso: CNAMENome canônico: googleapis.com. |
Tipo de registro de recurso: AEndereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
|
*.pkg.dev
|
pkg.dev. |
Nome do DNS: *.pkg.dev.Tipo de registro de recurso: CNAMENome canônico: pkg.dev. |
Tipo de registro de recurso: AEndereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
|
*.gcr.io
|
gcr.io. |
Nome do DNS: *.gcr.io.Tipo de registro de recurso: CNAMENome canônico: gcr.io. |
Tipo de registro de recurso: AEndereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
|
Para criar uma regra de DNS:
Crie uma nova zona de DNS e use o nome do DNS como o nome dessa zona.
Exemplo:
pkg.dev.Adicione um conjunto de registros para o registro CNAME.
Exemplo:
- Nome do DNS:
*.pkg.dev. - Tipo de registro de recurso:
CNAME - Nome canônico:
pkg.dev.
- Nome do DNS:
Adicione um conjunto de registros para Registro A:
Exemplo:
- Tipo de registro de recurso:
A - Endereços IPv4:
199.36.153.8,199.36.153.9,199.36.153.10,199.36.153.11
- Tipo de registro de recurso:
Para mais informações, consulte Como configurar a conectividade particular com APIs e serviços do Google.
(Opcional) Configurar regras de firewall
Execute esta etapa somente se o projeto tiver regras de firewall não padrão, como regras que substituem regras de firewall implícitas ou modificam regras pré-preenchidas na rede padrão.
Por exemplo, o Cloud Composer pode não criar um ambiente se
você tiver uma regra de firewall que negue todo o tráfego de saída. Para evitar problemas,
defina regras allow seletivas que sigam a lista e tenham prioridade mais alta
do que a regra deny global.
Configure a rede VPC para permitir o tráfego do seu ambiente:
- Consulte Como usar regras de firewall para saber como verificar, adicionar e atualizar regras para sua rede VPC.
- Use a Ferramenta de conectividade para validar a conectividade entre intervalos de IP.
- Você pode usar tags de rede para limitar ainda mais o acesso. É possível definir essas tags ao criar um ambiente.
| Descrição | Direção | Ação | Origem ou destino | Protocolos | Portas |
|---|---|---|---|---|---|
| DNS | Saída | Permitir | Qualquer destino (0.0.0.0/0) ou endereços IP do servidor DNS |
TCP, UDP | 53 |
| APIs e serviços do Google | Saída | Permitir | Intervalo de endereços IP do domínio que você escolheu para APIs e serviços do Google. Consulte Endereços IP para domínios padrão se você usa os padrões. | TCP | 443 |
| Nós do cluster do ambiente | Saída | Permitir | Intervalo de endereços IP principal da sub-rede do ambiente | TCP, UDP | todas |
| Pods do cluster do ambiente | Saída | Permitir | Intervalo de endereços IP secundário para pods na sub-rede do ambiente | TCP, UDP | todas |
| Plano de controle do cluster do ambiente | Saída | Permitir | Intervalo de IP do plano de controle do GKE | TCP, UDP | todas |
| Servidor da Web | Saída | Permitir | Intervalo de IP da rede do servidor da Web | TCP | 3306, 3307 |
Para acessar intervalos de IP:
Os intervalos de endereços de pods, serviços e planos de controle estão disponíveis na página Clusters do cluster do ambiente:
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.
Acesse a guia Configuração do ambiente.
Siga o link Ver detalhes do cluster.
Veja o intervalo de IP do servidor da Web do ambiente na guia Configuração do ambiente.
Você encontra o ID da rede do ambiente na guia Configuração do ambiente. Para ver os intervalos de IP de uma sub-rede, acesse a página Redes VPC e clique no nome da rede para ver detalhes:
Configuração de cluster nativo de VPC
O Cloud Composer é compatível com clusters do GKE nativos de VPC no ambiente.
Durante a criação do ambiente, é possível ativar o nativo de VPC, usando o IP de alias, e configurar a rede, como alocação de IP, sem ativar o IP particular.
Como um cluster nativo de VPC é necessário para que as tarefas do Airflow se comuniquem com outras VMs acessíveis por IPs particulares, ative também o nativo de VPC para configurar um ambiente de IP particular.
Definir as configurações do servidor proxy
É possível definir as variáveis de ambiente HTTP_PROXY e HTTPS_PROXY no seu ambiente. Essas variáveis padrão do Linux são usadas por clientes Web
executados em contêineres do cluster do ambiente para rotear o tráfego por meio
dos proxies especificados.
Por padrão, a variável NO_PROXY é definida como uma lista de domínios do Google para que
eles sejam excluídos do proxy:
.google.com,.googleapis.com,metadata.google.internal. Essa configuração possibilita a criação de um ambiente com variáveis de ambiente HTTP_PROXY e HTTPS_PROXY definidas nos casos em que o proxy não está configurado para processar o tráfego para os serviços do Google.