Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Nesta página, você encontra informações sobre como configurar a rede de projetos Google Cloudpara ambientes de IP particular.
Para ambientes de IP privado, o Cloud Composer atribui apenas endereços IP privados (RFC 1918) às VMs gerenciadas do Cloud Kubernetes e Google Kubernetes Engine no ambiente.
Como opção, também é possível usar endereços IP públicos de uso particular e o agente de mascaramento de IP para salvar o espaço de endereço IP e usar endereços não RFC 1918.
Para mais informações sobre como se conectar a recursos no ambiente, consulte IP privado.
Ambientes com o Private Service Connect e peerings de VPC
Por padrão, o Cloud Composer 2 usa o Private Service Connect, para que seus ambientes de IP particular se comuniquem internamente sem o uso de peerings de VPC, a menos que você especifique o contrário ao criar o ambiente.
Recomendamos o uso de ambientes com o Private Service Connect se você não tiver um requisito específico para usar ambientes com peerings de VPC.
Antes de começar
- Verifique se você tem as permissões apropriadas da conta de serviço e do usuário para criar um ambiente.
- Verifique se as políticas de organização incompatíveis não estão definidas no projeto.
Verificar os requisitos de rede
Verifique se a rede VPC do seu projeto atende aos seguintes requisitos:
Certifique-se de que não haja conflitos com blocos de IPs particulares. Se a rede VPC e os pares estabelecidos dela tiverem blocos de IPs sobrepostos no projeto de locatário gerenciado pelo Google, o Cloud Composer não criará o ambiente. Consulte a tabela de intervalos de IP padrão para conferir os padrões usados em cada região.
Verifique se há intervalos de IP secundários suficientes para os pods e serviços do GKE do Cloud Composer. O GKE pesquisa esses intervalos para realizar o alias de IP. Se nenhum intervalo for encontrado, o Cloud Composer não criará o ambiente.
Verifique se o número de intervalos secundários na sub-rede não excede 30. Considere o seguinte:
- O cluster do GKE para o ambiente de IP privado cria dois intervalos secundários na sub-rede. É possível criar várias sub-redes na mesma região e na mesma rede VPC.
- O número máximo aceito de intervalos secundários é 30. Cada ambiente de IP particular requer dois intervalos secundários para os pods e serviços do GKE para Cloud Composer.
Verifique se a rede do seu projeto pode acomodar o limite no número máximo de conexões com uma única rede VPC. O número máximo de ambientes de IP privado que pode ser criado depende do número de conexões de peering de VPC atuais na rede VPC.
Cada ambiente de IP particular com PSC usa um peering VPC por ambiente. Esse peering da VPC é criado pelo cluster do GKE do seu ambiente, e os clusters do GKE podem reutilizar essa conexão. Para ambientes de IP particular com PSC, cada local pode aceitar até 75 clusters particulares.
Cada ambiente de IP particular com peerings VPC usa no máximo dois peerings VPC por ambiente. O Cloud Composer cria um peering de VPC para a rede do projeto de locatário. O segundo peering é criado pelo cluster do GKE do seu ambiente, e os clusters do GKE podem reutilizar essa conexão.
Escolher uma rede, uma sub-rede e intervalos de rede
Escolha os intervalos de rede do ambiente do IP privado ou use os padrão. Você usará esses intervalos de rede mais tarde ao criar um ambiente de IP privado.
Para criar um ambiente de IP privado, você precisa ter as seguintes informações:
- O ID da rede VPC
- O ID da sub-rede VPC
- Dois intervalos de IP secundários na sub-rede VPC:
- Intervalo de IP secundário para pods
- Intervalo de IP secundário para serviços
Intervalos de IP para os componentes do ambiente:
Se o ambiente usa o Private Service Connect:
Intervalo de IP do plano de controle do GKE. Intervalo de IP para o plano de controle do GKE.
Se você especificar o intervalo de IP do plano do GKE para um ambiente, o GKE vai criar uma nova sub-rede nesse intervalo para provisionar o endereço IP para comunicação com o plano de controle do GKE. Caso contrário, ele usa a sub-rede especificada no intervalo de sub-redes de conexão do Cloud Composer.
Subrede de conexão do Cloud Composer. Intervalo de IP para a sub-rede de conexão do Cloud Composer. É possível especificar um intervalo de apenas dois endereços IP. Esse intervalo pode ser usado por vários ambientes no projeto. Por padrão, esse intervalo é a sub-rede do ambiente (ID da sub-rede VPC).
Se o ambiente usa peerings de VPC:
- Intervalo de IP do plano de controle do GKE. Intervalo de IP para o plano de controle do GKE.
- Intervalo de IP da rede de locatário do Cloud Composer. Intervalo de IP para a rede de locatário do Cloud Composer. Essa rede hospeda o componente de proxy SQL do ambiente.
Intervalo de IP do Cloud SQL. Intervalo de IP para a instância do Cloud SQL.
Consulte a tabela de intervalos de IP padrão para conferir os padrões usados em cada região.
Intervalos de IP padrão
Ambientes com o Private Service Connect
Região | Intervalo de IP do plano de controle do GKE |
---|---|
africa-south1 | 172.16.64.0/23 |
asia-east1 | 172.16.42.0/23 |
asia-east2 | 172.16.0.0/23 |
asia-northeast1 | 172.16.2.0/23 |
asia-northeast2 | 172.16.32.0/23 |
asia-northeast3 | 172.16.30.0/23 |
asia-south1 | 172.16.4.0/23 |
asia-south2 | 172.16.50.0/23 |
asia-southeast1 | 172.16.40.0/23 |
asia-southeast2 | 172.16.44.0/23 |
australia-southeast1 | 172.16.6.0/23 |
australia-southeast2 | 172.16.56.0/23 |
europe-central2 | 172.16.36.0/23 |
europe-north1 | 172.16.48.0/23 |
europe-southwest1 | 172.16.58.0/23 |
europe-west1 | 172.16.8.0/23 |
europe-west10 | 172.16.62.0/23 |
europe-west12 | 172.16.62.0/23 |
europe-west2 | 172.16.10.0/23 |
europe-west3 | 172.16.12.0/23 |
europe-west4 | 172.16.42.0/23 |
europe-west6 | 172.16.14.0/23 |
europe-west8 | 172.16.60.0/23 |
europe-west9 | 172.16.46.0/23 |
me-central1 | 172.16.58.0/23 |
me-central2 | 172.16.64.0/23 |
me-west1 | 172.16.54.0/23 |
northamerica-northeast1 | 172.16.16.0/23 |
northamerica-northeast2 | 172.16.46.0/23 |
northamerica-south1 | 172.16.68.0/23 |
southamerica-east1 | 172.16.18.0/23 |
southamerica-west1 | 172.16.58.0/23 |
us-central1 | 172.16.20.0/23 |
us-east1 | 172.16.22.0/23 |
us-east4 | 172.16.24.0/23 |
us-east5 | 172.16.52.0/23 |
us-south1 | 172.16.56.0/23 |
us-west1 | 172.16.38.0/23 |
us-west2 | 172.16.34.0/23 |
us-west3 | 172.16.26.0/23 |
us-west4 | 172.16.28.0/23 |
Ambientes com peerings de VPC
Região | Intervalo de IP do plano de controle do GKE | Intervalo de IP da rede de locatário do Cloud Composer | Intervalo de IP do Cloud SQL |
---|---|---|---|
africa-south1 | 172.16.64.0/23 | 172.31.223.0/24 | 10.0.0.0/12 |
asia-east1 | 172.16.42.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-east2 | 172.16.0.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-northeast1 | 172.16.2.0/23 | 172.31.254.0/24 | 10.0.0.0/12 |
asia-northeast2 | 172.16.32.0/23 | 172.31.239.0/24 | 10.0.0.0/12 |
asia-northeast3 | 172.16.30.0/23 | 172.31.240.0/24 | 10.0.0.0/12 |
asia-south1 | 172.16.4.0/23 | 172.31.253.0/24 | 10.0.0.0/12 |
asia-south2 | 172.16.50.0/23 | 172.31.230.0/24 | 10.0.0.0/12 |
asia-southeast1 | 172.16.40.0/23 | 172.31.235.0/24 | 10.0.0.0/12 |
asia-southeast2 | 172.16.44.0/23 | 172.31.233.0/24 | 10.0.0.0/12 |
australia-southeast1 | 172.16.6.0/23 | 172.31.252.0/24 | 10.0.0.0/12 |
australia-southeast2 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
europe-central2 | 172.16.36.0/23 | 172.31.237.0/24 | 10.0.0.0/12 |
europe-north1 | 172.16.48.0/23 | 172.31.231.0/24 | 10.0.0.0/12 |
europe-southwest1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
europe-west1 | 172.16.8.0/23 | 172.31.251.0/24 | 10.0.0.0/12 |
europe-west10 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west12 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west2 | 172.16.10.0/23 | 172.31.250.0/24 | 10.0.0.0/12 |
europe-west3 | 172.16.12.0/23 | 172.31.249.0/24 | 10.0.0.0/12 |
europe-west4 | 172.16.42.0/23 | 172.31.234.0/24 | 10.0.0.0/12 |
europe-west6 | 172.16.14.0/23 | 172.31.248.0/24 | 10.0.0.0/12 |
europe-west8 | 172.16.60.0/23 | 172.31.225.0/24 | 10.0.0.0/12 |
europe-west9 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
me-central1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
me-central2 | 172.16.64.0/23 | 172.31.223.0/24 | 10.0.0.0/12 |
me-west1 | 172.16.54.0/23 | 172.31.228.0/24 | 10.0.0.0/12 |
northamerica-northeast1 | 172.16.16.0/23 | 172.31.247.0/24 | 10.0.0.0/12 |
northamerica-northeast2 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
northamerica-south1 | 172.16.68.0/23 | 172.31.221.0/24 | 10.0.0.0/12 |
southamerica-east1 | 172.16.18.0/23 | 172.31.246.0/24 | 10.0.0.0/12 |
southamerica-west1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
us-central1 | 172.16.20.0/23 | 172.31.245.0/24 | 10.0.0.0/12 |
us-east1 | 172.16.22.0/23 | 172.31.244.0/24 | 10.0.0.0/12 |
us-east4 | 172.16.24.0/23 | 172.31.243.0/24 | 10.0.0.0/12 |
us-east5 | 172.16.52.0/23 | 172.31.229.0/24 | 10.0.0.0/12 |
us-south1 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
us-west1 | 172.16.38.0/23 | 172.31.236.0/24 | 10.0.0.0/12 |
us-west2 | 172.16.34.0/23 | 172.31.238.0/24 | 10.0.0.0/12 |
us-west3 | 172.16.26.0/23 | 172.31.242.0/24 | 10.0.0.0/12 |
us-west4 | 172.16.28.0/23 | 172.31.241.0/24 | 10.0.0.0/12 |
(Opcional) Configurar a conectividade com APIs e serviços do Google
Como opção, você pode rotear todo o tráfego para as APIs e os serviços do Google
por vários endereços IP que pertencem ao domínio
private.googleapis.com
. Nessa configuração, o ambiente acessa APIs e
serviços do Google por endereços IP somente roteáveis de dentro de Google Cloud.
Se o ambiente de IP particular também usar o VPC Service Controls, use instruções para ambientes com o VPC Service Controls.
Os ambientes do Cloud Composer usam os seguintes domínios:
O
*.googleapis.com
é usado para acessar outros serviços do Google.*.composer.cloud.google.com
é usado para tornar o servidor da Web do Airflow do seu ambiente acessível. Essa regra precisa ser aplicada antes de criar um ambiente.- Como alternativa, você pode criar uma regra para uma região específica. Para fazer isso,
use
REGION.composer.cloud.google.com
. SubstituaREGION
pela região em que o ambiente está localizado, por exemplo,us-central1
.
- Como alternativa, você pode criar uma regra para uma região específica. Para fazer isso,
use
(Opcional)
*.composer.googleusercontent.com
é usado ao acessar o servidor da Web do Airflow do seu ambiente. Essa regra é necessária apenas se você acessar o servidor da Web do Airflow de uma instância executada na rede VPC. Caso contrário, ela não é necessária. Um cenário comum para essa regra é quando você quer chamar a API REST do Airflow na rede VPC.- Como alternativa, você pode criar uma regra para um ambiente específico. Para
fazer isso, use
ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com
. SubstituaENVIRONMENT_WEB_SERVER_NAME
pela parte exclusiva do URL da interface do Airflow do seu ambiente, por exemplo,bffe6ce6c4304c55acca0e57be23128c-dot-us-central1
.
- Como alternativa, você pode criar uma regra para um ambiente específico. Para
fazer isso, use
*.pkg.dev
é usado para receber imagens de ambiente, como ao criar ou atualizar um ambiente.*.gcr.io
O GKE requer conectividade ao domínio do Container Registry, independentemente da versão do Cloud Composer.
Configure a conectividade com o endpoint private.googleapis.com
:
Domínio | Nome do DNS | Registro CNAME | Registro A |
---|---|---|---|
*.googleapis.com
|
googleapis.com. |
Nome DNS: *.googleapis.com. Tipo de registro de recurso: CNAME Nome canônico: googleapis.com. |
Tipo de registro de recurso: A Endereços IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.composer.cloud.google.com
|
composer.cloud.google.com. |
Nome DNS: *.composer.cloud.google.com. Tipo de registro de recurso: CNAME Nome canônico: composer.cloud.google.com. |
Tipo de registro de recurso: A Endereços IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.composer.googleusercontent.com
(opcional, consulte a descrição) |
composer.googleusercontent.com. |
Nome DNS: *.composer.googleusercontent.com. Tipo de registro de recurso: CNAME Nome canônico: composer.googleusercontent.com. |
Tipo de registro de recurso: A Endereços IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.pkg.dev
|
pkg.dev. |
Nome DNS: *.pkg.dev. Tipo de registro de recurso: CNAME Nome canônico: pkg.dev. |
Tipo de registro de recurso: A Endereços IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.gcr.io
|
gcr.io. |
Nome DNS: *.gcr.io. Tipo de registro de recurso: CNAME Nome canônico: gcr.io. |
Tipo de registro de recurso: A Endereços IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
Para criar uma regra de DNS:
Crie uma nova zona de DNS e use Nome do DNS como nome do DNS dessa zona.
Exemplo:
pkg.dev.
Adicione um conjunto de registros para o Registro CNAME.
Exemplo:
- Nome do DNS:
*.pkg.dev.
- Tipo de registro de recurso:
CNAME
- Nome canônico:
pkg.dev.
- Nome do DNS:
Adicionar um conjunto de registros com um registro A:
Exemplo:
- Tipo de registro de recurso:
A
- Endereços IPv4:
199.36.153.8
,199.36.153.9
,199.36.153.10
,199.36.153.11
- Tipo de registro de recurso:
Para mais informações, consulte Como configurar a conectividade particular com as APIs e os serviços do Google.
(Opcional) Configurar regras de firewall
Realize esta etapa somente se o projeto tiver regras de firewall que não sejam padrão, como regras que substituem regras de firewall implícitas ou modifiquem regras pré-preenchidas na rede padrão.
Por exemplo, o Cloud Composer pode falhar na criação de um ambiente se
você tiver uma regra de firewall que negue todo o tráfego de saída. Para evitar problemas,
defina regras allow
seletivas que sigam a lista e tenham prioridade mais alta
do que a regra deny
global.
Configure a rede VPC para permitir o tráfego do seu ambiente:
- Consulte Como usar regras de firewall para aprender a verificar, adicionar e atualizar regras para sua rede VPC.
- Use a Ferramenta de conectividade para validar a conectividade entre intervalos de IP.
- Você pode usar tags de rede para limitar ainda mais o acesso. É possível definir essas tags ao criar um ambiente.
Descrição | Direção | Ação | Origem ou destino | Protocolos | Portas |
---|---|---|---|---|---|
DNS | Saída | Permitir | Qualquer destino (0.0.0.0/0 ) ou endereços IP do servidor DNS |
TCP, UDP | 53 |
APIs e serviços do Google | Saída | Permitir | Intervalo de endereços IP do domínio escolhido para as APIs e serviços do Google. Consulte Endereços IP para domínios padrão se você usa padrões. | TCP | 443 |
Nós do cluster do ambiente | Saída | Permitir | Intervalo de endereços IP principal da sub-rede do ambiente | TCP, UDP | todas |
Pods de cluster do ambiente | Saída | Permitir | Intervalo de endereços IP secundário para pods na sub-rede do ambiente | TCP, UDP | todas |
Plano de controle do cluster do ambiente | Saída | Permitir | Intervalo de IP do plano de controle do GKE | TCP, UDP | todas |
(Se o ambiente usar o Private Service Connect) Sub-rede de conexão | Saída | Permitir | Intervalo de sub-rede de conexão do Cloud Composer | TCP | 3306, 3307 |
(Se o ambiente usa peerings de VPC) Rede do locatário | Saída | Permitir | Intervalo de IP da rede de locatário do Cloud Composer | TCP | 3306, 3307 |
Para acessar os intervalos de IP:
Os intervalos de endereços do pod, do serviço e do plano de controle estão disponíveis na página Clusters do cluster do seu ambiente:
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.
Acesse a guia Configuração do ambiente.
Siga o link ver detalhes do cluster.
É possível conferir o intervalo de IP da rede de locatário do Cloud Composer na guia Configuração do ambiente.
É possível conferir o ID da sub-rede do ambiente e o ID da sub-rede de conexão do Cloud Composer na guia Configuração do ambiente. Para conferir os intervalos de IP de uma sub-rede, acesse a página Redes VPC e clique no nome da rede para conferir os detalhes:
Configurar as configurações do servidor proxy
É possível definir variáveis de ambiente HTTP_PROXY
e HTTPS_PROXY
no seu ambiente. Essas variáveis padrão do Linux são usadas por clientes da Web
que são executados em contêineres do cluster do ambiente para rotear o tráfego pelos
proxies especificados.
A variável NO_PROXY
é definida por padrão como uma lista de domínios do Google para que
eles sejam excluídos do proxy:
.google.com,.googleapis.com,metadata.google.internal
. Essa configuração
permite criar um ambiente com variáveis de ambiente HTTP_PROXY
e
HTTPS_PROXY
definidas nos casos em que o proxy não está configurado
para processar o tráfego para os serviços do Google.