Configurar rede de IP privado

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Nesta página, você verá informações sobre como configurar a rede de projetos do Google Cloud para ambientes de IP privado.

Para ambientes de IP privado, o Cloud Composer atribui apenas endereços IP privados (RFC 1918) às VMs gerenciadas do Cloud Kubernetes e Google Kubernetes Engine no ambiente.

Como opção, também é possível usar endereços IP públicos utilizados de modo privado e o agente de mascaramento de IP para salvar o espaço do endereço IP e usar endereços não RFC 1918.

Para mais informações sobre como se conectar a recursos no ambiente, consulte IP privado.

Ambientes com o Private Service Connect e peerings de VPC

Por padrão, o Cloud Composer 2 usa o Private Service Connect para que os ambientes de IP particulares se comuniquem internamente sem usar peerings de VPC, a menos que você especifique o contrário ao criar o ambiente.

Recomendamos o uso de ambientes com o Private Service Connect se você não tiver um requisito específico para usar ambientes com peerings de VPC.

Antes de começar

Verifique se você tem as permissões apropriadas da conta de serviço e do usuário para criar um ambiente.

Verificar os requisitos de rede

Verifique se a rede VPC do seu projeto atende aos seguintes requisitos:

  • Certifique-se de que não haja conflitos com blocos de IPs particulares. Se a rede VPC e os pares estabelecidos dela tiverem blocos de IPs sobrepostos no projeto de locatário gerenciado pelo Google, o Cloud Composer não criará o ambiente. Consulte a tabela de intervalos de IP padrão para ver os padrões usados em cada região.

  • Verifique se há intervalos de IP secundários suficientes para os pods e serviços do GKE do Cloud Composer. O GKE pesquisa esses intervalos para realizar o alias de IP. Se nenhum intervalo for encontrado, o Cloud Composer não criará o ambiente.

  • Verifique se o número de intervalos secundários na sub-rede não excede 30. Considere o seguinte:

    • O cluster do GKE para o ambiente de IP privado cria dois intervalos secundários na sub-rede. É possível criar várias sub-redes na mesma região e na mesma rede VPC.
    • O número máximo aceito de intervalos secundários é 30. Cada ambiente de IP privado requer dois intervalos secundários para os pods e serviços do GKE do Cloud Composer.

  • Verifique se a rede do seu projeto consegue acomodar o limite do número máximo de conexões com uma única rede VPC. O número máximo de ambientes de IP privado que pode ser criado depende do número de conexões de peering de VPC atuais na rede VPC.

Escolher uma rede, uma sub-rede e intervalos de rede

Escolha os intervalos de rede do ambiente do IP privado ou use os padrão. Você usará esses intervalos de rede mais tarde ao criar um ambiente de IP privado.

Para criar um ambiente de IP privado, você precisa ter as seguintes informações:

  • O ID da rede VPC
  • O ID da sub-rede VPC
  • Dois intervalos de IP secundários na sub-rede VPC:
    • Intervalo de IP secundário para pods
    • Intervalo de IP secundário para serviços

  • Intervalos de IPs para os componentes do ambiente:

    Se o ambiente usa o Private Service Connect:

    • Intervalo de IP do plano de controle do GKE. Intervalo de IP para o plano de controle do GKE.
    • Sub-rede de conexão do Cloud Composer. Intervalo de IP da sub-rede de conexão do Cloud Composer. É possível especificar um intervalo de apenas um endereço IP. Esse intervalo pode ser usado por vários ambientes no projeto.

    Se o ambiente usar peerings de VPC:

    • Intervalo de IP do plano de controle do GKE. Intervalo de IP para o plano de controle do GKE.
    • Intervalo de IP da rede de locatário do Cloud Composer. Intervalo de IP da rede de locatário do Cloud Composer. Essa rede hospeda o componente de proxy SQL do seu ambiente.

    • Intervalo de IP do Cloud SQL. Intervalo de IP para a instância do Cloud SQL.

Consulte a tabela de intervalos de IP padrão para ver os padrões usados em cada região.

Intervalos de IP padrão

Ambientes com o Private Service Connect

Região Intervalo de IP do plano de controle do GKE
africa-south1 172.16.64.0/23
asia-east1 172.16.42.0/23
asia-east2 172.16.0.0/23
asia-northeast1 172.16.2.0/23
asia-northeast2 172.16.32.0/23
asia-northeast3 172.16.30.0/23
asia-south1 172.16.4.0/23
asia-south2 172.16.50.0/23
asia-southeast1 172.16.40.0/23
asia-southeast2 172.16.44.0/23
australia-southeast1 172.16.6.0/23
australia-southeast2 172.16.56.0/23
europe-central2 172.16.36.0/23
europe-north1 172.16.48.0/23
europe-southwest1 172.16.58.0/23
europe-west1 172.16.8.0/23
europe-west10 172.16.62.0/23
europe-west12 172.16.62.0/23
europe-west2 172.16.10.0/23
europe-west3 172.16.12.0/23
europe-west4 172.16.42.0/23
europe-west6 172.16.14.0/23
europe-west8 172.16.60.0/23
europe-west9 172.16.46.0/23
me-central1 172.16.58.0/23
me-west1 172.16.54.0/23
northamerica-northeast1 172.16.16.0/23
northamerica-northeast2 172.16.46.0/23
southamerica-east1 172.16.18.0/23
southamerica-west1 172.16.58.0/23
us-central1 172.16.20.0/23
us-east1 172.16.22.0/23
us-east4 172.16.24.0/23
us-east5 172.16.52.0/23
us-south1 172.16.56.0/23
us-west1 172.16.38.0/23
us-west2 172.16.34.0/23
us-west3 172.16.26.0/23
us-west4 172.16.28.0/23

Ambientes com peerings de VPC

Região Intervalo de IP do plano de controle do GKE Intervalo de IP da rede de locatário do Cloud Composer Intervalo de IP do Cloud SQL
africa-south1 172.16.64.0/23 172.31.223.0/24 10.0.0.0/12
asia-east1 172.16.42.0/23 172.31.255.0/24 10.0.0.0/12
asia-east2 172.16.0.0/23 172.31.255.0/24 10.0.0.0/12
asia-northeast1 172.16.2.0/23 172.31.254.0/24 10.0.0.0/12
asia-northeast2 172.16.32.0/23 172.31.239.0/24 10.0.0.0/12
asia-northeast3 172.16.30.0/23 172.31.240.0/24 10.0.0.0/12
asia-south1 172.16.4.0/23 172.31.253.0/24 10.0.0.0/12
asia-south2 172.16.50.0/23 172.31.230.0/24 10.0.0.0/12
asia-southeast1 172.16.40.0/23 172.31.235.0/24 10.0.0.0/12
asia-southeast2 172.16.44.0/23 172.31.233.0/24 10.0.0.0/12
australia-southeast1 172.16.6.0/23 172.31.252.0/24 10.0.0.0/12
australia-southeast2 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
europe-central2 172.16.36.0/23 172.31.237.0/24 10.0.0.0/12
europe-north1 172.16.48.0/23 172.31.231.0/24 10.0.0.0/12
europe-southwest1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
europe-west1 172.16.8.0/23 172.31.251.0/24 10.0.0.0/12
europe-west10 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west12 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west2 172.16.10.0/23 172.31.250.0/24 10.0.0.0/12
europe-west3 172.16.12.0/23 172.31.249.0/24 10.0.0.0/12
europe-west4 172.16.42.0/23 172.31.234.0/24 10.0.0.0/12
europe-west6 172.16.14.0/23 172.31.248.0/24 10.0.0.0/12
europe-west8 172.16.60.0/23 172.31.225.0/24 10.0.0.0/12
europe-west9 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
me-central1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
me-west1 172.16.54.0/23 172.31.228.0/24 10.0.0.0/12
northamerica-northeast1 172.16.16.0/23 172.31.247.0/24 10.0.0.0/12
northamerica-northeast2 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
southamerica-east1 172.16.18.0/23 172.31.246.0/24 10.0.0.0/12
southamerica-west1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
us-central1 172.16.20.0/23 172.31.245.0/24 10.0.0.0/12
us-east1 172.16.22.0/23 172.31.244.0/24 10.0.0.0/12
us-east4 172.16.24.0/23 172.31.243.0/24 10.0.0.0/12
us-east5 172.16.52.0/23 172.31.229.0/24 10.0.0.0/12
us-south1 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
us-west1 172.16.38.0/23 172.31.236.0/24 10.0.0.0/12
us-west2 172.16.34.0/23 172.31.238.0/24 10.0.0.0/12
us-west3 172.16.26.0/23 172.31.242.0/24 10.0.0.0/12
us-west4 172.16.28.0/23 172.31.241.0/24 10.0.0.0/12

(Opcional) Configurar a conectividade com APIs e serviços do Google

Como opção, você pode rotear todo o tráfego para as APIs e os serviços do Google por meio de vários endereços IP que pertencem ao domínio private.googleapis.com. Nessa configuração, seu ambiente acessa as APIs e os serviços do Google por meio de endereços IP roteáveis somente dentro do Google Cloud.

Se o ambiente de IP particular também usar o VPC Service Controls, siga as instruções para ambientes com VPC Service Controls.

Os ambientes do Cloud Composer usam os seguintes domínios:

  • O app *.googleapis.com é usado para acessar outros Serviços do Google.

  • *.composer.cloud.google.com é usado para tornar acessível o servidor da Web do Airflow do ambiente. Aplique essa regra antes de criar um ambiente.

    • Como alternativa, você pode criar uma regra para uma região específica. Para fazer isso, use REGION.composer.cloud.google.com. Substitua REGION pela região em que o ambiente está localizado, por exemplo, us-central1.

  • (Opcional) *.composer.googleusercontent.com é usado ao acessar o servidor da Web Airflow do seu ambiente. Essa regra é obrigatória somente se você acessar o servidor da Web do Airflow de uma instância executada na rede VPC. Caso contrário, ela não será necessária. Um cenário comum para essa regra é quando você quer chamar a API REST do Airflow de dentro da rede VPC.

    • Como alternativa, você pode criar uma regra para um ambiente específico. Para fazer isso, use ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com . Substitua ENVIRONMENT_WEB_SERVER_NAME pela parte exclusiva do URL da interface do Airflow do ambiente, por exemplo, bffe6ce6c4304c55acca0e57be23128c-dot-us-central1.

  • O *.pkg.dev é usado para receber imagens de ambiente, por exemplo, ao criar ou atualizar um ambiente.

  • *.gcr.io O GKE requer conectividade com o domínio do Container Registry, independentemente da versão do Cloud Composer.

Configure a conectividade com o endpoint private.googleapis.com:

Domínio Nome do DNS Registro CNAME Registro A
*.googleapis.com googleapis.com. Nome do DNS: *.googleapis.com.
Tipo de registro de recurso: CNAME
Nome canônico: googleapis.com.
 Tipo de registro de recurso: A
Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.cloud.google.com composer.cloud.google.com. Nome do DNS: *.composer.cloud.google.com.
Tipo de registro de recurso: CNAME
Nome canônico: composer.cloud.google.com.
 Tipo de registro de recurso: A
Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.googleusercontent.com
(opcional, consulte a descrição) 		composer.googleusercontent.com. Nome do DNS: *.composer.googleusercontent.com.
Tipo de registro de recurso: CNAME
Nome canônico: composer.googleusercontent.com.
 Tipo de registro de recurso: A
Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev pkg.dev. Nome do DNS: *.pkg.dev.
Tipo de registro de recurso: CNAME
Nome canônico: pkg.dev.
 Tipo de registro de recurso: A
Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io gcr.io. Nome do DNS: *.gcr.io.
Tipo de registro de recurso: CNAME
Nome canônico: gcr.io.
 Tipo de registro de recurso: A
Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Para criar uma regra de DNS:

  1. Crie uma nova zona de DNS e use o nome do DNS como o nome DNS dessa zona.

    Exemplo: pkg.dev.

  2. Adicione um conjunto de registros para o registro CNAME.

    Exemplo:

    • Nome DNS: *.pkg.dev.
    • Tipo de registro de recurso: CNAME
    • Nome canônico: pkg.dev.

  3. Adicione um conjunto de registros com para A Record:

    Exemplo:

    • Tipo de registro de recurso: A
    • Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Para mais informações, consulte Como configurar a conectividade particular com APIs e serviços do Google.

(Opcional) Configurar regras de firewall

Execute esta etapa apenas se o projeto tiver regras de firewall não padrão, como regras que substituem regras de firewall implícitas ou modificam regras predefinidas na rede padrão.

Por exemplo, o Cloud Composer pode não criar um ambiente se você tiver uma regra de firewall que negue todo o tráfego de saída. Para evitar problemas, defina regras allow seletivas que sigam a lista e tenham prioridade mais alta que a regra deny global.

Configure a rede VPC para permitir o tráfego do ambiente:

Descrição Direção Ação Origem ou destino Protocolos Portas
DNS Saída Permitir Qualquer destino (0.0.0.0/0) ou endereços IP do servidor DNS TCP, UDP 53
APIs e serviços do Google Saída Permitir O intervalo de endereços IP do domínio que você escolheu para as APIs e os serviços do Google. Consulte Endereços IP para domínios padrão se você usar padrões. TCP 443
Nós do cluster do ambiente Saída Permitir Intervalo de endereços IP primários da sub-rede do ambiente TCP, UDP todas
Pods de cluster do ambiente Saída Permitir Intervalo de endereços IP secundário para pods na sub-rede do ambiente TCP, UDP todas
Plano de controle do cluster do ambiente Saída Permitir Intervalo de IP do plano de controle do GKE TCP, UDP todas
(Se o ambiente usar o Private Service Connect) Sub-rede da conexão Saída Permitir Intervalo de sub-rede de conexão do Cloud Composer TCP 3306 e 3307
Se o ambiente usar peerings de VPC Rede de locatário Saída Permitir Intervalo de IP da rede de locatário do Cloud Composer TCP 3306 e 3307

Para conferir os intervalos de IP:

  • Os intervalos de endereços de pods, serviços e plano de controle estão disponíveis na página Clusters do cluster do ambiente:

    1. No console do Google Cloud, acesse a página Ambientes.

      Acessar "Ambientes"

    2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

    3. Acesse a guia Configuração do ambiente.

    4. Siga o link ver detalhes do cluster.

  • É possível ver o intervalo de IP da rede de locatário do Cloud Composer na guia Configuração do ambiente.

  • É possível ver o ID da sub-rede do ambiente e o ID da sub-rede da conexão do Cloud Composer na guia Configuração do ambiente. Para obter os intervalos de IP de uma sub-rede, acesse a página Redes VPC e clique no nome da rede para ver os detalhes:

    Acessar redes VPC

Definir as configurações do servidor proxy

É possível definir as variáveis de ambiente HTTP_PROXY e HTTPS_PROXY no seu ambiente. Essas variáveis padrão do Linux são usadas por clientes Web executados em contêineres do cluster do ambiente para rotear o tráfego por meio dos proxies especificados.

Por padrão, a variável NO_PROXY é definida como uma lista de domínios do Google para que eles sejam excluídos do proxy: .google.com,.googleapis.com,metadata.google.internal. Essa configuração permite criar um ambiente com variáveis de ambiente HTTP_PROXY e HTTPS_PROXY definidas nos casos em que o proxy não está configurado para processar o tráfego para os serviços do Google.