Configure redes IP privadas

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página fornece informações sobre a configuração da Google Cloud rede do projeto para ambientes de IP privado.

Para ambientes de IP privado, o Cloud Composer atribui apenas endereços IP privados (RFC 1918) às VMs do Google Kubernetes Engine e do Cloud SQL geridas no seu ambiente.

Em alternativa, também pode usar endereços IP públicos usados de forma privada e o agente de máscara de IP para poupar espaço de endereços IP e usar endereços não RFC 1918.

Para obter informações sobre a ligação a recursos no seu ambiente, consulte o artigo IP privado.

Antes de começar

Verifique os requisitos de rede

Verifique se a rede VPC do seu projeto cumpre os seguintes requisitos:

  • Certifique-se de que não existem conflitos de bloqueio de IP privado. Se a sua rede VPC e os respetivos pares VPC estabelecidos tiverem blocos de IP sobrepostos com a rede VPC no projeto de inquilino gerido pela Google, o Cloud Composer não pode criar o seu ambiente. Consulte a tabela de intervalos de IP predefinidos para ver as predefinições usadas em cada região.

  • Certifique-se de que existem intervalos de IPs secundários suficientes para os pods e os serviços do GKE do Cloud Composer. O GKE pesquisa intervalos de IP secundários para o IP Aliasing. Se o GKE não conseguir encontrar um intervalo, o Cloud Composer não consegue criar o seu ambiente.

  • Certifique-se de que o número de intervalos secundários na sua sub-rede não excede 30. Considere o seguinte:

    • O cluster do GKE para o seu ambiente de IP privado cria dois intervalos secundários na sub-rede. Pode criar várias sub-redes na mesma região para a mesma rede VPC.
    • O número máximo de intervalos secundários suportados é 30. Cada ambiente de IP privado requer dois intervalos secundários para os serviços e os pods do GKE do Cloud Composer.

  • Certifique-se de que a rede do seu projeto pode acomodar o limite no número máximo de ligações a uma única rede VPC. O número máximo de ambientes de IP privado que pode criar depende do número de ligações de peering de VPC já existentes na sua rede de VPC.

  • Cada ambiente de IP privado usa, no máximo, duas interligações de VPC por ambiente. O Cloud Composer cria um intercâmbio da VPC para a rede do projeto de inquilino. A segunda interligação é criada pelo cluster do GKE do seu ambiente e os clusters do GKE podem reutilizar esta ligação.

Escolha uma rede, uma sub-rede e intervalos de rede

Escolha os intervalos de rede para o seu ambiente de IP privado (ou use os predefinidos). Vai usar estes intervalos de rede mais tarde quando criar um ambiente de IP privado.

Para criar um ambiente de IP privado, tem de ter as seguintes informações:

  • O ID da sua rede de VPC
  • O ID da sua sub-rede de VPC
  • Dois intervalos de IP secundários na sua sub-rede VPC:
    • Intervalo de IPs secundário para pods
    • Intervalo de IP secundário para serviços

  • Intervalos de IP para os componentes do ambiente:

    • Intervalo de IPs do plano de controlo do GKE. Intervalo de IPs para o plano de controlo do GKE.
      • Intervalo de IPs do servidor Web.
    • Intervalo de IP do servidor Web. Intervalo de IP para a instância do servidor Web do Airflow.

    • Intervalo de IPs do Cloud SQL. Intervalo de IPs para a instância do Cloud SQL.

Consulte a tabela de intervalos de IP predefinidos para ver as predefinições usadas em cada região.

Intervalos de IP predefinidos

Região Intervalo de IPs do plano de controlo do GKE Intervalo de IP do servidor Web Intervalo de IP do Cloud SQL
africa-south1 172.16.64.0/23 172.31.223.0/24 10.0.0.0/12
asia-east1 172.16.42.0/23 172.31.255.0/24 10.0.0.0/12
asia-east2 172.16.0.0/23 172.31.255.0/24 10.0.0.0/12
asia-northeast1 172.16.2.0/23 172.31.254.0/24 10.0.0.0/12
asia-northeast2 172.16.32.0/23 172.31.239.0/24 10.0.0.0/12
asia-northeast3 172.16.30.0/23 172.31.240.0/24 10.0.0.0/12
asia-south1 172.16.4.0/23 172.31.253.0/24 10.0.0.0/12
ásia-sul2 172.16.50.0/23 172.31.230.0/24 10.0.0.0/12
asia-southeast1 172.16.40.0/23 172.31.235.0/24 10.0.0.0/12
ásia-sudeste2 172.16.44.0/23 172.31.233.0/24 10.0.0.0/12
austrália-sudeste1 172.16.6.0/23 172.31.252.0/24 10.0.0.0/12
austrália-sudeste2 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
europe-central2 172.16.36.0/23 172.31.237.0/24 10.0.0.0/12
europe-north1 172.16.48.0/23 172.31.231.0/24 10.0.0.0/12
europe-southwest1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
europe-west1 172.16.8.0/23 172.31.251.0/24 10.0.0.0/12
europe-west10 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west12 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west2 172.16.10.0/23 172.31.250.0/24 10.0.0.0/12
europe-west3 172.16.12.0/23 172.31.249.0/24 10.0.0.0/12
europe-west4 172.16.42.0/23 172.31.234.0/24 10.0.0.0/12
europe-west6 172.16.14.0/23 172.31.248.0/24 10.0.0.0/12
europe-west8 172.16.60.0/23 172.31.225.0/24 10.0.0.0/12
europe-west9 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
me-central1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
me-central2 172.16.64.0/23 172.31.223.0/24 10.0.0.0/12
me-west1 172.16.54.0/23 172.31.228.0/24 10.0.0.0/12
northamerica-northeast1 172.16.16.0/23 172.31.247.0/24 10.0.0.0/12
northamerica-northeast2 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
northamerica-south1 172.16.68.0/23 172.31.221.0/24 10.0.0.0/12
southamerica-east1 172.16.18.0/23 172.31.246.0/24 10.0.0.0/12
southamerica-west1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
us-central1 172.16.20.0/23 172.31.245.0/24 10.0.0.0/12
us-east1 172.16.22.0/23 172.31.244.0/24 10.0.0.0/12
us-east4 172.16.24.0/23 172.31.243.0/24 10.0.0.0/12
us-east5 172.16.52.0/23 172.31.229.0/24 10.0.0.0/12
us-south1 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
us-west1 172.16.38.0/23 172.31.236.0/24 10.0.0.0/12
us-west2 172.16.34.0/23 172.31.238.0/24 10.0.0.0/12
us-west3 172.16.26.0/23 172.31.242.0/24 10.0.0.0/12
us-west4 172.16.28.0/23 172.31.241.0/24 10.0.0.0/12

(Opcional) Configure a conetividade com as APIs e os serviços Google

Em alternativa, pode querer encaminhar todo o tráfego para as APIs e os serviços Google através de vários endereços IP pertencentes ao domínio private.googleapis.com. Nesta configuração, o seu ambiente acede às APIs Google e aos serviços através de endereços IP apenas encaminháveis a partir de Google Cloud.

Se o seu ambiente de IP privado também usar os VPC Service Controls, use as instruções para ambientes com VPC Service Controls em alternativa.

Os ambientes do Cloud Composer usam os seguintes domínios:

  • *.googleapis.com é usado para aceder a outros serviços Google.

  • *.pkg.dev é usado para obter imagens de ambiente, como quando cria ou atualiza um ambiente.

  • *.gcr.io O GKE requer conetividade ao domínio do Container Registry, independentemente da versão do Cloud Composer.

Configure a conetividade ao ponto final private.googleapis.com:

Domínio Nome de DNS Registo CNAME Registo A
*.googleapis.com googleapis.com. Nome DNS: *.googleapis.com.
Tipo de registo de recurso: CNAME
Nome canónico: googleapis.com.
 Tipo de registo de recursos: A
Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10 e 199.36.153.11
*.pkg.dev pkg.dev. Nome DNS: *.pkg.dev.
Tipo de registo de recurso: CNAME
Nome canónico: pkg.dev.
 Tipo de registo de recursos: A
Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10 e 199.36.153.11
*.gcr.io gcr.io. Nome DNS: *.gcr.io.
Tipo de registo de recurso: CNAME
Nome canónico: gcr.io.
 Tipo de registo de recursos: A
Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10 e 199.36.153.11

Para criar uma regra de DNS:

  1. Crie uma nova zona DNS e use DNS name como nome DNS desta zona.

    Exemplo: pkg.dev.

  2. Adicione um conjunto de registos para o registo CNAME.

    Exemplo:

    • Nome de DNS: *.pkg.dev.
    • Tipo de registo de recurso: CNAME
    • Nome canónico: pkg.dev.

  3. Adicione um conjunto de registos com para registo A:

    Exemplo:

    • Tipo de registo de recurso: A
    • Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Para mais informações, consulte o artigo Configurar a conetividade privada às APIs e aos serviços Google.

(Opcional) Configure regras de firewall

Execute este passo apenas se o seu projeto tiver regras de firewall não predefinidas, como regras que substituam regras de firewall implícitas ou modifiquem regras pré-preenchidas na rede predefinida.

Por exemplo, o Cloud Composer pode não conseguir criar um ambiente se tiver uma regra de firewall que negue todo o tráfego de saída. Para evitar problemas, defina regras allowseletivas que seguem a lista e têm uma prioridade mais alta do que a regra denyglobal.

Configure a sua rede VPC para permitir o tráfego do seu ambiente:

Descrição Direção Ação Origem ou destino Protocolos Portas
DNS Saída Permitir Qualquer destino (0.0.0.0/0) ou endereços IP do servidor DNS TCP, UDP 53
APIs e serviços Google Saída Permitir Intervalo de endereços IP do domínio que escolheu para as APIs e os serviços Google. Consulte os endereços IP para domínios predefinidos se usar as predefinições. TCP 443
Nós de cluster do ambiente Saída Permitir Intervalo de endereços IP principal da sub-rede do ambiente TCP, UDP todos
Pods do cluster do ambiente Saída Permitir Intervalo de endereços IP secundários para pods na sub-rede do ambiente TCP, UDP todos
Plano de controlo do cluster do ambiente Saída Permitir Intervalo de IPs do plano de controlo do GKE TCP, UDP todos
Servidor Web Saída Permitir Intervalo de IP da rede do servidor Web TCP 3306, 3307

Para obter os intervalos de IP do cluster de ambientes:

  • Os intervalos de endereços de pods, serviços e planos de controlo estão disponíveis na página Clusters do cluster do seu ambiente:

    1. Na Google Cloud consola, aceda à página Ambientes.

      Aceder a Ambientes

    2. Na lista de ambientes, clique no nome do seu ambiente. É apresentada a página Detalhes do ambiente.

    3. Aceda ao separador Configuração do ambiente.

    4. Siga o link ver detalhes do cluster.

  • Pode ver o intervalo de IPs do servidor Web do ambiente no separador Configuração do ambiente.

  • Pode ver o ID da rede do ambiente no separador Configuração do ambiente. Para obter intervalos de IP para uma sub-rede, aceda à página Redes VPC e clique no nome da rede para ver os detalhes:

    Aceda a Redes VPC

Configuração do cluster nativo de VPC

O Cloud Composer suporta clusters do GKE nativos da VPC no seu ambiente.

Durante a criação do ambiente, pode ativar a VPC nativa (através do IP de alias) e configurar as redes, como a atribuição de IP, sem ativar o IP privado.

Uma vez que é necessário um cluster nativo da VPC para que as tarefas do Airflow comuniquem com outras VMs acessíveis através de IPs privados, também tem de ativar o modo nativo da VPC para configurar um ambiente de IP privado.

Configure variáveis do servidor proxy

Pode definir http_proxy e https_proxy variáveis de ambiente no seu ambiente. Estas variáveis Linux padrão são usadas por clientes Web que são executados em contentores do cluster do seu ambiente para encaminhar tráfego através dos proxies especificados.

Por predefinição, a variável NO_PROXY está definida para uma lista de domínios Google e localhost, para que sejam excluídos da utilização de proxy: .google.com,.googleapis.com,metadata.google.internal,localhost. Esta configuração permite criar um ambiente com variáveis de ambiente http_proxy e https_proxy definidas nos casos em que o proxy não está configurado para processar o tráfego para os serviços Google.

O que se segue?