Configure redes IP privadas

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página fornece informações sobre a configuração da Google Cloud rede do projeto para ambientes de IP privado.

Para ambientes de IP privado, o Cloud Composer atribui apenas endereços IP privados (RFC 1918) às VMs do Google Kubernetes Engine e do Cloud SQL geridas no seu ambiente.

Em alternativa, também pode usar endereços IP públicos usados de forma privada e o agente de máscara de IP para poupar espaço de endereços IP e usar endereços não RFC 1918.

Para obter informações sobre a ligação a recursos no seu ambiente, consulte o artigo IP privado.

Ambientes com Private Service Connect e interligações de VPCs

Por predefinição, o Cloud Composer 2 usa o Private Service Connect, para que os seus ambientes de IP privado comuniquem internamente sem usar as interligações de VPC, a menos que especifique o contrário quando criar o seu ambiente.

Recomendamos a utilização de ambientes com o Private Service Connect se não tiver um requisito específico para usar ambientes com interligações de VPC.

Antes de começar

• Certifique-se de que tem as autorizações de utilizador e de conta de serviço adequadas para criar um ambiente.
• Verifique se não estão definidas políticas organizacionais incompatíveis no seu projeto.

Verifique os requisitos de rede

Verifique se a rede VPC do seu projeto cumpre os seguintes requisitos:

• Certifique-se de que não existem conflitos de bloqueio de IP privado. Se a sua rede VPC e os respetivos pares VPC estabelecidos tiverem blocos de IP sobrepostos com a rede VPC no projeto de inquilino gerido pela Google, o Cloud Composer não pode criar o seu ambiente. Consulte a tabela de intervalos de IP predefinidos para ver as predefinições usadas em cada região.

• Certifique-se de que existem intervalos de IPs secundários suficientes para os pods e os serviços do GKE do Cloud Composer. O GKE pesquisa intervalos de IP secundários para o IP Aliasing. Se o GKE não conseguir encontrar um intervalo, o Cloud Composer não consegue criar o seu ambiente.

• Certifique-se de que o número de intervalos secundários na sua sub-rede não excede 30. Considere o seguinte:

  • O cluster do GKE para o seu ambiente de IP privado cria dois intervalos secundários na sub-rede. Pode criar várias sub-redes na mesma região para a mesma rede VPC.
  • O número máximo de intervalos secundários suportados é 30. Cada ambiente de IP privado requer dois intervalos secundários para os serviços e os pods do GKE do Cloud Composer.

• Certifique-se de que a rede do seu projeto pode acomodar o limite no número máximo de ligações a uma única rede VPC. O número máximo de ambientes de IP privado que pode criar depende do número de ligações de peering de VPC já existentes na sua rede de VPC.

  • Cada ambiente de IP privado com PSC usa um peering de VPC por ambiente. Esta interligação de VPC é criada pelo cluster do GKE do seu ambiente e os clusters do GKE podem reutilizar esta ligação. Para ambientes de IP privado com PSC, cada localização pode suportar um máximo de 75 clusters privados.

  • Cada ambiente de IP privado com interligações de VPC usa, no máximo, duas interligações de VPC por ambiente. O Cloud Composer cria um peering de VPC para a rede do projeto de inquilino. A segunda interligação é criada pelo cluster do GKE do seu ambiente e os clusters do GKE podem reutilizar esta ligação.

Escolha uma rede, uma sub-rede e intervalos de rede

Escolha os intervalos de rede para o seu ambiente de IP privado (ou use os predefinidos). Vai usar estes intervalos de rede mais tarde quando criar um ambiente de IP privado.

Para criar um ambiente de IP privado, tem de ter as seguintes informações:

• O ID da sua rede de VPC
• O ID da sua sub-rede de VPC
• Dois intervalos de IP secundários na sua sub-rede VPC:
  • Intervalo de IPs secundário para pods
  • Intervalo de IP secundário para serviços

• Intervalos de IP para os componentes do ambiente:

  Se o seu ambiente usar o Private Service Connect:

  • Intervalo de IPs do plano de controlo do GKE. Intervalo de IPs para o plano de controlo do GKE.

    Se especificar o intervalo de IPs do plano do GKE para um ambiente, o GKE cria uma nova sub-rede neste intervalo para aprovisionar o endereço IP para comunicação com o plano de controlo do GKE. Caso contrário, usa a sub-rede especificada no intervalo de sub-redes da ligação do Cloud Composer.

  • Sub-rede de ligação do Cloud Composer. Intervalo de IP para a sub-rede de ligação do Cloud Composer. Pode especificar um intervalo de apenas dois endereços IP. Este intervalo pode ser usado por vários ambientes no seu projeto. Por predefinição, este intervalo é a sub-rede do ambiente (ID da sub-rede de VPC).

  Se o seu ambiente usar interligações de VPC:

  • Intervalo de IPs do plano de controlo do GKE. Intervalo de IPs para o plano de controlo do GKE.
  • Intervalo de IP para a rede de inquilinos do Cloud Composer. Intervalo de IP para a rede do inquilino do Cloud Composer. Esta rede aloja o componente de proxy SQL do seu ambiente.

  • Intervalo de IPs do Cloud SQL. Intervalo de IPs para a instância do Cloud SQL.

    Aviso: o intervalo 172.17.0.0/16está reservado no Cloud SQL.

Consulte a tabela de intervalos de IP predefinidos para ver as predefinições usadas em cada região.

Intervalos de IP predefinidos

Ambientes com o Private Service Connect

Nota: se usar um intervalo de IPs do plano de controlo do GKE personalizado, verifique se não se sobrepõe ao intervalo dos pontos finais do PSC (sub-rede de ligação do Cloud Composer).

Região	Intervalo de IPs do plano de controlo do GKE
africa-south1	172.16.64.0/23
asia-east1	172.16.42.0/23
asia-east2	172.16.0.0/23
asia-northeast1	172.16.2.0/23
asia-northeast2	172.16.32.0/23
asia-northeast3	172.16.30.0/23
asia-south1	172.16.4.0/23
ásia-sul2	172.16.50.0/23
asia-southeast1	172.16.40.0/23
ásia-sudeste2	172.16.44.0/23
austrália-sudeste1	172.16.6.0/23
austrália-sudeste2	172.16.56.0/23
europe-central2	172.16.36.0/23
europe-north1	172.16.48.0/23
europe-southwest1	172.16.58.0/23
europe-west1	172.16.8.0/23
europe-west10	172.16.62.0/23
europe-west12	172.16.62.0/23
europe-west2	172.16.10.0/23
europe-west3	172.16.12.0/23
europe-west4	172.16.42.0/23
europe-west6	172.16.14.0/23
europe-west8	172.16.60.0/23
europe-west9	172.16.46.0/23
me-central1	172.16.58.0/23
me-central2	172.16.64.0/23
me-west1	172.16.54.0/23
northamerica-northeast1	172.16.16.0/23
northamerica-northeast2	172.16.46.0/23
northamerica-south1	172.16.68.0/23
southamerica-east1	172.16.18.0/23
southamerica-west1	172.16.58.0/23
us-central1	172.16.20.0/23
us-east1	172.16.22.0/23
us-east4	172.16.24.0/23
us-east5	172.16.52.0/23
us-south1	172.16.56.0/23
us-west1	172.16.38.0/23
us-west2	172.16.34.0/23
us-west3	172.16.26.0/23
us-west4	172.16.28.0/23

Ambientes com intercâmbios de VPCs

Região	Intervalo de IPs do plano de controlo do GKE	Intervalo de IP da rede de inquilinos do Cloud Composer	Intervalo de IP do Cloud SQL
africa-south1	172.16.64.0/23	172.31.223.0/24	10.0.0.0/12
asia-east1	172.16.42.0/23	172.31.255.0/24	10.0.0.0/12
asia-east2	172.16.0.0/23	172.31.255.0/24	10.0.0.0/12
asia-northeast1	172.16.2.0/23	172.31.254.0/24	10.0.0.0/12
asia-northeast2	172.16.32.0/23	172.31.239.0/24	10.0.0.0/12
asia-northeast3	172.16.30.0/23	172.31.240.0/24	10.0.0.0/12
asia-south1	172.16.4.0/23	172.31.253.0/24	10.0.0.0/12
ásia-sul2	172.16.50.0/23	172.31.230.0/24	10.0.0.0/12
asia-southeast1	172.16.40.0/23	172.31.235.0/24	10.0.0.0/12
ásia-sudeste2	172.16.44.0/23	172.31.233.0/24	10.0.0.0/12
austrália-sudeste1	172.16.6.0/23	172.31.252.0/24	10.0.0.0/12
austrália-sudeste2	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
europe-central2	172.16.36.0/23	172.31.237.0/24	10.0.0.0/12
europe-north1	172.16.48.0/23	172.31.231.0/24	10.0.0.0/12
europe-southwest1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
europe-west1	172.16.8.0/23	172.31.251.0/24	10.0.0.0/12
europe-west10	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west12	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west2	172.16.10.0/23	172.31.250.0/24	10.0.0.0/12
europe-west3	172.16.12.0/23	172.31.249.0/24	10.0.0.0/12
europe-west4	172.16.42.0/23	172.31.234.0/24	10.0.0.0/12
europe-west6	172.16.14.0/23	172.31.248.0/24	10.0.0.0/12
europe-west8	172.16.60.0/23	172.31.225.0/24	10.0.0.0/12
europe-west9	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
me-central1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
me-central2	172.16.64.0/23	172.31.223.0/24	10.0.0.0/12
me-west1	172.16.54.0/23	172.31.228.0/24	10.0.0.0/12
northamerica-northeast1	172.16.16.0/23	172.31.247.0/24	10.0.0.0/12
northamerica-northeast2	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
northamerica-south1	172.16.68.0/23	172.31.221.0/24	10.0.0.0/12
southamerica-east1	172.16.18.0/23	172.31.246.0/24	10.0.0.0/12
southamerica-west1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
us-central1	172.16.20.0/23	172.31.245.0/24	10.0.0.0/12
us-east1	172.16.22.0/23	172.31.244.0/24	10.0.0.0/12
us-east4	172.16.24.0/23	172.31.243.0/24	10.0.0.0/12
us-east5	172.16.52.0/23	172.31.229.0/24	10.0.0.0/12
us-south1	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
us-west1	172.16.38.0/23	172.31.236.0/24	10.0.0.0/12
us-west2	172.16.34.0/23	172.31.238.0/24	10.0.0.0/12
us-west3	172.16.26.0/23	172.31.242.0/24	10.0.0.0/12
us-west4	172.16.28.0/23	172.31.241.0/24	10.0.0.0/12

(Opcional) Configure a conetividade com as APIs e os serviços Google

Em alternativa, pode querer encaminhar todo o tráfego para as APIs e os serviços Google através de vários endereços IP pertencentes ao domínio private.googleapis.com. Nesta configuração, o seu ambiente acede às APIs Google e aos serviços através de endereços IP apenas encaminháveis a partir de Google Cloud.

Se o seu ambiente de IP privado também usar os VPC Service Controls, use as instruções para ambientes com VPC Service Controls em alternativa.

Os ambientes do Cloud Composer usam os seguintes domínios:

• *.googleapis.com é usado para aceder a outros serviços Google.

• *.composer.cloud.google.com é usado para tornar o servidor Web do Airflow do seu ambiente acessível. Esta regra tem de ser aplicada antes de criar um ambiente.

  • Em alternativa, pode criar uma regra para uma região específica. Para o fazer, use REGION.composer.cloud.google.com. Substitua REGION pela região onde o ambiente está localizado, por exemplo, us-central1.

• (Opcional) *.composer.googleusercontent.com é usado quando acede ao servidor Web do Airflow do seu ambiente. Esta regra só é necessária se aceder ao servidor Web do Airflow a partir de uma instância executada na rede VPC e não é necessária de outra forma. Um cenário comum para esta regra é quando quer chamar a API REST do Airflow a partir da rede da VPC.

  • Em alternativa, pode criar uma regra para um ambiente específico. Para o fazer, use ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com . Substitua ENVIRONMENT_WEB_SERVER_NAME pela parte única do URL da IU do Airflow do seu ambiente, por exemplo, bffe6ce6c4304c55acca0e57be23128c-dot-us-central1.

• *.pkg.dev é usado para obter imagens de ambiente, como quando cria ou atualiza um ambiente.

• *.gcr.io O GKE requer conetividade ao domínio do Container Registry, independentemente da versão do Cloud Composer.

Nota: se não configurar regras de DNS para as APIs e os serviços Google, estas são resolvidas através da opção de domínio para domínios predefinidos.

Configure a conetividade ao ponto final private.googleapis.com:

Domínio	Nome de DNS	Registo CNAME	Registo A
*.googleapis.com	googleapis.com.	Nome DNS: *.googleapis.com. Tipo de registo de recurso: CNAME Nome canónico: googleapis.com.	Tipo de registo de recursos: A Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10 e 199.36.153.11
*.composer.cloud.google.com	composer.cloud.google.com.	Nome DNS: *.composer.cloud.google.com. Tipo de registo de recurso: CNAME Nome canónico: composer.cloud.google.com.	Tipo de registo de recursos: A Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10 e 199.36.153.11
*.composer.googleusercontent.com (opcional, consulte a descrição)	composer.googleusercontent.com.	Nome DNS: *.composer.googleusercontent.com. Tipo de registo de recurso: CNAME Nome canónico: composer.googleusercontent.com.	Tipo de registo de recursos: A Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10 e 199.36.153.11
*.pkg.dev	pkg.dev.	Nome DNS: *.pkg.dev. Tipo de registo de recurso: CNAME Nome canónico: pkg.dev.	Tipo de registo de recursos: A Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10 e 199.36.153.11
*.gcr.io	gcr.io.	Nome DNS: *.gcr.io. Tipo de registo de recurso: CNAME Nome canónico: gcr.io.	Tipo de registo de recursos: A Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10 e 199.36.153.11

Para criar uma regra de DNS:

1. Crie uma nova zona DNS e use DNS name como nome DNS desta zona.

   Exemplo: pkg.dev.

2. Adicione um conjunto de registos para o registo CNAME.

   Exemplo:

   • Nome de DNS: *.pkg.dev.
   • Tipo de registo de recurso: CNAME
   • Nome canónico: pkg.dev.

3. Adicione um conjunto de registos com para registo A:

   Exemplo:

   • Tipo de registo de recurso: A
   • Endereços IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Para mais informações, consulte o artigo Configurar a conetividade privada às APIs e aos serviços Google.

(Opcional) Configure regras de firewall

Execute este passo apenas se o seu projeto tiver regras de firewall não predefinidas, como regras que substituam regras de firewall implícitas ou modifiquem regras pré-preenchidas na rede predefinida.

Por exemplo, o Cloud Composer pode não conseguir criar um ambiente se tiver uma regra de firewall que negue todo o tráfego de saída. Para evitar problemas, defina regras allowseletivas que seguem a lista e têm uma prioridade mais alta do que a regra denyglobal.

Importante: consoante a forma como as regras da firewall estão configuradas no seu projeto, a seguinte lista de regras pode ser redundante. Por exemplo, se as regras da firewall bloquearem apenas a entrada, não precisa das regras de saída indicadas.

Configure a sua rede VPC para permitir o tráfego do seu ambiente:

• Consulte o artigo Usar regras de firewall para saber como verificar, adicionar e atualizar regras para a sua rede de VPC.
• Use a ferramenta de conetividade para validar a conetividade entre intervalos de IP.
• Pode usar etiquetas de rede para limitar ainda mais o acesso. Pode definir estas etiquetas quando cria um ambiente.

Descrição	Direção	Ação	Origem ou destino	Protocolos	Portas
DNS	Saída	Permitir	Qualquer destino (0.0.0.0/0) ou endereços IP do servidor DNS	TCP, UDP	53
APIs e serviços Google	Saída	Permitir	Intervalo de endereços IP do domínio que escolheu para as APIs e os serviços Google. Consulte os endereços IP para domínios predefinidos se usar as predefinições.	TCP	443
Nós de cluster do ambiente	Saída	Permitir	Intervalo de endereços IP principal da sub-rede do ambiente	TCP, UDP	todos
Pods do cluster do ambiente	Saída	Permitir	Intervalo de endereços IP secundários para pods na sub-rede do ambiente	TCP, UDP	todos
Plano de controlo do cluster do ambiente	Saída	Permitir	Intervalo de IPs do plano de controlo do GKE	TCP, UDP	todos
(Se o seu ambiente usar o Private Service Connect) Sub-rede de ligação	Saída	Permitir	Intervalo da sub-rede de ligação do Cloud Composer	TCP	3306, 3307
(Se o seu ambiente usar interligações de VPC) Rede de inquilino	Saída	Permitir	Intervalo de IP da rede de inquilinos do Cloud Composer	TCP	3306, 3307

Aviso: o serviço GKE cria automaticamente várias regras de firewall de entrada e saída para que o cluster do seu ambiente funcione corretamente (como regras de entrada e saída para Google Cloud verificações de estado). Consulte a página Regras de firewall do GKE para mais informações e não elimine nem bloqueie regras de firewall criadas pelos serviços do GKE. Pode ver que o seu ambiente comunica com o intervalo de IP 34.126.0.0/18, que é um intervalo de IP do acesso privado da Google. Este tráfego pertence ao serviço GKE usado pelo cluster do ambiente.

Para obter os intervalos de IP do cluster de ambientes:

• Os intervalos de endereços de pods, serviços e planos de controlo estão disponíveis na página Clusters do cluster do seu ambiente:

  1. Na Google Cloud consola, aceda à página Ambientes.

     Aceder a Ambientes

  2. Na lista de ambientes, clique no nome do seu ambiente. É apresentada a página Detalhes do ambiente.

  3. Aceda ao separador Configuração do ambiente.

  4. Siga o link ver detalhes do cluster.

• Pode ver o intervalo de IPs da rede do inquilino do Cloud Composer do ambiente no separador Configuração do ambiente.

• Pode ver o ID da sub-rede do ambiente e o ID da sub-rede de ligação do Cloud Composer no separador Configuração do ambiente. Para obter intervalos de IP para uma sub-rede, aceda à página Redes VPC e clique no nome da rede para ver os detalhes:

  Aceda a Redes VPC

Configure variáveis do servidor proxy

Importante: o encaminhamento com variáveis de proxy é feito com base no melhor esforço. Não existe garantia de que todos os pedidos passem pelo proxy. Em alternativa, recomendamos que encaminhe o tráfego criando o seu ambiente numa rede de VPC e configurando regras de encaminhamento de tráfego nesta rede.

Pode definir http_proxy e https_proxy variáveis de ambiente no seu ambiente. Estas variáveis Linux padrão são usadas por clientes Web que são executados em contentores do cluster do seu ambiente para encaminhar tráfego através dos proxies especificados.

Por predefinição, a variável NO_PROXY está definida para uma lista de domínios Google e localhost, para que sejam excluídos da utilização de proxy: .google.com,.googleapis.com,metadata.google.internal,localhost. Esta configuração permite criar um ambiente com variáveis de ambiente http_proxy e https_proxy definidas nos casos em que o proxy não está configurado para processar o tráfego para os serviços Google.

O que se segue?

• Associe um ambiente a uma rede de VPC
• [Configure o acesso à Internet ao instalar pacotes PyPI][cc-packages-internet-access]