Acessar clusters particulares do Google Kubernetes Engine com pools particulares do Cloud Build

---

Neste tutorial, descrevemos como acessar um cluster particular do Google Kubernetes Engine (GKE) usando pools particulares do Cloud Build. Esse acesso permite que você use o Cloud Build para implantar seu aplicativo em um cluster particular do GKE. Este tutorial é destinado a administradores de rede e é aplicável a todas as situações em que os pools particulares do Cloud Build precisam se comunicar com serviços executados em uma rede de nuvem privada virtual (VPC) com peering. Por exemplo, os workers do pool particular podem se comunicar com os seguintes serviços:

• Cluster particular do GKE
• Banco de dados do Cloud SQL
• Instância do Memorystore
• Instância do Compute Engine em execução em uma rede VPC diferente da que tem peering com o pool particular do Cloud Build

Os pools particulares do Cloud Build e os planos de controle do cluster do GKE são executados em redes VPC de propriedade do Google. Essas redes VPC têm peering com a sua própria rede VPC no Google Cloud. No entanto, o peering de rede VPC não é compatível com peering transitivo, o que pode representar uma restrição ao usar pools particulares do Cloud Build. Neste tutorial, apresentamos uma solução que usa o Cloud VPN para permitir que os workers em um pool particular do Cloud Build acessem o plano de controle de um cluster particular do GKE.

Neste tutorial, presumimos que você conheça o Google Kubernetes Engine, o Cloud Build, o comando gcloud, peering de rede VPC e Cloud VPN.

Visão geral da arquitetura

Quando você cria um cluster particular do GKE sem acesso de cliente ao endpoint público, os clientes só podem acessar o plano de controle do cluster do GKE usando o endereço IP particular. Clientes como kubectl só podem se comunicar com o plano de controle se forem executados em uma instância que tenha acesso à rede VPC e esteja em uma rede autorizada.

Se você quiser usar o Cloud Build para implantar seu aplicativo neste cluster particular do GKE, precisará usar pools particulares do Cloud Build para acessar os clusters do GKE. Os pools particulares são um conjunto de instâncias de worker executadas em um projeto do Google Cloud de propriedade do Google e que têm peering com a sua rede VPC usando uma conexão de peering de rede VPC. Nesta configuração, as instâncias de worker podem se comunicar com o endereço IP particular do plano de controle do cluster do GKE.

No entanto, o plano de controle de cluster do GKE também é executado em um projeto de propriedade do Google e está em peering com sua rede VPC usando uma conexão de peering. O peering de rede VPC não é compatível com o peering transitivo. Portanto, não é possível rotear os pacotes diretamente entre o pool particular do Cloud Build e o plano de controle do cluster do GKE.

Para permitir que as instâncias de worker do Cloud Build acessem o plano de controle do cluster do GKE, faça peering do pool particular e do plano do cluster do GKE com duas de suas redes VPC e conecte essas duas redes VPC que usam o Cloud VPN. Esse peering e essa conexão permitem que cada lado do túnel da VPC divulgue o pool particular e as redes do plano de controle do cluster do GKE, concluindo a rota.

O diagrama de arquitetura a seguir mostra os recursos usados neste tutorial:

Recomendamos a criação de todos os recursos usados neste tutorial na mesma região do Google Cloud para baixa latência. O túnel VPN pode atravessar duas regiões diferentes se essa comunicação entre regiões for necessária para sua própria implementação. Suas duas redes VPC também podem pertencer a projetos diferentes.

Objetivos

• Criar um cluster particular do GKE
• Configurar um pool particular do Cloud Build
• Criar uma conexão VPN de alta disponibilidade entre duas redes VPC
• Ativar o roteamento de pacotes em dois peerings de rede VPC e em uma conexão VPC

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

• Google Kubernetes Engine
• Cloud Build
• Cloud VPN

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Ao concluir as tarefas descritas neste documento, é possível evitar o faturamento contínuo excluindo os recursos criados. Saiba mais em Limpeza.

Antes de começar

1. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

2. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

3. Ative as APIs Cloud Build, Google Kubernetes Engine, and Service Networking.

   Ative as APIs

4. No Console do Google Cloud, ative o Cloud Shell.

   Ativar o Cloud Shell

   Na parte inferior do Console do Google Cloud, uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.

Como criar duas redes VPC no seu próprio projeto

Nesta seção, você cria duas redes VPC e uma sub-rede para os nós do cluster do GKE.

1. No Cloud Shell, crie a primeira rede VPC (chamada "Rede VPC de peering do pool particular" no diagrama anterior). Não é necessário criar sub-redes nesta rede.

   gcloud compute networks create PRIVATE_POOL_PEERING_VPC_NAME \
       --subnet-mode=CUSTOM
   

   Substitua PRIVATE_POOL_PEERING_VPC_NAME pelo nome da rede VPC para fazer peering com a rede de pool privado do Cloud Build.

2. Crie a segunda rede VPC (chamada "Rede VPC de peering do GKE" no diagrama anterior):

   gcloud compute networks create GKE_PEERING_VPC_NAME \
       --subnet-mode=CUSTOM
   

   Substitua GKE_PEERING_VPC_NAME pelo nome da rede VPC para fazer peering com o plano de controle do cluster do GKE.

3. Crie uma sub-rede para os nós do cluster do GKE:

   gcloud compute networks subnets create GKE_SUBNET_NAME \
       --network=GKE_PEERING_VPC_NAME \
       --range=GKE_SUBNET_RANGE \
       --region=REGION
   

   Substitua:

   • GKE_SUBNET_NAME: o nome da sub-rede que hospeda os nós do cluster do GKE.
   • GKE_PEERING_VPC_NAME: o nome da sua rede VPC para fazer peering com o plano de controle do cluster do GKE.
   • GKE_SUBNET_RANGE: o intervalo de endereços IP de GKE_SUBNET_NAME. Neste tutorial, use 10.244.252.0/22.
   • REGION: a região do Google Cloud que hospeda o cluster do GKE. Neste tutorial, use us-central1.

Você configurou duas redes VPC no próprio projeto e estão prontas para fazer peering com outros serviços.

Como criar um cluster particular do GKE

Nesta seção, você cria o cluster particular do GKE.

1. No Cloud Shell, crie um cluster do GKE sem acesso de cliente ao endpoint público do plano de controle.

   gcloud container clusters create PRIVATE_CLUSTER_NAME \
       --region=REGION \
       --enable-master-authorized-networks \
       --network=GKE_PEERING_VPC_NAME \
       --subnetwork=GKE_SUBNET_NAME \
       --enable-private-nodes \
       --enable-private-endpoint \
       --enable-ip-alias \
       --master-ipv4-cidr=CLUSTER_CONTROL_PLANE_CIDR
   

   Substitua:

   • PRIVATE_CLUSTER_NAME: o nome do cluster particular do GKE.
   • REGION: a região do cluster do GKE. Neste tutorial, use us-central1 para a região, a mesma que você usou para as redes VPC.
   • GKE_PEERING_VPC_NAME: o nome da sua rede VPC para fazer peering com o plano de controle do cluster do GKE.
   • GKE_SUBNET_RANGE: o intervalo de endereços IP de GKE_SUBNET_NAME. Neste tutorial, use 10.244.252.0/22.

   • CLUSTER_CONTROL_PLANE_CIDR: o intervalo de endereços IP do plano de controle do cluster do GKE. Ele precisa ter um prefixo /28. Neste tutorial, use 172.16.0.32/28.

     Observação: a sinalização "--enabled-private-endpoint" permite que o Cloud Build se conecte internamente ao cluster do GKE. Se você estiver criando o cluster do GKE no Console do Cloud, desmarque Acessar o plano de controle usando o endereço IP externo.

   Você criou um cluster particular do GKE que tem peering com a rede VPC no seu próprio projeto.

2. Recupere o nome do peering de rede VPC do cluster do GKE. Esse peering de rede VPC foi criado automaticamente quando você criou o cluster do GKE.

   export GKE_PEERING_NAME=$(gcloud container clusters describe PRIVATE_CLUSTER_NAME \
       --region=REGION \
       --format='value(privateClusterConfig.peeringName)')
   

   Substitua:

   • PRIVATE_CLUSTER_NAME: o nome do cluster particular do GKE.
   • REGION: a região do cluster do GKE. Neste tutorial, use us-central1 para a região, a mesma que você usou para as redes VPC.

3. Ative a exportação de rotas personalizadas para divulgar a rede de pool particular para o plano de controle do cluster do GKE:

   gcloud compute networks peerings update $GKE_PEERING_NAME \
       --network=GKE_PEERING_VPC_NAME \
       --export-custom-routes \
       --no-export-subnet-routes-with-public-ip
   

   Substitua GKE_PEERING_VPC_NAME pelo nome da sua rede VPC para fazer peering com o plano de controle do cluster do GKE.

   Para mais informações sobre rotas personalizadas, leia Como importar e exportar rotas personalizadas.

Como criar um pool particular do Cloud Build

Nesta seção, você cria o pool particular do Cloud Build.

1. No Cloud Shell, aloque um intervalo de endereços IP nomeado na rede VPC PRIVATE_POOL_PEERING_VPC_NAME para o pool privado do Cloud Build:

   gcloud compute addresses create RESERVED_RANGE_NAME \
       --global \
       --purpose=VPC_PEERING \
       --addresses=PRIVATE_POOL_NETWORK \
       --prefix-length=PRIVATE_POOL_PREFIX \
       --network=PRIVATE_POOL_PEERING_VPC_NAME
   

   Substitua:

   • RESERVED_RANGE_NAME: o nome do intervalo de endereços IP particulares que hospeda o pool particular do Cloud Build.
   • PRIVATE_POOL_NETWORK: o primeiro endereço IP de RESERVED_RANGE_NAME. Neste tutorial, use 192.168.0.0.
   • PRIVATE_POOL_PREFIX: o prefixo de RESERVED_RANGE_NAME. Cada pool particular usará /24 desse intervalo. Neste tutorial, é possível usar 20. Isso permite criar até 16 pools.
   • PRIVATE_POOL_PEERING_VPC_NAME: o nome da rede VPC para fazer peering com a rede do pool particular do Cloud Build.
   • O intervalo de IP é global porque, quando --purpose é VPC_PEERING, o intervalo de endereços IP nomeado precisa ser global.

2. Crie uma conexão particular entre a rede VPC que contém o pool privado do Cloud Build e PRIVATE_POOL_PEERING_VPC_NAME:

   gcloud services vpc-peerings connect \
       --service=servicenetworking.googleapis.com \
       --ranges=RESERVED_RANGE_NAME \
       --network=PRIVATE_POOL_PEERING_VPC_NAME
   

   Substitua:

   • RESERVED_RANGE_NAME: o nome do intervalo de endereços IP particulares que hospeda o pool particular do Cloud Build.
   • PRIVATE_POOL_PEERING_VPC_NAME: o nome da rede VPC para fazer peering com a rede do pool particular do Cloud Build.

3. Ative a exportação de rotas personalizadas para divulgar a rede do plano de controle de cluster do GKE para o pool privado:

   gcloud compute networks peerings update servicenetworking-googleapis-com \
       --network=PRIVATE_POOL_PEERING_VPC_NAME \
       --export-custom-routes \
       --no-export-subnet-routes-with-public-ip
   

   Substitua PRIVATE_POOL_PEERING_VPC_NAME pelo nome da rede VPC para fazer peering com a rede do pool particular do Cloud Build.

4. Crie um pool particular do Cloud Build que esteja em peering com PRIVATE_POOL_PEERING_VPC_NAME:

   gcloud builds worker-pools create PRIVATE_POOL_NAME \
      --region=REGION \
      --peered-network=projects/$GOOGLE_CLOUD_PROJECT/global/networks/PRIVATE_POOL_PEERING_VPC_NAME
   

   Substitua:

   • PRIVATE_POOL_NAME: o nome do pool particular do Cloud Build.
   • REGION: a região do cluster do GKE. Neste tutorial, use us-central1 para a região, a mesma que você usou para as redes VPC.

Você criou um pool particular do Cloud Build e fez o peering dele com a rede VPC no seu próprio projeto.

Como criar uma conexão do Cloud VPN entre as duas redes VPC

No seu próprio projeto, agora você tem uma rede VPC em peering com o pool particular do Cloud Build e uma segunda rede VPC em peering com o cluster particular do GKE.

Nesta seção, você cria uma conexão do Cloud VPN entre as duas redes VPC do seu projeto. Essa conexão conclui a rota e permite que os pools particulares do Cloud Build acessem o cluster do GKE.

1. No Cloud Shell, crie dois gateways de VPN de alta disponibilidade que se conectam. Para criar esses gateways, siga as instruções em Como criar dois gateways de VPN de alta disponibilidade que se interconectam. A configuração é concluída após a criação das sessões do BGP. Enquanto você estiver seguindo as instruções, use estes valores:

   • PRIVATE_POOL_PEERING_VPC_NAME para NETWORK_1
   • GKE_PEERING_VPC_NAME para NETWORK_2
   • REGION para REGION_1 e REGION_2

2. Configure cada uma das quatro sessões do BGP que você criou para anunciar as rotas para a rede VPC do pool particular e a rede VPC do plano de controle do cluster do GKE:

   gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
       --peer-name=PEER_NAME_GW1_IF0 \
       --region=REGION \
       --advertisement-mode=CUSTOM \
       --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX
   
   gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
       --peer-name=PEER_NAME_GW1_IF1 \
       --region=REGION \
       --advertisement-mode=CUSTOM \
       --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX
   
   gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
       --peer-name=PEER_NAME_GW2_IF0 \
       --region=REGION \
       --advertisement-mode=CUSTOM \
       --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR
   
   gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
       --peer-name=PEER_NAME_GW2_IF1 \
       --region=REGION \
       --advertisement-mode=CUSTOM \
       --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR
   

   Onde os seguintes valores são os mesmos nomes que você usou quando criou os dois gateways de VPN de alta disponibilidade:

   • ROUTER_NAME_1
   • PEER_NAME_GW1_IF0
   • PEER_NAME_GW1_IF1
   • ROUTER_NAME_2
   • PEER_NAME_GW2_IF0
   • PEER_NAME_GW2_IF1

Como ativar o acesso do Cloud Build ao plano de controle do cluster do GKE

Agora que você tem uma conexão VPN entre as duas redes VPC no projeto, ative o acesso do Cloud Build ao plano de controle do cluster do GKE.

1. No Cloud Shell, adicione o intervalo de rede do pool particular às redes autorizadas do plano de controle no GKE:

   gcloud container clusters update PRIVATE_CLUSTER_NAME \
       --enable-master-authorized-networks \
       --region=REGION \
       --master-authorized-networks=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX
   

   Substitua:

   • PRIVATE_CLUSTER_NAME: o nome do cluster particular do GKE.
   • REGION: a região do cluster do GKE. Neste tutorial, use us-central1 para a região, a mesma que você usou para as redes VPC.
   • PRIVATE_POOL_NETWORK: o primeiro endereço IP de RESERVED_RANGE_NAME. Neste tutorial, use 192.168.0.0.
   • PRIVATE_POOL_PREFIX: o prefixo de RESERVED_RANGE_NAME. Cada pool particular usará /24 desse intervalo. Neste tutorial, é possível usar 20. Isso permite criar até 16 pools.

2. Permita que a conta de serviço do Cloud Build acesse o plano de controle do cluster do GKE:

   export PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format 'value(projectNumber)')
   
   gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
       --member=serviceAccount:$[e-mail] \
       --role=roles/container.developer
   

Agora os pools particulares do Cloud Build podem acessar o plano de controle do cluster do GKE.

Como verificar a solução

Esta seção ajuda a verificar se a solução está funcionando. Para isso, você executará o comando kubectl get nodes em uma etapa de criação executada no pool particular.

1. No Cloud Shell, crie uma pasta temporária com um arquivo de configuração do Cloud Build que executa o comando kubectl get nodes:

   mkdir private-pool-test && cd private-pool-test
   
   cat > cloudbuild.yaml <<EOF
   steps:
   - name: "gcr.io/cloud-builders/kubectl"
     args: ['get', 'nodes']
     env:
     - 'CLOUDSDK_COMPUTE_REGION=REGION'
     - 'CLOUDSDK_CONTAINER_CLUSTER=PRIVATE_CLUSTER_NAME'
   options:
     workerPool:
       'projects/$GOOGLE_CLOUD_PROJECT/locations/REGION/workerPools/PRIVATE_POOL_NAME'
   EOF
   

   Substitua:

   • REGION: a região do cluster do GKE. Neste tutorial, use us-central1 para a região, a mesma que você usou para as redes VPC.
   • PRIVATE_CLUSTER_NAME: o nome do cluster particular do GKE.
   • PRIVATE_POOL_NAME: o nome do pool particular do Cloud Build.

2. Inicie o job de criação:

   gcloud builds submit --config=cloudbuild.yaml
   

3. Verifique se a saída é a lista de nós no cluster do GKE. O registro de criação mostrado no console inclui uma tabela semelhante a esta:

   NAME                                     STATUS   ROLES    AGE   VERSION
   gke-private-default-pool-3ec34262-7lq9   Ready    <none>   9d    v1.19.9-gke.1900
   gke-private-default-pool-4c517758-zfqt   Ready    <none>   9d    v1.19.9-gke.1900
   gke-private-default-pool-d1a885ae-4s9c   Ready    <none>   9d    v1.19.9-gke.1900
   

Agora você verificou que os workers do pool particular podem acessar o cluster do GKE. Esse acesso permite que você use o Cloud Build para implantar seu aplicativo neste cluster particular do GKE.

Solução de problemas

Se você tiver problemas com este tutorial, consulte os seguintes documentos:

• Solução de problemas da Cloud VPN
• Solução de problemas de peering de rede VPC
• Solução de problemas do cluster particular do GKE

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Excluir o projeto

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. No Console do Google Cloud, acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Excluir recursos individuais

1. No Cloud Shell, exclua o cluster do GKE:

   gcloud container clusters delete PRIVATE_CLUSTER_NAME \
       --region=REGION \
       --async
   

   Quando você executa esse comando, o peering de redes VPC é excluído automaticamente.

2. Exclua o pool particular do Cloud Build:

   gcloud builds worker-pools delete PRIVATE_POOL_NAME \
       --region=REGION
   

3. Exclua a conexão particular entre a rede VPC do produtor de serviços e PRIVATE_POOL_PEERING_VPC_NAME:

   gcloud services vpc-peerings delete \
      --network=PRIVATE_POOL_PEERING_VPC_NAME \
      --async
   

4. Exclua o intervalo de endereços IP nomeado usado para o pool particular:

   gcloud compute addresses delete RESERVED_RANGE_NAME \
       --global
   

5. Exclua os quatro túneis de VPN. Use os mesmos nomes especificados em Criar túneis de VPN.

   gcloud compute vpn-tunnels delete \
       TUNNEL_NAME_GW1_IF0 \
       TUNNEL_NAME_GW1_IF1 \
       TUNNEL_NAME_GW2_IF0 \
       TUNNEL_NAME_GW2_IF1 \
       --region=REGION
   

6. Exclua os dois Cloud Routers. Use os mesmos nomes especificados em Criar roteadores do Cloud Router.

   gcloud compute routers delete \
       ROUTER_NAME_1 \
       ROUTER_NAME_2 \
       --region=REGION
   

7. Exclua os dois gateways de VPN. Use os mesmos nomes que você especificou em Criar os gateways de VPN de alta disponibilidade.

   gcloud compute vpn-gateways delete \
       GW_NAME_1 \
       GW_NAME_2 \
       --region=REGION
   

8. Exclua GKE_SUBNET_NAME: a sub-rede que hospeda os nós do cluster do GKE:

   gcloud compute networks subnets delete GKE_SUBNET_NAME \
       --region=REGION
   

9. Exclua as duas redes VPC PRIVATE_POOL_PEERING_VPC_NAME e GKE_PEERING_VPC_NAME:

   gcloud compute networks delete \
       PRIVATE_POOL_PEERING_VPC_NAME \
       GKE_PEERING_VPC_NAME
   

A seguir

• Saiba como executar builds em um pool particular.
• Execute um proxy no cluster particular do GKE que tenha acesso ao plano de controle.
• Saiba como fazer uma implantação no GKE a partir do Cloud Build.
• Teste outros recursos do Google Cloud. Veja outros tutoriais.