Questo tutorial descrive come accedere a un cluster privato Google Kubernetes Engine (GKE) utilizzando i pool privati di Cloud Build. Questo accesso ti consente di utilizzare Cloud Build per eseguire il deployment dell'applicazione su un cluster GKE privato. Questo tutorial è destinato a amministratori di rete ed è applicabile a tutte le situazioni I pool privati di Cloud Build devono comunicare con i servizi in esecuzione in una rete Virtual Private Cloud (VPC) in peering. Ad esempio, i worker del pool privato potrebbero comunicare seguenti servizi:
- Cluster GKE privato
- Database Cloud SQL
- Istanza di Memorystore
- Istanza Compute Engine in esecuzione in un VPC diverso rispetto a quella in peering con il pool privato di Cloud Build
nei pool privati di Cloud Build Piani di controllo dei cluster GKE entrambi vengono eseguiti in reti VPC di proprietà di Google. Queste reti VPC sono connesse in peering al tuo VPC su Google Cloud. Tuttavia, il peering di rete VPC non supporta il peering transitivo, che può essere una limitazione quando si utilizzano i pool privati di Cloud Build. Questo tutorial presenta una soluzione che utilizza Cloud VPN per consentire ai worker in un pool privato di Cloud Build per accedere al piano di controllo in un cluster GKE privato.
Questo tutorial presuppone la conoscenza di Google Kubernetes Engine,
Cloud Build, il comando gcloud
, il peering di rete VPC
o Cloud VPN.
Panoramica dell'architettura
Quando crei un cluster GKE privato senza accesso dei client all'endpoint pubblico, i client possono accedere al
piano di controllo del cluster GKE
solo utilizzando il suo
indirizzo IP privato.
I client come kubectl
possono comunicare solo con il piano di controllo
se vengono eseguite su un'istanza che ha accesso alla rete VPC
e si trova
rete autorizzata.
Se vuoi utilizzare Cloud Build per eseguire il deployment della tua applicazione su questo cluster GKE privato, devi utilizzare i pool privati di Cloud Build per accedere ai cluster GKE. I pool privati sono un insieme di istanze worker eseguite in un progetto Google Cloud di proprietà di Google e connesse in peering una rete VPC utilizzando una connessione di peering di rete VPC. In questo le istanze worker possono comunicare con l'IP privato del piano di controllo del cluster GKE.
Tuttavia, il piano di controllo del cluster GKE viene eseguito anche in un progetto di proprietà di Google e si connette alla tua rete VPC utilizzando Private Service Connect (PSC). Il peering di rete VPC non supporta il peering transitivo, quindi non è possibile instradare i pacchetti direttamente tra Cloud Build il pool privato e il piano di controllo del cluster GKE.
Per consentire alle istanze di lavoro di Cloud Build di accedere al piano di controllo del cluster GKE, puoi eseguire il peering del pool privato e utilizzare PSC per connettere il piano di controllo del cluster GKE a due reti VPC di tua proprietà, quindi connettere queste due reti VPC utilizzando Cloud VPN. Questo tipo di peering consente a ciascun lato del tunnel VPC di pubblicizzare pool privato e cluster GKE dalle reti del piano di controllo, completando così il percorso.
Il seguente diagramma di architettura mostra le risorse utilizzate in questo tutorial:
Ti consigliamo di creare nella stessa risorsa tutte le risorse utilizzate in questo tutorial Regione Google Cloud per bassa latenza. Il tunnel VPN può attraversare due regioni diverse se questa comunicazione interregionale è necessaria per la tua implementazione. Le due reti VPC di tua proprietà possono anche appartenere a progetti diversi.
Obiettivi
- Crea un cluster GKE privato.
- Configurare un pool privato di Cloud Build.
- Crea una VPN ad alta disponibilità connessione tra due reti VPC.
- Abilita il routing dei pacchetti tra due peering di rete VPC e un una connessione VPC.
Costi
In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:
Per generare una stima dei costi basata sull'utilizzo previsto,
utilizza il Calcolatore prezzi.
Una volta completate le attività descritte in questo documento, puoi evitare la fatturazione continua eliminando le risorse che hai creato. Per ulteriori informazioni, consulta la pagina Pulizia.
Prima di iniziare
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Build, Google Kubernetes Engine, and Service Networking APIs.
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Creazione di due reti VPC nel tuo progetto
In questa sezione crei due reti VPC e una subnet per i nodi del cluster GKE.
In Cloud Shell, crea la prima rete VPC (denominata "Rete VPC peering di pool privati" nel nel diagramma precedente). Non è necessario creare subnet in questa rete.
gcloud compute networks create PRIVATE_POOL_PEERING_VPC_NAME \ --subnet-mode=CUSTOM
Sostituisci PRIVATE_POOL_PEERING_VPC_NAME con il nome della tua rete VPC per essere connesso in peering Rete di pool privato di Cloud Build.
Crea la seconda rete VPC (chiamata "Rete VPC del cluster GKE" nel diagramma precedente):
gcloud compute networks create GKE_CLUSTER_VPC_NAME \ --subnet-mode=CUSTOM
Sostituisci GKE_CLUSTER_VPC_NAME con il nome del tuo dalla rete VPC per eseguire il peering dal piano di controllo del cluster GKE.
Crea una sottorete per i nodi del cluster GKE:
gcloud compute networks subnets create GKE_SUBNET_NAME \ --network=GKE_CLUSTER_VPC_NAME \ --range=GKE_SUBNET_RANGE \ --region=REGION
Sostituisci quanto segue:
- GKE_SUBNET_NAME: il nome della sottorete destinada ad ospitare i nodi del cluster GKE.
- GKE_CLUSTER_VPC_NAME: il nome della rete VPC da connettere al control plane del cluster GKE.
- GKE_SUBNET_RANGE: l'intervallo di indirizzi IP di
GKE_SUBNET_NAME. Per questo tutorial, puoi utilizzare
10.244.252.0/22
. - REGION: la regione Google Cloud che ospita
nel cluster GKE. In questo tutorial, puoi:
usa
us-central1
.
Ora hai configurato due reti VPC nel tuo progetto e queste sono pronte per il peering con altri servizi.
Creazione di un cluster GKE privato
In questa sezione creerai il cluster GKE privato.
In Cloud Shell, crea un cluster GKE senza accesso client all'endpoint pubblico del piano di controllo.
gcloud container clusters create PRIVATE_CLUSTER_NAME \ --region=REGION \ --enable-master-authorized-networks \ --network=GKE_CLUSTER_VPC_NAME \ --subnetwork=GKE_SUBNET_NAME \ --enable-private-nodes \ --enable-private-endpoint \ --enable-ip-alias \ --master-ipv4-cidr=CLUSTER_CONTROL_PLANE_CIDR
Sostituisci quanto segue:
- PRIVATE_CLUSTER_NAME: il nome del cluster GKE privato.
- REGION: la regione per
cluster GKE. In questo tutorial, utilizza
us-central1
per la regione, la stessa utilizzata per le reti VPC. - GKE_CLUSTER_VPC_NAME: il nome della rete VPC da connettere al control plane del cluster GKE.
- GKE_SUBNET_RANGE: l'intervallo di indirizzi IP di
GKE_SUBNET_NAME. Per questo tutorial, puoi utilizzare
10.244.252.0/22
. CLUSTER_CONTROL_PLANE_CIDR: l'intervallo di indirizzi IP del control plane del cluster GKE. it deve avere un prefisso
/28
. Per questo tutorial, utilizza172.16.0.32/28
.
Ora hai creato un cluster GKE privato.
Configura il peering di rete VPC per GKE 1.28 e versioni precedenti
Se utilizzi questo tutorial per configurare un cluster esistente che esegue GKE nella versione 1.28 o precedente, la tua rete VPC privata utilizza il peering di rete VPC per connettersi al cluster GKE. Completa le seguenti informazioni passaggi:
Recupera il nome del peering della rete VPC del cluster GKE. Questo peering di rete VPC è stato creato automaticamente quando hai creato il cluster GKE.
export GKE_PEERING_NAME=$(gcloud container clusters describe PRIVATE_CLUSTER_NAME \ --region=REGION \ --format='value(privateClusterConfig.peeringName)')
Sostituisci quanto segue:
- PRIVATE_CLUSTER_NAME: il nome del cluster GKE privato.
- REGION: la regione per il
cluster GKE. In questo tutorial, utilizza
us-central1
per la regione, la stessa utilizzata per le reti VPC.
Abilita l'esportazione di route personalizzate per pubblicizzare il pool privato al piano di controllo del cluster GKE:
gcloud compute networks peerings update $GKE_PEERING_NAME \ --network=GKE_CLUSTER_VPC_NAME \ --export-custom-routes \ --no-export-subnet-routes-with-public-ip
Sostituisci GKE_CLUSTER_VPC_NAME con il nome della rete VPC per connetterti al piano di controllo del cluster GKE.
Per ulteriori informazioni sulle route personalizzate, puoi leggere Importazione ed esportazione di route personalizzate.
Creazione di un pool privato di Cloud Build
In questa sezione crei il pool privato di Cloud Build.
In Cloud Shell, alloca un intervallo di indirizzi IP denominato nella rete VPC PRIVATE_POOL_PEERING_VPC_NAME per il pool privato di Cloud Build:
gcloud compute addresses create RESERVED_RANGE_NAME \ --global \ --purpose=VPC_PEERING \ --addresses=PRIVATE_POOL_NETWORK \ --prefix-length=PRIVATE_POOL_PREFIX \ --network=PRIVATE_POOL_PEERING_VPC_NAME
Sostituisci quanto segue:
- RESERVED_RANGE_NAME: il nome del privato Intervallo di indirizzi IP che ospita il pool privato di Cloud Build.
- PRIVATE_POOL_NETWORK: il primo indirizzo IP di
RESERVED_RANGE_NAME. Per questo tutorial, puoi utilizzare
192.168.0.0
. - PRIVATE_POOL_PREFIX: il prefisso di
RESERVED_RANGE_NAME. Ogni pool privato creato utilizzerà
/24
di questo intervallo. Per questo tutorial, puoi utilizzare20
; in questo modo puoi creare fino a sedici pool. - PRIVATE_POOL_PEERING_VPC_NAME: il nome della rete VPC da mettere in coppia con la rete del pool privato di Cloud Build.
- L'intervallo IP è
global
perché quando--purpose
èVPC_PEERING
l'intervallo di indirizzi IP denominato deve essereglobal
.
Crea una connessione privata tra la rete VPC che contiene il pool privato di Cloud Build ePRIVATE_POOL_PEERING_VPC_NAME:
gcloud services vpc-peerings connect \ --service=servicenetworking.googleapis.com \ --ranges=RESERVED_RANGE_NAME \ --network=PRIVATE_POOL_PEERING_VPC_NAME
Sostituisci quanto segue:
- RESERVED_RANGE_NAME: il nome del privato Intervallo di indirizzi IP che ospita il pool privato di Cloud Build.
- PRIVATE_POOL_PEERING_VPC_NAME: il nome del tuo Rete VPC per il peering con Cloud Build privata di pool.
Attiva l'esportazione di route personalizzate per pubblicizzare il Rete del piano di controllo del cluster GKE al pool privato:
gcloud compute networks peerings update servicenetworking-googleapis-com \ --network=PRIVATE_POOL_PEERING_VPC_NAME \ --export-custom-routes \ --no-export-subnet-routes-with-public-ip
Sostituisci PRIVATE_POOL_PEERING_VPC_NAME con il nome di della tua rete VPC per essere connesso in peering con Cloud Build privata di pool.
Crea un pool privato di Cloud Build in peering con PRIVATE_POOL_PEERING_VPC_NAME:
gcloud builds worker-pools create PRIVATE_POOL_NAME \ --region=REGION \ --peered-network=projects/$GOOGLE_CLOUD_PROJECT/global/networks/PRIVATE_POOL_PEERING_VPC_NAME
Sostituisci quanto segue:
- PRIVATE_POOL_NAME: il nome del Pool privato di Cloud Build.
- REGION: la regione per
cluster GKE. In questo tutorial, utilizza
us-central1
per la regione, la stessa che hai utilizzato per reti VPC.
Ora hai creato un pool privato Cloud Build e lo hai messo in peering con la rete VPC nel tuo progetto.
Creazione di una connessione VPN cloud tra le due reti VPC
Nel tuo progetto ora hai una rete VPC in peering con il pool privato Cloud Build e una seconda rete VPC in peering con il cluster GKE privato.
In questa sezione creerai una connessione Cloud VPN tra a due reti VPC nel tuo progetto. Questa connessione è stata completata della route e consente ai pool privati di Cloud Build per accedere al cluster GKE.
In Cloud Shell, crea due gateway VPN ad alta disponibilità che si connettono e l'altro. Per creare questi gateway, segui le istruzioni in Creazione di due gateway VPN ad alta disponibilità completamente configurati che si connettono tra loro. La configurazione è completata dopo aver creato le sessioni BGP. Mentre seguendo queste istruzioni, utilizza i seguenti valori:
- PRIVATE_POOL_PEERING_VPC_NAME per
NETWORK_1
- GKE_CLUSTER_VPC_NAME per
NETWORK_2
- REGION per
REGION_1
eREGION_2
- PRIVATE_POOL_PEERING_VPC_NAME per
Configura ciascuna delle quattro sessioni BGP che hai creato per pubblicizzare alla rete VPC del pool privato e Rete VPC del piano di controllo del cluster GKE:
gcloud compute routers update-bgp-peer ROUTER_NAME_1 \ --peer-name=PEER_NAME_GW1_IF0 \ --region=REGION \ --advertisement-mode=CUSTOM \ --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX gcloud compute routers update-bgp-peer ROUTER_NAME_1 \ --peer-name=PEER_NAME_GW1_IF1 \ --region=REGION \ --advertisement-mode=CUSTOM \ --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX gcloud compute routers update-bgp-peer ROUTER_NAME_2 \ --peer-name=PEER_NAME_GW2_IF0 \ --region=REGION \ --advertisement-mode=CUSTOM \ --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR gcloud compute routers update-bgp-peer ROUTER_NAME_2 \ --peer-name=PEER_NAME_GW2_IF1 \ --region=REGION \ --advertisement-mode=CUSTOM \ --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR
Dove i seguenti valori sono gli stessi nomi che hai utilizzato quando hai e creato i due gateway VPN ad alta disponibilità:
- ROUTER_NAME_1
- PEER_NAME_GW1_IF0
- PEER_NAME_GW1_IF1
- ROUTER_NAME_2
- PEER_NAME_GW2_IF0
- PEER_NAME_GW2_IF1
Abilitazione dell'accesso di Cloud Build al piano di controllo del cluster GKE
Ora che hai una connessione VPN tra le due reti VPC nel tuo progetto, abilita l'accesso di Cloud Build al piano di controllo del cluster GKE.
In Cloud Shell, aggiungi l'intervallo di rete del pool privato alle reti autorizzate del control plane in GKE:
gcloud container clusters update PRIVATE_CLUSTER_NAME \ --enable-master-authorized-networks \ --region=REGION \ --master-authorized-networks=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX
Sostituisci quanto segue:
- PRIVATE_CLUSTER_NAME: il nome del cluster GKE privato.
- REGION: la regione per il
cluster GKE. In questo tutorial, utilizza
us-central1
per la regione, la stessa che hai utilizzato per reti VPC. - PRIVATE_POOL_NETWORK: il primo indirizzo IP di
RESERVED_RANGE_NAME. In questo tutorial,
possono usare
192.168.0.0
. - PRIVATE_POOL_PREFIX: il prefisso di
RESERVED_RANGE_NAME. Ogni pool privato creato
utilizzerà
/24
di questo intervallo. Per questo tutorial, puoi usare20
; Ciò consente di creare fino a sedici pool.
Consenti all'account di servizio che utilizzi per la compilazione di accedere al piano di controllo del cluster GKE:
export PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format 'value(projectNumber)') gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \ --member=serviceAccount:SERVICE_ACCOUNT \ --role=roles/container.developer
Ora i pool privati di Cloud Build possono accedere al control plane del cluster GKE.
Verifica della soluzione
In questa sezione, verifichi che la soluzione funzioni eseguendo il comando kubectl get nodes
in un passaggio di compilazione in esecuzione nel pool privato.
In Cloud Shell, crea una cartella temporanea con un file di configurazione Cloud Build che esegue il comando
kubectl get nodes
:mkdir private-pool-test && cd private-pool-test cat > cloudbuild.yaml <<EOF steps: - name: "gcr.io/cloud-builders/kubectl" args: ['get', 'nodes'] env: - 'CLOUDSDK_COMPUTE_REGION=REGION' - 'CLOUDSDK_CONTAINER_CLUSTER=PRIVATE_CLUSTER_NAME' options: workerPool: 'projects/$GOOGLE_CLOUD_PROJECT/locations/REGION/workerPools/PRIVATE_POOL_NAME' EOF
Sostituisci quanto segue:
- REGION: la regione per il
cluster GKE. In questo tutorial, utilizza
us-central1
per la regione, la stessa che hai utilizzato per reti VPC. - PRIVATE_CLUSTER_NAME: il nome del in un cluster GKE privato.
- PRIVATE_POOL_NAME: il nome del Pool privato di Cloud Build.
- REGION: la regione per il
cluster GKE. In questo tutorial, utilizza
Avvia il job di creazione:
gcloud builds submit --config=cloudbuild.yaml
Verifica che l'output corrisponda all'elenco di nodi in GKE in un cluster Kubernetes. Il log di build visualizzato nella console include una tabella simile a questa:
NAME STATUS ROLES AGE VERSION gke-private-default-pool-3ec34262-7lq9 Ready <none> 9d v1.19.9-gke.1900 gke-private-default-pool-4c517758-zfqt Ready <none> 9d v1.19.9-gke.1900 gke-private-default-pool-d1a885ae-4s9c Ready <none> 9d v1.19.9-gke.1900
Ora hai verificato che i worker del pool privato possono accedere al cluster GKE. Questo accesso ti consente di utilizzare Cloud Build per eseguire il deployment della tua applicazione su questo cluster GKE privato.
Risoluzione dei problemi
Se riscontri problemi con questo tutorial, consulta i seguenti documenti:
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.
Elimina il progetto
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Elimina le singole risorse
In Cloud Shell, elimina il cluster GKE:
gcloud container clusters delete PRIVATE_CLUSTER_NAME \ --region=REGION \ --async
Quando esegui questo comando, il peering di rete VPC viene eliminato automaticamente.
Elimina il pool privato di Cloud Build:
gcloud builds worker-pools delete PRIVATE_POOL_NAME \ --region=REGION
Elimina la connessione privata tra la rete VPC del producer di servizi e PRIVATE_POOL_PEERING_VPC_NAME:
gcloud services vpc-peerings delete \ --network=PRIVATE_POOL_PEERING_VPC_NAME \ --async
Elimina l'intervallo di indirizzi IP denominato utilizzato per il pool privato:
gcloud compute addresses delete RESERVED_RANGE_NAME \ --global
Elimina i quattro tunnel VPN. Utilizza gli stessi nomi che hai specificato in Crea tunnel VPN.
gcloud compute vpn-tunnels delete \ TUNNEL_NAME_GW1_IF0 \ TUNNEL_NAME_GW1_IF1 \ TUNNEL_NAME_GW2_IF0 \ TUNNEL_NAME_GW2_IF1 \ --region=REGION
Elimina i due router Cloud. Utilizza gli stessi nomi specificati in Creare router Cloud.
gcloud compute routers delete \ ROUTER_NAME_1 \ ROUTER_NAME_2 \ --region=REGION
Elimina i due gateway VPN. Utilizza gli stessi nomi specificati in Creare i gateway VPN ad alta disponibilità.
gcloud compute vpn-gateways delete \ GW_NAME_1 \ GW_NAME_2 \ --region=REGION
Elimina GKE_SUBNET_NAME, ovvero la subnet che ospita i nodi del cluster GKE:
gcloud compute networks subnets delete GKE_SUBNET_NAME \ --region=REGION
Elimina le due reti VPCPRIVATE_POOL_PEERING_VPC_NAME e GKE_CLUSTER_VPC_NAME:
gcloud compute networks delete \ PRIVATE_POOL_PEERING_VPC_NAME \ GKE_CLUSTER_VPC_NAME
Passaggi successivi
- Scopri come eseguire build in un pool privato.
- Esegui un proxy all'interno del cluster GKE privato che ha accesso al control plane.
- Scopri come eseguire il deployment su GKE da Cloud Build.
- Prova le altre funzionalità di Google Cloud. Dai un'occhiata ai nostri tutorial.