Mit privaten Cloud Build-Pools auf private Google Kubernetes Engine-Cluster zugreifen

In dieser Anleitung wird beschrieben, wie Sie mit privaten Cloud Build-Pools auf einen GKE-Cluster (Google Kubernetes Engine) zugreifen. Mit diesem Zugriff können Sie Cloud Build verwenden, um Ihre Anwendung in einem privaten GKE-Cluster bereitzustellen. Diese Anleitung richtet sich an Netzwerkadministratoren und gilt für alle Situationen, in denen private Cloud Build-Pools mit Diensten kommunizieren müssen, die in einem Peering-VPC-Netzwerk (Virtual Private Cloud) ausgeführt werden. Beispielsweise können die privaten Pool-Worker mit den folgenden Diensten kommunizieren:

  • Privater GKE-Cluster
  • Cloud SQL-Datenbank
  • Memorystore-Instanz
  • Compute Engine-Instanz, die in einem anderen VPC-Netzwerk ausgeführt wird als dem, das mit dem privaten Cloud Build-Pool verbunden ist

Private Cloud Build-Pools und GKE-Cluster-Steuerungsebenen werden beide in Google-VPC-Netzwerken ausgeführt. Diese VPC-Netzwerke sind über Peering mit Ihrem eigenen VPC-Netzwerk in Google Cloud verbunden. VPC-Netzwerk-Peering unterstützt jedoch kein transitives Peering. Dies kann bei der Verwendung privater Cloud Build-Pools eine Einschränkung sein. In dieser Anleitung wird eine Lösung vorgestellt, bei der Worker in einem privaten Cloud Build-Pool mithilfe von Cloud VPN auf die Steuerungsebene eines privaten GKE-Clusters zugreifen können.

In dieser Anleitung wird davon ausgegangen, dass Sie mit Google Kubernetes Engine vertraut sind. Cloud Build, den Befehl gcloud, VPC-Netzwerk-Peering und Cloud VPN

Architektur

Wenn Sie einen privaten GKE-Cluster ohne Clientzugriff auf den öffentlichen Endpunkt erstellen, können Clients auf die Steuerungsebene des GKE-Clusters nur über deren private IP-Adresse zugreifen. Clients wie kubectl können nur dann mit der Steuerungsebene kommunizieren, wenn sie auf einer Instanz ausgeführt werden, die Zugriff auf das VPC-Netzwerk hat und sich in einem autorisierten Netzwerk befindet.

Wenn Sie Cloud Build zum Bereitstellen Ihrer Anwendung in diesem privaten GKE-Cluster verwenden möchten, müssen Sie private Cloud Build-Pools verwenden, um auf die GKE-Cluster zuzugreifen. Private Pools sind eine Reihe von Worker-Instanzen, die in einem Google Cloud-Projekt von Google ausgeführt und über eine VPC-Netzwerk-Peering-Verbindung mit Ihrem VPC-Netzwerk verbunden sind. In diesem Szenario dürfen die Worker-Instanzen mit der privaten IP-Adresse der Steuerungsebene des GKE-Clusters kommunizieren.

Die Steuerungsebene des GKE-Clusters wird jedoch auch in einem Google-Projekt ausgeführt und stellt über Private Service Connect (PSC) eine Verbindung zu Ihrem VPC-Netzwerk her. VPC-Netzwerk-Peering unterstützt kein transitives Peering, sodass Pakete nicht direkt zwischen dem privaten Cloud Build-Pool und der GKE-Cluster-Steuerungsebene weitergeleitet werden können.

So ermöglichen Sie Cloud Build-Worker-Instanzen den Zugriff auf Steuerungsebene des GKE-Cluster, können Sie den privaten Pool über Peering verbinden und PSC nutzen, um die Steuerungsebene des GKE-Cluster mit zwei VPC-Netzwerke, deren Inhaber Sie sind, und verbinden diese VPC-Netzwerke, die Cloud VPN verwenden Mit diesem Peering und der Verbindung kann jede Seite des VPC-Tunnels den privaten Pool und die Netzwerke der Steuerungsebene des GKE-Clusters bewerben und so die Route abschließen.

Das folgende Architekturdiagramm zeigt die Ressourcen, die in dieser Anleitung verwendet werden:

VPN-Tunnel, der die Route zwischen dem privaten Cloud Build-Pool und der Steuerungsebene des GKE-Clusters abschließt

Wir empfehlen, alle in dieser Anleitung verwendeten Ressourcen auf derselben Google Cloud-Region für niedrige Latenz. Der VPN-Tunnel kann zwei verschiedene Regionen durchlaufen, wenn diese Kommunikation zwischen den Regionen für Ihre eigene Implementierung erforderlich ist. Die beiden VPC-Netzwerke, deren Inhaber Sie sind, können auch zu verschiedenen Projekten gehören.

Ziele

  • Privaten GKE-Cluster erstellen
  • Privaten Cloud Build-Pool einrichten
  • HA VPN-Verbindung zwischen zwei VPC-Netzwerken erstellen
  • Routing von Paketen über zwei VPC-Netzwerk-Peerings und eine VPC-Verbindung ermöglichen

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweis

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  3. Enable the Cloud Build, Google Kubernetes Engine, and Service Networking APIs.

    Enable the APIs

  4. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

Zwei VPC-Netzwerke in Ihrem eigenen Projekt erstellen

In diesem Abschnitt erstellen Sie zwei VPC-Netzwerke und ein Subnetz für die GKE-Clusterknoten.

  1. Erstellen Sie in Cloud Shell das erste VPC-Netzwerk (im vorherigen Diagramm als "Privates Pool-Peering-VPC-Netzwerk" bezeichnet). Sie müssen in diesem Netzwerk keine Subnetze erstellen.

    gcloud compute networks create PRIVATE_POOL_PEERING_VPC_NAME \
    --subnet-mode=CUSTOM

    Ersetzen Sie dabei PRIVATE_POOL_PEERING_VPC_NAME durch den Namen Ihres VPC-Netzwerks, das über Peering mit dem privaten Cloud Build-Poolnetzwerk verbunden werden soll.

  2. Erstellen Sie das zweite VPC-Netzwerk „VPC-Netzwerk des GKE-Cluster“ in der vorheriges Diagramm):

    gcloud compute networks create GKE_CLUSTER_VPC_NAME \
    --subnet-mode=CUSTOM

    Ersetzen Sie dabei GKE_CLUSTER_VPC_NAME durch den Namen Ihres VPC-Netzwerks, das über Peering mit der Steuerungsebene des GKE-Clusters verbunden werden soll.

  3. Erstellen Sie ein Subnetz für die GKE-Clusterknoten:

    gcloud compute networks subnets create GKE_SUBNET_NAME \
    --network=GKE_CLUSTER_VPC_NAME \
    --range=GKE_SUBNET_RANGE \
    --region=REGION

    Dabei gilt:

    • GKE_SUBNET_NAME: der Name des Subnetzwerks, das die GKE-Clusterknoten hosten soll.
    • GKE_CLUSTER_VPC_NAME: der Name Ihres VPC-Netzwerk, mit dem eine Verbindung hergestellt werden soll Steuerungsebene des GKE-Cluster.
    • GKE_SUBNET_RANGE: der IP-Adressbereich von GKE_SUBNET_NAME. Für diese Anleitung können Sie 10.244.252.0/22 verwenden.
    • REGION: die Google Cloud-Region, die den GKE-Cluster hostet. Für diese Anleitung können Sie us-central1 verwenden.

Sie haben nun zwei VPC-Netzwerke in Ihrem eigenen Projekt eingerichtet. sind sie bereit für das Peering mit anderen Diensten.

Privaten GKE-Cluster erstellen

In diesem Abschnitt erstellen Sie den privaten GKE-Cluster.

  1. Erstellen Sie in Cloud Shell einen GKE-Cluster ohne Clientzugriff auf den öffentlichen Endpunkt der Steuerungsebene.

    gcloud container clusters create PRIVATE_CLUSTER_NAME \
    --region=REGION \
    --enable-master-authorized-networks \
    --network=GKE_CLUSTER_VPC_NAME \
    --subnetwork=GKE_SUBNET_NAME \
    --enable-private-nodes \
    --enable-private-endpoint \
    --enable-ip-alias \
    --master-ipv4-cidr=CLUSTER_CONTROL_PLANE_CIDR

    Dabei gilt:

    • PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
    • REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.
    • GKE_CLUSTER_VPC_NAME: der Name Ihres VPC-Netzwerks, das mit der Steuerungsebene des GKE-Clusters verbunden werden soll.
    • GKE_SUBNET_RANGE: der IP-Adressbereich von GKE_SUBNET_NAME. Für diese Anleitung können Sie 10.244.252.0/22 verwenden.

    • CLUSTER_CONTROL_PLANE_CIDR ist der IP-Adressbereich der GKE-Cluster-Steuerungsebene. Sie muss das Präfix /28 haben. Verwenden Sie für diese Anleitung 172.16.0.32/28.

    Sie haben jetzt einen privaten GKE-Cluster erstellt.

VPC-Netzwerk-Peering für GKE 1.28 und niedriger konfigurieren

Wenn Sie diese Anleitung verwenden, um einen vorhandenen Cluster zu konfigurieren, in dem GKE ausgeführt wird Version 1.28 oder älter verwendet, verwendet Ihr privates VPC-Netzwerk VPC-Netzwerk-Peering zum Herstellen einer Verbindung zum GKE-Cluster. Führen Sie diese Schritte aus:

  1. Name des GKE-Cluster abrufen VPC-Netzwerk-Peering Dieses VPC-Netzwerk-Peering wurde beim Erstellen des GKE-Clusters automatisch erstellt.

    export GKE_PEERING_NAME=$(gcloud container clusters describe PRIVATE_CLUSTER_NAME \
    --region=REGION \
    --format='value(privateClusterConfig.peeringName)')

    Ersetzen Sie Folgendes:

    • PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
    • REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.

  2. Aktivieren Sie den Export benutzerdefinierter Routen, um das private Poolnetzwerk gegenüber der Steuerungsebene des GKE-Clusters zu bewerben:

    gcloud compute networks peerings update $GKE_PEERING_NAME \
    --network=GKE_CLUSTER_VPC_NAME \
    --export-custom-routes \
    --no-export-subnet-routes-with-public-ip

    Ersetzen Sie GKE_CLUSTER_VPC_NAME durch den Namen Ihres VPC-Netzwerk zum Herstellen einer Verbindung zum GKE-Cluster Steuerungsebene.

    Weitere Informationen zu benutzerdefinierten Routen finden Sie unter Benutzerdefinierte Routen importieren und exportieren.

Privaten Cloud Build-Pool erstellen

In diesem Abschnitt erstellen Sie den privaten Cloud Build-Pool.

  1. Weisen Sie in Cloud Shell einen benannten IP-Adressbereich im VPC-Netzwerk PRIVATE_POOL_PEERING_VPC_NAME für den privaten Cloud Build-Pool zu:

    gcloud compute addresses create RESERVED_RANGE_NAME \
    --global \
    --purpose=VPC_PEERING \
    --addresses=PRIVATE_POOL_NETWORK \
    --prefix-length=PRIVATE_POOL_PREFIX \
    --network=PRIVATE_POOL_PEERING_VPC_NAME

    Dabei gilt:

    • RESERVED_RANGE_NAME: der Name des privaten IP-Adressbereichs, der den privaten Cloud Build-Pool hostet.
    • PRIVATE_POOL_NETWORK: die erste IP-Adresse von RESERVED_RANGE_NAME. Für diese Anleitung können Sie 192.168.0.0 verwenden.
    • PRIVATE_POOL_PREFIX: das Präfix von RESERVED_RANGE_NAME. Jeder erstellte private Pool verwendet /24 aus diesem Bereich. Für diese Anleitung können Sie 20 verwenden. Auf diese Weise können Sie bis zu 16 Pools erstellen.
    • PRIVATE_POOL_PEERING_VPC_NAME: der Name Ihres VPC-Netzwerk, das mit Cloud Build verbunden werden soll privaten Poolnetzwerks.
    • IP-Bereich ist global, denn wenn für --purpose VPC_PEERING gilt, muss für den benannten IP-Adressbereich global gelten.

  2. Erstellen Sie eine private Verbindung zwischen dem VPC-Netzwerk, das den privaten Cloud Build-Pool enthält, und PRIVATE_POOL_PEERING_VPC_NAME:

    gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=RESERVED_RANGE_NAME \
    --network=PRIVATE_POOL_PEERING_VPC_NAME

    Ersetzen Sie Folgendes:

    • RESERVED_RANGE_NAME: der Name des privaten IP-Adressbereichs, der den privaten Cloud Build-Pool hostet.
    • PRIVATE_POOL_PEERING_VPC_NAME: der Name Ihres VPC-Netzwerk, das mit Cloud Build verbunden werden soll privaten Poolnetzwerks.

  3. Aktivieren Sie den Export benutzerdefinierter Routen, um das Netzwerk der Steuerungsebene des GKE-Clusters im privaten Pool zu bewerben:

    gcloud compute networks peerings update servicenetworking-googleapis-com \
    --network=PRIVATE_POOL_PEERING_VPC_NAME \
    --export-custom-routes \
    --no-export-subnet-routes-with-public-ip

    Ersetzen Sie PRIVATE_POOL_PEERING_VPC_NAME durch den Namen von Ihr VPC-Netzwerk für das Peering mit Cloud Build privaten Poolnetzwerks.

  4. Erstellen Sie einen privaten Cloud Build-Pool, der durch Peering mit PRIVATE_POOL_PEERING_VPC_NAME verbunden ist:

    gcloud builds worker-pools create PRIVATE_POOL_NAME \
   --region=REGION \
   --peered-network=projects/$GOOGLE_CLOUD_PROJECT/global/networks/PRIVATE_POOL_PEERING_VPC_NAME

    Ersetzen Sie Folgendes:

    • PRIVATE_POOL_NAME: der Name des Privater Cloud Build-Pool
    • REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.

Sie haben jetzt einen privaten Cloud Build-Pool erstellt und ihn über Peering mit dem VPC-Netzwerk in Ihrem eigenen Projekt verbunden.

Cloud VPN-Verbindung zwischen den beiden VPC-Netzwerken erstellen

In Ihrem eigenen Projekt haben Sie jetzt ein VPC-Netzwerk, das per Peering mit dem privaten Cloud Build-Pool verbunden ist, und ein zweites VPC-Netzwerk, das per Peering mit dem privaten GKE-Cluster verbunden ist.

In diesem Abschnitt erstellen Sie eine Cloud VPN-Verbindung zwischen den beiden VPC-Netzwerken in Ihrem Projekt. Diese Verbindung ist vervollständigt die Route und die privaten Cloud Build-Pools können über sie auf den GKE-Cluster zugreifen.

  1. Erstellen Sie in Cloud Shell zwei HA VPN-Gateways, die miteinander verbunden sind. Folgen Sie der Anleitung unter Zwei vollständig konfigurierte HA VPN-Gateways erstellen, die miteinander verbunden sind, um diese Gateways zu erstellen. Das Einrichten ist nach dem Erstellen der BGP-Sitzungen abgeschlossen. Verwenden Sie bei dieser Anleitung die folgenden Werte:

    • PRIVATE_POOL_PEERING_VPC_NAME für NETWORK_1
    • GKE_CLUSTER_VPC_NAME für NETWORK_2
    • REGION für REGION_1 und REGION_2

  2. Konfigurieren Sie jede der vier BGP-Sitzungen, die Sie erstellt haben, um die Routen gegenüber dem VPC-Netzwerk mit privatem Pool und dem VPC-Netzwerk der Steuerungsebene des GKE-Clusters zu bewerben:

    gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
    --peer-name=PEER_NAME_GW1_IF0 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX

gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
    --peer-name=PEER_NAME_GW1_IF1 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX

gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
    --peer-name=PEER_NAME_GW2_IF0 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR

gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
    --peer-name=PEER_NAME_GW2_IF1 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR

    Dabei müssen die folgenden Werte dieselben Namen sein, die Sie beim Erstellen der beiden HA VPN-Gateways verwendet haben:

    • ROUTER_NAME_1
    • PEER_NAME_GW1_IF0
    • PEER_NAME_GW1_IF1
    • ROUTER_NAME_2
    • PEER_NAME_GW2_IF0
    • PEER_NAME_GW2_IF1

Cloud Build-Zugriff auf die Steuerungsebene des GKE-Clusters aktivieren

Nachdem Sie eine VPN-Verbindung zwischen den beiden VPC-Netzwerken in Ihrem Projekt haben, aktivieren Sie den Zugriff von Cloud Build auf die Steuerungsebene des GKE-Clusters.

  1. Fügen Sie in Cloud Shell den Bereich des privaten Poolnetzwerks den autorisierten Netzwerken der Steuerungsebene in GKE hinzu:

    gcloud container clusters update PRIVATE_CLUSTER_NAME \
    --enable-master-authorized-networks \
    --region=REGION \
    --master-authorized-networks=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX

    Ersetzen Sie Folgendes:

    • PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
    • REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.
    • PRIVATE_POOL_NETWORK: die erste IP-Adresse von RESERVED_RANGE_NAME. Für diese Anleitung können Sie 192.168.0.0 verwenden.
    • PRIVATE_POOL_PREFIX: das Präfix von RESERVED_RANGE_NAME. Jeder erstellte private Pool verwendet /24 aus diesem Bereich. Für diese Anleitung können Sie 20 verwenden. Auf diese Weise können Sie bis zu 16 Pools erstellen.

  2. Gewähren Sie dem Dienstkonto, das Sie für den Build verwenden, Zugriff auf Steuerungsebene des GKE-Cluster:

    export PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format 'value(projectNumber)')

gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
    --member=serviceAccount:SERVICE_ACCOUNT \
    --role=roles/container.developer

Die privaten Cloud Build-Pools können jetzt auf die GKE-Cluster-Steuerungsebene zugreifen.

Lösung prüfen

In diesem Abschnitt prüfen Sie, ob die Lösung funktioniert. Führen Sie dazu den Befehl kubectl get nodes in einem Build-Schritt aus, der im privaten Pool ausgeführt wird.

  1. Erstellen Sie in Cloud Shell einen temporären Ordner mit einer Cloud Build-Konfigurationsdatei, die den Befehl kubectl get nodes ausführt:

    mkdir private-pool-test && cd private-pool-test

cat > cloudbuild.yaml <<EOF
steps:
- name: "gcr.io/cloud-builders/kubectl"
  args: ['get', 'nodes']
  env:
  - 'CLOUDSDK_COMPUTE_REGION=REGION'
  - 'CLOUDSDK_CONTAINER_CLUSTER=PRIVATE_CLUSTER_NAME'
options:
  workerPool:
    'projects/$GOOGLE_CLOUD_PROJECT/locations/REGION/workerPools/PRIVATE_POOL_NAME'
EOF

    Ersetzen Sie Folgendes:

    • REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.
    • PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
    • PRIVATE_POOL_NAME: der Name des privaten Cloud Build-Pools.

  2. Starten Sie den Build-Job:

    gcloud builds submit --config=cloudbuild.yaml

  3. Prüfen Sie, ob die Ausgabe die Liste der Knoten im GKE-Cluster ist. Das in der Konsole angezeigte Build-Log enthält eine Tabelle ähnlich der folgenden:

    NAME                                     STATUS   ROLES    AGE   VERSION
gke-private-default-pool-3ec34262-7lq9   Ready    <none>   9d    v1.19.9-gke.1900
gke-private-default-pool-4c517758-zfqt   Ready    <none>   9d    v1.19.9-gke.1900
gke-private-default-pool-d1a885ae-4s9c   Ready    <none>   9d    v1.19.9-gke.1900

Sie haben jetzt überprüft, ob die Worker aus dem privaten Pool auf den GKE-Cluster zugreifen können. Über diesen Zugriff können Sie Ihre Anwendung mit Cloud Build in diesem privaten GKE-Cluster bereitstellen.

Fehlerbehebung

Wenn Sie Probleme mit dieser Anleitung haben, lesen Sie folgende Dokumente:

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Einzelne Ressourcen löschen

  1. Löschen Sie den GKE-Cluster in Cloud Shell:

    gcloud container clusters delete PRIVATE_CLUSTER_NAME \
    --region=REGION \
    --async

    Wenn Sie diesen Befehl ausführen, wird das VPC-Netzwerk-Peering automatisch gelöscht.

  2. Löschen Sie den privaten Cloud Build-Pool:

    gcloud builds worker-pools delete PRIVATE_POOL_NAME \
    --region=REGION

  3. Löschen Sie die private Verbindung zwischen dem VPC-Netzwerk des Diensterstellers und PRIVATE_POOL_PEERING_VPC_NAME:

    gcloud services vpc-peerings delete \
   --network=PRIVATE_POOL_PEERING_VPC_NAME \
   --async

  4. Löschen Sie den benannten IP-Adressbereich, der für den privaten Pool verwendet wird:

    gcloud compute addresses delete RESERVED_RANGE_NAME \
    --global

  5. Löschen Sie die vier VPN-Tunnel. Verwenden Sie dieselben Namen, die Sie unter VPN-Tunnel erstellen angegeben haben.

    gcloud compute vpn-tunnels delete \
    TUNNEL_NAME_GW1_IF0 \
    TUNNEL_NAME_GW1_IF1 \
    TUNNEL_NAME_GW2_IF0 \
    TUNNEL_NAME_GW2_IF1 \
    --region=REGION

  6. Löschen Sie die beiden Cloud Router. Verwenden Sie dieselben Namen, die Sie unter Cloud Router erstellen angegeben haben.

    gcloud compute routers delete \
    ROUTER_NAME_1 \
    ROUTER_NAME_2 \
    --region=REGION

  7. Löschen Sie die beiden VPN-Gateways. Verwenden Sie dieselben Namen, die Sie unter HA VPN-Gateways erstellen angegeben haben.

    gcloud compute vpn-gateways delete \
    GW_NAME_1 \
    GW_NAME_2 \
    --region=REGION

  8. Löschen Sie GKE_SUBNET_NAME. Dies ist das Subnetzwerk, in dem die GKE-Clusterknoten gehostet werden:

    gcloud compute networks subnets delete GKE_SUBNET_NAME \
    --region=REGION

  9. Löschen Sie die beiden VPC-Netzwerke PRIVATE_POOL_PEERING_VPC_NAME und GKE_CLUSTER_VPC_NAME:

    gcloud compute networks delete \
    PRIVATE_POOL_PEERING_VPC_NAME \
    GKE_CLUSTER_VPC_NAME

Nächste Schritte