Mit privaten Cloud Build-Pools auf private Google Kubernetes Engine-Cluster zugreifen

In dieser Anleitung wird beschrieben, wie Sie mit privaten Cloud Build-Pools auf einen GKE-Cluster (Google Kubernetes Engine) zugreifen. Mit diesem Zugriff können Sie Cloud Build verwenden, um Ihre Anwendung in einem privaten GKE-Cluster bereitzustellen. Diese Anleitung richtet sich an Netzwerkadministratoren und gilt für alle Situationen, in denen private Cloud Build-Pools mit Diensten kommunizieren müssen, die in einem Peering-VPC-Netzwerk (Virtual Private Cloud) ausgeführt werden. Beispielsweise können die privaten Pool-Worker mit den folgenden Diensten kommunizieren:

Privater GKE-Cluster
Cloud SQL-Datenbank
Memorystore-Instanz
Compute Engine-Instanz, die in einem anderen VPC-Netzwerk ausgeführt wird als dem, das mit dem privaten Cloud Build-Pool verbunden ist

Private Cloud Build-Pools und GKE-Cluster-Steuerungsebenen werden beide in Google-VPC-Netzwerken ausgeführt. Diese VPC-Netzwerke sind über Peering mit Ihrem eigenen VPC-Netzwerk in Google Cloud verbunden. VPC-Netzwerk-Peering unterstützt jedoch kein transitives Peering. Dies kann bei der Verwendung privater Cloud Build-Pools eine Einschränkung sein. In dieser Anleitung wird eine Lösung vorgestellt, bei der Worker in einem privaten Cloud Build-Pool mithilfe von Cloud VPN auf die Steuerungsebene eines privaten GKE-Clusters zugreifen können.

In dieser Anleitung wird davon ausgegangen, dass Sie mit Google Kubernetes Engine, Cloud Build, dem Befehl gcloud, VPC-Netzwerk-Peering und Cloud VPN vertraut sind.

Architektur

Wenn Sie einen privaten GKE-Cluster ohne Clientzugriff auf den öffentlichen Endpunkt erstellen, können Clients auf die Steuerungsebene des GKE-Clusters nur über deren private IP-Adresse zugreifen. Clients wie kubectl können nur dann mit der Steuerungsebene kommunizieren, wenn sie auf einer Instanz ausgeführt werden, die Zugriff auf das VPC-Netzwerk hat und sich in einem autorisierten Netzwerk befindet.

Wenn Sie Cloud Build zum Bereitstellen Ihrer Anwendung in diesem privaten GKE-Cluster verwenden möchten, müssen Sie private Cloud Build-Pools verwenden, um auf die GKE-Cluster zuzugreifen. Private Pools sind eine Reihe von Worker-Instanzen, die in einem Google Cloud-Projekt von Google ausgeführt und über eine VPC-Netzwerk-Peering-Verbindung mit Ihrem VPC-Netzwerk verbunden sind. In diesem Szenario dürfen die Worker-Instanzen mit der privaten IP-Adresse der Steuerungsebene des GKE-Clusters kommunizieren.

Die Steuerungsebene des GKE-Clusters wird jedoch auch in einem Google-Projekt ausgeführt und ist über eine Peering-Verbindung mit Ihrem VPC-Netzwerk verbunden. VPC-Netzwerk-Peering unterstützt kein transitives Peering, sodass Pakete nicht direkt zwischen dem privaten Cloud Build-Pool und der GKE-Cluster-Steuerungsebene weitergeleitet werden können.

Damit Cloud Build-Worker-Instanzen auf die GKE-Cluster-Steuerungsebene zugreifen können, können Sie den privaten Pool und die GKE-Cluster-Steuerungsebene über Peering mit zwei VPC-Netzwerken verbinden, die Ihnen gehören, und diese VPC-Netzwerke dann über Cloud VPN verbinden. Mit diesem Peering und der Verbindung kann jede Seite des VPC-Tunnels den privaten Pool und die Netzwerke der Steuerungsebene des GKE-Clusters bewerben und so die Route abschließen.

Das folgende Architekturdiagramm zeigt die Ressourcen, die in dieser Anleitung verwendet werden:

VPN-Tunnel, der die Route zwischen dem privaten Cloud Build-Pool und der Steuerungsebene des GKE-Clusters abschließt

Für eine niedrige Latenz empfehlen wir, alle in dieser Anleitung verwendeten Ressourcen in derselben Google Cloud-Region zu erstellen. Der VPN-Tunnel kann zwei verschiedene Regionen durchlaufen, wenn diese Kommunikation zwischen den Regionen für Ihre eigene Implementierung erforderlich ist. Die beiden VPC-Netzwerke, deren Inhaber Sie sind, können auch zu verschiedenen Projekten gehören.

Lernziele

Privaten GKE-Cluster erstellen
Privaten Cloud Build-Pool einrichten
HA VPN-Verbindung zwischen zwei VPC-Netzwerken erstellen
Routing von Paketen über zwei VPC-Netzwerk-Peerings und eine VPC-Verbindung ermöglichen

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweise

Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

Zur Projektauswahl
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
Cloud Build, Google Kubernetes Engine, and Service Networking APIs aktivieren.
Aktivieren Sie die APIs
Aktivieren Sie Cloud Shell in der Google Cloud Console.

Cloud Shell aktivieren

Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

Zwei VPC-Netzwerke in Ihrem eigenen Projekt erstellen

In diesem Abschnitt erstellen Sie zwei VPC-Netzwerke und ein Subnetz für die GKE-Clusterknoten.

Erstellen Sie in Cloud Shell das erste VPC-Netzwerk (im vorherigen Diagramm als "Privates Pool-Peering-VPC-Netzwerk" bezeichnet). Sie müssen in diesem Netzwerk keine Subnetze erstellen.
```
gcloud compute networks create PRIVATE_POOL_PEERING_VPC_NAME \
    --subnet-mode=CUSTOM
```
Ersetzen Sie dabei PRIVATE_POOL_PEERING_VPC_NAME durch den Namen Ihres VPC-Netzwerks, das über Peering mit dem privaten Cloud Build-Poolnetzwerk verbunden werden soll.
Erstellen Sie das zweite VPC-Netzwerk (im obigen Diagramm "GKE-Peering-VPC-Netzwerk" genannt):
```
gcloud compute networks create GKE_PEERING_VPC_NAME \
    --subnet-mode=CUSTOM
```
Ersetzen Sie dabei GKE_PEERING_VPC_NAME durch den Namen Ihres VPC-Netzwerks, das über Peering mit der Steuerungsebene des GKE-Clusters verbunden werden soll.
Erstellen Sie ein Subnetz für die GKE-Clusterknoten:
```
gcloud compute networks subnets create GKE_SUBNET_NAME \
    --network=GKE_PEERING_VPC_NAME \
    --range=GKE_SUBNET_RANGE \
    --region=REGION
```
Ersetzen Sie Folgendes:
- GKE_SUBNET_NAME: der Name des Subnetzwerks, das die GKE-Clusterknoten hosten soll.
- GKE_PEERING_VPC_NAME: der Name Ihres VPC-Netzwerk für das Peering mit der Steuerungsebene des GKE-Cluster.
- GKE_SUBNET_RANGE: der IP-Adressbereich von GKE_SUBNET_NAME. Für diese Anleitung können Sie 10.244.252.0/22 verwenden.
- REGION: die Google Cloud-Region, die den GKE-Cluster hostet. Für diese Anleitung können Sie us-central1 verwenden.

Sie haben jetzt zwei VPC-Netzwerke in Ihrem eigenen Projekt eingerichtet, die für das Peering mit anderen Diensten bereit sind.

Privaten GKE-Cluster erstellen

In diesem Abschnitt erstellen Sie den privaten GKE-Cluster.

Erstellen Sie in Cloud Shell einen GKE-Cluster ohne Clientzugriff auf den öffentlichen Endpunkt der Steuerungsebene.
```
gcloud container clusters create PRIVATE_CLUSTER_NAME \
    --region=REGION \
    --enable-master-authorized-networks \
    --network=GKE_PEERING_VPC_NAME \
    --subnetwork=GKE_SUBNET_NAME \
    --enable-private-nodes \
    --enable-private-endpoint \
    --enable-ip-alias \
    --master-ipv4-cidr=CLUSTER_CONTROL_PLANE_CIDR
```
Ersetzen Sie Folgendes:
- PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
- REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.
- GKE_PEERING_VPC_NAME: der Name Ihres VPC-Netzwerk für das Peering mit der Steuerungsebene des GKE-Cluster.
- GKE_SUBNET_RANGE: der IP-Adressbereich von GKE_SUBNET_NAME. Für diese Anleitung können Sie 10.244.252.0/22 verwenden.
- CLUSTER_CONTROL_PLANE_CIDR ist der IP-Adressbereich der GKE-Cluster-Steuerungsebene. Sie muss das Präfix /28 haben. Verwenden Sie für diese Anleitung 172.16.0.32/28.
  
  Hinweis: Mit dem Flag „--enabled-private-endpoint“ kann Cloud Build eine interne Verbindung zum GKE-Cluster herstellen. Wenn Sie den GKE-Cluster in der Cloud Console erstellen, müssen Sie die Option Mit externer IP-Adresse auf Steuerungsebene zugreifen deaktivieren.
Sie haben jetzt einen privaten GKE-Cluster erstellt, der über Peering mit dem VPC-Netzwerk in Ihrem eigenen Projekt verbunden ist.
Rufen Sie den Namen des VPC-Netzwerk-Peerings des GKE-Cluster ab. Dieses VPC-Netzwerk-Peering wurde beim Erstellen des GKE-Clusters automatisch erstellt.
```
export GKE_PEERING_NAME=$(gcloud container clusters describe PRIVATE_CLUSTER_NAME \
    --region=REGION \
    --format='value(privateClusterConfig.peeringName)')
```
Ersetzen Sie Folgendes:
- PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
- REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.
Aktivieren Sie den Export benutzerdefinierter Routen, um das private Poolnetzwerk gegenüber der Steuerungsebene des GKE-Clusters zu bewerben:
```
gcloud compute networks peerings update $GKE_PEERING_NAME \
    --network=GKE_PEERING_VPC_NAME \
    --export-custom-routes \
    --no-export-subnet-routes-with-public-ip
```
Ersetzen Sie GKE_PEERING_VPC_NAME durch den Namen Ihres VPC-Netzwerk für das Peering mit der Steuerungsebene des GKE-Cluster.

Weitere Informationen zu benutzerdefinierten Routen finden Sie unter Benutzerdefinierte Routen importieren und exportieren.

Privaten Cloud Build-Pool erstellen

In diesem Abschnitt erstellen Sie den privaten Cloud Build-Pool.

Weisen Sie in Cloud Shell einen benannten IP-Adressbereich im VPC-Netzwerk PRIVATE_POOL_PEERING_VPC_NAME für den privaten Cloud Build-Pool zu:
```
gcloud compute addresses create RESERVED_RANGE_NAME \
    --global \
    --purpose=VPC_PEERING \
    --addresses=PRIVATE_POOL_NETWORK \
    --prefix-length=PRIVATE_POOL_PREFIX \
    --network=PRIVATE_POOL_PEERING_VPC_NAME
```
Ersetzen Sie Folgendes:
- RESERVED_RANGE_NAME: der Name des privaten IP-Adressbereichs, der den privaten Cloud Build-Pool hostet.
- PRIVATE_POOL_NETWORK: die erste IP-Adresse von RESERVED_RANGE_NAME. Für diese Anleitung können Sie 192.168.0.0 verwenden.
- PRIVATE_POOL_PREFIX: das Präfix von RESERVED_RANGE_NAME. Jeder erstellte private Pool verwendet /24 aus diesem Bereich. Für diese Anleitung können Sie 20 verwenden. Auf diese Weise können Sie bis zu 16 Pools erstellen.
- PRIVATE_POOL_PEERING_VPC_NAME: der Name Ihres VPC-Netzwerk, das per Peering mit dem privaten Cloud Build-Poolnetzwerk verbunden werden soll.
- IP-Bereich ist global, denn wenn für --purpose VPC_PEERING gilt, muss für den benannten IP-Adressbereich global gelten.
Erstellen Sie eine private Verbindung zwischen dem VPC-Netzwerk, das den privaten Cloud Build-Pool enthält, und PRIVATE_POOL_PEERING_VPC_NAME:
```
gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=RESERVED_RANGE_NAME \
    --network=PRIVATE_POOL_PEERING_VPC_NAME
```
Ersetzen Sie Folgendes:
- RESERVED_RANGE_NAME: der Name des privaten IP-Adressbereichs, der den privaten Cloud Build-Pool hostet.
- PRIVATE_POOL_PEERING_VPC_NAME: der Name Ihres VPC-Netzwerk, das per Peering mit dem privaten Cloud Build-Poolnetzwerk verbunden werden soll.
Aktivieren Sie den Export benutzerdefinierter Routen, um das Netzwerk der Steuerungsebene des GKE-Clusters im privaten Pool zu bewerben:
```
gcloud compute networks peerings update servicenetworking-googleapis-com \
    --network=PRIVATE_POOL_PEERING_VPC_NAME \
    --export-custom-routes \
    --no-export-subnet-routes-with-public-ip
```
Ersetzen Sie PRIVATE_POOL_PEERING_VPC_NAME durch den Namen des VPC-Netzwerk, das per Peering mit dem privaten Cloud Build-Poolnetzwerk verbunden werden soll.
Erstellen Sie einen privaten Cloud Build-Pool, der durch Peering mit PRIVATE_POOL_PEERING_VPC_NAME verbunden ist:
```
gcloud builds worker-pools create PRIVATE_POOL_NAME \
   --region=REGION \
   --peered-network=projects/$GOOGLE_CLOUD_PROJECT/global/networks/PRIVATE_POOL_PEERING_VPC_NAME
```
Ersetzen Sie Folgendes:
- PRIVATE_POOL_NAME ist der Name des privaten Cloud Build-Pools.
- REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.

Sie haben jetzt einen privaten Cloud Build-Pool erstellt und ihn über Peering mit dem VPC-Netzwerk in Ihrem eigenen Projekt verbunden.

Cloud VPN-Verbindung zwischen den beiden VPC-Netzwerken erstellen

In Ihrem eigenen Projekt haben Sie jetzt ein VPC-Netzwerk, das per Peering mit dem privaten Cloud Build-Pool verbunden ist, und ein zweites VPC-Netzwerk, das per Peering mit dem privaten GKE-Cluster verbunden ist.

In diesem Abschnitt erstellen Sie eine Cloud VPN-Verbindung zwischen den beiden VPC-Netzwerken in Ihrem Projekt. Diese Verbindung ist vervollständigt die Route und die privaten Cloud Build-Pools können über sie auf den GKE-Cluster zugreifen.

Erstellen Sie in Cloud Shell zwei HA VPN-Gateways, die miteinander verbunden sind. Folgen Sie der Anleitung unter Zwei vollständig konfigurierte HA VPN-Gateways erstellen, die miteinander verbunden sind, um diese Gateways zu erstellen. Das Einrichten ist nach dem Erstellen der BGP-Sitzungen abgeschlossen. Verwenden Sie bei dieser Anleitung die folgenden Werte:
- PRIVATE_POOL_PEERING_VPC_NAME für NETWORK_1
- GKE_PEERING_VPC_NAME für NETWORK_2
- REGION für REGION_1 und REGION_2

Konfigurieren Sie jede der vier BGP-Sitzungen, die Sie erstellt haben, um die Routen gegenüber dem VPC-Netzwerk mit privatem Pool und dem VPC-Netzwerk der Steuerungsebene des GKE-Clusters zu bewerben:

gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
    --peer-name=PEER_NAME_GW1_IF0 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX

gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
    --peer-name=PEER_NAME_GW1_IF1 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX

gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
    --peer-name=PEER_NAME_GW2_IF0 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR

gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
    --peer-name=PEER_NAME_GW2_IF1 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR

Dabei müssen die folgenden Werte dieselben Namen sein, die Sie beim Erstellen der beiden HA VPN-Gateways verwendet haben:

ROUTER_NAME_1
PEER_NAME_GW1_IF0
PEER_NAME_GW1_IF1
ROUTER_NAME_2
PEER_NAME_GW2_IF0
PEER_NAME_GW2_IF1

Cloud Build-Zugriff auf die Steuerungsebene des GKE-Clusters aktivieren

Nachdem Sie eine VPN-Verbindung zwischen den beiden VPC-Netzwerken in Ihrem Projekt haben, aktivieren Sie den Zugriff von Cloud Build auf die Steuerungsebene des GKE-Clusters.

Fügen Sie in Cloud Shell den Bereich des privaten Poolnetzwerks den autorisierten Netzwerken der Steuerungsebene in GKE hinzu:
```
gcloud container clusters update PRIVATE_CLUSTER_NAME \
    --enable-master-authorized-networks \
    --region=REGION \
    --master-authorized-networks=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX
```
Ersetzen Sie Folgendes:
- PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
- REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.
- PRIVATE_POOL_NETWORK: die erste IP-Adresse von RESERVED_RANGE_NAME. Für diese Anleitung können Sie 192.168.0.0 verwenden.
- PRIVATE_POOL_PREFIX: das Präfix von RESERVED_RANGE_NAME. Jeder erstellte private Pool verwendet /24 aus diesem Bereich. Für diese Anleitung können Sie 20 verwenden. Auf diese Weise können Sie bis zu 16 Pools erstellen.

Erlauben Sie dem Cloud Build-Dienstkonto den Zugriff auf die Steuerungsebene des GKE-Clusters:

export PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format 'value(projectNumber)')

gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
    --member=serviceAccount:$PROJECT_NUMBER@cloudbuild.gserviceaccount.com \
    --role=roles/container.developer

Die privaten Cloud Build-Pools können jetzt auf die GKE-Cluster-Steuerungsebene zugreifen.

Lösung prüfen

In diesem Abschnitt prüfen Sie, ob die Lösung funktioniert. Führen Sie dazu den Befehl kubectl get nodes in einem Build-Schritt aus, der im privaten Pool ausgeführt wird.

Erstellen Sie in Cloud Shell einen temporären Ordner mit einer Cloud Build-Konfigurationsdatei, die den Befehl kubectl get nodes ausführt:
```
mkdir private-pool-test && cd private-pool-test

cat > cloudbuild.yaml <<EOF
steps:
- name: "gcr.io/cloud-builders/kubectl"
  args: ['get', 'nodes']
  env:
  - 'CLOUDSDK_COMPUTE_REGION=REGION'
  - 'CLOUDSDK_CONTAINER_CLUSTER=PRIVATE_CLUSTER_NAME'
options:
  workerPool:
    'projects/$GOOGLE_CLOUD_PROJECT/locations/REGION/workerPools/PRIVATE_POOL_NAME'
EOF
```
Ersetzen Sie Folgendes:
- REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.
- PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
- PRIVATE_POOL_NAME ist der Name des privaten Cloud Build-Pools.

Starten Sie den Build-Job:

gcloud builds submit --config=cloudbuild.yaml

Prüfen Sie, ob die Ausgabe die Liste der Knoten im GKE-Cluster ist. Das in der Konsole angezeigte Build-Log enthält eine Tabelle ähnlich der folgenden:

NAME                                     STATUS   ROLES    AGE   VERSION
gke-private-default-pool-3ec34262-7lq9   Ready    <none>   9d    v1.19.9-gke.1900
gke-private-default-pool-4c517758-zfqt   Ready    <none>   9d    v1.19.9-gke.1900
gke-private-default-pool-d1a885ae-4s9c   Ready    <none>   9d    v1.19.9-gke.1900

Sie haben jetzt überprüft, ob die Worker aus dem privaten Pool auf den GKE-Cluster zugreifen können. Über diesen Zugriff können Sie Ihre Anwendung mit Cloud Build in diesem privaten GKE-Cluster bereitstellen.

Fehlerbehebung

Wenn Sie Probleme mit dieser Anleitung haben, lesen Sie folgende Dokumente:

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.
Zur Seite „Ressourcen verwalten“
Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Einzelne Ressourcen löschen

Löschen Sie den GKE-Cluster in Cloud Shell:
```
gcloud container clusters delete PRIVATE_CLUSTER_NAME \
    --region=REGION \
    --async
```
Wenn Sie diesen Befehl ausführen, wird das VPC-Netzwerk-Peering automatisch gelöscht.

Löschen Sie den privaten Cloud Build-Pool:

gcloud builds worker-pools delete PRIVATE_POOL_NAME \
    --region=REGION

Löschen Sie die private Verbindung zwischen dem VPC-Netzwerk des Diensterstellers und PRIVATE_POOL_PEERING_VPC_NAME:
```
gcloud services vpc-peerings delete \
   --network=PRIVATE_POOL_PEERING_VPC_NAME \
   --async
```
Löschen Sie den benannten IP-Adressbereich, der für den privaten Pool verwendet wird:
```
gcloud compute addresses delete RESERVED_RANGE_NAME \
    --global
```

Löschen Sie die vier VPN-Tunnel. Verwenden Sie dieselben Namen, die Sie unter VPN-Tunnel erstellen angegeben haben.

gcloud compute vpn-tunnels delete \
    TUNNEL_NAME_GW1_IF0 \
    TUNNEL_NAME_GW1_IF1 \
    TUNNEL_NAME_GW2_IF0 \
    TUNNEL_NAME_GW2_IF1 \
    --region=REGION

Löschen Sie die beiden Cloud Router. Verwenden Sie dieselben Namen, die Sie unter Cloud Router erstellen angegeben haben.
```
gcloud compute routers delete \
    ROUTER_NAME_1 \
    ROUTER_NAME_2 \
    --region=REGION
```
Löschen Sie die beiden VPN-Gateways. Verwenden Sie dieselben Namen, die Sie unter HA VPN-Gateways erstellen angegeben haben.
```
gcloud compute vpn-gateways delete \
    GW_NAME_1 \
    GW_NAME_2 \
    --region=REGION
```
Löschen Sie GKE_SUBNET_NAME. Dies ist das Subnetzwerk, in dem die GKE-Clusterknoten gehostet werden:
```
gcloud compute networks subnets delete GKE_SUBNET_NAME \
    --region=REGION
```

Löschen Sie die beiden VPC-Netzwerke PRIVATE_POOL_PEERING_VPC_NAME und GKE_PEERING_VPC_NAME:

gcloud compute networks delete \
    PRIVATE_POOL_PEERING_VPC_NAME \
    GKE_PEERING_VPC_NAME

Nächste Schritte

Builds in einem privaten Pool ausführen
Proxy im privaten GKE-Cluster ausführen, der Zugriff auf die Steuerungsebene hat
Mehr zum Bereitstellen in GKE über Cloud Build
Probieren Sie andere Google Cloud-Funktionen selbst aus. Anleitungen