In dieser Anleitung erfahren Sie, wie Sie einen privaten HTTP-Endpunkt in einem privaten GKE-Cluster (Google Kubernetes Engine) erstellen, der Pub/Sub-Nachrichtenereignisse mithilfe von Eventarc empfängt. Weitere Informationen zu diesem Ereignisziel finden Sie unter Ereignisse an einen internen HTTP-Endpunkt in einem VPC-Netzwerk weiterleiten.
Private GKE-Cluster sind eine Art VPC-nativer Cluster (Virtual Private Cloud), bei dem Knoten nur interne IP-Adressen haben. Das heißt, Knoten und Pods sind standardmäßig vom Internet isoliert. Sie können sich dafür entscheiden, keinen Clientzugriff, eingeschränkten Zugriff oder uneingeschränkten Zugriff auf die Steuerungsebene zu haben. Bestehende nicht private Cluster können nicht in private Cluster konvertiert werden. Weitere Informationen finden Sie unter Private Cluster.
Sie können die folgenden Befehle über das Google Cloud CLI entweder in Ihrem Terminal oder in Cloud Shell ausführen.
Ziele
In dieser Anleitung wird Folgendes beschrieben:
- Erstellen Sie ein Nur-Proxy-Subnetz im Standard-VPC-Netzwerk und eine VPC-Firewallregel.
- Erstellen Sie einen privaten GKE Autopilot-Cluster ohne Clientzugriff auf den öffentlichen Endpunkt.
- Erstellen Sie eine Compute Engine-VM-Instanz in einem angegebenen Subnetz des VPC-Netzwerks.
- Stellen Sie eine SSH-Verbindung zur VM-Instanz her und stellen Sie einen Ereignisempfängerdienst auf der VM-Instanz bereit.
- Stellen Sie ein Gateway in Ihrem Cluster und ein
HTTPRoute
-Manifest bereit, um das Routing von Traffic in Kubernetes zu Anwendungs-Back-Ends zu konfigurieren. - Erstellen Sie einen Netzwerkanhang, mit dem ein Produzenten-VPC-Netzwerk Verbindungen zu einem Nutzer-VPC-Netzwerk initiieren kann.
- Sie erstellen einen Eventarc-Trigger, der Pub/Sub-Ereignisse an den Ereignisempfänger auf Ihrer VM-Instanz weiterleitet.
- Veröffentlichen Sie eine Nachricht in einem Pub/Sub-Thema, um ein Ereignis zu generieren, und sehen Sie sich den Text des Ereignisses in den Anwendungs-Pod-Logs an.
Kosten
In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:
Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.
Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.
Hinweise
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Resource Manager, Compute Engine, Eventarc, GKE, and Pub/Sub APIs:
gcloud services enable compute.googleapis.com
container.googleapis.com cloudresourcemanager.googleapis.com eventarc.googleapis.com pubsub.googleapis.com - Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Resource Manager, Compute Engine, Eventarc, GKE, and Pub/Sub APIs:
gcloud services enable compute.googleapis.com
container.googleapis.com cloudresourcemanager.googleapis.com eventarc.googleapis.com pubsub.googleapis.com - Aktualisieren Sie die Google Cloud CLI-Komponenten:
gcloud components update
- Melden Sie sich mit Ihrem -Konto an:
gcloud auth login
-
Wenn Sie der Projektersteller sind, wird Ihnen die einfache Owner-Rolle (
roles/owner
) zugewiesen. Standardmäßig enthält diese IAM-Rolle (Identity and Access Management) die Berechtigungen, die für den vollständigen Zugriff auf die meisten Google Cloud-Ressourcen erforderlich sind. Sie können diesen Schritt überspringen.Wenn Sie nicht der Project Creator sind, müssen dem entsprechenden Hauptkonto die erforderlichen Berechtigungen für das Projekt erteilt werden. Ein Hauptkonto kann beispielsweise ein Google-Konto (für Endnutzer) oder ein Dienstkonto (für Anwendungen und Computing-Arbeitslasten) sein. Weitere Informationen finden Sie auf der Seite Rollen und Berechtigungen für Ihr Ereignisziel.
Erforderliche Berechtigungen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Kurzanleitung benötigen:
-
Compute-Netzwerkadministrator (
roles/compute.networkAdmin
) -
Compute-Sicherheitsadministrator (
roles/compute.securityAdmin
) -
Eventarc Admin (
roles/eventarc.admin
) -
Kubernetes Engine-Administrator (
roles/container.admin
) -
Zugriffsberechtigter für Logbetrachtung (
roles/logging.viewAccessor
) -
Projekt-IAM-Administrator (
roles/resourcemanager.projectIamAdmin
) -
Pub/Sub Publisher (
roles/pubsub.publisher
) -
Service Account Admin (
roles/iam.serviceAccountAdmin
) -
Service Account User (
roles/iam.serviceAccountUser
) -
Service Usage Admin (
roles/serviceusage.serviceUsageAdmin
)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
-
Compute-Netzwerkadministrator (
Notieren Sie sich das Compute Engine Standarddienstkonto, das Sie an einen Eventarc-Trigger anhängen, um die Identität des Triggers zu Testzwecken darzustellen. Dieses Dienstkonto wird automatisch nach der Aktivierung oder Verwendung eines Google Cloud-Dienstes, der Compute Engine verwendet, mit dem folgenden E-Mail-Format erstellt:
PROJECT_NUMBER-compute@developer.gserviceaccount.com
Ersetzen Sie
PROJECT_NUMBER
durch Ihre Google Cloud-Projektnummer. Sie finden Ihre Projektnummer auf der Willkommensseite der Google Cloud Console oder durch Ausführen des folgenden Befehls:gcloud projects describe PROJECT_ID --format='value(projectNumber)'
Für Produktionsumgebungen empfehlen wir dringend, ein neues Dienstkonto zu erstellen und ihm eine oder mehrere IAM-Rollen zuzuweisen, die die erforderlichen Mindestberechtigungen enthalten und dem Grundsatz der geringsten Berechtigung folgen.
- Wenn Sie den Cloud Pub/Sub-Dienst-Agent am oder vor dem 8. April 2021 aktiviert haben, um authentifizierte Pub/Sub-Push-Anfragen zu unterstützen, weisen Sie dem von Google verwalteten Dienstkonto die Rolle „Ersteller von Dienstkonto-Tokens“ (
roles/iam.serviceAccountTokenCreator
) zu. Andernfalls wird diese Rolle standardmäßig zugewiesen:gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role=roles/iam.serviceAccountTokenCreator
Nur-Proxy-Subnetz erstellen
Sofern Sie keine Organisationsrichtlinie erstellen, die dies verbietet, beginnen neue Projekte mit einem Standardnetzwerk (einem VPC-Netzwerk im automatischen Modus), das in jeder Region ein Subnetzwerk (Subnetz) hat. Jedes VPC-Netzwerk besteht aus einem oder mehreren IP-Adressbereichen, die als Subnetze bezeichnet werden. Subnetze sind regionale Ressourcen, denen IP-Adressbereiche zugeordnet sind.
Verwenden Sie den Befehl
gcloud compute networks subnets create
, um ein Nur-Proxy-Subnetz im Standardnetzwerk zu erstellen.gcloud compute networks subnets create proxy-only-subnet \ --purpose=REGIONAL_MANAGED_PROXY \ --role=ACTIVE \ --region=us-central1 \ --network=default \ --range=10.10.10.0/24
Beachten Sie, dass ein Subnetz mit
purpose=REGIONAL_MANAGED_PROXY
für Envoy-basierte Load-Balancer reserviert ist und dierange
mindestens 64 IP-Adressen bereitstellen muss.Erstellen Sie eine Firewallregel, die dem Bereich des Nur-Proxy-Subnetzes entspricht und Traffic über TCP-Port 8080 zulässt.
gcloud compute firewall-rules create allow-proxy-connection \ --allow tcp:8080 \ --source-ranges 10.10.10.0/24 \ --network=default
Privaten GKE-Cluster erstellen
Verwenden Sie den Befehl gcloud container clusters create-auto
, um einen privaten GKE-Cluster im Autopilot-Modus zu erstellen, der private Knoten und keinen Clientzugriff auf den öffentlichen Endpunkt hat.
Im folgenden Beispiel werden ein privater GKE-Cluster mit dem Namen private-cluster
sowie ein Subnetz mit dem Namen my-subnet
erstellt:
gcloud container clusters create-auto private-cluster \
--create-subnetwork name=my-subnet \
--enable-master-authorized-networks \
--enable-private-nodes \
--enable-private-endpoint \
--region=us-central1
Wichtige Hinweise:
--enable-master-authorized-networks
gibt an, dass der Zugriff auf den öffentlichen Endpunkt auf von Ihnen autorisierte IP-Adressbereiche beschränkt ist.--enable-private-nodes
gibt an, dass die Knoten des Clusters keine externen IP-Adressen haben.--enable-private-endpoint
gibt an, dass der Cluster mithilfe der internen IP-Adresse für den API-Endpunkt der Steuerungsebene verwaltet wird.
Es kann einige Minuten dauern, bis der Cluster erstellt ist. Nachdem der Cluster erstellt wurde, sollte in der Ausgabe angezeigt werden, dass der Status des Clusters
ist RUNNING
.
VM-Instanz in einem bestimmten Subnetz erstellen
Eine Compute Engine-VM-Instanz ist eine virtuelle Maschine, die in der Infrastruktur von Google gehostet wird. Die Begriffe Compute Engine-Instanz, VM-Instanz und VM werden synonym verwendet. VM-Instanzen umfassen GKE-Cluster, Instanzen der flexiblen App Engine-Umgebung und andere Google Cloud-Produkte, die auf Compute Engine-VMs basieren.
Verwenden Sie den Befehl gcloud compute instances create
, um eine Compute Engine-VM-Instanz in dem Subnetz zu erstellen, das Sie zuvor erstellt haben. Hängen Sie ein Dienstkonto an und legen Sie den Zugriffsbereich der VM auf cloud-platform
fest.
gcloud compute instances create my-vm \
--service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--scopes=https://www.googleapis.com/auth/cloud-platform \
--zone=us-central1-a \
--subnet=my-subnet
Weitere Informationen finden Sie unter VM-Instanz erstellen und starten.
Ereignisempfänger auf der VM bereitstellen
Stellen Sie mit dem vordefinierten Image us-docker.pkg.dev/cloudrun/container/hello
einen Dienst auf Ihrer VM bereit, der Port 80 überwacht und Ereignisse empfängt und protokolliert.
Stellen Sie mit dem folgenden Befehl eine SSH-Verbindung zu Ihrer VM-Instanz her:
gcloud compute ssh my-vm --project=PROJECT_ID --zone=us-central1-a
Nachdem eine Verbindung zum SSH-Server hergestellt wurde, führen Sie die verbleibenden Befehle auf Ihrer VM-Instanz aus.
Installieren Sie bei Bedarf
kubectl
und alle erforderlichen Plug-ins.Verwenden Sie in Ihrer VM-Instanz den Befehl
get-credentials
, umkubectl
für die Arbeit mit dem von Ihnen erstellten Cluster zu aktivieren.gcloud container clusters get-credentials private-cluster \ --region=us-central1 \ --internal-ip
Verwenden Sie einen Kubernetes-Befehl
kubectl create deployment
, um eine Anwendung im Cluster bereitzustellen.kubectl create deployment hello-app \ --image=us-docker.pkg.dev/cloudrun/container/hello
Damit wird ein Deployment mit dem Namen
hello-app
erstellt. Der Pod des Deployments führt das Container-Imagehello
aus.Nach der Bereitstellung der Anwendung können Sie sie für Traffic freigeben, indem Sie einen Kubernetes-Dienst erstellen. Führen Sie den
kubectl expose
-Befehl aus:kubectl expose deployment hello-app \ --type ClusterIP \ --port 80 \ --target-port 8080
In der Ausgabe sollte
service/hello-app exposed
angezeigt werden.Nachrichten wie diese können Sie ignorieren:
E0418 14:15:33.970933 1129 memcache.go:287] couldn't get resource list for metrics.k8s.io/v1beta1: the server is currently unable to handle the request
Traffic-Routing von Kubernetes konfigurieren
Eine Gateway-Ressource stellt eine Datenebene dar, die Traffic in Kubernetes weiterleitet. Ein Gateway kann je nach der abgeleiteten GatewayClass viele verschiedene Arten von Load-Balancing und Routing darstellen. Weitere Informationen finden Sie unter Gateways bereitstellen.
Ein HTTPRoute
-Manifest wird bereitgestellt, um Routen zu erstellen und Traffic an Anwendungs-Back-Ends zu senden.
Stellen Sie ein Gateway in Ihrem Cluster bereit.
kubectl apply -f - <<EOF kind: Gateway apiVersion: gateway.networking.k8s.io/v1beta1 metadata: name: internal-http spec: gatewayClassName: gke-l7-rilb listeners: - name: http protocol: HTTP port: 80 EOF
Wichtige Hinweise:
gatewayClassName: gke-l7-rilb
gibt die GatewayClass an, von der dieses Gateway abgeleitet wurde.gke-l7-rilb
entspricht dem internen Anwendungs-Load-Balancer.port: 80
gibt an, dass das Gateway nur Port 80 für das Monitoring von HTTP-Traffic freigibt.
Prüfen Sie, ob das Gateway ordnungsgemäß bereitgestellt wurde. Es kann einige Minuten dauern, bis alle Ressourcen bereitgestellt wurden.
kubectl describe gateways.gateway.networking.k8s.io internal-http
Die Ausgabe sieht in etwa so aus:
Name: internal-http Namespace: default ... API Version: gateway.networking.k8s.io/v1beta1 Kind: Gateway ... Spec: Gateway Class Name: gke-l7-rilb Listeners: Allowed Routes: Namespaces: From: Same Name: http Port: 80 Protocol: HTTP Status: Addresses: Type: IPAddress Value: 10.36.172.5 ... Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal ADD 80s sc-gateway-controller default/internal-http Normal UPDATE 20s (x3 over 80s) sc-gateway-controller default/internal-http Normal SYNC 20s sc-gateway-controller SYNC on default/internal-http was a success
Stellen Sie ein
HTTPRoute
-Manifest bereit, um HTTP-Traffic an den Diensthello-app
über Port 80 weiterzuleiten.kubectl apply -f - <<EOF kind: HTTPRoute apiVersion: gateway.networking.k8s.io/v1beta1 metadata: name: hello-app-route spec: parentRefs: - kind: Gateway name: internal-http rules: - backendRefs: - name: hello-app port: 80 EOF
Netzwerkanhang erstellen
Ein Netzwerkanhang ist eine Ressource, mit der ein Produzenten-VPC-Netzwerk über eine Private Service Connect-Schnittstelle Verbindungen zu einem Nutzer-VPC-Netzwerk initiieren kann.
Eventarc verwendet zum Veröffentlichen von Ereignissen den Netzwerkanhang, um eine Verbindung zum internen HTTP-Endpunkt herzustellen, der in einem VPC-Netzwerk gehostet wird.
Sie können einen Netzwerkanhang erstellen, der automatisch Verbindungen von jeder Private Service Connect-Schnittstelle akzeptiert, die auf den Netzwerkanhang verweist. Erstellen Sie den Netzwerkanhang im selben Netzwerk und in derselben Region wie der HTTP-Zieldienst.
gcloud compute network-attachments create my-network-attachment \ --region=us-central1 \ --subnets=my-subnet\ --connection-preference=ACCEPT_AUTOMATIC
Weitere Informationen finden Sie unter Netzwerkanhänge.
Eventarc-Trigger erstellen
Sie erstellen einen Eventarc-Trigger, der ein neues Pub/Sub-Thema erstellt und Ereignisse an den auf der VM bereitgestellten Ereignisempfänger weiterleitet, wenn eine Nachricht im Pub/Sub-Thema veröffentlicht wird.
Rufen Sie die Gateway-Adresse ab.
GATEWAY_ADDRESS=$(kubectl get gateways.gateway.networking.k8s.io internal-http -o=jsonpath="{.status.addresses[0].value}")
Erstellen Sie einen Trigger.
gcloud eventarc triggers create my-trigger \ --location=us-central1 \ --destination-http-endpoint-uri="http://$GATEWAY_ADDRESS:80/" \ --network-attachment="projects/PROJECT_ID/regions/us-central1/networkAttachments/my-network-attachment" \ --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \ --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com
Ersetzen Sie
PROJECT_NUMBER
durch Ihre Google Cloud-Projektnummer. Sie finden Ihre Projektnummer auf der Willkommensseite der Google Cloud Console oder durch Ausführen des folgenden Befehls:gcloud projects describe PROJECT_ID --format='value(projectNumber)'
Weitere Informationen zum Konfigurieren des Triggers finden Sie unter Ereignisse an einen internen HTTP-Endpunkt in einem VPC-Netzwerk weiterleiten.
Generieren Sie ein Pub/Sub-Thema und rufen Sie es auf.
Sie können ein Ereignis generieren, indem Sie eine Nachricht in einem Pub/Sub-Thema veröffentlichen.
Suchen Sie das Pub/Sub-Thema und legen Sie es als Umgebungsvariable fest.
export MY_TOPIC=$(gcloud eventarc triggers describe my-trigger \ --location=us-central1 \ --format='value(transport.pubsub.topic)')
Senden Sie eine Nachricht an das Pub/Sub-Thema, um ein Ereignis zu generieren:
gcloud pubsub topics publish $MY_TOPIC --message "Hello World"
Der Eventarc-Trigger leitet das Ereignis an den internen HTTP-Endpunkt im privaten GKE-Cluster weiter.
Prüfen Sie die Anwendungs-Pod-Logs und die Ereignisübermittlung.
POD_NAME=$(kubectl get pod --selector app=hello-app --output=name) kubectl logs $POD_NAME
Der Ereignistext sollte in etwa so aussehen:
2024/04/18 20:31:43 Hello from Cloud Run! The container started successfully and is listening for HTTP requests on $PORT {"severity":"INFO","eventType":"google.cloud.pubsub.topic.v1.messagePublished","message":"Received event of type google.cloud.pubsub.topic.v1.messagePublished. Event data: Hello World","event":{"specversion":"1.0","id":"10935738681111260","source":"//pubsub.googleapis.com/projects/my-project/topics/eventarc-us-central1-my-trigger-224","type":"google.cloud.pubsub.topic.v1.messagePublished","datacontenttype":"application/json","time":"2024-04-18T20:40:03Z","data": {"message":{"data":"SGVsbG8gV29ybGQ=","messageId":"10935738681111260","publishTime":"2024-04-18T20:40:03Z"}}}}
Sie haben einen Ereignisempfängerdienst an einem internen HTTP-Endpunkt in einem privaten GKE-Cluster bereitgestellt, einen Eventarc-Trigger erstellt sowie ein Ereignis über Pub/Sub generiert und bestätigt, dass das Ereignis wie erwartet vom Trigger zum Zielendpunkt weitergeleitet wurde.
Bereinigen
Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.
Projekt löschen
Delete a Google Cloud project:
gcloud projects delete PROJECT_ID
Einzelne Ressourcen löschen
- Löschen Sie den Eventarc-Trigger:
gcloud eventarc triggers delete my-trigger --location=us-central1
- Beenden Sie die VM und löschen Sie dann die VM-Instanz:
gcloud compute instances delete my-vm --zone=us-central1-a
- Löschen Sie den Netzwerkanhang:
gcloud compute network-attachments delete my-network-attachment --region=us-central1
- Löschen Sie die Firewallregel:
gcloud compute firewall-rules delete allow-proxy-connection
- Löschen Sie den Cluster:
gcloud container clusters delete private-cluster --region=us-central1
- Delete the subnet:
gcloud compute networks subnets delete proxy-only-subnet --region=us-central1