Pub/Sub-Ereignisse an einem privaten HTTP-Endpunkt in einem privaten GKE-Cluster empfangen


In dieser Anleitung erfahren Sie, wie Sie einen privaten HTTP-Endpunkt in einem privaten GKE-Cluster (Google Kubernetes Engine) erstellen, der Pub/Sub-Nachrichtenereignisse mithilfe von Eventarc empfängt. Weitere Informationen zu diesem Ereignisziel finden Sie unter Ereignisse an einen internen HTTP-Endpunkt in einem VPC-Netzwerk weiterleiten.

Private GKE-Cluster sind eine Art VPC-nativer Cluster (Virtual Private Cloud), bei dem Knoten nur interne IP-Adressen haben. Das heißt, Knoten und Pods sind standardmäßig vom Internet isoliert. Sie können sich dafür entscheiden, keinen Clientzugriff, eingeschränkten Zugriff oder uneingeschränkten Zugriff auf die Steuerungsebene zu haben. Bestehende nicht private Cluster können nicht in private Cluster konvertiert werden. Weitere Informationen finden Sie unter Private Cluster.

Sie können die folgenden Befehle über das Google Cloud CLI entweder in Ihrem Terminal oder in Cloud Shell ausführen.

Ziele

In dieser Anleitung wird Folgendes beschrieben:

  1. Erstellen Sie im Standard-VPC-Netzwerk ein Nur-Proxy-Subnetz und eine VPC-Firewallregel.
  2. Erstellen Sie einen privaten GKE Autopilot-Cluster ohne Clientzugriff auf den öffentlichen Endpunkt.
  3. Erstellen Sie eine Compute Engine-VM-Instanz in einem bestimmten Subnetz des VPC-Netzwerk.
  4. Stellen Sie eine SSH-Verbindung zur VM-Instanz her und stellen Sie einen Ereignisempfängerdienst auf der VM-Instanz bereit.
  5. Stellen Sie ein Gateway in Ihrem Cluster und ein HTTPRoute-Manifest bereit, um das Routing von Traffic in Kubernetes zu Anwendungs-Backends zu konfigurieren.
  6. Erstellen Sie einen Netzwerkanhang, mit dem ein Produzenten-VPC-Netzwerk Verbindungen zu einem Nutzer-VPC-Netzwerk initiieren kann.
  7. Sie erstellen einen Eventarc-Trigger, der Pub/Sub-Ereignisse an den Ereignisempfänger auf Ihrer VM-Instanz weiterleitet.
  8. Veröffentlichen Sie eine Nachricht in einem Pub/Sub-Thema, um ein Ereignis zu generieren, und sehen Sie sich den Text des Ereignisses in den Pod-Logs der Anwendung an.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweise

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.
  3. To initialize the gcloud CLI, run the following command:

    gcloud init
  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Resource Manager, Compute Engine, Eventarc, GKE, and Pub/Sub APIs:

    gcloud services enable compute.googleapis.com container.googleapis.com cloudresourcemanager.googleapis.com eventarc.googleapis.com pubsub.googleapis.com
  7. Install the Google Cloud CLI.
  8. To initialize the gcloud CLI, run the following command:

    gcloud init
  9. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  10. Make sure that billing is enabled for your Google Cloud project.

  11. Enable the Cloud Resource Manager, Compute Engine, Eventarc, GKE, and Pub/Sub APIs:

    gcloud services enable compute.googleapis.com container.googleapis.com cloudresourcemanager.googleapis.com eventarc.googleapis.com pubsub.googleapis.com
  12. Aktualisieren Sie die Google Cloud CLI-Komponenten:
    gcloud components update
  13. Melden Sie sich mit Ihrem -Konto an:
    gcloud auth login
  14. Wenn Sie der Projektersteller sind, wird Ihnen die einfache Owner-Rolle (roles/owner) zugewiesen. Standardmäßig enthält diese IAM-Rolle (Identity and Access Management) die Berechtigungen, die für den vollständigen Zugriff auf die meisten Google Cloud-Ressourcen erforderlich sind. Sie können diesen Schritt überspringen.

    Wenn Sie nicht der Project Creator sind, müssen dem entsprechenden Hauptkonto die erforderlichen Berechtigungen für das Projekt erteilt werden. Ein Hauptkonto kann beispielsweise ein Google-Konto (für Endnutzer) oder ein Dienstkonto (für Anwendungen und Computing-Arbeitslasten) sein. Weitere Informationen finden Sie auf der Seite Rollen und Berechtigungen für Ihr Ereignisziel.

    Erforderliche Berechtigungen

    Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Kurzanleitung benötigen:

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

  15. Notieren Sie sich das Compute Engine Standarddienstkonto, das Sie an einen Eventarc-Trigger anhängen, um die Identität des Triggers zu Testzwecken darzustellen. Dieses Dienstkonto wird automatisch nach der Aktivierung oder Verwendung eines Google Cloud-Dienstes, der Compute Engine verwendet, mit dem folgenden E-Mail-Format erstellt:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Ersetzen Sie PROJECT_NUMBER durch Ihre Google Cloud-Projektnummer. Sie finden Ihre Projektnummer auf der Willkommensseite der Google Cloud Console oder durch Ausführen des folgenden Befehls:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Für Produktionsumgebungen empfehlen wir dringend, ein neues Dienstkonto zu erstellen und ihm eine oder mehrere IAM-Rollen zuzuweisen, die die erforderlichen Mindestberechtigungen enthalten und dem Grundsatz der geringsten Berechtigung folgen.

  16. Wenn Sie den Cloud Pub/Sub-Dienst-Agent am oder vor dem 8. April 2021 aktiviert haben, um authentifizierte Pub/Sub-Push-Anfragen zu unterstützen, weisen Sie dem von Google verwalteten Dienstkonto die Rolle „Ersteller von Dienstkonto-Tokens“ (roles/iam.serviceAccountTokenCreator) zu. Andernfalls wird diese Rolle standardmäßig zugewiesen:
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
        --role=roles/iam.serviceAccountTokenCreator

Nur-Proxy-Subnetz erstellen

Sofern Sie keine Organisationsrichtlinie erstellen, die dies verbietet, beginnen neue Projekte mit einem Standardnetzwerk (einem VPC-Netzwerk im automatischen Modus), das in jeder Region ein Subnetzwerk (Subnetz) hat. Jedes VPC-Netzwerk besteht aus einem oder mehreren IP-Adressbereichen, die als Subnetze bezeichnet werden. Subnetze sind regionale Ressourcen, denen IP-Adressbereiche zugeordnet sind.

  1. Verwenden Sie den Befehl gcloud compute networks subnets create, um ein Nur-Proxy-Subnetz im Standardnetzwerk zu erstellen.

    gcloud compute networks subnets create proxy-only-subnet \
        --purpose=REGIONAL_MANAGED_PROXY \
        --role=ACTIVE \
        --region=us-central1 \
        --network=default \
        --range=10.10.10.0/24
    

    Ein Subnetz mit purpose=REGIONAL_MANAGED_PROXY ist für Envoy-basierte Load Balancer reserviert und range muss mindestens 64 IP-Adressen bereitstellen.

  2. Erstellen Sie eine Firewallregel, die dem Bereich des Nur-Proxy-Subnetzes entspricht und Traffic auf TCP-Port 8080 zulässt.

    gcloud compute firewall-rules create allow-proxy-connection \
        --allow tcp:8080 \
        --source-ranges 10.10.10.0/24 \
        --network=default
    

Privaten GKE-Cluster erstellen

Verwenden Sie den Befehl gcloud container clusters create-auto, um einen privaten GKE-Cluster im Autopilot-Modus zu erstellen, der private Knoten und keinen Clientzugriff auf den öffentlichen Endpunkt hat.

Im folgenden Beispiel werden ein privater GKE-Cluster mit dem Namen private-cluster und ein Subnetz mit dem Namen my-subnet erstellt:

gcloud container clusters create-auto private-cluster \
    --create-subnetwork name=my-subnet \
    --enable-master-authorized-networks \
    --enable-private-nodes \
    --enable-private-endpoint \
    --region=us-central1

Wichtige Hinweise:

  • --enable-master-authorized-networks gibt an, dass der Zugriff auf den öffentlichen Endpunkt auf von Ihnen autorisierte IP-Adressbereiche beschränkt ist.
  • --enable-private-nodes gibt an, dass die Knoten des Clusters keine externen IP-Adressen haben.
  • --enable-private-endpoint gibt an, dass der Cluster mithilfe der internen IP-Adresse für den API-Endpunkt der Steuerungsebene verwaltet wird.

Es kann einige Minuten dauern, bis der Cluster erstellt ist. Nachdem der Cluster erstellt wurde, sollte in der Ausgabe angezeigt werden, dass der Status des Clusters ist RUNNING.

VM-Instanz in einem bestimmten Subnetz erstellen

Eine Compute Engine-VM-Instanz ist eine virtuelle Maschine, die in der Infrastruktur von Google gehostet wird. Die Begriffe Compute Engine-Instanz, VM-Instanz und VM werden synonym verwendet. VM-Instanzen umfassen GKE-Cluster, Instanzen der flexiblen App Engine-Umgebung und andere Google Cloud-Produkte, die auf Compute Engine-VMs basieren.

Verwenden Sie den Befehl gcloud compute instances create, um eine Compute Engine-VM-Instanz im zuvor erstellten Subnetz zu erstellen. Hängen Sie ein Dienstkonto an und legen Sie den Zugriffsbereich der VM auf cloud-platform fest.

gcloud compute instances create my-vm \
    --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --zone=us-central1-a \
    --subnet=my-subnet

Weitere Informationen finden Sie unter VM-Instanz erstellen und starten.

Ereignisempfänger auf der VM bereitstellen

Stellen Sie mit dem vordefinierten Image us-docker.pkg.dev/cloudrun/container/hello einen Dienst auf Ihrer VM bereit, der Port 80 überwacht und Ereignisse empfängt und protokolliert.

  1. Stellen Sie eine SSH-Verbindung zu Ihrer VM-Instanz her, indem Sie den folgenden Befehl ausführen:

    gcloud compute ssh my-vm --project=PROJECT_ID --zone=us-central1-a
    

    Nachdem eine Verbindung zum SSH-Server hergestellt wurde, führen Sie die verbleibenden Befehle auf Ihrer VM-Instanz aus.

  2. Installieren Sie gegebenenfalls kubectl und alle erforderlichen Plug-ins.

  3. Verwenden Sie in Ihrer VM-Instanz den Befehl get-credentials, um kubectl für die Arbeit mit dem von Ihnen erstellten Cluster zu aktivieren.

    gcloud container clusters get-credentials private-cluster \
        --region=us-central1 \
        --internal-ip
    
  4. Verwenden Sie einen Kubernetes-Befehl, kubectl create deployment, um eine Anwendung im Cluster bereitzustellen.

    kubectl create deployment hello-app \
        --image=us-docker.pkg.dev/cloudrun/container/hello
    

    Dadurch wird ein Deployment mit dem Namen hello-app erstellt. Der Pod des Deployments führt das Container-Image hello aus.

  5. Nach der Bereitstellung der Anwendung können Sie sie für Traffic freigeben, indem Sie einen Kubernetes-Dienst erstellen. Führen Sie den kubectl expose-Befehl aus:

    kubectl expose deployment hello-app \
        --type ClusterIP \
        --port 80 \
        --target-port 8080
    

    In der Ausgabe sollte service/hello-app exposed angezeigt werden.

    Sie können Meldungen wie die folgenden ignorieren:

    E0418 14:15:33.970933    1129 memcache.go:287] couldn't get resource list for metrics.k8s.io/v1beta1: the server is currently unable to handle the request
    

Kubernetes-Traffic-Routing konfigurieren

Eine Gateway-Ressource stellt eine Datenebene dar, die Traffic in Kubernetes weiterleitet. Ein Gateway kann je nach der abgeleiteten GatewayClass viele verschiedene Arten von Load-Balancing und Routing darstellen. Weitere Informationen finden Sie unter Gateways bereitstellen. Ein HTTPRoute-Manifest wird bereitgestellt, um Routen zu erstellen und Traffic an Anwendungs-Backends zu senden.

  1. Stellen Sie ein Gateway in Ihrem Cluster bereit.

    kubectl apply -f - <<EOF
    kind: Gateway
    apiVersion: gateway.networking.k8s.io/v1beta1
    metadata:
      name: internal-http
    spec:
      gatewayClassName: gke-l7-rilb
      listeners:
      - name: http
        protocol: HTTP
        port: 80
    EOF
    

    Wichtige Hinweise:

    • gatewayClassName: gke-l7-rilb gibt die GatewayClass an, von der dieses Gateway abgeleitet wurde. gke-l7-rilb entspricht dem internen Anwendungs-Load-Balancer.
    • port: 80 gibt an, dass das Gateway nur Port 80 für das Monitoring von HTTP-Traffic freigibt.
  2. Prüfen Sie, ob das Gateway ordnungsgemäß bereitgestellt wurde. Es kann einige Minuten dauern, bis alle Ressourcen bereitgestellt wurden.

    kubectl describe gateways.gateway.networking.k8s.io internal-http
    

    Die Ausgabe sieht in etwa so aus:

    Name:         internal-http
    Namespace:    default
    ...
    API Version:  gateway.networking.k8s.io/v1beta1
    Kind:         Gateway
    ...
    Spec:
      Gateway Class Name:  gke-l7-rilb
      Listeners:
        Allowed Routes:
          Namespaces:
            From:  Same
        Name:      http
        Port:      80
        Protocol:  HTTP
    Status:
      Addresses:
        Type:   IPAddress
        Value:  10.36.172.5
    ...
    Events:
      Type    Reason  Age                From                   Message
      ----    ------  ----               ----                   -------
      Normal  ADD     80s                sc-gateway-controller  default/internal-http
      Normal  UPDATE  20s (x3 over 80s)  sc-gateway-controller  default/internal-http
      Normal  SYNC    20s                sc-gateway-controller  SYNC on default/internal-http was a success
    
  3. Stellen Sie ein HTTPRoute-Manifest bereit, um HTTP-Traffic an den Dienst hello-app über Port 80 weiterzuleiten.

    kubectl apply -f - <<EOF
    kind: HTTPRoute
    apiVersion: gateway.networking.k8s.io/v1beta1
    metadata:
      name: hello-app-route
    spec:
      parentRefs:
      - kind: Gateway
        name: internal-http
      rules:
      - backendRefs:
        - name: hello-app
          port: 80
    EOF
    

Netzwerkanhang erstellen

Ein Netzwerkanhang ist eine Ressource, mit der ein Produzenten-VPC-Netzwerk über eine Private Service Connect-Schnittstelle Verbindungen zu einem Nutzer-VPC-Netzwerk initiieren kann.

Eventarc verwendet zum Veröffentlichen von Ereignissen den Netzwerkanhang, um eine Verbindung zum internen HTTP-Endpunkt herzustellen, der in einem VPC-Netzwerk gehostet wird.

Sie können einen Netzwerkanhang erstellen, der automatisch Verbindungen von jeder Private Service Connect-Schnittstelle akzeptiert, die auf den Netzwerkanhang verweist. Erstellen Sie den Netzwerkanhang im selben Netzwerk und in derselben Region wie der HTTP-Zieldienst.

gcloud compute network-attachments create my-network-attachment \
    --region=us-central1 \
    --subnets=my-subnet\
    --connection-preference=ACCEPT_AUTOMATIC

Weitere Informationen finden Sie unter Netzwerkanhänge.

Eventarc-Trigger erstellen

Sie erstellen einen Eventarc-Trigger, der ein neues Pub/Sub-Thema erstellt und Ereignisse an den auf der VM bereitgestellten Ereignisempfänger weiterleitet, wenn eine Nachricht im Pub/Sub-Thema veröffentlicht wird.

  1. Rufen Sie die Gateway-Adresse ab.

    GATEWAY_ADDRESS=$(kubectl get gateways.gateway.networking.k8s.io internal-http -o=jsonpath="{.status.addresses[0].value}")
    
  2. Erstellen Sie einen Trigger.

    gcloud eventarc triggers create my-trigger \
        --location=us-central1 \
        --destination-http-endpoint-uri="http://$GATEWAY_ADDRESS:80/" \
        --network-attachment="projects/PROJECT_ID/regions/us-central1/networkAttachments/my-network-attachment" \
        --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \
        --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com
    

    Ersetzen Sie PROJECT_NUMBER durch Ihre Google Cloud-Projektnummer. Sie finden Ihre Projektnummer auf der Willkommensseite der Google Cloud Console oder durch Ausführen des folgenden Befehls:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'
    

Weitere Informationen zum Konfigurieren des Triggers finden Sie unter Ereignisse an einen internen HTTP-Endpunkt in einem VPC-Netzwerk weiterleiten.

Generieren Sie ein Pub/Sub-Thema und rufen Sie es auf.

Sie können ein Ereignis generieren, indem Sie eine Nachricht in einem Pub/Sub-Thema veröffentlichen.

  1. Suchen Sie das Pub/Sub-Thema und legen Sie es als Umgebungsvariable fest.

    export MY_TOPIC=$(gcloud eventarc triggers describe my-trigger \
        --location=us-central1 \
        --format='value(transport.pubsub.topic)')
    
  2. Senden Sie eine Nachricht an das Pub/Sub-Thema, um ein Ereignis zu generieren:

    gcloud pubsub topics publish $MY_TOPIC --message "Hello World"
    

    Der Eventarc-Trigger leitet das Ereignis an den internen HTTP-Endpunkt im privaten GKE-Cluster weiter.

  3. Prüfen Sie die Pod-Logs der Anwendung und die Ereignisübermittlung.

    POD_NAME=$(kubectl get pod --selector app=hello-app --output=name)
    kubectl logs $POD_NAME
    

    Der Ereignistext sollte in etwa so aussehen:

    2024/04/18 20:31:43 Hello from Cloud Run! The container started successfully and is listening for HTTP requests on $PORT
    {"severity":"INFO","eventType":"google.cloud.pubsub.topic.v1.messagePublished","message":"Received event of type google.cloud.pubsub.topic.v1.messagePublished.
    Event data: Hello World","event":{"specversion":"1.0","id":"10935738681111260","source":"//pubsub.googleapis.com/projects/my-project/topics/eventarc-us-central1-my-trigger-224","type":"google.cloud.pubsub.topic.v1.messagePublished","datacontenttype":"application/json","time":"2024-04-18T20:40:03Z","data":
    {"message":{"data":"SGVsbG8gV29ybGQ=","messageId":"10935738681111260","publishTime":"2024-04-18T20:40:03Z"}}}}
    

Sie haben einen Ereignisempfängerdienst an einem internen HTTP-Endpunkt in einem privaten GKE-Cluster bereitgestellt, einen Eventarc-Trigger erstellt sowie ein Ereignis über Pub/Sub generiert und bestätigt, dass das Ereignis wie erwartet vom Trigger zum Zielendpunkt weitergeleitet wurde.

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

    Delete a Google Cloud project:

    gcloud projects delete PROJECT_ID

Einzelne Ressourcen löschen

  1. Löschen Sie den Eventarc-Trigger:
      gcloud eventarc triggers delete my-trigger --location=us-central1
  2. Beenden Sie die VM und löschen Sie dann die VM-Instanz:
      gcloud compute instances delete my-vm --zone=us-central1-a
  3. Löschen Sie den Netzwerkanhang:
      gcloud compute network-attachments delete my-network-attachment --region=us-central1
  4. Löschen Sie die Firewallregel:
      gcloud compute firewall-rules delete allow-proxy-connection
  5. Löschen Sie den Cluster:
      gcloud container clusters delete private-cluster --region=us-central1
      
  6. Delete the subnet:
      gcloud compute networks subnets delete proxy-only-subnet --region=us-central1

Nächste Schritte