Pub/Sub-Ereignisse an einem privaten HTTP-Endpunkt in einem privaten GKE-Cluster empfangen


In dieser Anleitung erfahren Sie, wie Sie einen privaten HTTP-Endpunkt in einem privaten GKE-Cluster (Google Kubernetes Engine) erstellen, der Pub/Sub-Nachrichtenereignisse mithilfe von Eventarc empfängt. Weitere Informationen zu diesem Ereignisziel finden Sie unter Ereignisse an einen internen HTTP-Endpunkt in einem VPC-Netzwerk weiterleiten.

Private GKE-Cluster sind eine Art VPC-nativer Cluster (Virtual Private Cloud), bei dem Knoten nur interne IP-Adressen haben. Das heißt, Knoten und Pods sind standardmäßig vom Internet isoliert. Sie können sich dafür entscheiden, keinen Clientzugriff, eingeschränkten Zugriff oder uneingeschränkten Zugriff auf die Steuerungsebene zu haben. Bestehende nicht private Cluster können nicht in private Cluster konvertiert werden. Weitere Informationen finden Sie unter Private Cluster.

Sie können die folgenden Befehle über das Google Cloud CLI entweder in Ihrem Terminal oder in Cloud Shell ausführen.

Lernziele

In dieser Anleitung wird Folgendes beschrieben:

  1. Erstellen Sie ein Nur-Proxy-Subnetz im Standard-VPC-Netzwerk und eine VPC-Firewallregel.
  2. Erstellen Sie einen privaten GKE Autopilot-Cluster ohne Clientzugriff auf den öffentlichen Endpunkt.
  3. Erstellen Sie eine Compute Engine-VM-Instanz in einem bestimmten Subnetz des VPC-Netzwerks.
  4. Stellen Sie eine SSH-Verbindung zur VM-Instanz her und stellen Sie auf der VM-Instanz einen Ereignisempfängerdienst bereit.
  5. Stellen Sie ein Gateway in Ihrem Cluster und ein HTTPRoute-Manifest bereit, um das Routing von Traffic in Kubernetes zu Anwendungs-Back-Ends zu konfigurieren.
  6. Erstellen Sie einen Netzwerkanhang, mit dem ein Produzenten-VPC-Netzwerk Verbindungen zu einem Nutzer-VPC-Netzwerk initiieren kann.
  7. Sie erstellen einen Eventarc-Trigger, der Pub/Sub-Ereignisse an den Ereignisempfänger auf Ihrer VM-Instanz weiterleitet.
  8. Veröffentlichen Sie eine Nachricht in einem Pub/Sub-Thema, um ein Ereignis zu generieren, und sehen Sie sich den Text des Ereignisses in den Pod-Logs der Anwendung an.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweise

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
  2. Installieren Sie die Google Cloud CLI.
  3. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

    gcloud init
  4. Google Cloud-Projekt erstellen oder auswählen.

    • Erstellen Sie ein Google Cloud-Projekt:

      gcloud projects create PROJECT_ID

      Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud-Projekt, das Sie erstellen.

    • Wählen Sie das von Ihnen erstellte Google Cloud-Projekt aus:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch den Namen Ihres Google Cloud-Projekts.

  5. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  6. Aktivieren Sie die Cloud Resource Manager, Compute Engine, Eventarc, GKE, and Pub/Sub APIs:

    gcloud services enable compute.googleapis.com container.googleapis.com cloudresourcemanager.googleapis.com eventarc.googleapis.com pubsub.googleapis.com
  7. Installieren Sie die Google Cloud CLI.
  8. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

    gcloud init
  9. Google Cloud-Projekt erstellen oder auswählen.

    • Erstellen Sie ein Google Cloud-Projekt:

      gcloud projects create PROJECT_ID

      Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud-Projekt, das Sie erstellen.

    • Wählen Sie das von Ihnen erstellte Google Cloud-Projekt aus:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch den Namen Ihres Google Cloud-Projekts.

  10. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  11. Aktivieren Sie die Cloud Resource Manager, Compute Engine, Eventarc, GKE, and Pub/Sub APIs:

    gcloud services enable compute.googleapis.com container.googleapis.com cloudresourcemanager.googleapis.com eventarc.googleapis.com pubsub.googleapis.com
  12. Aktualisieren Sie die Google Cloud CLI-Komponenten:
    gcloud components update
  13. Melden Sie sich mit Ihrem -Konto an:
    gcloud auth login
  14. Wenn Sie der Projektersteller sind, wird Ihnen die einfache Owner-Rolle (roles/owner) zugewiesen. Standardmäßig enthält diese IAM-Rolle (Identity and Access Management) die Berechtigungen, die für den vollständigen Zugriff auf die meisten Google Cloud-Ressourcen erforderlich sind. Sie können diesen Schritt überspringen.

    Wenn Sie nicht der Project Creator sind, müssen dem entsprechenden Hauptkonto die erforderlichen Berechtigungen für das Projekt erteilt werden. Ein Hauptkonto kann beispielsweise ein Google-Konto (für Endnutzer) oder ein Dienstkonto (für Anwendungen und Computing-Arbeitslasten) sein. Weitere Informationen finden Sie auf der Seite Rollen und Berechtigungen für Ihr Ereignisziel.

    Erforderliche Berechtigungen

    Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Anleitung benötigen:

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

  15. Das Compute Engine-Standarddienstkonto wird nach der Aktivierung oder Verwendung eines Google Cloud-Dienstes, der Compute Engine verwendet, automatisch erstellt.

    Zu Testzwecken können Sie dieses Dienstkonto an einen Eventarc-Trigger anhängen, um die Identität des Triggers darzustellen. Beachten Sie das E-Mail-Format, das beim Erstellen eines Triggers verwendet werden muss:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com
    

    Ersetzen Sie PROJECT_NUMBER durch Ihre Google Cloud-Projektnummer. Sie finden Ihre Projektnummer auf der Willkommensseite der Google Cloud Console oder durch Ausführen des folgenden Befehls:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Dem Compute Engine-Dienstkonto wird automatisch die einfache Rolle "Editor" (roles/editor) für Ihr Projekt zugewiesen. Wenn die automatischen Rollenzuweisungen jedoch deaktiviert wurden, lesen Sie die entsprechende Anleitung zu Rollen und Berechtigungen, um ein neues Dienstkonto zu erstellen und ihm die erforderlichen Rollen zuzuweisen.

  16. Wenn Sie den Cloud Pub/Sub-Dienst-Agent am oder vor dem 8. April 2021 aktiviert haben, um authentifizierte Pub/Sub-Push-Anfragen zu unterstützen, weisen Sie dem von Google verwalteten Dienstkonto die Rolle „Service Account Token Creator“ (roles/iam.serviceAccountTokenCreator) zu. Andernfalls wird diese Rolle standardmäßig zugewiesen:
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
        --role=roles/iam.serviceAccountTokenCreator

Nur-Proxy-Subnetz erstellen

Sofern Sie keine Organisationsrichtlinie erstellen, die dies verbietet, beginnen neue Projekte mit einem Standardnetzwerk (einem VPC-Netzwerk im automatischen Modus), das in jeder Region ein Subnetzwerk (Subnetz) hat. Jedes VPC-Netzwerk besteht aus einem oder mehreren IP-Adressbereichen, die als Subnetze bezeichnet werden. Subnetze sind regionale Ressourcen, denen IP-Adressbereiche zugeordnet sind.

  1. Verwenden Sie den Befehl gcloud compute networks subnets create, um ein Nur-Proxy-Subnetz im Standardnetzwerk zu erstellen.

    gcloud compute networks subnets create proxy-only-subnet \
        --purpose=REGIONAL_MANAGED_PROXY \
        --role=ACTIVE \
        --region=us-central1 \
        --network=default \
        --range=10.10.10.0/24
    

    Beachten Sie, dass ein Subnetz mit purpose=REGIONAL_MANAGED_PROXY für Envoy-basierte Load-Balancer reserviert ist und dass range mindestens 64 IP-Adressen bereitstellen muss.

  2. Erstellen Sie eine Firewallregel, die dem Bereich des Nur-Proxy-Subnetzes entspricht und Traffic über TCP-Port 8080 zulässt.

    gcloud compute firewall-rules create allow-proxy-connection \
        --allow tcp:8080 \
        --source-ranges 10.10.10.0/24 \
        --network=default
    

Privaten GKE-Cluster erstellen

Verwenden Sie den Befehl gcloud container clusters create-auto, um einen privaten GKE-Cluster im Autopilot-Modus zu erstellen, der private Knoten und keinen Clientzugriff auf den öffentlichen Endpunkt hat.

Im folgenden Beispiel wird ein privater GKE-Cluster mit dem Namen private-cluster und ein Subnetz mit dem Namen my-subnet erstellt:

gcloud container clusters create-auto private-cluster \
    --create-subnetwork name=my-subnet \
    --enable-master-authorized-networks \
    --enable-private-nodes \
    --enable-private-endpoint \
    --region=us-central1

Wichtige Hinweise:

  • --enable-master-authorized-networks gibt an, dass der Zugriff auf den öffentlichen Endpunkt auf von Ihnen autorisierte IP-Adressbereiche beschränkt ist.
  • --enable-private-nodes gibt an, dass die Knoten des Clusters keine externen IP-Adressen haben.
  • --enable-private-endpoint gibt an, dass der Cluster mithilfe der internen IP-Adresse für den API-Endpunkt der Steuerungsebene verwaltet wird.

Es kann einige Minuten dauern, bis der Cluster erstellt ist. Nachdem der Cluster erstellt wurde, sollte in der Ausgabe angezeigt werden, dass der Status des Clusters RUNNING lautet.

VM-Instanz in einem bestimmten Subnetz erstellen

Eine Compute Engine-VM-Instanz ist eine virtuelle Maschine, die in der Infrastruktur von Google gehostet wird. Die Begriffe Compute Engine-Instanz, VM-Instanz und VM werden synonym verwendet. VM-Instanzen umfassen GKE-Cluster, Instanzen der flexiblen App Engine-Umgebung und andere Google Cloud-Produkte, die auf Compute Engine-VMs basieren.

Erstellen Sie mit dem Befehl gcloud compute instances create eine Compute Engine-VM-Instanz in dem zuvor erstellten Subnetz. Hängen Sie ein Dienstkonto an und legen Sie den Zugriffsbereich der VM auf cloud-platform fest.

gcloud compute instances create my-vm \
    --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --zone=us-central1-a \
    --subnet=my-subnet

Weitere Informationen finden Sie unter VM-Instanz erstellen und starten.

Ereignisempfänger auf der VM bereitstellen

Stellen Sie mit dem vordefinierten Image us-docker.pkg.dev/cloudrun/container/hello einen Dienst auf Ihrer VM bereit, der Port 80 überwacht und Ereignisse empfängt und protokolliert.

  1. Stellen Sie mit dem folgenden Befehl eine SSH-Verbindung zu Ihrer VM-Instanz her:

    gcloud compute ssh my-vm --project=PROJECT_ID --zone=us-central1-a
    

    Nachdem eine Verbindung zum SSH-Server hergestellt wurde, führen Sie die verbleibenden Befehle auf Ihrer VM-Instanz aus.

  2. Installieren Sie bei Bedarf kubectl und alle erforderlichen Plug-ins.

  3. Verwenden Sie auf Ihrer VM-Instanz den Befehl get-credentials, um kubectl für die Arbeit mit dem von Ihnen erstellten Cluster zu aktivieren.

    gcloud container clusters get-credentials private-cluster \
        --region=us-central1 \
        --internal-ip
    
  4. Verwenden Sie den Kubernetes-Befehl kubectl create deployment, um eine Anwendung im Cluster bereitzustellen.

    kubectl create deployment hello-app \
        --image=us-docker.pkg.dev/cloudrun/container/hello
    

    Damit wird ein Deployment mit dem Namen hello-app erstellt. Der Pod des Deployments führt das Container-Image hello aus.

  5. Nach dem Deployment der Anwendung können Sie sie für Traffic freigeben. Erstellen Sie dazu einen Kubernetes-Dienst. Führen Sie den folgenden kubectl expose-Befehl aus:

    kubectl expose deployment hello-app \
        --type ClusterIP \
        --port 80 \
        --target-port 8080
    

    In der Ausgabe sollte service/hello-app exposed angezeigt werden.

    Sie können Nachrichten wie die folgenden ignorieren:

    E0418 14:15:33.970933    1129 memcache.go:287] couldn't get resource list for metrics.k8s.io/v1beta1: the server is currently unable to handle the request
    

Kubernetes-Traffic-Routing konfigurieren

Eine Gateway-Ressource stellt eine Datenebene dar, die Traffic in Kubernetes weiterleitet. Ein Gateway kann je nach der abgeleiteten GatewayClass viele verschiedene Arten von Load-Balancing und Routing darstellen. Weitere Informationen finden Sie unter Gateways bereitstellen. Ein HTTPRoute-Manifest wird bereitgestellt, um Routen zu erstellen und Traffic an Anwendungs-Back-Ends zu senden.

  1. Stellen Sie ein Gateway in Ihrem Cluster bereit.

    kubectl apply -f - <<EOF
    kind: Gateway
    apiVersion: gateway.networking.k8s.io/v1beta1
    metadata:
      name: internal-http
    spec:
      gatewayClassName: gke-l7-rilb
      listeners:
      - name: http
        protocol: HTTP
        port: 80
    EOF
    

    Wichtige Hinweise:

    • gatewayClassName: gke-l7-rilb gibt die GatewayClass an, von der dieses Gateway abgeleitet wurde. gke-l7-rilb entspricht dem internen Anwendungs-Load-Balancer.
    • port: 80 gibt an, dass das Gateway nur Port 80 für das Monitoring von HTTP-Traffic freigibt.
  2. Prüfen Sie, ob das Gateway ordnungsgemäß bereitgestellt wurde. Es kann einige Minuten dauern, bis alle Ressourcen bereitgestellt wurden.

    kubectl describe gateways.gateway.networking.k8s.io internal-http
    

    Die Ausgabe sieht in etwa so aus:

    Name:         internal-http
    Namespace:    default
    ...
    API Version:  gateway.networking.k8s.io/v1beta1
    Kind:         Gateway
    ...
    Spec:
      Gateway Class Name:  gke-l7-rilb
      Listeners:
        Allowed Routes:
          Namespaces:
            From:  Same
        Name:      http
        Port:      80
        Protocol:  HTTP
    Status:
      Addresses:
        Type:   IPAddress
        Value:  10.36.172.5
    ...
    Events:
      Type    Reason  Age                From                   Message
      ----    ------  ----               ----                   -------
      Normal  ADD     80s                sc-gateway-controller  default/internal-http
      Normal  UPDATE  20s (x3 over 80s)  sc-gateway-controller  default/internal-http
      Normal  SYNC    20s                sc-gateway-controller  SYNC on default/internal-http was a success
    
  3. Stellen Sie ein HTTPRoute-Manifest bereit, um HTTP-Traffic an den Dienst hello-app über Port 80 weiterzuleiten.

    kubectl apply -f - <<EOF
    kind: HTTPRoute
    apiVersion: gateway.networking.k8s.io/v1beta1
    metadata:
      name: hello-app-route
    spec:
      parentRefs:
      - kind: Gateway
        name: internal-http
      rules:
      - backendRefs:
        - name: hello-app
          port: 80
    EOF
    

Netzwerkanhang erstellen

Ein Netzwerkanhang ist eine Ressource, mit der ein Produzenten-VPC-Netzwerk über eine Private Service Connect-Schnittstelle Verbindungen zu einem Nutzer-VPC-Netzwerk initiieren kann.

Eventarc verwendet zum Veröffentlichen von Ereignissen den Netzwerkanhang, um eine Verbindung zum internen HTTP-Endpunkt herzustellen, der in einem VPC-Netzwerk gehostet wird.

Sie können einen Netzwerkanhang erstellen, der automatisch Verbindungen von jeder Private Service Connect-Schnittstelle akzeptiert, die auf den Netzwerkanhang verweist. Erstellen Sie den Netzwerkanhang im selben Netzwerk und in derselben Region wie der HTTP-Zieldienst.

gcloud compute network-attachments create my-network-attachment \
    --region=us-central1 \
    --subnets=my-subnet\
    --connection-preference=ACCEPT_AUTOMATIC

Weitere Informationen finden Sie unter Netzwerkanhänge.

Eventarc-Trigger erstellen

Sie erstellen einen Eventarc-Trigger, der ein neues Pub/Sub-Thema erstellt und Ereignisse an den auf der VM bereitgestellten Ereignisempfänger weiterleitet, wenn eine Nachricht im Pub/Sub-Thema veröffentlicht wird.

  1. Rufen Sie die Gateway-Adresse ab.

    GATEWAY_ADDRESS=$(kubectl get gateways.gateway.networking.k8s.io internal-http -o=jsonpath="{.status.addresses[0].value}")
    
  2. Erstellen Sie einen Trigger.

    gcloud eventarc triggers create my-trigger \
        --location=us-central1 \
        --destination-http-endpoint-uri="http://$GATEWAY_ADDRESS:80/" \
        --network-attachment="projects/PROJECT_ID/regions/us-central1/networkAttachments/my-network-attachment" \
        --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \
        --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com
    

    Ersetzen Sie PROJECT_NUMBER durch Ihre Google Cloud-Projektnummer. Sie finden Ihre Projektnummer auf der Willkommensseite der Google Cloud Console oder durch Ausführen des folgenden Befehls:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'
    

Weitere Informationen zum Konfigurieren des Triggers finden Sie unter Ereignisse an einen internen HTTP-Endpunkt in einem VPC-Netzwerk weiterleiten.

Generieren Sie ein Pub/Sub-Thema und rufen Sie es auf.

Sie können ein Ereignis generieren, indem Sie eine Nachricht in einem Pub/Sub-Thema veröffentlichen.

  1. Suchen Sie das Pub/Sub-Thema und legen Sie es als Umgebungsvariable fest.

    export MY_TOPIC=$(gcloud eventarc triggers describe my-trigger \
        --location=us-central1 \
        --format='value(transport.pubsub.topic)')
    
  2. Senden Sie eine Nachricht an das Pub/Sub-Thema, um ein Ereignis zu generieren:

    gcloud pubsub topics publish $MY_TOPIC --message "Hello World"
    

    Der Eventarc-Trigger leitet das Ereignis an den internen HTTP-Endpunkt im privaten GKE-Cluster weiter.

  3. Prüfen Sie die Anwendungs-Pod-Logs und die Ereignisübermittlung.

    POD_NAME=$(kubectl get pod --selector app=hello-app --output=name)
    kubectl logs $POD_NAME
    

    Der Text des Ereignisses sollte in etwa so aussehen:

    2024/04/18 20:31:43 Hello from Cloud Run! The container started successfully and is listening for HTTP requests on $PORT
    {"severity":"INFO","eventType":"google.cloud.pubsub.topic.v1.messagePublished","message":"Received event of type google.cloud.pubsub.topic.v1.messagePublished.
    Event data: Hello World","event":{"specversion":"1.0","id":"10935738681111260","source":"//pubsub.googleapis.com/projects/my-project/topics/eventarc-us-central1-my-trigger-224","type":"google.cloud.pubsub.topic.v1.messagePublished","datacontenttype":"application/json","time":"2024-04-18T20:40:03Z","data":
    {"message":{"data":"SGVsbG8gV29ybGQ=","messageId":"10935738681111260","publishTime":"2024-04-18T20:40:03Z"}}}}
    

Sie haben einen Ereignisempfängerdienst an einem internen HTTP-Endpunkt in einem privaten GKE-Cluster bereitgestellt, einen Eventarc-Trigger erstellt sowie ein Ereignis über Pub/Sub generiert und bestätigt, dass das Ereignis wie erwartet vom Trigger zum Zielendpunkt weitergeleitet wurde.

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

    Google Cloud-Projekt löschen:

    gcloud projects delete PROJECT_ID

Einzelne Ressourcen löschen

  1. Löschen Sie den Eventarc-Trigger:
      gcloud eventarc triggers delete my-trigger --location=us-central1
  2. Beenden Sie die VM und löschen Sie dann die VM-Instanz:
      gcloud compute instances delete my-vm --zone=us-central1-a
  3. Löschen Sie den Netzwerkanhang:
      gcloud compute network-attachments delete my-network-attachment --region=us-central1
  4. Löschen Sie die Firewallregel:
      gcloud compute firewall-rules delete allow-proxy-connection
  5. Löschen Sie den Cluster:
      gcloud container clusters delete private-cluster --region=us-central1
      
  6. Löschen Sie das Subnetz:
      gcloud compute networks subnets delete proxy-only-subnet --region=us-central1

Nächste Schritte