Dataproc Metastore-Ereignisse an GKE weiterleiten

Vorschau — Eventarc for GKE destinations

Diese Funktion unterliegt den „Nutzungsbedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Nutzungsbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen sind „wie besehen“ verfügbar und werden möglicherweise nur eingeschränkt unterstützt. Weitere Informationen finden Sie in den Beschreibungen der Startphase.

Ein Eventarc-Trigger deklariert Ihr Interesse an einem bestimmten Ereignis oder einer Reihe von Ereignissen. Sie können das Ereignisrouting konfigurieren. Legen Sie dazu Filter für den Trigger fest, einschließlich der Ereignisquelle und des Google Kubernetes Engine (GKE)-Zieldienstes, der in einem GKE-Cluster ausgeführt wird. Beachten Sie, dass Ziele nur Dienste enthalten können, die in (öffentlichen oder privaten) GKE-Clustern mit öffentlichen Endpunkten ausgeführt werden. Wenn Sie auf Dienste in GKE-Clustern mit privaten Endpunkten abzielen, leiten Sie Ereignisse an interne HTTP-Endpunkte weiter.

Eventarc liefert Ereignisse über eine HTTP-Anfrage an den Ereignisempfänger im CloudEvents-Format.

In dieser Anleitung erfahren Sie, wie Sie das Ereignisrouting für Ihren GKE-Dienst konfigurieren, der durch ein direktesDataproc Metastore -Ereignis ausgelöst wird. Weitere Informationen finden Sie in der Liste der unterstützten direkten Ereignisse.

Hinweis: Wenn sowohl direkte als auch Audit-Log-Ereignisse für einen Google-Anbieter unterstützt werden, empfehlen wir die Erstellung eines Triggers, der nach dem direkten Ereignis filtert. Direkte Ereignisse bieten gegenüber Audit-Log-Ereignissen eine Reihe von Vorteilen. Weitere Informationen finden Sie unter Ereignisrouten.

Hinweise

Sie müssen Workload Identity in dem GKE-Cluster aktivieren, in dem der Zieldienst ausgeführt wird. Workload Identity ist für die ordnungsgemäße Einrichtung des Ereignis-Forwarders erforderlich und wird empfohlen, um aus den in GKE ausgeführten Anwendungen aufgrund seiner verbesserten Sicherheitseigenschaften und -verwaltung auf Google Cloud-Dienste zuzugreifen.

Workload Identity

In GKE ausgeführte Anwendungen benötigen möglicherweise Zugriff auf Google Cloud APIs. Workload Identity ermöglicht einem Kubernetes-Dienstkonto in Ihrem GKE-Cluster, als IAM-Dienstkonto zu fungieren. Pods, die das konfigurierte Kubernetes-Dienstkonto verwenden, werden beim Zugriff auf Google Cloud APIs automatisch als IAM-Dienstkonto authentifiziert. Mit Workload Identity können Sie jeder Anwendung in Ihrem Cluster separate, detaillierte Identitäten und Autorisierungen zuweisen. Beachten Sie, dass dem Dienstkonto des Eventarc-Triggers bestimmte Berechtigungen gewährt werden müssen. Dieses Dokument enthält die Schritte zum Erstellen eines Dienstkontos.

Weitere Informationen zum Aktivieren und Konfigurieren von Workload Identity in Ihren GKE-Clustern finden Sie unter Workload Identity verwenden.

Ereignis-Forwarder

Der Ereignis-Forwarder von Eventarc ruft neue Ereignisse aus Eventarc ab und leitet sie an das GKE-Ziel weiter. Diese Komponente fungiert als Vermittler zwischen der Pub/Sub-Transportebene und dem GKE-Dienst. Es funktioniert mit vorhandenen Diensten und unterstützt auch Signalisierungsdienste (einschließlich Dienste, die nicht außerhalb des vollständig verwalteten Clusters verfügbar sind), während die Einrichtung und Wartung vereinfacht wird. Damit Sie Ereignisse auf Netzwerkebene in einem GKE-Dienst empfangen können, müssen Sie den Dienst nicht für externen Traffic öffnen, da alle Ereignisse von einem Ursprung bereitgestellt werden, der sich im selben GKE-Cluster befindet.

Der Lebenszyklus des Ereignis-Forwarders wird von Eventarc verwaltet. Wenn Sie den Ereignis-Forwarder versehentlich löschen, wird diese Komponente von Eventarc wiederhergestellt.

Für jeden Trigger, der auf ein GKE-Ziel verweist, führt der Ereignis-Forwarder (ein speziell konfigurierter gke-forwarder-Pod) folgende Schritte aus:

1. Er verwendet die Pub/Sub API, um eine StreamingPull-Verbindung zum Trigger-Transporter (ein Pub/Sub-Thema und -Abo) zu öffnen, und empfängt Ereignisse, wenn sie verfügbar sind.

2. Er wandelt Ereignisse in das richtige CloudEvents-Format um und codiert sie als HTTP POST-Anfrage an den GKE-Zieldienst.

Der Eventarc-Dienst-Agent benötigt die Berechtigung zum Ausführen und regelmäßigen Aktualisieren der gke-forwarder-Instanz. Diese Berechtigung muss einmal pro Projekt erteilt werden. Weitere Informationen finden Sie in diesem Dokument unter GKE-Ziele aktivieren.

Erstellung eines Triggers vorbereiten

Für jeden Trigger, der auf einen GKE-Dienst abzielt, erstellt Eventarc eine Komponente zur Ereignisweiterleitung. Eventarc benötigt Berechtigungen zum Installieren der Komponente und zum Verwalten von Ressourcen im GKE-Cluster. Bevor Sie einen Eventarc-Trigger für GKE-Ziele erstellen, müssen Sie die folgenden Aufgaben ausführen:

Console

1. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit ihm verknüpften Ressourcen entfernen.

   Zur Projektauswahl

2. Aktivieren Sie die Eventarc, Eventarc Publishing, Google Kubernetes Engine und Resource Manager APIs.

   Aktivieren Sie die APIs

3. Aktivieren Sie gegebenenfalls die API, die mit den direkten Ereignissen verbunden ist. Aktivieren Sie beispielsweise für Dataproc Metastore -Ereignisse dieDataproc Metastore API.

4. Falls noch nicht geschehen, erstellen Sie ein nutzerverwaltetes Dienstkonto und weisen Sie ihm die erforderlichen Rollen und Berechtigungen zu, damit Eventarc Ereignisse für Ihren Zieldienst verwalten kann.

   1. Wechseln Sie in der Google Cloud Console zur Seite Dienstkonto erstellen.

      Zur Seite „Dienstkonto erstellen“

   2. Wählen Sie Ihr Projekt aus.

   3. Geben Sie im Feld Dienstkontoname einen Namen ein. Die Google Cloud Console füllt das Feld Dienstkonto-ID anhand dieses Namens aus.

      Geben Sie im Feld Dienstkontobeschreibung eine Beschreibung ein. Beispiel: Service account for event trigger

   4. Klicken Sie auf Erstellen und fortfahren.

   5. Wählen Sie in der Liste Rolle auswählen die erforderlichen IAM-Rollen (Identity and Access Management) aus, die Ihrem Dienstkonto zugewiesen werden sollen. Weitere Informationen finden Sie unter Rollen und Berechtigungen für GKE-Ziele.

      Klicken Sie auf Weitere Rolle hinzufügen, um weitere Rollen hinzuzufügen.

   6. Klicken Sie auf Weiter.

   7. Klicken Sie zum Abschließen der Erstellung des Dienstkontos auf Fertig.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Aktivieren Sie die Eventarc, Eventarc Publishing, Google Kubernetes Engine und Resource Manager APIs.

   gcloud services enable eventarc.googleapis.com \
       eventarcpublishing.googleapis.com \
       container.googleapis.com \
       cloudresourcemanager.googleapis.com

3. Aktivieren Sie gegebenenfalls die API, die mit den direkten Ereignissen verbunden ist. Aktivieren Sie beispielsweise für Dataproc Metastore -Ereignisse metastore.googleapis.com.

4. Falls noch nicht geschehen, erstellen Sie ein nutzerverwaltetes Dienstkonto und weisen Sie ihm die erforderlichen Rollen und Berechtigungen zu, damit Eventarc Ereignisse für Ihr gewünschtes GKE-Ziel verwalten kann.

   1. Erstellen Sie das Dienstkonto:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
      

      SERVICE_ACCOUNT_NAME durch den Namen des Dienstkontos ersetzen. Der Name des Dienstkontos muss zwischen 6 und 30 Zeichen lang sein und darf alphanumerische Zeichen in Kleinschreibung sowie Bindestriche enthalten. Nachdem Sie ein Dienstkonto erstellt haben, können Sie den Namen nicht mehr ändern.

   2. Erteilen Sie die erforderlichen IAM-Rollen oder -Berechtigungen (Identity and Access Management). Weitere Informationen finden Sie unter Rollen und Berechtigungen für GKE-Ziele.

GKE-Ziele aktivieren

Damit Eventarc Ressourcen im GKE-Cluster verwalten kann, aktivieren Sie GKE-Ziele und binden Sie das Eventarc-Dienstkonto an die erforderlichen Rollen.

1. Aktivieren Sie GKE-Ziele für Eventarc:

   gcloud eventarc gke-destinations init
   

2. Geben Sie bei der Aufforderung, die erforderlichen Rollen zu binden, y ein.

   Die folgenden Rollen sind gebunden:

   • roles/compute.viewer
   • roles/container.developer
   • roles/iam.serviceAccountAdmin

Trigger erstellen

Sie können einen Eventarc-Trigger mit der Google Cloud CLI oder über die Google Cloud Console erstellen.

Hinweis: Die Filterung erfolgt über eine exakte Übereinstimmung und unterstützt keine Platzhalter oder regulären Ausdrücke. Sie können jedoch das Flag --event-filters-path-pattern im folgenden Befehl der gcloud CLI verwenden oder ein Pfadmuster über die Konsole definieren. Weitere Informationen finden Sie unter Informationen zu Pfadmustern.

Console

1. Rufen Sie in der Google Cloud Console die Seite mit den Eventarc-Triggern auf.

   Zur Seite "Trigger"

2. Klicken Sie auf Trigger erstellen.
3. Geben Sie einen Triggernamen ein.

   Dies ist die ID des Triggers. Sie muss mit einem Buchstaben beginnen. Sie kann bis zu 63 Kleinbuchstaben, Ziffern oder Bindestriche enthalten.

4. Wählen Sie als Triggertyp die Option Google-Quellen aus.
5. Wählen Sie in der Liste Ereignisanbieter die Option Dataproc Metastore aus.

   Beachten Sie, dass der Name des Ereignisanbieters, der in der zugehörigen Google Cloud-Dokumentation verwendet wird, möglicherweise nicht das Präfix Cloud oder Google Cloud hat. In der Console wird Memorystore for Redis beispielsweise als Google Cloud Memorystore for Redis bezeichnet.

6. Wählen Sie in der Liste Ereignistyp aus den Ereignissen Direkt einen Ereignistyp aus.
7. Wählen Sie zur Angabe der Codierung der Ereignisnutzlast in der Liste Inhaltstyp des Ereignisdaten die Option application/json oder application/protobuf aus.

   Beachten Sie, dass eine im JSON-Format formatierte Ereignisnutzlast größer als eine in Protobuf formatierte ist. Dies kann sich auf die Zuverlässigkeit auswirken, je nach Ereignisziel und Limits der Ereignisgröße. Weitere Informationen finden Sie unter Bekannte Probleme.

8. Wählen Sie in der Liste Region dieselbe Region aus, in der sich der Google Cloud-Dienst befindet, der Ereignisse generiert.

   Weitere Informationen finden Sie unter Eventarc-Standorte.

9. Klicken Sie, sofern für den Ereignisanbieter zutreffend, auf Filter hinzufügen und geben Sie Folgendes an:
   1. Wählen Sie im Feld Attribut 1 je nach ausgewähltem direktem Ereignis eine Ressourcen-ID aus, die als Ereignisfilter dienen kann.
   2. Wählen Sie einen Operator aus:
      • Gleich
      • Pfadmuster

        Weitere Informationen finden Sie unter Informationen zu Pfadmustern.

   3. Geben Sie im Feld Attributwert 1 je nach ausgewähltem Operator den genauen Wert ein oder wenden Sie ein Pfadmuster an.
   4. Wenn weitere Attributfilter anwendbar sind, klicken Sie auf Filter hinzufügen und geben Sie die entsprechenden Werte an.
10. Wählen Sie das Dienstkonto aus, das Ihren Dienst oder Workflow aufruft.

    Alternativ können Sie ein neues Dienstkonto erstellen.

    Dies gibt die E-Mail-Adresse des IAM-Dienstkontos (Identity and Access Management) an, die dem Trigger zugeordnet ist und für die Sie zuvor bestimmte Rollen zugewiesen haben, die für Eventarc erforderlich sind.

11. Wählen Sie in der Liste Ereignisziel die Option Kubernetes Engine aus.
12. Wählen Sie einen Dienst aus.
    

    Dies ist der Name des Dienstes, der die Ereignisse für den Trigger empfängt. Der Dienst muss sich im selben Projekt wie der Trigger befinden und empfängt Ereignisse als HTTP-POST-Anfragen, die an seinen Root-URL-Pfad (/) gesendet werden, wenn das Ereignis erzeugt wird.

13. Optional können Sie den Dienst-URL-Pfad angeben, an den die eingehende Anfrage gesendet werden soll.

    Dies ist der relative Pfad im Zieldienst, an den die Ereignisse für den Trigger gesendet werden sollen. Beispiel: /, /route, route, route/subroute.

14. Klicken Sie auf Erstellen.

Nachdem ein Trigger erstellt wurde, können die Ereignisquellenfilter nicht mehr geändert werden. Erstellen Sie stattdessen einen neuen Trigger und löschen Sie den alten. Weitere Informationen finden Sie unter Trigger verwalten.

gcloud

Wenn Sie einen gcloud eventarc triggers create-Befehl zusammen mit den erforderlichen und optionalen Flags ausführen, können Sie einen Trigger erstellen.

  gcloud eventarc triggers create TRIGGER \
      --location=LOCATION \
      --destination-gke-cluster=DESTINATION_GKE_CLUSTER \
      --destination-gke-location=DESTINATION_GKE_LOCATION \
      --destination-gke-namespace=DESTINATION_GKE_NAMESPACE \
      --destination-gke-service=DESTINATION_GKE_SERVICE \
      --destination-gke-path=DESTINATION_GKE_PATH \
      --event-filters="type=EVENT_FILTER_TYPE" \
      --event-filters="COLLECTION_ID=RESOURCE_ID" \
      --event-filters-path-pattern="COLLECTION_ID=PATH_PATTERN" \
      --event-data-content-type="EVENT_DATA_CONTENT_TYPE" \
      --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"

Ersetzen Sie dabei Folgendes:

• TRIGGER: die ID des Triggers oder eine voll qualifizierte Kennzeichnung
• LOCATION: der Standort des Eventarc-Triggers. Alternativ können Sie das Attribut eventarc/location festlegen. Beispiel: gcloud config set eventarc/location us-central1.

  Zur Vermeidung von Leistungs- und Datenstandortproblemen muss der Standort mit dem Standort des Google Cloud-Dienstes übereinstimmen, der die Ereignisse generiert. Weitere Informationen finden Sie unter Eventarc-Standorte.

• DESTINATION_GKE_CLUSTER: der Name des GKE-Clusters, in dem der GKE-Zieldienst, der Ereignisse empfängt, ausgeführt wird.
• DESTINATION_GKE_LOCATION: (optional) die Compute Engine-Region des GKE-Clusters, in dem der GKE-Zieldienst ausgeführt wird. Wenn keine Angabe erfolgt, wird davon ausgegangen, dass der Cluster ein regionaler Cluster ist und sich in derselben Region wie der Trigger befindet.
• DESTINATION_GKE_NAMESPACE: (optional) der Namespace, in dem der GKE-Zieldienst ausgeführt wird. Wenn keine Angabe erfolgt, wird der Namespace default verwendet.
• DESTINATION_GKE_SERVICE: der Name des GKE-Dienstes, der die Ereignisse für den Trigger empfängt. Der Dienst kann sich an einem der von GKE unterstützten Standorte befinden und muss nicht am selben Standort wie der Trigger vorhanden sein. Er muss sich aber im selben Projekt wie der Trigger befinden. Der Dienst empfängt Ereignisse als HTTP-POST-Anfragen, die an seinen Root-URL-Pfad (/) gesendet werden, wenn das Ereignis erzeugt wird.
• DESTINATION_GKE_PATH: (optional) der relative Pfad zum GKE-Zieldienst, zu dem die Ereignisse für den Trigger gesendet werden sollen. Beispiele: /, /route, route, route/subroute.
• EVENT_FILTER_TYPE: die Kennzeichnung des Ereignisses. Ein Ereignis wird generiert, wenn ein API-Aufruf für die Methode erfolgreich ist. Bei lang andauernden Vorgängen wird das Ereignis nur am Ende des Vorgangs generiert und nur dann, wenn die Aktion erfolgreich ausgeführt wird. Eine Liste der unterstützten Ereignistypen finden Sie unter Von Eventarc unterstützte Ereignistypen.

• COLLECTION_ID (optional): die Ressourcenkomponente, die als Ereignisfilter fungieren kann und eine der folgenden ist:
  • backup
  • federation
  • metadataimport
  • service
• RESOURCE_ID: die Kennzeichnung der Ressource, die als Filterwert für die zugehörige Sammlung verwendet wird. Weitere Informationen finden Sie unter Ressourcen-ID.
• PATH_PATTERN: das Pfadmuster, das beim Filtern nach der Ressource angewendet werden soll.
• EVENT_DATA_CONTENT_TYPE: (optional) die Codierung der Ereignisnutzlast. Das kann application/json oder application/protobuf sein. Die Standardcodierung ist application/json.

  Beachten Sie, dass eine im JSON-Format formatierte Ereignisnutzlast größer als eine in Protobuf formatierte ist. Dies kann sich auf die Zuverlässigkeit auswirken, je nach Ereignisziel und Limits der Ereignisgröße. Weitere Informationen finden Sie unter bekannte Probleme.

• SERVICE_ACCOUNT_NAME: der Name Ihres nutzerverwalteten Dienstkontos.
• PROJECT_ID ist Ihre Google Cloud-Projekt-ID.

Hinweise:

• Das Flag --event-filters="type=EVENT_FILTER_TYPE" ist erforderlich. Wenn kein anderer Ereignisfilter festgelegt ist, werden Ereignisse für alle Ressourcen abgeglichen.
• EVENT_FILTER_TYPE kann nach dem Erstellen nicht mehr geändert werden. Wenn Sie EVENT_FILTER_TYPE ändern möchten, erstellen Sie einen neuen Trigger und löschen Sie den alten.
• Jeder Trigger kann mehrere Ereignisfilter haben, die durch Komms in einem --event-filters=[ATTRIBUTE=VALUE,...]-Flag getrennt sind. Sie können das Flag aber auch wiederholen, um weitere Filter hinzuzufügen. Nur Ereignisse, die mit allen Filtern übereinstimmen, werden an das Ziel gesendet. Platzhalter und reguläre Ausdrücke werden nicht unterstützt. Mit dem Flag --event-filters-path-pattern können Sie jedoch ein Pfadmuster für Ressourcen definieren.
• Mit dem Flag --service-account wird die E-Mail-Adresse des IAM-Dienstkontos (Identity and Access Management) angegeben, die mit dem Trigger verknüpft ist.

Beispiel:

  gcloud eventarc triggers create helloworld-trigger \
      --location=us-central1 \
      --destination-gke-cluster=gke-events-cluster \
      --destination-gke-location=us-central1-a \
      --destination-gke-namespace=default \
      --destination-gke-service=helloworld-events \
      --destination-gke-path=/ \
      --event-filters="type=google.cloud.metastore.federation.v1.updated" \
      --event-filters-path-pattern="federation=my-federation-*" \
      --service-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

Dieser Befehl erstellt einen Trigger mit dem Namen helloworld-trigger für das als google.cloud.metastore.federation.v1.updated identifizierte Ereignis und gleicht Ereignisse für federation-IDs ab, die mit my-federation- beginnen.

Terraform

Sie können einen Trigger für ein GKE-Ziel mit Terraform erstellen. Weitere Informationen finden Sie unter Trigger mit Terraform erstellen.

Hinweis: Der Trigger wird zwar sofort erstellt, es kann jedoch bis zu zwei Minuten dauern, bis er wirksam wird und Ereignisse filtert.

Trigger auflisten

Sie können die Erstellung eines Triggers bestätigen, indem Sie Eventarc-Trigger mit der Google Cloud CLI oder über die Google Cloud Console auflisten.

Console

1. Rufen Sie in der Google Cloud Console die Seite mit den Eventarc-Triggern auf.

   Zur Seite "Trigger"

   Auf dieser Seite werden Ihre Trigger an allen Standorten aufgelistet. Außerdem enthält sie Details wie Namen, Regionen, Ereignisanbieter, Ziele usw.

2. So filtern Sie die Trigger:

   1. Klicken Sie auf Filter oder das Feld Trigger filtern.
   2. Wählen Sie in der Liste Attribute eine Option aus, nach der die Trigger gefiltert werden sollen.

   Sie können ein einzelnes Attribut auswählen oder den logischen Operator OR verwenden, um weitere Attribute hinzuzufügen.

3. Klicken Sie zum Sortieren der Trigger neben jeder unterstützten Spaltenüberschrift auf Sortieren.

gcloud

Führen Sie den folgenden Befehl aus, um die Trigger aufzulisten:

gcloud eventarc triggers list --location=-

Dieser Befehl listet Ihre Trigger an allen Standorten auf und enthält Details wie Namen, Typen, Ziele und Status.

Nächste Schritte

• Weitere Informationen zu Eventarc.
• Trigger verwalten.