Dataproc Metastore-Ereignisse an Cloud Run weiterleiten

Ein Eventarc-Trigger deklariert Ihr Interesse an einem bestimmten Ereignis oder einer Reihe von Ereignissen. Sie können das Ereignisrouting konfigurieren. Legen Sie dazu Filter für den Trigger fest, einschließlich der Ereignisquelle und des Cloud Run-Zieldienstes.

Eventarc liefert Ereignisse über eine HTTP-Anfrage an den Ereignisempfänger im CloudEvents-Format.

In dieser Anleitung erfahren Sie, wie Sie das Ereignisrouting für den Cloud Run-Dienst konfigurieren, der durch ein direktes Dataproc Metastore-Ereignis ausgelöst wird. Weitere Informationen finden Sie in der Liste der unterstützten direkten Ereignisse.

Hinweis: Wenn sowohl direkte als auch Audit-Log-Ereignisse für einen Google-Anbieter unterstützt werden, empfehlen wir die Erstellung eines Triggers, der nach dem direkten Ereignis filtert. Direkte Ereignisse bieten gegenüber Audit-Log-Ereignissen eine Reihe von Vorteilen. Weitere Informationen finden Sie unter Ereignisrouten.

Erstellung eines Triggers vorbereiten

Bevor Sie einen Trigger erstellen, müssen Sie folgende Voraussetzungen erfüllen:

Console

1. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit ihm verknüpften Ressourcen entfernen.

   Zur Projektauswahl

2. Aktivieren Sie die Cloud Logging, Eventarc und Eventarc Publishing APIs.

   Aktivieren Sie die APIs

3. Aktivieren Sie gegebenenfalls die API, die mit den direkten Ereignissen verbunden ist. Aktivieren Sie beispielsweise für Dataproc Metastore-Ereignisse die Dataproc Metastore API.

4. Falls noch nicht geschehen, erstellen Sie ein nutzerverwaltetes Dienstkonto und weisen Sie ihm die erforderlichen Rollen und Berechtigungen zu, damit Eventarc Ereignisse für Ihren Zieldienst verwalten kann.

   1. Wechseln Sie in der Google Cloud Console zur Seite Dienstkonto erstellen.

      Zur Seite „Dienstkonto erstellen“

   2. Wählen Sie Ihr Projekt aus.

   3. Geben Sie im Feld Dienstkontoname einen Namen ein. Die Google Cloud Console füllt das Feld Dienstkonto-ID anhand dieses Namens aus.

      Geben Sie im Feld Dienstkontobeschreibung eine Beschreibung ein. Beispiel: Service account for event trigger

   4. Klicken Sie auf Erstellen und fortfahren.

   5. Wählen Sie für einen entsprechenden Zugriff in der Liste Rolle auswählen die erforderlichen IAM-Rollen (Identity and Access Management) aus, die Ihrem Dienstkonto für authentifizierte oder nicht authentifizierte Aufrufe zugewiesen werden sollen. Weitere Informationen finden Sie unter Rollen und Berechtigungen für Cloud Run-Ziele.

      Klicken Sie auf Weitere Rolle hinzufügen, um weitere Rollen hinzuzufügen.

      Wichtig: Um authentifizierte Aufrufe an Ihren Cloud Run-Dienst zu akzeptieren, müssen Sie Ihren Trigger mit einem Dienstkonto verknüpfen, das die Rolle roles/run.invoker hat. Wählen Sie beim Erstellen oder Aktualisieren des Triggers dieses Dienstkonto aus.

   6. Klicken Sie auf Weiter.

   7. Klicken Sie zum Abschließen der Erstellung des Dienstkontos auf Fertig.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Aktivieren Sie die Cloud Logging, Eventarc und Eventarc Publishing APIs.

   gcloud services enable logging.googleapis.com \
     eventarc.googleapis.com \
     eventarcpublishing.googleapis.com

3. Aktivieren Sie gegebenenfalls die API, die mit den direkten Ereignissen verbunden ist. Aktivieren Sie beispielsweise für Dataproc Metastore-Ereignisse metastore.googleapis.com.

4. Falls noch nicht geschehen, erstellen Sie ein nutzerverwaltetes Dienstkonto und weisen Sie ihm die erforderlichen Rollen und Berechtigungen zu, damit Eventarc Ereignisse für Ihren Zieldienst verwalten kann.

   1. Erstellen Sie das Dienstkonto:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Ersetzen Sie SERVICE_ACCOUNT_NAME durch den Namen des Dienstkontos. Der Name des Dienstkontos muss zwischen 6 und 30 Zeichen lang sein und darf alphanumerische Zeichen in Kleinschreibung sowie Bindestriche enthalten. Nachdem Sie ein Dienstkonto erstellt haben, können Sie den Namen nicht mehr ändern.

   2. Erteilen Sie die erforderlichen IAM-Rollen oder -Berechtigungen (Identity and Access Management) für authentifizierte oder nicht authentifizierte Aufrufe. Weitere Informationen finden Sie unter Rollen und Berechtigungen für Cloud Run-Ziele.

   Wichtig: Um authentifizierte Aufrufe an Ihren Cloud Run-Dienst zu akzeptieren, müssen Sie Ihren Trigger mit einem Dienstkonto verknüpfen, das die Rolle roles/run.invoker hat. Verwenden Sie beim Erstellen oder Bearbeiten des Triggers das Flag --service-account, um dieses Dienstkonto mit dem Trigger zu verknüpfen.

Trigger erstellen

Sie können einen Eventarc-Trigger mit der Google Cloud CLI oder über die Google Cloud Console erstellen.

Hinweis: Die Filterung erfolgt über eine exakte Übereinstimmung und unterstützt keine Platzhalter oder regulären Ausdrücke. Sie können jedoch das Flag --event-filters-path-pattern im folgenden Befehl der gcloud CLI verwenden oder ein Pfadmuster über die Konsole definieren. Weitere Informationen finden Sie unter Informationen zu Pfadmustern.

Console

1. Rufen Sie in der Google Cloud Console die Seite mit den Eventarc-Triggern auf.

   Zur Seite "Trigger"

2. Klicken Sie auf Trigger erstellen.
3. Geben Sie einen Triggernamen ein.

   Dies ist die ID des Triggers. Sie muss mit einem Buchstaben beginnen. Sie kann bis zu 63 Kleinbuchstaben, Ziffern oder Bindestriche enthalten.

4. Wählen Sie als Triggertyp die Option Google-Quellen aus.
5. Wählen Sie in der Liste Ereignisanbieter die Option Dataproc Metastore aus.

   Beachten Sie, dass der Name des Ereignisanbieters, der in der zugehörigen Google Cloud-Dokumentation verwendet wird, möglicherweise nicht das Präfix Cloud oder Google Cloud hat. In der Console wird Memorystore for Redis beispielsweise als Google Cloud Memorystore for Redis bezeichnet.

6. Wählen Sie in der Liste Ereignistyp aus den Ereignissen Direkt einen Ereignistyp aus.
7. Wählen Sie zur Angabe der Codierung der Ereignisnutzlast in der Liste Inhaltstyp des Ereignisdaten die Option application/json oder application/protobuf aus.

   Beachten Sie, dass eine im JSON-Format formatierte Ereignisnutzlast größer als eine in Protobuf formatierte ist. Dies kann sich auf die Zuverlässigkeit auswirken, je nach Ereignisziel und Limits der Ereignisgröße. Weitere Informationen finden Sie unter Bekannte Probleme.

8. Wählen Sie in der Liste Region dieselbe Region aus, in der sich der Google Cloud-Dienst befindet, der Ereignisse generiert.

   Weitere Informationen finden Sie unter Eventarc-Standorte.

9. Klicken Sie, sofern für den Ereignisanbieter zutreffend, auf Filter hinzufügen und geben Sie Folgendes an:
   1. Wählen Sie im Feld Attribut 1 je nach ausgewähltem direktem Ereignis eine Ressourcen-ID aus, die als Ereignisfilter dienen kann.
   2. Wählen Sie einen Operator aus:
      • Gleich
      • Pfadmuster

        Weitere Informationen finden Sie unter Informationen zu Pfadmustern.

   3. Geben Sie im Feld Attributwert 1 je nach ausgewähltem Operator den genauen Wert ein oder wenden Sie ein Pfadmuster an.
   4. Wenn ein Feld Attribut 2 vorhanden ist, geben Sie die entsprechenden Werte an.
10. Wählen Sie das Dienstkonto aus, das Ihren Dienst oder Workflow aufruft.

    Alternativ können Sie ein neues Dienstkonto erstellen.

    Dies gibt die E-Mail-Adresse des IAM-Dienstkontos (Identity and Access Management) an, die dem Trigger zugeordnet ist und für die Sie zuvor bestimmte Rollen zugewiesen haben, die für Eventarc erforderlich sind.

11. Wählen Sie in der Liste Ereignisziel die Option Cloud Run aus.
12. Wählen Sie einen Dienst aus.
    

    Dies ist der Name des Dienstes, der die Ereignisse für den Trigger empfängt. Der Dienst muss sich im selben Projekt wie der Trigger befinden und empfängt Ereignisse als HTTP-POST-Anfragen, die an seinen Root-URL-Pfad (/) gesendet werden, wenn das Ereignis erzeugt wird.

13. Optional können Sie den Dienst-URL-Pfad angeben, an den die eingehende Anfrage gesendet werden soll.

    Dies ist der relative Pfad im Zieldienst, an den die Ereignisse für den Trigger gesendet werden sollen. Beispiel: /, /route, route, route/subroute.

14. Klicken Sie auf Erstellen.

Nachdem ein Trigger erstellt wurde, können die Ereignisquellenfilter nicht mehr geändert werden. Erstellen Sie stattdessen einen neuen Trigger und löschen Sie den alten. Weitere Informationen finden Sie unter Trigger verwalten.

gcloud

Wenn Sie einen gcloud eventarc triggers create-Befehl zusammen mit den erforderlichen und optionalen Flags ausführen, können Sie einen Trigger erstellen.

  gcloud eventarc triggers create TRIGGER \
      --location=LOCATION \
      --destination-run-service=DESTINATION_RUN_SERVICE \
      --destination-run-region=DESTINATION_RUN_REGION \
      --event-filters="type=EVENT_FILTER_TYPE" \
      --event-filters="COLLECTION_ID=RESOURCE_ID" \
      --event-filters-path-pattern="COLLECTION_ID=PATH_PATTERN" \
      --event-data-content-type="EVENT_DATA_CONTENT_TYPE" \
      --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"

Ersetzen Sie Folgendes:

• TRIGGER: die ID des Triggers oder eine voll qualifizierte Kennzeichnung.
• LOCATION: der Standort des Eventarc-Triggers. Alternativ können Sie das Attribut eventarc/location festlegen. Beispiel: gcloud config set eventarc/location us-central1.

  Zur Vermeidung von Leistungs- und Datenstandortproblemen muss der Standort mit dem Standort des Google Cloud-Dienstes übereinstimmen, der die Ereignisse generiert. Weitere Informationen finden Sie unter Eventarc-Standorte.

• DESTINATION_RUN_SERVICE: der Name des Cloud Run-Dienstes, der die Ereignisse für den Trigger empfängt. Der Dienst kann sich an einem der von Cloud Run unterstützten Standorte befinden und muss sich nicht am selben Standort wie der Trigger befinden. Er muss sich aber im selben Projekt wie der Trigger befinden. Der Dienst empfängt Ereignisse als HTTP-POST-Anfragen, die an seinen Root-URL-Pfad (/) gesendet werden, wenn das Ereignis erzeugt wird.
• DESTINATION_RUN_REGION: (optional) die Region, in der sich der Cloud Run-Zieldienst befindet. Wenn keine Angabe erfolgt, wird davon ausgegangen, dass sich der Dienst in derselben Region wie der Trigger befindet.
• EVENT_FILTER_TYPE: die Kennzeichnung des Ereignisses. Ein Ereignis wird generiert, wenn ein API-Aufruf für die Methode erfolgreich ist. Bei lang andauernden Vorgängen wird das Ereignis nur am Ende des Vorgangs generiert und nur dann, wenn die Aktion erfolgreich ausgeführt wird. Eine Liste der unterstützten Ereignistypen finden Sie unter Von Eventarc unterstützte Ereignistypen.

• COLLECTION_ID (optional): die Ressourcenkomponente, die als Ereignisfilter fungieren kann und eine der folgenden ist:
  • backup
  • federation
  • metadataimport
  • service
• RESOURCE_ID: die Kennzeichnung der Ressource, die als Filterwert für die zugehörige Sammlung verwendet wird. Weitere Informationen finden Sie unter Ressourcen-ID.
• PATH_PATTERN: das Pfadmuster, das beim Filtern nach der Ressource angewendet werden soll.
• EVENT_DATA_CONTENT_TYPE: (optional) die Codierung der Ereignisnutzlast. Das kann application/json oder application/protobuf sein. Die Standardcodierung ist application/json.

  Beachten Sie, dass eine im JSON-Format formatierte Ereignisnutzlast größer als eine in Protobuf formatierte ist. Dies kann sich auf die Zuverlässigkeit auswirken, je nach Ereignisziel und Limits der Ereignisgröße. Weitere Informationen finden Sie unter Bekannte Probleme.

• SERVICE_ACCOUNT_NAME: der Name Ihres nutzerverwalteten Dienstkontos.
• PROJECT_ID ist Ihre Google Cloud-Projekt-ID.

Hinweise:

• Das Flag --event-filters="type=EVENT_FILTER_TYPE" ist erforderlich. Wenn kein anderer Ereignisfilter festgelegt ist, werden Ereignisse für alle Ressourcen abgeglichen.
• EVENT_FILTER_TYPE kann nach dem Erstellen nicht mehr geändert werden. Wenn Sie EVENT_FILTER_TYPE ändern möchten, erstellen Sie einen neuen Trigger und löschen Sie den alten.
• Jeder Trigger kann mehrere Ereignisfilter haben, die durch Komms in einem --event-filters=[ATTRIBUTE=VALUE,...]-Flag getrennt sind. Sie können das Flag aber auch wiederholen, um weitere Filter hinzuzufügen. Nur Ereignisse, die mit allen Filtern übereinstimmen, werden an das Ziel gesendet. Platzhalter und reguläre Ausdrücke werden nicht unterstützt. Mit dem Flag --event-filters-path-pattern können Sie jedoch ein Pfadmuster für Ressourcen definieren.
• Mit dem Flag --service-account wird die E-Mail-Adresse des IAM-Dienstkontos (Identity and Access Management) angegeben, das mit dem Trigger verknüpft ist.
• Optional können Sie einen relativen Pfad im Cloud Run-Zieldienst angeben, an den die Ereignisse für den Trigger durch Verwendung des Flags --destination-run-path gesendet werden sollen.

Beispiel:

  gcloud eventarc triggers create helloworld-trigger \
      --location=us-central1 \
      --destination-run-service=helloworld-events \
      --destination-run-region=us-central1 \
      --event-filters="type=google.cloud.metastore.federation.v1.updated" \
      --event-filters-path-pattern="federation=my-federation-*" \
      --service-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

Dieser Befehl erstellt einen Trigger mit dem Namen helloworld-trigger für das als google.cloud.metastore.federation.v1.updated identifizierte Ereignis und gleicht Ereignisse für federation-IDs ab, die mit my-federation- beginnen.

Terraform

Sie können einen Trigger für ein Cloud Run-Ziel mit Terraform erstellen. Weitere Informationen finden Sie unter Trigger mit Terraform erstellen.

Hinweis: Der Trigger wird zwar sofort erstellt, es kann jedoch bis zu zwei Minuten dauern, bis er wirksam wird und Ereignisse filtert.

Trigger auflisten

Sie können die Erstellung eines Triggers bestätigen, indem Sie Eventarc-Trigger mit der Google Cloud CLI oder über die Google Cloud Console auflisten.

Console

1. Rufen Sie in der Google Cloud Console die Seite mit den Eventarc-Triggern auf.

   Zur Seite "Trigger"

   Auf dieser Seite werden Ihre Trigger an allen Standorten aufgelistet. Außerdem enthält sie Details wie Namen, Regionen, Ereignisanbieter, Ziele usw.

2. So filtern Sie die Trigger:

   1. Klicken Sie auf Filter oder das Feld Trigger filtern.
   2. Wählen Sie in der Liste Attribute eine Option aus, nach der die Trigger gefiltert werden sollen.

   Sie können ein einzelnes Attribut auswählen oder den logischen Operator OR verwenden, um weitere Attribute hinzuzufügen.

3. Klicken Sie zum Sortieren der Trigger neben jeder unterstützten Spaltenüberschrift auf Sortieren.

gcloud

Führen Sie den folgenden Befehl aus, um die Trigger aufzulisten:

gcloud eventarc triggers list --location=-

Dieser Befehl listet Ihre Trigger an allen Standorten auf und enthält Details wie Namen, Typen, Ziele und Status.

Nächste Schritte

• Weitere Informationen zu Eventarc.
• Trigger verwalten.