Ereignisse in einer BigQuery-Tabelle veröffentlichen

Ereignisse in einer BigQuery-Tabelle veröffentlichen

Erweitert

In dieser Kurzanleitung wird gezeigt, wie Sie Ereignisnachrichten veröffentlichen und empfangen. Dazu erstellen Sie einen Eventarc Advanced-Bus und registrieren sich in Ihrem Google Cloud-Projekt.

• Mit einem Bus können Sie den Nachrichtenfluss in Ihrem System zentralisieren. Er fungiert als Router. Es empfängt Ereignisnachrichten von einer Nachrichtenquelle oder die von einem Anbieter veröffentlicht wurden, und wertet sie gemäß einer Registrierung aus.

• Eine Anmeldung weist ein Abo einem bestimmten Bus zu und definiert die Abgleichkriterien für Nachrichten, sodass sie entsprechend an ein oder mehrere Ziele weitergeleitet werden.

In dieser Kurzanleitung werden folgende Schritte erläutert:

1. Erstellen Sie eine BigQuery-Tabelle.

2. Eventarc Advanced-Bus erstellen

3. Eventarc Advanced-Registrierung erstellen

4. Veröffentlichen Sie eine Ereignisnachricht im Bus.

5. Sehen Sie sich die Ereignisdaten in der BigQuery-Tabelle an.

Sie können diese Kurzanleitung mit der gcloud CLI und dem bq-Befehlszeilentool ausführen.

Hinweise

Von Ihrer Organisation definierte Sicherheitsbeschränkungen verhindern möglicherweise, dass die folgenden Schritte ausgeführt werden. Informationen zur Fehlerbehebung finden Sie unter Anwendungen in einer eingeschränkten Google Cloud -Umgebung entwickeln.

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

Install the Google Cloud CLI.

Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

gcloud init

Create or select a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Eventarc APIs:

gcloud services enable bigquery.googleapis.com eventarc.googleapis.com eventarcpublishing.googleapis.com

Install the Google Cloud CLI.

Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

gcloud init

Create or select a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Eventarc APIs:

gcloud services enable bigquery.googleapis.com eventarc.googleapis.com eventarcpublishing.googleapis.com

1. Aktualisieren Sie die gcloud-Komponenten:

   gcloud components update

2. Melden Sie sich mit Ihrem -Konto an:

   gcloud auth login

3. Legen Sie die in dieser Kurzanleitung verwendete Konfigurationsvariable fest:

   REGION=REGION

   Ersetzen Sie REGION durch einen unterstützten Standort für den Bus, z. B. us-central1.

4. Wenn Sie der Projektersteller sind, wird Ihnen die einfache Owner-Rolle (roles/owner) zugewiesen. Standardmäßig enthält diese IAM-Rolle (Identity and Access Management) die Berechtigungen, die für den vollständigen Zugriff auf die meisten Google Cloud-Ressourcen erforderlich sind. Sie können diesen Schritt überspringen.

   Wenn Sie nicht der Project Creator sind, müssen dem entsprechenden Hauptkonto die erforderlichen Berechtigungen für das Projekt erteilt werden. Ein Hauptkonto kann beispielsweise ein Google-Konto (für Endnutzer) oder ein Dienstkonto (für Anwendungen und Computing-Arbeitslasten) sein.

   Erforderliche Berechtigungen

   Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen dieser Kurzanleitung benötigen:

   • BigQuery Data Editor (roles/bigquery.dataEditor)
   • Eventarc-Entwickler (roles/eventarc.developer)
   • Eventarc Message Bus Admin (roles/eventarc.messageBusAdmin)
   • Zugriffsberechtigter für Logbetrachtung (roles/logging.viewAccessor)
   • Projekt-IAM-Administrator (roles/resourcemanager.projectIamAdmin)
   • Service Account Admin (roles/iam.serviceAccountAdmin)
   • Dienstkontonutzer (roles/iam.serviceAccountUser)
   • Service Usage Admin (roles/serviceusage.serviceUsageAdmin)

   Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

   Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

5. Damit Eventarc Advanced die erforderlichen Berechtigungen zum Aktualisieren von BigQuery-Tabelleneigenschaften erhält, bitten Sie Ihren Administrator, einem Dienstkonto die IAM-Rolle BigQuery-Dateneditor (roles/bigquery.dataEditor) für Ihr Google Cloud -Projekt zuzuweisen:
   1. Erstellen Sie ein Dienstkonto. Zu Testzwecken hängen Sie dieses Dienstkonto an eine Eventarc Advanced-Pipeline an, um die Identität der Pipeline darzustellen.

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Ersetzen Sie SERVICE_ACCOUNT_NAME durch einen Namen für Ihr Dienstkonto.
   2. Weisen Sie dem Dienstkonto die IAM-Rolle roles/bigquery.dataEditor zu:

      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" \
          --role=roles/bigquery.dataEditor

BigQuery-Tabelle erstellen

Erstellen Sie eine BigQuery-Tabelle als Ereignisziel. Andere Ereignisziele werden unterstützt, z. B. ein Pub/Sub-Thema, Workflows oder ein anderer HTTP-Endpunkt. Weitere Informationen finden Sie unter Ereignisanbieter und -ziele.

Bevor Sie eine BigQuery-Tabelle erstellen, müssen Sie ein Dataset als Container der obersten Ebene für die Tabelle und ein Tabellenschema erstellen.

1. Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk mit dem Flag --dataset.

   bq --location=$REGION mk --dataset DATASET_ID

   Ersetzen Sie DATASET_ID durch einen eindeutigen Namen für das BigQuery-Dataset, z. B. my_dataset.

2. Erstellen Sie im Terminal eine neue Datei mit dem Namen my-schema.json.

3. Kopieren Sie das folgende Schema in die neue Datei und speichern Sie die Datei.

   [
       {
           "name": "name",
           "type": "STRING",
           "mode": "REQUIRED"
       },
       {
           "name": "age",
           "type": "INTEGER",
           "mode": "NULLABLE"
       }
   ]

4. Verwenden Sie zum Erstellen einer Tabelle den Befehl bq mk mit dem Flag --table.

   bq mk --table PROJECT_ID:DATASET_ID.TABLE_ID my-schema.json

   Ersetzen Sie TABLE_ID durch einen eindeutigen Namen für die BigQuery-Tabelle, z. B. my-table.

Eventarc Advanced-Bus erstellen

Ein Bus empfängt Ereignisnachrichten von einer Nachrichtenquelle oder von einem Anbieter und fungiert als Nachrichtenrouter.

Weitere Informationen finden Sie unter Bus zum Weiterleiten von Nachrichten erstellen.

Hinweis: Sie können einen Bus pro Google Cloud Projekt pro unterstützter Region erstellen.

Erstellen Sie mit dem Befehl gcloud eventarc message-buses create einen Eventarc Advanced-Bus in Ihrem Projekt:

gcloud eventarc message-buses create BUS_NAME \
    --location=$REGION

Ersetzen Sie BUS_NAME durch die ID Ihres Busses oder einen vollständig qualifizierten Namen, z. B. my-bus.

Eventarc Advanced-Registrierung erstellen

Eine Anmeldung bestimmt, welche Nachrichten an ein Ziel weitergeleitet werden, und gibt auch die Pipeline an, die zum Konfigurieren eines Ziels für die Ereignisnachrichten verwendet wird. In diesem Fall ist das Ziel ein BigQuery API-Endpunkt.

Weitere Informationen finden Sie unter Registrierung erstellen, um Ereignisse zu empfangen.

Hinweis :Das Erstellen einer Pipeline kann länger als 10 Minuten dauern.

Wenn Sie die gcloud CLI verwenden, erstellen Sie zuerst eine Pipeline und dann eine Registrierung:

1. Erstellen Sie eine Pipeline mit dem Befehl gcloud eventarc pipelines create:

   gcloud eventarc pipelines create PIPELINE_NAME \
       --destinations=http_endpoint_uri='https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID/insertAll',http_endpoint_message_binding_template='{"headers": headers.merge({"content-type":"application/json"}), "body": {"rows":[{"json":message.data}]}}',oauth_token_authentication_service_account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \
       --input-payload-format-json= \
       --location=$REGION

   Ersetzen Sie PIPELINE_NAME durch die ID der Pipeline oder einen vollständig qualifizierten Namen, z. B. my-pipeline.

   Wichtige Hinweise:

   • Mit dem Schlüssel http_endpoint_message_binding_template wird das Ereignis in das von der API erwartete Format transformiert. Wenn Sie eine Nachrichtenbindung definieren, müssen Sie ein Eingabeformat konfigurieren, um auf die Nutzlast zuzugreifen.
   • Mit dem Schlüssel oauth_token_authentication_service_account wird eine E-Mail-Adresse für ein Dienstkonto angegeben. Mit dieser E-Mail-Adresse wird ein OAuth-Token generiert, das in der Regel nur beim Aufrufen von Google APIs verwendet werden sollte, die auf *.googleapis.com gehostet werden.
   • Das Flag input-payload-format-json gibt an, dass das Format der Eingabenutzlast der Pipeline JSON ist. Alle Nachrichten, die nicht diesem Format entsprechen, werden als persistente Fehler behandelt.

2. Erstellen Sie eine Registrierung mit dem Befehl gcloud eventarc enrollments create:

   gcloud eventarc enrollments create ENROLLMENT_NAME \
       --cel-match=MATCH_EXPRESSION \
       --destination-pipeline=PIPELINE_NAME \
       --message-bus=BUS_NAME \
       --message-bus-project=PROJECT_ID \
       --location=$REGION

   Ersetzen Sie Folgendes:

   • ENROLLMENT_NAME: Die ID der Registrierung oder ein vollqualifizierter Name, z. B. my-enrollment.

   • MATCH_EXPRESSION: Der Abgleichsausdruck für diese Registrierung mit CEL, z. B.:

     "message.type == 'hello-world-type'"
     

Ereignisnachricht im Bus veröffentlichen

Wenn Sie eine Nachricht direkt in Ihrem Bus veröffentlichen möchten, können Sie den Befehl gcloud eventarc message-buses publish verwenden oder eine Anfrage an die Eventarc Publishing REST API senden. Weitere Informationen finden Sie unter Ereignisse direkt veröffentlichen.

Die Nachricht muss im CloudEvents-Format vorliegen, einer Spezifikation zum allgemeinen Beschreiben von Ereignisdaten. Das Element data ist die Nutzlast Ihres Ereignisses und muss letztendlich mit dem Schema Ihrer BigQuery-Tabelle übereinstimmen. In dieses Feld kann beliebiger wohlgeformter JSON-Code eingefügt werden. Weitere Informationen zu CloudEvents-Kontextattributen finden Sie unter Ereignisformat.

Im Folgenden finden Sie Beispiele für das direkte Veröffentlichen eines Ereignisses in einem Eventarc Advanced-Bus:

Beispiel 1

Sie können ein Ereignis mit der gcloud CLI und einem --event-data sowie anderen Flags für Ereignisattribute in einem Bus veröffentlichen:

gcloud eventarc message-buses publish BUS_NAME \
    --event-data='{"name": "my-name", "age": "20"}' \
    --event-id=hello-world-id-1234 \
    --event-source=hello-world-source \
    --event-type=hello-world-type \
    --event-attributes="datacontenttype=application/json" \
    --location=$REGION

Beispiel 2

Sie können ein Ereignis als JSON-Nachricht mit der gcloud CLI und dem Flag --json-message in einem Bus veröffentlichen:

gcloud eventarc message-buses publish BUS_NAME \
    --location=$REGION \
    --json-message='{"id": "hello-world-id-1234", "type":
 "hello-world-type", "source":
 "hello-world-source", "specversion": "1.0", "data":
 {"name": "my-name", "age": "20"}}'

Nachdem Sie ein Ereignis veröffentlicht haben, sollten Sie die Meldung „Event published successfully“ (Ereignis erfolgreich veröffentlicht) erhalten.

Ereignisdaten in der BigQuery-Tabelle ansehen

Nachdem Sie ein Ereignis in Ihrem Eventarc Advanced-Bus veröffentlicht haben, können Sie mit dem Befehl bq query prüfen, ob Ihrer BigQuery-Tabelle eine neue Zeile hinzugefügt wurde.

bq query \
    --use_legacy_sql=false \
    'SELECT
      *
    FROM
      `PROJECT_ID.DATASET_ID.TABLE_ID`
    LIMIT
      10;'

Sie haben erfolgreich einen Eventarc Advanced-Bus und eine Anmeldung erstellt, eine Ereignisnachricht im Bus veröffentlicht und das erwartete Ergebnis durch Abfragen der BigQuery-Tabelle überprüft.

Bereinigen

Nach Abschluss der in dieser Kurzanleitung beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen:

1. BigQuery-Tabelle löschen

2. BigQuery-Dataset löschen

3. Eventarc Advanced-Ressourcen löschen:

   1. Registrierung löschen

   2. Pipeline löschen

   3. Bus löschen

Alternativ können Sie Ihr Google Cloud -Projekt löschen, um wiederkehrende Gebühren zu vermeiden. Durch das Löschen des Google Cloud -Projekts wird die Abrechnung für alle in diesem Projekt verwendeten Ressourcen beendet.

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

Nächste Schritte

• Ereignisse aus Google-Quellen veröffentlichen
• Ereignisse direkt veröffentlichen
• Empfangene Ereignisse transformieren
• Empfangene Ereignisse formatieren