Workflows mit Cloud-Audit-Logs (gcloud-CLI) auslösen
In dieser Kurzanleitung erfahren Sie, wie Sie einen Workflow mit einem Eventarc-Trigger ausführen, der Cloud-Audit-Logs-Ereignisse von BigQuery empfängt. BigQuery hostet öffentliche Datasets, auf die Sie zugreifen und sie in Ihre Anwendungen einbinden können. Der Trigger führt den Workflow aus, indem er auf einen BigQuery-Job wartet, der ein öffentliches Dataset abfragt. Anschließend werden die Ereignisse als Laufzeitargumente an den Zielworkflow übergeben.
Sie können diese Kurzanleitung mit der Google Cloud CLI ausführen.
- Verwenden Sie Workflows, um einen Workflow zu erstellen und bereitzustellen, der Daten aus einem Ereignis extrahiert und zurückgibt.
- einen Eventarc-Trigger erstellen, der einen BigQuery-Job mit einem Workflow-Ereignisempfänger verbindet
- Ereignis erstellen, indem Sie einen BigQuery-Job mit dem bq-Befehlszeilentool ausführen Dieses Ereignis wird als Laufzeitargument an den Zielworkflow übergeben.
- Sehen Sie sich die Ereignisdaten in der Ausgabe der Workflowausführung an.
Vorbereitung
Von Ihrer Organisation definierte Sicherheitsbeschränkungen verhindern möglicherweise, dass die folgenden Schritte ausgeführt werden. Informationen zur Fehlerbehebung finden Sie unter Anwendungen in einer eingeschränkten Google Cloud-Umgebung entwickeln.
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
- Aktualisieren Sie die
gcloud
-Komponenten:gcloud components update
- Melden Sie sich mit Ihrem -Konto an:
gcloud auth login
- Aktivieren Sie die Compute Engine API, die Eventarc-, Pub/Sub- und Workflows APIs.
gcloud services enable \ compute.googleapis.com \ eventarc.googleapis.com \ pubsub.googleapis.com \ workflows.googleapis.com \ workflowexecutions.googleapis.com
- Legen Sie die in dieser Kurzanleitung verwendeten Konfigurationsvariablen fest:
export WORKFLOW_LOCATION=us-central1 export TRIGGER_LOCATION=us-central1 export PROJECT_ID=PROJECT_ID gcloud config set project ${PROJECT_ID} gcloud config set workflows/location ${WORKFLOW_LOCATION} gcloud config set eventarc/location ${TRIGGER_LOCATION}
-
Wenn Sie der Projektersteller sind, wird Ihnen die einfache Owner-Rolle (
roles/owner
) zugewiesen. Standardmäßig enthält diese IAM-Rolle (Identity and Access Management) die Berechtigungen, die für den vollständigen Zugriff auf die meisten Google Cloud-Ressourcen erforderlich sind. Sie können diesen Schritt überspringen.Wenn Sie nicht der Project Creator sind, müssen dem entsprechenden Hauptkonto die erforderlichen Berechtigungen für das Projekt erteilt werden. Ein Hauptkonto kann beispielsweise ein Google-Konto (für Endnutzer) oder ein Dienstkonto (für Anwendungen und Computing-Arbeitslasten) sein. Weitere Informationen finden Sie auf der Seite Rollen und Berechtigungen für Ihr Ereignisziel.
Erforderliche Berechtigungen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Kurzanleitung benötigen:
-
Eventarc Admin (
roles/eventarc.admin
) -
Zugriffsberechtigter für Logbetrachtung (
roles/logging.viewAccessor
) -
Projekt-IAM-Administrator (
roles/resourcemanager.projectIamAdmin
) -
Service Account Admin (
roles/iam.serviceAccountAdmin
) -
Service Account User (
roles/iam.serviceAccountUser
) -
Service Usage Admin (
roles/serviceusage.serviceUsageAdmin
) -
Workflow-Administrator (
roles/workflows.admin
)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
-
Eventarc Admin (
Notieren Sie sich das Compute Engine Standarddienstkonto, das Sie an einen Eventarc-Trigger anhängen, um die Identität des Triggers zu Testzwecken darzustellen. Dieses Dienstkonto wird automatisch nach der Aktivierung oder Verwendung eines Google Cloud-Dienstes, der Compute Engine verwendet, mit dem folgenden E-Mail-Format erstellt:
PROJECT_NUMBER-compute@developer.gserviceaccount.com
Ersetzen Sie
PROJECT_NUMBER
durch Ihre Google Cloud-Projektnummer. Sie finden Ihre Projektnummer auf der Willkommensseite der Google Cloud Console oder durch Ausführen des folgenden Befehls:gcloud projects describe PROJECT_ID --format='value(projectNumber)'
Für Produktionsumgebungen empfehlen wir dringend, ein neues Dienstkonto zu erstellen und ihm eine oder mehrere IAM-Rollen zuzuweisen, die die erforderlichen Mindestberechtigungen enthalten und dem Grundsatz der geringsten Berechtigung folgen.
- Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle „Eventarc-Ereignisempfänger“ (
roles/eventarc.eventReceiver
) für das Projekt zu, damit der Eventarc-Trigger Ereignisse vom Ereignisanbieter empfangen kann.gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/eventarc.eventReceiver
- Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle "Workflow-Aufrufer" (
roles/workflows.invoker
) für das Projekt zu, damit das Konto die Berechtigung zum Auslösen Ihres Workflows hat. ausgeführt werden.gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/workflows.invoker
- Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle "Logging-Logs-Autor" (
roles/logging.logWriter
) für das Projekt zu, damit der Workflow Logs an Cloud Logging senden kann.gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/logging.logWriter
- Wenn Sie den Cloud Pub/Sub-Dienst-Agent am oder vor dem 8. April 2021 aktiviert haben, um authentifizierte Pub/Sub-Push-Anfragen zu unterstützen, weisen Sie dem von Google verwalteten Dienstkonto die Rolle „Ersteller von Dienstkonto-Tokens“ (
roles/iam.serviceAccountTokenCreator
) zu. Andernfalls wird diese Rolle standardmäßig zugewiesen:gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role=roles/iam.serviceAccountTokenCreator
Workflow erstellen und bereitstellen
Workflow erstellen und bereitstellen, der ausgeführt wird, wenn ein BigQuery-Jobabschluss einen Workflow mit einer HTTP-Anfrage auslöst.
- Öffnen Sie ein Terminal oder eine Cloud Shell.
- Erstellen Sie in Ihrem Basisverzeichnis eine neue Datei mit dem Namen
myFirstWorkflow.yaml
odermyFirstWorkflow.json
. - Kopieren Sie Folgendes, fügen Sie es in die neue Datei ein und speichern Sie sie:
YAML
main: params: [event] steps: - log_event: call: sys.log args: text: ${event} severity: INFO - extract_data: assign: - data: ${event.data.protoPayload} - return_data: return: data: ${data}
JSON
{ "main": { "params": [ "event" ], "steps": [ { "log_event": { "call": "sys.log", "args": { "text": "${event}", "severity": "INFO" } } }, { "extract_data": { "assign": [ { "data": "${event.data.protoPayload}" } ] } }, { "return_data": { "return": { "data": "${data}" } } } ] } }
- Stellen Sie den Workflow bereit:
export MY_WORKFLOW=myFirstWorkflow gcloud workflows deploy ${MY_WORKFLOW} --source=myFirstWorkflow.yaml
.yaml
: Ersetzen Sie diesen Wert durch.json
, wenn Sie die JSON-Version des Beispielworkflows kopiert haben.
Eventarc-Trigger erstellen
Führen Sie den Befehl gcloud eventarc triggers create
aus, um einen Eventarc-Trigger zu erstellen, der Ereignisse aus BigQuery an ein Workflows-Ziel weiterleitet.
Erstellen Sie einen Trigger, der BigQuery-Ereignisse filtert:
gcloud eventarc triggers create events-cal-trigger \ --destination-workflow=${MY_WORKFLOW} \ --destination-workflow-location=${WORKFLOW_LOCATION} \ --event-filters="type=google.cloud.audit.log.v1.written" \ --event-filters="serviceName=bigquery.googleapis.com" \ --event-filters="methodName=google.cloud.bigquery.v2.JobService.InsertJob" \ --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"
Dadurch wird ein Trigger mit dem Namen
events-cal-trigger
erstellt.Beachten Sie, dass das Erstellen eines Eventarc-Triggers in einem Google Cloud-Projekt möglicherweise zu einer Verzögerung bei der Bereitstellung des Eventarc-Dienst-Agents kommt. Dieses Problem lässt sich normalerweise durch erneutes Erstellen des Triggers beheben. Weitere Informationen finden Sie unter Fehler „Berechtigung verweigert“.
Führen Sie diesen Befehl aus, um zu prüfen, ob
events-cal-trigger
erfolgreich erstellt wurde:gcloud eventarc triggers describe events-cal-trigger --location=${TRIGGER_LOCATION}
In der Ausgabe werden die Erstellungszeit und der Standort des Triggers aufgeführt. Sie sollte in etwa so aussehen:
createTime: '2021-10-14T15:15:43.872360951Z' [...] name: projects/PROJECT_ID/locations/us-central1/triggers/events-cal-trigger
Ereignis erstellen und abrufen
Führen Sie mit dem bq-Befehlszeilentool einen BigQuery-Job aus, um Ereignisse zu generieren und den Workflow auszulösen.
Führen Sie einen BigQuery-Job aus, der auf ein öffentliches Dataset zugreift und Informationen daraus abruft, um einen Workflow auszulösen:
bq query --nouse_legacy_sql \ 'SELECT COUNT(*) FROM `bigquery-public-data`.samples.shakespeare'
Die generierten Ereignisse werden als Laufzeitargumente an den Workflow übergeben, der die Nutzlastdaten als Ergebnis der Workflowausführung zurückgibt.
Um zu prüfen, ob der Workflow ausgelöst wurde, listen Sie die letzten beiden Ausführungen auf:
gcloud workflows executions list ${MY_WORKFLOW} --limit=2
Durch den BigQuery-Job werden zwei Workflowausführungen ausgelöst. (Ein Ereignis signalisiert die Stellenänderung, das andere die Stellenausschreibung selbst.) Die Ausgabe sollte in etwa so aussehen, wobei für jede Ausführung
NAME
undSTATE
aufgelistet werden, dieSUCCEEDED
entsprechen:NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2 STATE: SUCCEEDED START_TIME: 2024-02-06T14:16:14.390549813Z END_TIME: 2024-02-06T14:16:14.870102511Z NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/35d7c730-7ba5-4055-afee-c04ed706b179 STATE: SUCCEEDED START_TIME: 2024-02-06T14:16:14.389882601Z END_TIME: 2024-02-06T14:16:14.829942525Z
In der Ausgabe steht
a073ad6a-c76b-4437-8d39-2ab3ade289d2
aus dem FeldNAME
für die ID der Workflowausführung. Kopieren Sie Ihre Ausführungs-ID, um sie im nächsten Schritt zu verwenden.Führen Sie den folgenden Befehl aus, um den Ausführungsstatus anzuzeigen:
gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}
Ersetzen Sie
WORKFLOW_EXECUTION_ID
durch die ID der Workflowausführung, die dem Zeitpunkt entspricht, zu dem der BigQuery-Job abgeschlossen wurde.Die Ausgabe sollte in etwa so aussehen:
argument: [...] duration: 0.277917625s endTime: '2024-02-06T14:16:14.870102511Z' name: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2 result: '{"data": [...]}' startTime: '2024-02-06T14:16:14.390549813Z' state: SUCCEEDED
Prüfen Sie, ob die
startTime
, an der der BigQuery-Job abgeschlossen wurde, und derSTART_TIME
der Workflowausführung einander entsprechen.
Sie haben erfolgreich ein BigQuery-Ereignis generiert, das einen Workflow-Ereignisempfänger mithilfe von Eventarc ausgelöst hat.
Bereinigen
- Löschen Sie den erstellten Workflow:
Wenn Sie gefragt werden, ob Sie fortfahren möchten, geben Siegcloud workflows delete ${MY_WORKFLOW}
y
ein. - Löschen Sie den von Ihnen erstellten Trigger:
gcloud eventarc triggers delete events-cal-trigger
- Alternativ können Sie Ihr Google Cloud-Projekt löschen, um wiederkehrende Gebühren zu vermeiden. Wenn Sie Ihr Google Cloud-Projekt löschen, wird die Abrechnung für alle in diesem Projekt verwendeten Ressourcen beendet.
Delete a Google Cloud project:
gcloud projects delete PROJECT_ID