Workflows mit direkten Ereignissen aus Cloud Storage auslösen (gcloud-CLI)

In dieser Kurzanleitung erfahren Sie, wie Sie einen Workflow mit einem Eventarc-Trigger ausführen, der Ereignisse von Cloud Storage empfängt.

Der Trigger führt den Workflow aus, indem er ein Ereignis der Objekterstellung in einem Cloud Storage-Bucket überwacht und das Ereignis als Laufzeitargument an einen Zielworkflow übergibt.

In dieser Kurzanleitung werden folgende Schritte erläutert:

  1. einen Cloud Storage-Bucket als Ereignisquelle erstellen

  2. mit Workflows einen Workflow erstellen und bereitstellen, der den Namen des Storage-Buckets und den Namen einer hochgeladenen Datei extrahiert und zurückgibt

  3. einen Eventarc-Trigger erstellen, der den Cloud Storage-Bucket mit dem Workflows-Ereignisempfänger verbindet

  4. ein Ereignis erstellen, indem Sie eine Textdatei in den Cloud Storage-Bucket hochladen. Dieses Ereignis wird als Laufzeitargument an den Zielworkflow übergeben.

  5. den Namen des Buckets und den Namen der Textdatei als Ergebnis der Workflowausführung aufrufen


Klicken Sie auf Anleitung, um eine detaillierte Anleitung für diese Aufgabe direkt in der Google Cloud Console aufzurufen.

Anleitung


Vorbereitung

Von Ihrer Organisation definierte Sicherheitsbeschränkungen verhindern möglicherweise, dass die folgenden Schritte ausgeführt werden. Informationen zur Fehlerbehebung finden Sie unter Anwendungen in einer eingeschränkten Google Cloud-Umgebung entwickeln.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.
  3. To initialize the gcloud CLI, run the following command:

    gcloud init
  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Install the Google Cloud CLI.
  7. To initialize the gcloud CLI, run the following command:

    gcloud init
  8. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  9. Make sure that billing is enabled for your Google Cloud project.

  10. Aktivieren Sie die Compute Engine API, die Eventarc-, Pub/Sub- und Workflows APIs.

    gcloud services enable \
    compute.googleapis.com \
    eventarc.googleapis.com \
    pubsub.googleapis.com \
    workflows.googleapis.com \
    workflowexecutions.googleapis.com

  11. Aktualisieren Sie die gcloud-Komponenten:
    gcloud components update
  12. Melden Sie sich mit Ihrem
    gcloud auth login
    -Konto an.

Umgebungsvariablen festlegen

Legen Sie die in dieser Kurzanleitung verwendeten Umgebungsvariablen fest:

export PROJECT_ID=PROJECT_ID
export WORKFLOW_LOCATION=us-central1
export TRIGGER_LOCATION=us-central1
gcloud config set project ${PROJECT_ID}
gcloud config set workflows/location ${WORKFLOW_LOCATION}
gcloud config set eventarc/location ${TRIGGER_LOCATION}

Sie finden Ihre Projekt-ID auf der Willkommensseite der Google Cloud Console.

Dienstkonten einrichten

Gewähren Sie den Dienstkonten, die in dieser Kurzanleitung verwendet werden, die erforderlichen Berechtigungen.

  1. Wenn Sie der Projektersteller sind, wird Ihnen die einfache Owner-Rolle (roles/owner) zugewiesen. Standardmäßig enthält diese IAM-Rolle (Identity and Access Management) die Berechtigungen, die für den vollständigen Zugriff auf die meisten Google Cloud-Ressourcen erforderlich sind. Sie können diesen Schritt überspringen.

    Wenn Sie nicht der Project Creator sind, müssen dem entsprechenden Hauptkonto die erforderlichen Berechtigungen für das Projekt erteilt werden. Ein Hauptkonto kann beispielsweise ein Google-Konto (für Endnutzer) oder ein Dienstkonto (für Anwendungen und Computing-Arbeitslasten) sein. Weitere Informationen finden Sie auf der Seite Rollen und Berechtigungen für Ihr Ereignisziel.

    Erforderliche Berechtigungen

    Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Kurzanleitung benötigen:

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

  2. Das Compute Engine-Standarddienstkonto wird nach der Aktivierung oder Verwendung eines Google Cloud-Dienstes, der Compute Engine verwendet, automatisch erstellt.

    Zu Testzwecken können Sie dieses Dienstkonto an einen Eventarc-Trigger anhängen, um die Identität des Triggers darzustellen. Beachten Sie das E-Mail-Format, das beim Erstellen eines Triggers verwendet werden muss:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com
    

    Ersetzen Sie PROJECT_NUMBER durch Ihre Google Cloud-Projektnummer. Sie finden Ihre Projektnummer auf der Willkommensseite der Google Cloud Console oder durch Ausführen des folgenden Befehls:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Dem Compute Engine-Dienstkonto wird automatisch die einfache Rolle "Editor" (roles/editor) für Ihr Projekt zugewiesen. Wenn die automatischen Rollenzuweisungen jedoch deaktiviert wurden, lesen Sie die entsprechende Anleitung zu Rollen und Berechtigungen, um ein neues Dienstkonto zu erstellen und ihm die erforderlichen Rollen zuzuweisen.

  3. Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle „Eventarc-Ereignisempfänger“ (roles/eventarc.eventReceiver) für das Projekt zu, damit der Eventarc-Trigger Ereignisse vom Ereignisanbieter empfangen kann.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/eventarc.eventReceiver
  4. Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle "Workflow-Aufrufer" (roles/workflows.invoker) für das Projekt zu, damit das Konto die Berechtigung zum Auslösen Ihres Workflows hat. ausgeführt werden.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/workflows.invoker
  5. Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle "Logging-Logs-Autor" (roles/logging.logWriter) für das Projekt zu, damit der Workflow Logs an Cloud Logging senden kann.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/logging.logWriter
  6. Bevor Sie einen Trigger für direkte Ereignisse aus Cloud Storage erstellen, weisen Sie dem Cloud Storage-Dienst-Agent die Pub/Sub-Publisher-Rolle (roles/pubsub.publisher) zu:

    SERVICE_ACCOUNT="$(gsutil kms serviceaccount -p PROJECT_ID)"
    
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:${SERVICE_ACCOUNT}" \
        --role='roles/pubsub.publisher'
    
  7. Wenn Sie den Cloud Pub/Sub-Dienst-Agent am oder vor dem 8. April 2021 aktiviert haben, um authentifizierte Pub/Sub-Push-Anfragen zu unterstützen, weisen Sie dem von Google verwalteten Dienstkonto die Rolle „Ersteller von Dienstkonto-Tokens“ (roles/iam.serviceAccountTokenCreator) zu. Andernfalls wird diese Rolle standardmäßig zugewiesen:
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
        --role=roles/iam.serviceAccountTokenCreator

Cloud Storage-Bucket erstellen

Erstellen Sie einen Cloud Storage-Bucket, der als Ereignisquelle verwendet werden soll:

  gsutil mb -l us-central1 gs://${PROJECT_ID}-bucket/

Workflow erstellen und bereitstellen

Workflow erstellen und bereitstellen, der ausgeführt wird, wenn ein im Cloud Storage-Bucket erstelltes Objekt einen Workflow mit einer HTTP-Anfrage auslöst.

  1. Erstellen Sie in Ihrem Basisverzeichnis eine neue Datei mit dem Namen myEventWorkflow.yaml oder myEventWorkflow.json.

  2. Kopieren Sie den folgenden Workflow, fügen Sie ihn in die neue Datei ein und speichern Sie ihn:

    YAML

      main:
        params: [event]
        steps:
            - log_event:
                call: sys.log
                args:
                    text: ${event}
                    severity: INFO
            - extract_bucket_object:
                assign:
                - bucket: ${event.data.bucket}
                - object: ${event.data.name}
            - return_bucket_object:
                    return:
                        bucket: ${bucket}
                        object: ${object}
      

    JSON

    {
    "main": {
    "params": [
      "event"
    ],
    "steps": [
      {
        "log_event": {
          "call": "sys.log",
          "args": {
            "text": "${event}",
            "severity": "INFO"
          }
        }
      },
      {
        "extract_bucket_object": {
          "assign": [
            {
              "bucket": "${event.data.bucket}"
            },
            {
              "object": "${event.data.name}"
            }
          ]
        }
      },
      {
        "return_bucket_object": {
          "return": {
            "bucket": "${bucket}",
            "object": "${object}"
          }
        }
      }
    ]
    }
    }
  3. Stellen Sie den Workflow bereit:

    export MY_WORKFLOW=myEventWorkflow
    gcloud workflows deploy ${MY_WORKFLOW} --source=myEventWorkflow.yaml
    

    .yaml: Ersetzen Sie diesen Wert durch .json, wenn Sie die JSON-Version des Beispielworkflows kopiert haben.

Eventarc-Trigger erstellen

Der Eventarc-Trigger sendet Ereignisse aus dem Cloud Storage-Bucket an das Workflows-Ziel.

  1. Erstellen Sie einen Trigger, der Cloud Storage-Ereignisse filtert:

    gcloud eventarc triggers create storage-events-trigger \
        --destination-workflow=${MY_WORKFLOW} \
        --event-filters="type=google.cloud.storage.object.v1.finalized" \
        --event-filters="bucket=${PROJECT_ID}-bucket" \
        --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"
    

    Dadurch wird ein Trigger mit dem Namen storage-events-trigger erstellt.

    Beachten Sie, dass das Erstellen eines Eventarc-Triggers in einem Google Cloud-Projekt möglicherweise zu einer Verzögerung bei der Bereitstellung des Eventarc-Dienst-Agents kommt. Dieses Problem lässt sich normalerweise durch erneutes Erstellen des Triggers beheben. Weitere Informationen finden Sie unter Fehler „Berechtigung verweigert“.

  2. Führen Sie diesen Befehl aus, um zu prüfen, ob storage-events-trigger erfolgreich erstellt wurde:

    gcloud eventarc triggers describe storage-events-trigger --location=${TRIGGER_LOCATION}
    

    Die Ausgabe sollte in etwa so aussehen, mit Angabe der Erstellungszeit und des Triggerstandorts:

    createTime: '2021-10-14T15:15:43.872360951Z'
    [...]
    name: projects/PROJECT_ID/locations/us-central1/triggers/storage-events-trigger
    

Ereignis erstellen und abrufen

  1. Laden Sie eine Textdatei in Cloud Storage hoch, um ein Ereignis zu generieren:

    echo "Hello World" > random.txt
    gsutil cp random.txt gs://${PROJECT_ID}-bucket/random.txt
    

    Der Upload generiert ein Ereignis, das als Laufzeitargument an den Workflow übergeben wird, das die Namen des Storage-Buckets und der hochgeladenen Datei zurückgibt.

  2. Um zu prüfen, ob eine Workflowausführung ausgelöst wurde, listen Sie die letzten fünf Ausführungen auf:

    gcloud workflows executions list ${MY_WORKFLOW} --limit=5
    

    Die Ausgabe sollte in etwa so aussehen, wobei für jede Workflowausführung NAME und STATUS als SUCCEEDED aufgelistet werden:

    NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/8c02b8f1-8836-4a6d-99d9-fc321eb9668f
    STATE: SUCCEEDED
    START_TIME: 2021-10-13T03:38:03.019148617Z
    END_TIME: 2021-10-13T03:38:03.249705805Z
    NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/a6319d9d-36a6-4117-904e-3d1118bdc90a
    STATE: SUCCEEDED
    START_TIME: 2021-10-13T17:28:51.492864252Z
    END_TIME: 2021-10-13T17:28:52.227212414Z
    

    Beachten Sie, dass im vorherigen Beispiel im Feld NAME die ID der Workflowausführung a6319d9d-36a6-4117-904e-3d1118bdc90a ist. Kopieren Sie die Ausführungs-ID, die im nächsten Schritt verwendet wird.

  3. Führen Sie den folgenden Befehl aus, um den Ausführungsstatus anzuzeigen:

    gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}
    

    Ersetzen Sie WORKFLOW_EXECUTION_ID durch die ID der Workflowausführung, die dem Zeitpunkt entspricht, zu dem die Datei in den Bucket hochgeladen wurde.

    Die Ausgabe sieht in etwa so aus:

    argument: [...]
    name: projects/218898424763/locations/us-central1/workflows/myEventWorkflow/executions/86d2567b-0f1e-49b3-8b10-cdac5d0f6239
    result: '{"bucket":"PROJECT_ID-bucket","object":"random.txt"}'
    startTime: '2021-10-13T03:38:03.019148617Z'
    state: SUCCEEDED
    
  4. Prüfen Sie, ob der "timeCreated": "2021-10-13T03:38", zu dem der Cloud Storage-Bucket aktualisiert wurde, und der startTime der Workflowausführung einander entsprechen.

Glückwunsch! Sie haben mithilfe von Eventarc erfolgreich ein Cloud Storage-Ereignis generiert, das einen Workflows-Ereignisempfänger ausgelöst hat.

Bereinigen

Löschen Sie das Google Cloud-Projekt mit den Ressourcen, damit Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen nicht in Rechnung gestellt werden.

  1. Löschen Sie den von Ihnen erstellten Workflow:

    gcloud workflows delete ${MY_WORKFLOW}
    

    Wenn Sie gefragt werden, ob Sie fortfahren möchten, geben Sie y ein.

  2. Löschen Sie den Storage-Bucket:

    gsutil rm -r gs://${PROJECT_ID}-bucket/
    
  3. Löschen Sie den in dieser Anleitung erstellten Trigger:

    gcloud eventarc triggers delete storage-events-trigger
    
  4. Alternativ können Sie Ihr Google Cloud-Projekt löschen, um wiederkehrende Gebühren zu vermeiden. Wenn Sie Ihr Google Cloud-Projekt löschen, wird die Abrechnung für alle in diesem Projekt verwendeten Ressourcen beendet.

    Delete a Google Cloud project:

    gcloud projects delete PROJECT_ID

Nächste Schritte