Cloud Tasks-Warteschlange zum Puffern von Workflowausführungen verwenden

In dieser Anleitung erfahren Sie, wie Sie eine Cloud Tasks-Warteschlange erstellen, mit der Sie die Häufigkeit der Workflowausführungen regulieren können.

Es gibt eine maximale Anzahl aktiver Workflowausführungen, die gleichzeitig ausgeführt werden können. Wenn dieses Kontingent aufgebraucht ist und das Ausführen von Aufträgen im Hintergrund deaktiviert ist oder das Kontingent für Aufträge im Hintergrund erreicht ist, schlagen alle neuen Ausführungen mit dem HTTP-Statuscode 429 Too many requests fehl. Wenn Sie einer Cloud Tasks-Warteschlange erlauben, untergeordnete Workflows mit einer von Ihnen festgelegten Rate auszuführen, können Sie quotabedingte Probleme mit Workflows vermeiden und eine bessere Ausführungsrate erzielen.

Cloud Tasks ist darauf ausgelegt, „mindestens einmal“ zu liefern. Workflows stellt jedoch nicht sicher, dass doppelte Anfragen von Cloud Tasks genau einmal verarbeitet werden.

Im folgenden Diagramm ruft ein übergeordneter Workflow untergeordnete Workflows auf, die von einer Cloud Tasks-Warteschlange mit einer Auslieferungsrate gesteuert werden.

Übergeordneter Workflow, der Iterationen eines untergeordneten Workflows über die Cloud Tasks-Warteschlange aufruft

Lernziele

In dieser Anleitung werden Sie:

  1. Erstellen Sie eine Cloud Tasks-Warteschlange, die als Vermittler zwischen dem übergeordneten und dem untergeordneten Workflow dient.
  2. Erstellen und bereitstellen Sie einen untergeordneten Workflow, der Daten vom übergeordneten Workflow empfängt.
  3. Erstellen und bereitstellen Sie den übergeordneten Workflow, der den untergeordneten Workflow über die Cloud Tasks-Warteschlange ausführt.
  4. Führen Sie den übergeordneten Workflow ohne Begrenzung der Auslieferungsrate aus, wodurch Ausführungen des untergeordneten Workflows aufgerufen werden.
  5. Wenden Sie ein Auslöselimit auf die Cloud Tasks-Warteschlange an und führen Sie den übergeordneten Workflow aus.
  6. Die untergeordneten Workflows werden mit der über die Cloud Tasks-Warteschlange definierten Rate ausgeführt.

Sie können die folgenden Befehle in der Google Cloud Console oder über die Google Cloud CLI in Ihrem Terminal oder in Cloud Shell ausführen.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Vorbereitung

Von Ihrer Organisation definierte Sicherheitsbeschränkungen verhindern möglicherweise, dass die folgenden Schritte ausgeführt werden. Informationen zur Fehlerbehebung finden Sie unter Anwendungen in einer eingeschränkten Google Cloud-Umgebung entwickeln.

Console

  1. Sign in to your Google Account.

    If you don't already have one, sign up for a new account.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

    Enable the APIs

    8.
  8. Rufen Sie in der Google Cloud Console die Seite IAM auf, um Berechtigungen für das Standarddienstkonto der Compute Engine festzulegen.

    IAM aufrufen

    Notieren Sie sich das Compute Engine-Standarddienstkonto, da Sie es zu Testzwecken mit den Workflows in dieser Anleitung verknüpfen. Dieses Dienstkonto wird automatisch nach der Aktivierung oder Verwendung eines Google Cloud-Dienstes, der Compute Engine verwendet, mit dem folgenden E-Mail-Format erstellt:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Ersetzen Sie PROJECT_NUMBER durch Ihre Google Cloud-Projektnummer. Sie finden Ihre Projektnummer auf der Willkommensseite der Google Cloud Console.

    Für Produktionsumgebungen empfehlen wir dringend, ein neues Dienstkonto zu erstellen und ihm eine oder mehrere IAM-Rollen zuzuweisen, die die erforderlichen Mindestberechtigungen enthalten und dem Grundsatz der geringsten Berechtigung folgen.

  9. Wählen Sie das Compute Engine-Standarddienstkonto aus und klicken Sie in dieser Zeile auf Hauptkonto bearbeiten.
  10. Klicken Sie im angezeigten Dialogfeld auf Weitere Rolle hinzufügen und fügen Sie die folgenden Rollen hinzu:
    1. Wählen Sie in der Liste Rolle auswählen die Option Workflows > Workflows-Aufrufer aus, damit das Konto die Berechtigung zum Auslösen der Workflowausführung hat.
    2. Wählen Sie in der Liste Rolle auswählen die Option Cloud Tasks > Cloud Tasks Enqueuer aus, damit das Konto Berechtigungen zum Erstellen von Aufgaben hat.
  11. Klicken Sie auf Speichern.

gcloud

  1. Sign in to your Google Account.

    If you don't already have one, sign up for a new account.

  2. Install the Google Cloud CLI.

  3. To initialize the gcloud CLI, run the following command: 

    gcloud init

  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Tasks, Compute Engine, and Workflows APIs: 

    gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com
  7. Install the Google Cloud CLI.

  8. To initialize the gcloud CLI, run the following command: 

    gcloud init

  9. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  10. Make sure that billing is enabled for your Google Cloud project.

  11. Enable the Cloud Tasks, Compute Engine, and Workflows APIs: 

    gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com

  12. Notieren Sie sich das Compute Engine-Standarddienstkonto, da Sie es zu Testzwecken mit den Workflows in dieser Anleitung verknüpfen. Dieses Dienstkonto wird automatisch nach der Aktivierung oder Verwendung eines Google Cloud-Dienstes, der Compute Engine verwendet, mit dem folgenden E-Mail-Format erstellt:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Ersetzen Sie PROJECT_NUMBER durch Ihre Google Cloud-Projektnummer. Sie können die Projektnummer ermitteln. Führen Sie dazu den folgenden Befehl aus:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Für Produktionsumgebungen empfehlen wir dringend, ein neues Dienstkonto zu erstellen und ihm eine oder mehrere IAM-Rollen zuzuweisen, die die erforderlichen Mindestberechtigungen enthalten und dem Grundsatz der geringsten Berechtigung folgen.

  13. Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle Workflow-Aufrufer (roles/workflows.invoker) für das Projekt zu, damit das Konto die Berechtigung zum Auslösen Ihres Workflows hat.

    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/workflows.invoker

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Google Cloud-Projekt-ID
    • PROJECT_NUMBER: die Google Cloud-Projektnummer

  14. Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle Cloud Tasks-Enqueuer (roles/cloudtasks.enqueuer) für das Projekt zu, damit das Konto Berechtigungen zum Erstellen von Aufgaben hat.

    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/cloudtasks.enqueuer

Cloud Tasks-Warteschlange erstellen

Erstellen Sie eine Cloud Tasks-Warteschlange, die Sie im übergeordneten Workflow verwenden können und mit der Sie die Häufigkeit der Workflowausführungen regulieren können.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Cloud Tasks auf:

    Zu Cloud Tasks

  2. Klicken Sie auf Push-Warteschlange erstellen.

  3. Geben Sie den Namen der Warteschlange, queue-workflow-child, ein.

  4. Wählen Sie in der Liste Region die Option us-central1 (Iowa) aus.

  5. Klicken Sie auf Erstellen.

gcloud

QUEUE=queue-workflow-child
LOCATION=us-central1
gcloud tasks queues create $QUEUE --location=$LOCATION

Untergeordneten Workflow erstellen und bereitstellen

Ein untergeordneter Workflow kann Daten von einem übergeordneten Workflow empfangen und verarbeiten. Erstellen und bereitstellen Sie einen untergeordneten Workflow, der Folgendes ausführt:

  • Erhält ein iteration als Argument
  • 10 Sekunden lang inaktiv, um eine gewisse Verarbeitung zu simulieren

  • Gibt nach erfolgreicher Ausführung einen String zurück

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Workflows.

    Zur Seite "Workflows"

  2. Klicken Sie auf  Erstellen.

  3. Geben Sie den Namen „workflow-child“ für den neuen Workflow ein.

  4. Wählen Sie in der Liste Region die Option us-central1 (Iowa) aus.

  5. Wählen Sie in der Liste Dienstkonto die Option Standardmäßiges Compute Engine-Dienstkonto aus.

  6. Klicken Sie auf Weiter.

  7. Geben Sie im Workflow-Editor die Definition für Ihren Workflow ein:

    main:
  params: [args]
  steps:
    - init:
        assign:
          - iteration : ${args.iteration}
    - wait:
        call: sys.sleep
        args:
            seconds: 10
    - return_message:
        return: ${"Hello world"+iteration}

  8. Klicken Sie auf Bereitstellen.

gcloud

  1. Erstellen Sie eine Quellcodedatei für Ihren Workflow:

    touch workflow-child.yaml

  2. Öffnen Sie die Quellcodedatei in einem Texteditor und kopieren Sie den folgenden Workflow in die Datei.

    main:
  params: [args]
  steps:
    - init:
        assign:
          - iteration : ${args.iteration}
    - wait:
        call: sys.sleep
        args:
            seconds: 10
    - return_message:
        return: ${"Hello world"+iteration}

  3. Stellen Sie den Workflow bereit:

    gcloud workflows deploy workflow-child \
    --source=workflow-child.yaml \
    --location=us-central1 \
    --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

Übergeordneten Workflow erstellen und bereitstellen

Der übergeordnete Workflow führt mithilfe einer for-Schleife mehrere Äste des untergeordneten Workflows aus.

  1. Kopieren Sie den Quellcode, in dem der übergeordnete Workflow definiert ist:

    main:
  steps:
    - init:
        assign:
          - project_id: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
          - project_number: ${sys.get_env("GOOGLE_CLOUD_PROJECT_NUMBER")}
          - location: ${sys.get_env("GOOGLE_CLOUD_LOCATION")}
          - workflow_child_name: "workflow-child"
          - queue_name: "queue-workflow-child"
    - enqueue_tasks_to_execute_child_workflow:
        for:
          value: iteration
          range: [1, 100]
          steps:
              - iterate:
                  assign:
                    - data:
                        iteration: ${iteration}
                    - exec:
                        # Encode object to JSON string in expression for workflow argument
                        argument: ${json.encode_to_string(data)}
              - create_task_to_execute_child_workflow:
                  call: googleapis.cloudtasks.v2.projects.locations.queues.tasks.create
                  args:
                      parent: ${"projects/" + project_id + "/locations/" + location + "/queues/" + queue_name}
                      body:
                        task:
                          httpRequest:
                            body: ${base64.encode(json.encode(exec))}
                            url: ${"https://workflowexecutions.googleapis.com/v1/projects/" + project_id + "/locations/" + location + "/workflows/" + workflow_child_name + "/executions"}
                            oauthToken:
                              serviceAccountEmail: ${project_number + "-compute@developer.gserviceaccount.com"}

    Der Workflow besteht aus den folgenden Teilen:

    • Eine Zuordnungstabelle, mit der Konstanten zugewiesen werden, die sich auf den untergeordneten Workflow und den Namen der Cloud Tasks-Warteschlange beziehen. Weitere Informationen finden Sie unter Google Maps.

    • Eine for-Schleife, die ausgeführt wird, um den untergeordneten Workflow iterativ aufzurufen. Weitere Informationen finden Sie unter Iteration.

    • Ein Workflowschritt, bei dem eine große Anzahl von Aufgaben erstellt und der Cloud Tasks-Warteschlange hinzugefügt wird, um den untergeordneten Workflow auszuführen. Weitere Informationen finden Sie unter Cloud Tasks API-Connector.

  2. Stellen Sie den Workflow bereit:

    Console

    1. Öffnen Sie in der Google Cloud Console die Seite Workflows.

      Zur Seite "Workflows"

    2. Klicken Sie auf  Erstellen.

    3. Geben Sie den Namen „workflow-parent“ für den neuen Workflow ein.

    4. Wählen Sie in der Liste Region die Option us-central1 (Iowa) aus.

    5. Wählen Sie in der Liste Dienstkonto die Option Standardmäßiges Compute Engine-Dienstkonto aus.

    6. Klicken Sie auf Weiter.

    7. Fügen Sie die Definition für den übergeordneten Workflow in den Workflow-Editor ein.

    8. Klicken Sie auf Bereitstellen.

    gcloud

    1. Erstellen Sie eine Quellcodedatei für Ihren Workflow:

      touch workflow-parent.yaml

    2. Öffnen Sie die Quellcodedatei in einem Texteditor und fügen Sie die Definition für den übergeordneten Workflow ein.

    3. Stellen Sie den Workflow bereit:

      gcloud workflows deploy workflow-parent \
    --source=workflow-parent.yaml \
    --location=us-central1 \
    --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

Übergeordneten Workflow ohne Ratenbeschränkungen ausführen

Führen Sie den übergeordneten Workflow aus, um die untergeordneten Workflows über die Cloud Tasks-Warteschlange aufzurufen. Die Ausführung sollte etwa 10 Sekunden dauern.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Workflows.

    Zur Seite "Workflows"

  2. Klicken Sie auf der Seite Workflows auf den Workflow workflow-parent, um die Seite mit den Details aufzurufen.

  3. Klicken Sie auf der Seite Workflow-Details auf Ausführen.

  4. Klicken Sie noch einmal auf Ausführen.

  5. Während der übergeordnete Workflow ausgeführt wird, kehren Sie zur Seite Workflows zurück und klicken Sie auf den Workflow workflow-child, um die Detailseite aufzurufen.

  6. Klicken Sie auf den Tab Ausführungen.

    Sie sollten Ausführungen des untergeordneten Workflows sehen, die ungefähr zur selben Zeit ausgeführt werden, ähnlich wie hier:

    Details zu den Ausführungen des untergeordneten Workflows, die ungefähr zur selben Zeit ausgeführt werden.

gcloud

  1. Führen Sie den Workflow aus:

    gcloud workflows run workflow-parent \
     --location=us-central1

  2. Um zu prüfen, ob eine Workflowausführung ausgelöst wurde, listen Sie die letzten vier Ausführungen auf:

    gcloud workflows executions list workflow-child --limit=4

    Da die Anzahl der Ausführungen (100) unter dem Grenzwert für die Nebenläufigkeit von Workflows liegt, sollten die Ergebnisse in etwa so aussehen: Wenn Sie gleichzeitig Tausende von Ausführungen einreichen, können Probleme mit dem Kontingent auftreten. 

    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/1570d06e-d133-4536-a859-b7b6a1a85524
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:15.093934448Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/82724960-7d92-4961-aa2c-a0f0be46212c
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:14.903007626Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/598126fb-37f9-45bc-91d8-aea7d795d702
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:14.698260524Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/d2e9960b-f93f-4df4-a594-3e7e5c2be53f
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:14.503818840Z
END_TIME:

Sie haben einen Workflow erstellt und bereitgestellt, der 100 Iterationen des untergeordneten Workflows aufruft.

Übergeordneten Workflow mit Ratenbegrenzungen ausführen

Wenden Sie ein Auslastungslimit von einer Übermittlung pro Sekunde auf die Cloud Tasks-Warteschlange an und führen Sie dann den übergeordneten Workflow aus.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Cloud Tasks auf:

    Zu Cloud Tasks

  2. Klicken Sie auf queue-workflow-child, die von Ihnen erstellte Cloud Tasks-Warteschlange, und dann auf Warteschlange bearbeiten.

  3. Geben Sie im Abschnitt Ratenlimits für Aufgabenweiterleitungen im Feld Max. Aufgaben die Zahl 1 ein.

  4. Klicken Sie auf Speichern.

  5. Rufen Sie die Seite Workflows auf:

    Zur Seite "Workflows"

  6. Klicken Sie auf den Workflow workflow-parent, um die Detailseite aufzurufen.

  7. Klicken Sie auf der Seite Workflow-Details auf Ausführen.

  8. Klicken Sie noch einmal auf Ausführen.

  9. Während der übergeordnete Workflow ausgeführt wird, kehren Sie zur Seite Workflows zurück und klicken Sie auf den Workflow workflow-child, um die Detailseite aufzurufen.

  10. Klicken Sie auf den Tab Ausführungen.

    Sie sollten Ausführungen des untergeordneten Workflows sehen, die mit einer Anfrage pro Sekunde ausgeführt werden, ähnlich wie hier:

    Details zum untergeordneten Workflow, der pro Anfrage pro Sekunde ausgeführt wird.

gcloud

  1. Aktualisieren Sie die Cloud Tasks-Warteschlange, um eine Ratenbegrenzung von einer Weiterleitung pro Sekunde anzuwenden:

    gcloud tasks queues update $QUEUE \
    --max-dispatches-per-second=1 \
    --location=us-central1

  2. Führen Sie den Workflow aus:

    gcloud workflows run workflow-parent \
   --location=us-central1

  3. Um zu prüfen, ob eine Workflowausführung ausgelöst wurde, listen Sie die letzten vier Ausführungen auf:

    gcloud workflows executions list workflow-child --limit=4

    Die Ergebnisse sollten in etwa so aussehen, wobei pro Sekunde ein Workflow ausgeführt wird: 

    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/becf4957-9fb2-40d9-835d-0ff2dd0c1249
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:24.446361457Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/6c1e7c4b-7ac6-4121-b351-1e2d56d10903
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:23.448213989Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/f2ba5027-af40-4cd3-8cd0-b8033bcc6211
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:22.431485914Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/ecc61ee5-fe87-49eb-8803-89dba929f6c8
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:21.443466369Z
END_TIME:

Sie haben einen Workflow bereitgestellt, der 100 Iterationen des untergeordneten Workflows mit einer Auslieferungsrate von einer Ausführung pro Sekunde aufruft.

Bereinigen

Wenn Sie ein neues Projekt für diese Anleitung erstellt haben, löschen Sie das Projekt. Wenn Sie ein vorhandenes Projekt verwendet haben und es beibehalten möchten, ohne die Änderungen in dieser Anleitung hinzuzufügen, löschen Sie die für die Anleitung erstellten Ressourcen.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.

So löschen Sie das Projekt:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Anleitungsressourcen löschen

Löschen Sie die Workflows und Cloud Tasks-Ressourcen, die Sie in dieser Anleitung erstellt haben:

Console

  • So löschen Sie die Workflows:

    1. Öffnen Sie in der Google Cloud Console die Seite Workflows.

      Zur Seite "Workflows"

    2. Klicken Sie in der Liste der Workflows auf einen Workflow, um die Seite Workflow-Details aufzurufen.

    3. Klicken Sie auf Löschen.

    4. Geben Sie den Namen des Workflows ein und klicken Sie dann auf Bestätigen.

  • So löschen Sie die Cloud Tasks-Warteschlange:

    1. Rufen Sie in der Google Cloud Console die Seite Cloud Tasks auf:

      Zu Cloud Tasks

    2. Wählen Sie den Namen der Warteschlange aus, die Sie löschen möchten, und klicken Sie auf Warteschlange löschen.

    3. Bestätigen Sie die Aktion.

gcloud

  • Führen Sie die folgenden Befehle aus, um die Workflows zu löschen: 

    gcloud workflows delete workflow-child
gcloud workflows delete workflow-parent

  • Führen Sie den folgenden Befehl aus, um die Cloud Tasks-Warteschlange zu löschen: 

    gcloud tasks queues delete queue-workflow-child

Nächste Schritte