In dieser Anleitung erfahren Sie, wie Sie eine Cloud Tasks-Warteschlange erstellen, mit der Sie die Rate der Workflowausführungen regulieren können.
Es gibt eine maximale Anzahl aktiver Workflowausführungen, die gleichzeitig ausgeführt werden können. Wenn das Limit erreicht ist, schlagen neue Ausführungen fehl und es wird der HTTP-Statuscode 429 Too many requests
zurückgegeben. Wenn Sie eine Cloud Tasks-Warteschlange aktivieren, um untergeordnete Workflows mit einer von Ihnen definierten Rate auszuführen, können Sie kontingentbezogene Probleme für Workflows vermeiden und eine bessere Ausführungsrate erzielen.
Cloud Tasks ist darauf ausgelegt, „mindestens einmal“ zu liefern. Workflows gewährleistet jedoch nicht die genau einmalige Verarbeitung doppelter Anfragen von Cloud Tasks.
Im folgenden Diagramm ruft ein übergeordneter Workflow untergeordnete Workflows auf, die von einer Cloud Tasks-Warteschlange reguliert werden, auf die eine Weiterleitungsrate angewendet wird.
Lernziele
In dieser Anleitung werden Sie:
- Erstellen Sie eine Cloud Tasks-Warteschlange, die als Vermittler zwischen den übergeordneten und untergeordneten Workflows dient.
- Einen untergeordneten Workflow erstellen und bereitstellen, der Daten vom übergeordneten Workflow empfängt
- Erstellen Sie den übergeordneten Workflow, der den untergeordneten Workflow über die Cloud Tasks-Warteschlange ausführt, und stellen Sie ihn bereit.
- Führen Sie den übergeordneten Workflow ohne ein Limit für die Weiterleitungsrate aus, wodurch die Ausführung des untergeordneten Workflows ausgelöst wird.
- Wenden Sie ein Weiterleitungslimit auf die Cloud Tasks-Warteschlange an und führen Sie den übergeordneten Workflow aus.
- Beachten Sie, dass die untergeordneten Workflows mit der in der Cloud Tasks-Warteschlange definierten Geschwindigkeit ausgeführt werden.
Sie können die folgenden Befehle in der Google Cloud Console oder über die Google Cloud CLI in Ihrem Terminal oder in Cloud Shell ausführen.
Kosten
In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:
Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.
Hinweise
Von Ihrer Organisation definierte Sicherheitsbeschränkungen verhindern möglicherweise, dass die folgenden Schritte ausgeführt werden. Informationen zur Fehlerbehebung finden Sie unter Anwendungen in einer eingeschränkten Google Cloud-Umgebung entwickeln.
Console
-
Melden Sie sich bei Ihrem Google-Konto an.
Wenn Sie noch kein Konto haben, melden Sie sich hier für ein neues Konto an.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Cloud Tasks, Compute Engine, and Workflows APIs aktivieren.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Cloud Tasks, Compute Engine, and Workflows APIs aktivieren.
- Rufen Sie in der Google Cloud Console die Seite IAM auf, um Berechtigungen für das Compute Engine-Standarddienstkonto festzulegen.
Notieren Sie sich das Compute Engine-Standarddienstkonto, da Sie es zu Testzwecken mit den Workflows in dieser Anleitung verknüpfen werden. Dieses Dienstkonto wird automatisch erstellt, nachdem Sie einen Google Cloud-Dienst aktiviert oder verwendet haben, der Compute Engine verwendet. Er hat das folgende E-Mail-Format:
PROJECT_NUMBER-compute@developer.gserviceaccount.com
Ersetzen Sie
PROJECT_NUMBER
durch die Nummer Ihres Google Cloud-Projekts. Sie finden Ihre Projektnummer in der Google Cloud Console auf der Willkommensseite.Für Produktionsumgebungen empfehlen wir dringend, ein neues Dienstkonto zu erstellen und ihm eine oder mehrere IAM-Rollen zuzuweisen, die die erforderlichen Mindestberechtigungen enthalten und dem Prinzip der geringsten Berechtigung folgen.
- Wählen Sie das Compute Engine-Standarddienstkonto aus und klicken Sie in dieser Zeile auf Hauptkonto bearbeiten.
- Klicken Sie im angezeigten Dialogfeld auf
- Wählen Sie in der Liste Rolle auswählen die Option Workflows > Workflows-Aufrufer aus, damit das Konto die Berechtigung zum Auslösen der Workflowausführung hat.
- Wählen Sie in der Liste Rolle auswählen die Option Cloud Tasks > Cloud Tasks-Ersteller aus, damit das Konto die Berechtigung zum Erstellen von Aufgaben hat.
Weitere Rolle hinzufügen und fügen Sie die folgenden Rollen hinzu:
- Klicken Sie auf Speichern.
gcloud
-
Melden Sie sich bei Ihrem Google-Konto an.
Wenn Sie noch kein Konto haben, melden Sie sich hier für ein neues Konto an.
- Installieren Sie die Google Cloud CLI.
-
Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Aktivieren Sie die Cloud Tasks, Compute Engine, and Workflows APIs:
gcloud services enable cloudtasks.googleapis.com
compute.googleapis.com workflows.googleapis.com - Installieren Sie die Google Cloud CLI.
-
Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Aktivieren Sie die Cloud Tasks, Compute Engine, and Workflows APIs:
gcloud services enable cloudtasks.googleapis.com
compute.googleapis.com workflows.googleapis.com Notieren Sie sich das Compute Engine-Standarddienstkonto, da Sie es zu Testzwecken mit den Workflows in dieser Anleitung verknüpfen werden. Dieses Dienstkonto wird automatisch erstellt, nachdem Sie einen Google Cloud-Dienst aktiviert oder verwendet haben, der Compute Engine verwendet. Er hat das folgende E-Mail-Format:
PROJECT_NUMBER-compute@developer.gserviceaccount.com
Ersetzen Sie
PROJECT_NUMBER
durch die Nummer Ihres Google Cloud-Projekts. Sie können Ihre Projektnummer ermitteln, indem Sie den folgenden Befehl ausführen:gcloud projects describe PROJECT_ID --format='value(projectNumber)'
Für Produktionsumgebungen empfehlen wir dringend, ein neues Dienstkonto zu erstellen und ihm eine oder mehrere IAM-Rollen zuzuweisen, die die erforderlichen Mindestberechtigungen enthalten und dem Prinzip der geringsten Berechtigung folgen.
- Gewähren Sie dem Compute Engine-Standarddienstkonto die Rolle „Workflows-Aufrufer“ (
roles/workflows.invoker
) für das Projekt, damit das Konto die Berechtigung zum Auslösen der Workflowausführung hat.gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/workflows.invoker
Ersetzen Sie Folgendes:
PROJECT_ID
: die Google Cloud-Projekt-IDPROJECT_NUMBER
: die Google Cloud-Projektnummer
- Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle „Cloud Tasks-Ersteller“ (
roles/cloudtasks.enqueuer
) für das Projekt zu, damit das Konto die Berechtigung zum Erstellen von Aufgaben hat.gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/cloudtasks.enqueuer
Cloud Tasks-Warteschlange erstellen
Erstellen Sie eine Cloud Tasks-Warteschlange, die Sie im übergeordneten Workflow verwenden und mit der Sie die Rate der Workflowausführungen regulieren können.
Console
Rufen Sie in der Google Cloud Console die Seite Cloud Tasks auf:
Klicken Sie auf
Push-Warteschlange erstellen.Geben Sie den Namen der Warteschlange
queue-workflow-child
ein.Wählen Sie in der Liste Region die Option us-central1 (Iowa) aus.
Klicken Sie auf Erstellen.
gcloud
QUEUE=queue-workflow-child LOCATION=us-central1 gcloud tasks queues create $QUEUE --location=$LOCATION
Untergeordneten Workflow erstellen und bereitstellen
Ein untergeordneter Workflow kann Daten aus einem übergeordneten Workflow empfangen und verarbeiten. Erstellen Sie einen untergeordneten Workflow und stellen Sie ihn bereit, der folgende Schritte ausführt:
- Erhält ein
iteration
als Argument - 10 Sekunden inaktiv, um eine Verarbeitung zu simulieren
Gibt nach erfolgreicher Ausführung einen String zurück
Console
Öffnen Sie in der Google Cloud Console die Seite Workflows.
Klicken Sie auf
Erstellen.Geben Sie den Namen
workflow-child
für den neuen Workflow ein.Wählen Sie in der Liste Region die Option us-central1 (Iowa) aus.
Wählen Sie in der Liste Dienstkonto das Compute Engine-Standarddienstkonto aus.
Klicken Sie auf Weiter.
Geben Sie im Workflow-Editor die folgende Definition für den Workflow ein:
Klicken Sie auf Bereitstellen.
gcloud
Erstellen Sie eine Quellcodedatei für Ihren Workflow:
touch workflow-child.yaml
Öffnen Sie Ihre Quellcodedatei in einem Texteditor und kopieren Sie den folgenden Workflow in die Datei.
Stellen Sie den Workflow bereit:
gcloud workflows deploy workflow-child \ --source=workflow-child.yaml \ --location=us-central1 \ --service-account=
PROJECT_NUMBER
-compute@developer.gserviceaccount.com
Übergeordneten Workflow erstellen und bereitstellen
Der übergeordnete Workflow führt mithilfe einer for
-Schleife mehrere Zweige des untergeordneten Workflows aus.
Kopieren Sie den Quellcode, der den übergeordneten Workflow definiert:
Der Workflow besteht aus folgenden Teilen:
Eine Zuordnung, mit der Konstanten zugewiesen werden, die sich auf den untergeordneten Workflow und den Cloud Tasks-Warteschlangennamen beziehen. Weitere Informationen finden Sie unter Maps.
Eine
for
-Schleife, die ausgeführt wird, um den untergeordneten Workflow iterativ aufzurufen. Weitere Informationen finden Sie unter Iterationen.Ein Workflowschritt, bei dem eine große Anzahl von Aufgaben erstellt und der Cloud Tasks-Warteschlange hinzugefügt wird, um den untergeordneten Workflow auszuführen. Weitere Informationen finden Sie unter Cloud Tasks API-Connector.
Stellen Sie den Workflow bereit:
Console
Rufen Sie in der Google Cloud Console die Seite Workflows auf:
Klicken Sie auf
Erstellen.Geben Sie den Namen
workflow-parent
für den neuen Workflow ein.Wählen Sie in der Liste Region die Option us-central1 (Iowa) aus.
Wählen Sie in der Liste Dienstkonto das Compute Engine-Standarddienstkonto aus.
Klicken Sie auf Weiter.
Fügen Sie im Workflow-Editor die Definition für den übergeordneten Workflow ein.
Klicken Sie auf Bereitstellen.
gcloud
Erstellen Sie eine Quellcodedatei für Ihren Workflow:
touch workflow-parent.yaml
Öffnen Sie die Quellcodedatei in einem Texteditor und fügen Sie die Definition für den übergeordneten Workflow ein.
Stellen Sie den Workflow bereit:
gcloud workflows deploy workflow-parent \ --source=workflow-parent.yaml \ --location=us-central1 \ --service-account=
PROJECT_NUMBER
-compute@developer.gserviceaccount.com
Übergeordneten Workflow ohne Ratenbegrenzungen ausführen
Führen Sie den übergeordneten Workflow aus, um die untergeordneten Workflows über die Cloud Tasks-Warteschlange aufzurufen. Die Ausführungen sollten etwa 10 Sekunden dauern.
Console
Rufen Sie in der Google Cloud Console die Seite Workflows auf:
Klicken Sie auf der Seite Workflows auf den Workflow workflow-parent, um die zugehörige Detailseite aufzurufen.
Klicken Sie auf der Seite Workflowdetails auf play_arrow Ausführen.
Klicken Sie noch einmal auf Ausführen.
Wenn der übergeordnete Workflow ausgeführt wird, kehren Sie zur Seite Workflows zurück und klicken Sie auf den Workflow workflow-child, um die zugehörige Detailseite aufzurufen.
Klicken Sie auf den Tab Ausführungen.
Sie sollten etwa zur gleichen Zeit ausgeführte Ausführungen des untergeordneten Workflows sehen, etwa so:
gcloud
Führen Sie den Workflow aus:
gcloud workflows run workflow-parent \ --location=us-central1
Wenn Sie prüfen möchten, ob eine Workflowausführung ausgelöst wurde, listen Sie die letzten vier Ausführungen auf:
gcloud workflows executions list workflow-child --limit=4
Da die Anzahl der Ausführungen (100) unter dem Limit für die Nebenläufigkeit von Workflows liegt, sollten die Ergebnisse in etwa so aussehen. Kontingentprobleme können auftreten, wenn Sie Tausende von Ausführungen gleichzeitig senden.
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/1570d06e-d133-4536-a859-b7b6a1a85524 STATE: ACTIVE START_TIME: 2023-07-27T00:56:15.093934448Z END_TIME: NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/82724960-7d92-4961-aa2c-a0f0be46212c STATE: ACTIVE START_TIME: 2023-07-27T00:56:14.903007626Z END_TIME: NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/598126fb-37f9-45bc-91d8-aea7d795d702 STATE: ACTIVE START_TIME: 2023-07-27T00:56:14.698260524Z END_TIME: NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/d2e9960b-f93f-4df4-a594-3e7e5c2be53f STATE: ACTIVE START_TIME: 2023-07-27T00:56:14.503818840Z END_TIME:
Sie haben einen Workflow erstellt und bereitgestellt, der 100 Iterationen des untergeordneten Workflows aufruft.
Übergeordneten Workflow mit Ratenbegrenzungen ausführen
Wenden Sie ein Ratenlimit von einer Weiterleitung pro Sekunde für die Cloud Tasks-Warteschlange an und führen Sie dann den übergeordneten Workflow aus.
Console
Rufen Sie in der Google Cloud Console die Seite Cloud Tasks auf:
Klicken Sie auf die von Ihnen erstellte Cloud Tasks-Warteschlange queue-workflow-child und dann auf Warteschlange bearbeiten.
Geben Sie im Abschnitt Ratenlimits für Aufgabenweiterleitungen im Feld Max. Weiterleitungen den Wert 1 ein.
Klicken Sie auf Speichern.
Rufen Sie die Seite Workflows auf:
Klicken Sie auf den Workflow workflow-parent, um die zugehörige Detailseite aufzurufen.
Klicken Sie auf der Seite Workflowdetails auf play_arrow Ausführen.
Klicken Sie noch einmal auf Ausführen.
Wenn der übergeordnete Workflow ausgeführt wird, kehren Sie zur Seite Workflows zurück und klicken Sie auf den Workflow workflow-child, um die zugehörige Detailseite aufzurufen.
Klicken Sie auf den Tab Ausführungen.
Sie sollten Ausführungen des untergeordneten Workflows sehen, die mit einer Anfrage pro Sekunde ausgeführt werden. Beispiel:
gcloud
Aktualisieren Sie die Cloud Tasks-Warteschlange, um eine Ratenbegrenzung von einer Weiterleitung pro Sekunde anzuwenden:
gcloud tasks queues update $QUEUE \ --max-dispatches-per-second=1 \ --location=us-central1
Führen Sie den Workflow aus:
gcloud workflows run workflow-parent \ --location=us-central1
Wenn Sie prüfen möchten, ob eine Workflowausführung ausgelöst wurde, listen Sie die letzten vier Ausführungen auf:
gcloud workflows executions list workflow-child --limit=4
Die Ergebnisse sollten in etwa so aussehen, wobei pro Sekunde ein Workflow ausgeführt wird:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/becf4957-9fb2-40d9-835d-0ff2dd0c1249 STATE: ACTIVE START_TIME: 2023-07-27T01:07:24.446361457Z END_TIME: NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/6c1e7c4b-7ac6-4121-b351-1e2d56d10903 STATE: ACTIVE START_TIME: 2023-07-27T01:07:23.448213989Z END_TIME: NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/f2ba5027-af40-4cd3-8cd0-b8033bcc6211 STATE: ACTIVE START_TIME: 2023-07-27T01:07:22.431485914Z END_TIME: NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/ecc61ee5-fe87-49eb-8803-89dba929f6c8 STATE: ACTIVE START_TIME: 2023-07-27T01:07:21.443466369Z END_TIME:
Sie haben erfolgreich einen Workflow bereitgestellt, der 100 Iterationen des untergeordneten Workflows mit einer Weiterleitungsrate von einer Ausführung pro Sekunde aufruft.
Bereinigen
Wenn Sie ein neues Projekt für diese Anleitung erstellt haben, löschen Sie das Projekt. Wenn Sie ein vorhandenes Projekt verwendet haben und es beibehalten möchten, ohne die Änderungen in dieser Anleitung hinzuzufügen, löschen Sie die für die Anleitung erstellten Ressourcen.
Projekt löschen
Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.
So löschen Sie das Projekt:
- Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.
- Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
- Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.
Anleitungsressourcen löschen
Löschen Sie die in dieser Anleitung erstellten Workflows und Cloud Tasks-Ressourcen:
Console
So löschen Sie die Workflows:
Rufen Sie in der Google Cloud Console die Seite Workflows auf:
Klicken Sie in der Liste der Workflows auf einen Workflow, um die zugehörige Seite Workflowdetails aufzurufen.
Klicken Sie auf
Löschen.Geben Sie den Namen des Workflows ein und klicken Sie dann auf Bestätigen.
So löschen Sie die Cloud Tasks-Warteschlange:
Rufen Sie in der Google Cloud Console die Seite Cloud Tasks auf:
Wählen Sie den Namen der Warteschlange aus, die Sie löschen möchten, und klicken Sie auf Warteschlange löschen.
Bestätigen Sie die Aktion.
gcloud
Führen Sie die folgenden Befehle aus, um die Workflows zu löschen:
gcloud workflows delete workflow-child gcloud workflows delete workflow-parent
Führen Sie den folgenden Befehl aus, um die Cloud Tasks-Warteschlange zu löschen:
gcloud tasks queues delete queue-workflow-child
Nächste Schritte
- Weitere Informationen zur Verwendung von Cloud Tasks, um einen Workflow in die Warteschlange zu stellen und asynchron auszuführen, finden Sie unter Workflowausführungen mit Cloud Tasks in eine Warteschlange stellen.
- Weitere Informationen zur Workflow-Syntax finden Sie in der Referenz zur Workflow-Syntax.