Utiliser une file d'attente Cloud Tasks pour tamponner les exécutions de vos workflows

---

Ce tutoriel vous explique comment créer une file d'attente Cloud Tasks pouvant réguler la fréquence d'exécution des workflows.

Il existe un nombre maximal d'exécutions de workflow actives pouvant se produire simultanément. Une fois ce quota épuisé, et si le dépôt d'exécutions est désactivé ou si le quota des exécutions en file d'attente est atteint, toutes les nouvelles exécutions échouent avec un code d'état HTTP 429 Too many requests. En activant une file d'attente Cloud Tasks pour exécuter des workflows enfants à un débit que vous définissez, vous pouvez éviter les problèmes liés aux quotas Workflows et obtenir un meilleur taux d'exécution.

Notez que Cloud Tasks est conçu pour fournir une exécution de type "au moins une fois". Toutefois, Workflows ne garantit pas le traitement exact des requêtes en double de Cloud Tasks.

Dans le schéma suivant, un workflow parent appelle des workflows enfants qui sont régulés par une file d'attente Cloud Tasks à laquelle un taux de distribution est appliqué.

Objectifs

Au cours de ce tutoriel, vous allez :

1. Créez une file d'attente Cloud Tasks qui sert d'intermédiaire entre les workflows parent et enfant.
2. Créez et déployez un workflow enfant qui reçoit des données du workflow parent.
3. Créez et déployez le workflow parent qui exécute le workflow enfant via la file d'attente Cloud Tasks.
4. Exécutez le workflow parent sans limite de taux de distribution, ce qui appelle les exécutions du workflow enfant.
5. Appliquez une limite de distribution à la file d'attente Cloud Tasks et exécutez le workflow parent.
6. Notez que les workflows enfants sont exécutés au rythme défini via la file d'attente Cloud Tasks.

Vous pouvez exécuter les commandes suivantes dans la console Google Cloud ou à l'aide de Google Cloud CLI dans votre terminal ou Cloud Shell.

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

• Cloud Tasks
• Workflows

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Les contraintes de sécurité définies par votre organisation peuvent vous empêcher d'effectuer les étapes suivantes. Pour obtenir des informations de dépannage, consultez la page Développer des applications dans un environnement Google Cloud limité.

Console

1. Sign in to your Google Account.

   If you don't already have one, sign up for a new account.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

   Enable the APIs

8. Dans la console Google Cloud, accédez à la page IAM pour définir les autorisations du compte de service par défaut de Compute Engine.

   Accéder à IAM

   Notez le compte de service Compute Engine par défaut, car vous allez l'associer aux workflows de ce tutoriel à des fins de test. Ce compte de service est créé automatiquement après l'activation ou l'utilisation d'un service Google Cloud qui utilise Compute Engine, avec le format d'adresse e-mail suivant:

   [e-mail]

   Remplacez PROJECT_NUMBER par votre numéro de projet Google Cloud. Vous trouverez le numéro de votre projet sur la page Bienvenue de la console Google Cloud.

   Pour les environnements de production, nous vous recommandons vivement de créer un compte de service et de lui attribuer un ou plusieurs rôles IAM contenant les autorisations minimales requises conformément au principe du moindre privilège.

   Remarque :

   Selon la configuration de vos règles d'administration, le compte de service par défaut peut se voir attribuer automatiquement le rôle Éditeur sur votre projet. Nous vous recommandons vivement de désactiver l'attribution automatique des rôles en appliquant la contrainte de règle d'administration iam.automaticIamGrantsForDefaultServiceAccounts. Si vous avez créé votre organisation après le 3 mai 2024, cette contrainte est appliquée par défaut.

   Si vous désactivez l'attribution automatique de rôles, vous devez choisir les rôles à attribuer aux comptes de service par défaut, puis attribuer ces rôles vous-même.

   Si le compte de service par défaut dispose déjà du rôle Éditeur, nous vous recommandons de le remplacer par des rôles moins permissifs. Pour modifier les rôles du compte de service en toute sécurité, utilisez Policy Simulator pour voir l'impact de la modification, puis attribuez et révoquez les rôles appropriés.

9. Sélectionnez le compte de service Compute Engine par défaut, puis sur cette ligne, cliquez sur Modifier le compte principal.
10. Dans la boîte de dialogue qui s'affiche, cliquez sur Ajouter un autre rôle, puis ajoutez les rôles suivants :
    1. Dans la liste Sélectionner un rôle, sélectionnez Workflows > Workflows Invoker afin que le compte soit autorisé à déclencher l'exécution de votre workflow.
    2. Dans la liste Sélectionner un rôle, sélectionnez Cloud Tasks > Enfiler des tâches Cloud Tasks pour que le compte soit autorisé à créer des tâches.
11. Cliquez sur Enregistrer.

gcloud

1. Sign in to your Google Account.

   If you don't already have one, sign up for a new account.

2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Tasks, Compute Engine, and Workflows APIs:

   gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com

7. Install the Google Cloud CLI.

8. To initialize the gcloud CLI, run the following command:

   gcloud init

9. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

10. Make sure that billing is enabled for your Google Cloud project.

11. Enable the Cloud Tasks, Compute Engine, and Workflows APIs:

    gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com

12. Notez le compte de service Compute Engine par défaut, car vous allez l'associer aux workflows de ce tutoriel à des fins de test. Ce compte de service est créé automatiquement après l'activation ou l'utilisation d'un service Google Cloud qui utilise Compute Engine, avec le format d'adresse e-mail suivant:

    [e-mail]

    Remplacez PROJECT_NUMBER par votre numéro de projet Google Cloud. Vous pouvez trouver votre numéro de projet en exécutant la commande suivante:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Pour les environnements de production, nous vous recommandons vivement de créer un compte de service et de lui attribuer un ou plusieurs rôles IAM contenant les autorisations minimales requises conformément au principe du moindre privilège.

    Remarque :

    Selon la configuration de vos règles d'administration, le compte de service par défaut peut se voir attribuer automatiquement le rôle Éditeur sur votre projet. Nous vous recommandons vivement de désactiver l'attribution automatique des rôles en appliquant la contrainte de règle d'administration iam.automaticIamGrantsForDefaultServiceAccounts. Si vous avez créé votre organisation après le 3 mai 2024, cette contrainte est appliquée par défaut.

    Si vous désactivez l'attribution automatique de rôles, vous devez choisir les rôles à attribuer aux comptes de service par défaut, puis attribuer ces rôles vous-même.

    Si le compte de service par défaut dispose déjà du rôle Éditeur, nous vous recommandons de le remplacer par des rôles moins permissifs. Pour modifier les rôles du compte de service en toute sécurité, utilisez Policy Simulator pour voir l'impact de la modification, puis attribuez et révoquez les rôles appropriés.

13. Attribuez le rôle Demandeur de workflows (roles/workflows.invoker) sur le projet au compte de service Compute Engine par défaut afin que ce compte soit autorisé à déclencher l'exécution de votre workflow.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/workflows.invoker

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de projet Google Cloud
    • PROJECT_NUMBER: numéro de projet Google Cloud

14. Attribuez le rôle Enqueueur de tâches Cloud (roles/cloudtasks.enqueuer) sur le projet au compte de service Compute Engine par défaut afin que ce compte soit autorisé à créer des tâches.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudtasks.enqueuer

Créer une file d'attente Cloud Tasks

Créez une file d'attente Cloud Tasks que vous pouvez utiliser dans le workflow parent et qui vous permet de réguler le débit des exécutions de workflow.

Console

1. Dans la console Google Cloud, accédez à la page Cloud Tasks:

   Accéder à Cloud Tasks

2. Cliquez sur Créer une file d'attente d'envoi.

3. Saisissez le nom de la file d'attente, queue-workflow-child.

4. Dans la liste Région, sélectionnez us-central1 (Iowa).

5. Cliquez sur Créer.

gcloud

QUEUE=queue-workflow-child
LOCATION=us-central1
gcloud tasks queues create $QUEUE --location=$LOCATION

Créer et déployer un workflow enfant

Un workflow enfant peut recevoir et traiter les données d'un workflow parent. Créez et déployez un workflow enfant qui effectue les opérations suivantes:

• Reçoit un iteration comme argument
• Mette l'unité principale en veille pendant 10 secondes pour simuler un traitement

• Renvoie une chaîne en cas d'exécution réussie

Console

1. Dans la console Google Cloud, accédez à la page Workflows.

   Accéder à "Workflows"

2. Cliquez sur  Créer.

3. Saisissez le nom, workflow-child, du nouveau workflow.

4. Dans la liste Région, sélectionnez us-central1 (Iowa).

5. Dans la liste Compte de service, sélectionnez le compte de service Compute Engine par défaut.

6. Cliquez sur Suivant.

7. Dans l'éditeur de workflow, saisissez la définition suivante pour votre workflow:

   main:
     params: [args]
     steps:
       - init:
           assign:
             - iteration : ${args.iteration}
       - wait:
           call: sys.sleep
           args:
               seconds: 10
       - return_message:
           return: ${"Hello world"+iteration}

8. Cliquez sur Déployer.

gcloud

1. Créez un fichier de code source pour votre workflow:

   touch workflow-child.yaml

2. Ouvrez votre fichier de code source dans un éditeur de texte et copiez-y le workflow suivant.

   main:
     params: [args]
     steps:
       - init:
           assign:
             - iteration : ${args.iteration}
       - wait:
           call: sys.sleep
           args:
               seconds: 10
       - return_message:
           return: ${"Hello world"+iteration}

3. Déployez le workflow :

   gcloud workflows deploy workflow-child \
       --source=workflow-child.yaml \
       --location=us-central1 \
       --service-account=[e-mail]

Créer et déployer le workflow parent

Le workflow parent exécute plusieurs branches du workflow enfant à l'aide d'une boucle for.

1. Copiez le code source qui définit le workflow parent:

   main:
     steps:
       - init:
           assign:
             - project_id: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
             - project_number: ${sys.get_env("GOOGLE_CLOUD_PROJECT_NUMBER")}
             - location: ${sys.get_env("GOOGLE_CLOUD_LOCATION")}
             - workflow_child_name: "workflow-child"
             - queue_name: "queue-workflow-child"
       - enqueue_tasks_to_execute_child_workflow:
           for:
             value: iteration
             range: [1, 100]
             steps:
                 - iterate:
                     assign:
                       - data:
                           iteration: ${iteration}
                       - exec:
                           # Encode object to JSON string in expression for workflow argument
                           argument: ${json.encode_to_string(data)}
                 - create_task_to_execute_child_workflow:
                     call: googleapis.cloudtasks.v2.projects.locations.queues.tasks.create
                     args:
                         parent: ${"projects/" + project_id + "/locations/" + location + "/queues/" + queue_name}
                         body:
                           task:
                             httpRequest:
                               body: ${base64.encode(json.encode(exec))}
                               url: ${"https://workflowexecutions.googleapis.com/v1/projects/" + project_id + "/locations/" + location + "/workflows/" + workflow_child_name + "/executions"}
                               oauthToken:
                                 serviceAccountEmail: ${project_number + "[e-mail]"}

   Le workflow se compose des parties suivantes:

   • Carte utilisée pour attribuer des constantes faisant référence au workflow enfant et au nom de la file d'attente Cloud Tasks. Pour en savoir plus, consultez Maps.

   • Boucle for exécutée de manière iterative pour appeler le workflow enfant. Pour en savoir plus, consultez la section Itération.

   • Étape de workflow qui crée et ajoute un grand nombre de tâches à la file d'attente Cloud Tasks pour exécuter le workflow enfant. Pour en savoir plus, consultez le connecteur de l'API Cloud Tasks.

2. Déployez le workflow :

   Console

   1. Dans la console Google Cloud, accédez à la page Workflows:

      Accéder à "Workflows"

   2. Cliquez sur  Créer.

   3. Saisissez le nom, workflow-parent, du nouveau workflow.

   4. Dans la liste Région, sélectionnez us-central1 (Iowa).

   5. Dans la liste Compte de service, sélectionnez le compte de service Compute Engine par défaut.

   6. Cliquez sur Suivant.

   7. Dans l'éditeur de workflow, collez la définition du workflow parent.

   8. Cliquez sur Déployer.

   gcloud

   1. Créez un fichier de code source pour votre workflow:

      touch workflow-parent.yaml

   2. Ouvrez votre fichier de code source dans un éditeur de texte et collez la définition du workflow parent.

   3. Déployez le workflow :

      gcloud workflows deploy workflow-parent \
          --source=workflow-parent.yaml \
          --location=us-central1 \
          --service-account=[e-mail]

Exécuter le workflow parent sans limite de débit

Exécutez le workflow parent pour appeler les workflows enfants via la file d'attente Cloud Tasks. Les exécutions devraient prendre environ 10 secondes.

Console

1. Dans la console Google Cloud, accédez à la page Workflows:

   Accéder à "Workflows"

2. Sur la page Workflows (Workflows), cliquez sur le workflow workflow-parent pour accéder à sa page d'informations.

3. Sur la page Détails du workflow, cliquez sur Exécuter.

4. Cliquez à nouveau sur Exécuter.

5. Pendant l'exécution du workflow parent, revenez à la page Workflows (Workflows) et cliquez sur le workflow workflow-child (workflow-child) pour accéder à sa page d'informations.

6. Cliquez sur l'onglet Exécutions.

   Vous devriez voir des exécutions du workflow enfant, exécutées à peu près en même temps, semblables à ce qui suit:

   

gcloud

1. Exécutez le workflow :

   gcloud workflows run workflow-parent \
        --location=us-central1

2. Pour vérifier qu'une exécution de workflow a été déclenchée, répertoriez les quatre dernières exécutions:

   gcloud workflows executions list workflow-child --limit=4

   Étant donné que le nombre d'exécutions (100) est inférieur à la limite de simultanéité des workflows, les résultats devraient ressembler à ce qui suit. Des problèmes de quota peuvent survenir si vous envoyez des milliers d'exécutions en même temps.

   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/1570d06e-d133-4536-a859-b7b6a1a85524
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:15.093934448Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/82724960-7d92-4961-aa2c-a0f0be46212c
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.903007626Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/598126fb-37f9-45bc-91d8-aea7d795d702
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.698260524Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/d2e9960b-f93f-4df4-a594-3e7e5c2be53f
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.503818840Z
   END_TIME: 

Vous avez créé et déployé un workflow qui appelle 100 itérations du workflow enfant.

Exécuter le workflow parent avec des limites de débit

Appliquez une limite de débit d'une distribution par seconde à la file d'attente Cloud Tasks, puis exécutez le workflow parent.

Console

1. Dans la console Google Cloud, accédez à la page Cloud Tasks:

   Accéder à Cloud Tasks

2. Cliquez sur queue-workflow-child, la file d'attente Cloud Tasks que vous avez créée, puis sur Modifier la file d'attente.

3. Dans la section Limitation du débit pour les envois de tâches, pour le champ Envois maximaux, saisissez 1.

4. Cliquez sur Enregistrer.

5. Accédez à la page Workflows:

   Accéder à "Workflows"

6. Cliquez sur le workflow workflow-parent pour accéder à sa page d'informations.

7. Sur la page Détails du workflow, cliquez sur Exécuter.

8. Cliquez à nouveau sur Exécuter.

9. Pendant l'exécution du workflow parent, revenez à la page Workflows (Workflows) et cliquez sur le workflow workflow-child (workflow-child) pour accéder à sa page d'informations.

10. Cliquez sur l'onglet Exécutions.

    Des exécutions du workflow enfant, exécutées à une requête par seconde, devraient s'afficher, comme suit:

    

gcloud

1. Mettez à jour la file d'attente Cloud Tasks pour appliquer une limite de débit d'une distribution par seconde:

   gcloud tasks queues update $QUEUE \
       --max-dispatches-per-second=1 \
       --location=us-central1

2. Exécutez le workflow :

   gcloud workflows run workflow-parent \
      --location=us-central1

3. Pour vérifier qu'une exécution de workflow a été déclenchée, répertoriez les quatre dernières exécutions:

   gcloud workflows executions list workflow-child --limit=4

   Les résultats doivent ressembler à ce qui suit, avec un workflow exécuté par seconde:

   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/becf4957-9fb2-40d9-835d-0ff2dd0c1249
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:24.446361457Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/6c1e7c4b-7ac6-4121-b351-1e2d56d10903
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:23.448213989Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/f2ba5027-af40-4cd3-8cd0-b8033bcc6211
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:22.431485914Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/ecc61ee5-fe87-49eb-8803-89dba929f6c8
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:21.443466369Z
   END_TIME: 

Vous avez déployé un workflow qui appelle 100 itérations du workflow enfant avec un taux de distribution d'une exécution par seconde.

Effectuer un nettoyage

Si vous avez créé un projet pour ce tutoriel, supprimez-le. Si vous avez utilisé un projet existant et que vous souhaitez le conserver sans les modifications du présent tutoriel, supprimez les ressources créées pour ce tutoriel.

Supprimer le projet

Le moyen le plus simple d'empêcher la facturation est de supprimer le projet que vous avez créé pour ce tutoriel.

Pour supprimer le projet :

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Supprimer les ressources du tutoriel

Supprimez les workflows et les ressources Cloud Tasks créés dans ce tutoriel:

Console

• Pour supprimer les workflows, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Workflows:

     Accéder à "Workflows"

  2. Dans la liste des workflows, cliquez sur un workflow pour accéder à sa page Détails du workflow.

  3. Cliquez sur Supprimer.

  4. Saisissez le nom du workflow, puis cliquez sur Confirm (Confirmer).

• Pour supprimer la file d'attente Cloud Tasks, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Cloud Tasks:

     Accéder à Cloud Tasks

  2. Sélectionnez le nom de la file d'attente que vous souhaitez supprimer, puis cliquez sur Supprimer la file d'attente.

  3. Confirmez l'opération.

gcloud

• Pour supprimer les workflows, exécutez les commandes suivantes:

  gcloud workflows delete workflow-child
  gcloud workflows delete workflow-parent

• Pour supprimer la file d'attente Cloud Tasks, exécutez la commande suivante:

  gcloud tasks queues delete queue-workflow-child

Étape suivante

• Pour découvrir comment utiliser Cloud Tasks pour mettre un workflow en file d'attente et l'exécuter de manière asynchrone, consultez Mettre en file d'attente les exécutions de workflows à l'aide de Cloud Tasks.
• Pour en savoir plus sur la syntaxe Workflows, consultez la documentation de référence sur la syntaxe Workflows.