Usa una coda di Cloud Tasks per eseguire il buffering delle esecuzioni del flusso di lavoro

---

Questo tutorial mostra come creare una coda Cloud Tasks che possono regolare la frequenza di esecuzioni del flusso di lavoro.

Esiste un numero massimo di esecuzioni di flussi di lavoro attivi che possono avvenire contemporaneamente. Una volta esaurita questa quota, se la coda di esecuzione è disattivata o se viene raggiunta la quota per le esecuzioni in coda, tutte le nuove esecuzioni non vanno a buon fine con un codice di stato HTTP 429 Too many requests. Se consenti a una coda Cloud Tasks di eseguire flussi di lavoro secondari a una frequenza che hai definito, puoi evitare problemi relativi alle quote di Workflows e ottenere una frequenza di esecuzione migliore.

Tieni presente che Cloud Tasks è progettato per fornire la consegna "almeno una volta". Tuttavia, Workflows non garantisce l'elaborazione esattamente una volta delle richieste duplicate da Cloud Tasks.

Nel seguente diagramma, un flusso di lavoro principale richiama i flussi di lavoro secondari regolati da una coda Cloud Tasks a cui è applicata una frequenza di invio.

Obiettivi

In questo tutorial, imparerai a:

1. Crea una coda di Cloud Tasks che agisce da intermediario tra i flussi di lavoro principali e secondari.
2. Crea ed esegui il deployment di un flusso di lavoro secondario che riceve i dati dal flusso di lavoro principale.
3. Crea ed esegui il deployment del flusso di lavoro principale che esegue il flusso di lavoro secondario tramite la coda Cloud Tasks.
4. Eseguire il flusso di lavoro padre senza un limite di frequenza di invio, che richiama più esecuzioni del flusso di lavoro figlio.
5. Applica un limite di invio alla coda Cloud Tasks ed esegui il flusso di lavoro principale.
6. Osserva che i flussi di lavoro figlio vengono eseguiti alla velocità definita attraverso di Cloud Tasks.

Puoi eseguire i comandi seguenti nella console Google Cloud o utilizzando Google Cloud CLI nel terminale o in Cloud Shell.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• Cloud Tasks
• Workflows

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Prima di iniziare

I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un ambiente Google Cloud vincolato.

Console

1. Sign in to your Google Account.

   If you don't already have one, sign up for a new account.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

   Enable the APIs

8. Nella console Google Cloud, vai alla pagina IAM per impostare delle autorizzazioni per i Compute Engine l'account di servizio predefinito.

   Vai a IAM

   Prendi nota dell'account di servizio predefinito di Compute Engine, poiché lo assocerai ai flussi di lavoro in questo tutorial a scopo di test. Questo account di servizio viene creato automaticamente dopo aver attivato o utilizzato un servizio Google Cloud che utilizza Compute Engine e con il seguente formato email:

   [e-mail]

   Sostituisci PROJECT_NUMBER con il numero del tuo progetto Google Cloud. Puoi trovare il numero del progetto nella pagina Welcome della console Google Cloud.

   Per gli ambienti di produzione, ti consigliamo vivamente di creare un nuovo account di servizio e di assegnargli uno o più ruoli IAM contenenti le autorizzazioni minime richieste e di seguire il principio del privilegio minimo.

   Nota:

   A seconda della configurazione dei criteri dell'organizzazione, all'account di servizio predefinito potrebbe essere assegnato automaticamente il ruolo Editor nel progetto. Ti consigliamo vivamente di disabilitare la concessione automatica del ruolo entro il giorno applicazione del criterio dell'organizzazione iam.automaticIamGrantsForDefaultServiceAccounts di blocco. Se hai creato la tua organizzazione dopo il 3 maggio 2024, viene applicato per impostazione predefinita.

   Se disattivi la concessione automatica dei ruoli, devi decidere quali ruoli concedere agli account di servizio predefiniti, quindi concedere personalmente questi ruoli.

   Se l'account di servizio predefinito ha già il ruolo Editor, ti consigliamo di sostituire il valore Ruolo di Editor con ruoli meno permissivi. Per modificare in sicurezza i ruoli dell'account di servizio, utilizza Policy Simulator per vedere l'impatto della modifica, quindi concedi e revoca i ruoli appropriati.

9. seleziona l'account di servizio predefinito di Compute Engine e fai clic su Modifica entità.
10. Nella finestra di dialogo che compare, fai clic su Aggiungi un altro ruolo e aggiungi il ruolo ruoli:
    1. Nell'elenco Seleziona un ruolo, seleziona Workflow > Richiedente flussi di lavoro in modo che l'account abbia l'autorizzazione per attivare l'esecuzione del flusso di lavoro.
    2. Nell'elenco Seleziona un ruolo, scegli Cloud Tasks > In coda di Cloud Tasks in modo che dispone dell'autorizzazione per creare attività.
11. Fai clic su Salva.

gcloud

1. Sign in to your Google Account.

   If you don't already have one, sign up for a new account.

2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Tasks, Compute Engine, and Workflows APIs:

   gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com

7. Install the Google Cloud CLI.

8. To initialize the gcloud CLI, run the following command:

   gcloud init

9. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

10. Make sure that billing is enabled for your Google Cloud project.

11. Enable the Cloud Tasks, Compute Engine, and Workflows APIs:

    gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com

12. Prendi nota di Compute Engine predefinito, così come lo assocerai ai flussi di lavoro in questo tutorial a scopo di test. Questo account di servizio viene automaticamente creato dopo l'abilitazione o l'utilizzo di un servizio Google Cloud che usa Compute Engine e con il seguente formato email:

    [e-mail]

    Sostituisci PROJECT_NUMBER con il numero del tuo progetto Google Cloud. Puoi trovare il numero del tuo progetto esegui questo comando:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Per gli ambienti di produzione, consigliamo vivamente creazione di un nuovo account di servizio e la concessione di uno o più ruoli IAM contenenti autorizzazioni minime richieste e seguono il principio della privilegio minimo.

    Nota:

    A seconda della configurazione dei criteri dell'organizzazione, l'account di servizio predefinito potrebbe automaticamente il ruolo Editor progetto. Ti consigliamo vivamente di disattivare la concessione automatica dei ruoli applicando il vincolo iam.automaticIamGrantsForDefaultServiceAccounts delle norme dell'organizzazione. Se hai creato la tua organizzazione dopo il 3 maggio 2024, viene applicato per impostazione predefinita.

    Se disattivi la concessione automatica dei ruoli, devi decidere quali ruoli concedere agli account di servizio predefiniti, quindi concedere personalmente questi ruoli.

    Se l'account di servizio predefinito ha già il ruolo Editor, ti consigliamo di sostituire il valore Ruolo di Editor con ruoli meno permissivi. Per modificare in modo sicuro i ruoli dell'account di servizio, utilizza il Simulatore di criteri per vedere l'impatto dei la modifica e quindi concedere e revocare ruoli appropriati.

13. Concedi il ruolo Invoker di Workflows (roles/workflows.invoker) al progetto per l'account di servizio predefinito di Compute Engine in modo che l'account abbia la permissione di attivare l'esecuzione del flusso di lavoro.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/workflows.invoker

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID progetto Google Cloud
    • PROJECT_NUMBER: il numero del progetto Google Cloud

14. Concedi Ruolo Accodatore di Cloud Tasks (roles/cloudtasks.enqueuer) del progetto alla di account di servizio predefinito Compute Engine, in modo che l'account abbia autorizzazione necessaria per creare attività.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudtasks.enqueuer

Crea una coda di attività Cloud Tasks

Crea una coda di Cloud Tasks che puoi utilizzare nel flusso di lavoro principale e che ti consente di regolare la frequenza delle esecuzioni del flusso di lavoro.

Console

1. Nella console Google Cloud, vai a Cloud Tasks. pagina:

   Vai a Cloud Tasks

2. Fai clic su Crea coda in modalità push.

3. Inserisci il Nome coda, queue-workflow-child.

4. Nell'elenco Regione, seleziona us-central1 (Iowa).

5. Fai clic su Crea.

gcloud

QUEUE=queue-workflow-child
LOCATION=us-central1
gcloud tasks queues create $QUEUE --location=$LOCATION

Crea ed esegui il deployment di un flusso di lavoro figlio

Un flusso di lavoro secondario può ricevere ed elaborare i dati di un flusso di lavoro principale. Crea ed esegui il deployment di un flusso di lavoro secondario che:

• Riceve un iteration come argomento
• Dormi per 10 secondi per simulare l'elaborazione

• Restituisce una stringa al termine dell'esecuzione riuscita

Console

1. Nella console Google Cloud, vai alla pagina Flussi di lavoro.

   Vai a Flussi di lavoro

2. Fai clic su Crea.

3. Inserisci il nome, workflow-child, per il nuovo flusso di lavoro.

4. Nell'elenco Regione, seleziona us-central1 (Iowa).

5. Nell'elenco Account di servizio, seleziona il Service account predefinito di Compute Engine.

6. Fai clic su Avanti.

7. Nell'editor del flusso di lavoro, inserisci la seguente definizione per il tuo flusso di lavoro:

   main:
     params: [args]
     steps:
       - init:
           assign:
             - iteration : ${args.iteration}
       - wait:
           call: sys.sleep
           args:
               seconds: 10
       - return_message:
           return: ${"Hello world"+iteration}

8. Fai clic su Esegui il deployment.

gcloud

1. Crea un file di codice sorgente per il tuo flusso di lavoro:

   touch workflow-child.yaml

2. Apri il file del codice sorgente in un editor di testo e copia quanto segue flusso di lavoro personalizzato per il file.

   main:
     params: [args]
     steps:
       - init:
           assign:
             - iteration : ${args.iteration}
       - wait:
           call: sys.sleep
           args:
               seconds: 10
       - return_message:
           return: ${"Hello world"+iteration}

3. Esegui il deployment del flusso di lavoro:

   gcloud workflows deploy workflow-child \
       --source=workflow-child.yaml \
       --location=us-central1 \
       --service-account=[e-mail]

Crea ed esegui il deployment del flusso di lavoro principale

Il flusso di lavoro padre esegue più rami del flusso di lavoro figlio utilizzando un for ciclo.

1. Copia il codice sorgente che definisce il flusso di lavoro padre:

   main:
     steps:
       - init:
           assign:
             - project_id: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
             - project_number: ${sys.get_env("GOOGLE_CLOUD_PROJECT_NUMBER")}
             - location: ${sys.get_env("GOOGLE_CLOUD_LOCATION")}
             - workflow_child_name: "workflow-child"
             - queue_name: "queue-workflow-child"
       - enqueue_tasks_to_execute_child_workflow:
           for:
             value: iteration
             range: [1, 100]
             steps:
                 - iterate:
                     assign:
                       - data:
                           iteration: ${iteration}
                       - exec:
                           # Encode object to JSON string in expression for workflow argument
                           argument: ${json.encode_to_string(data)}
                 - create_task_to_execute_child_workflow:
                     call: googleapis.cloudtasks.v2.projects.locations.queues.tasks.create
                     args:
                         parent: ${"projects/" + project_id + "/locations/" + location + "/queues/" + queue_name}
                         body:
                           task:
                             httpRequest:
                               body: ${base64.encode(json.encode(exec))}
                               url: ${"https://workflowexecutions.googleapis.com/v1/projects/" + project_id + "/locations/" + location + "/workflows/" + workflow_child_name + "/executions"}
                               oauthToken:
                                 serviceAccountEmail: ${project_number + "[e-mail]"}

   Il flusso di lavoro è costituito dai seguenti componenti:

   • Una mappa utilizzata per assegnare costanti che fanno riferimento al flusso di lavoro figlio e il nome della coda di Cloud Tasks. Per ulteriori informazioni, vedi Maps.

   • Un loop for che viene eseguito per richiamare il flusso di lavoro figlio in modo iterativo. Per ulteriori informazioni, consulta la sezione Iterazione.

   • Un passaggio del flusso di lavoro che crea e aggiunge un numero elevato di attività alla coda Cloud Tasks per eseguire il flusso di lavoro secondario. Per ulteriori informazioni, consulta il connettore dell'API Cloud Tasks.

2. Esegui il deployment del flusso di lavoro:

   Console

   1. Nella console Google Cloud, vai a Workflows pagina:

      Vai a Flussi di lavoro

   2. Fai clic su Crea.

   3. Inserisci il nome workflow-parent per il nuovo flusso di lavoro.

   4. Nell'elenco Regione, seleziona us-central1 (Iowa).

   5. Nell'elenco Account di servizio, seleziona il Service account predefinito di Compute Engine.

   6. Fai clic su Avanti.

   7. Nell'editor del flusso di lavoro, incolla la definizione del flusso di lavoro padre.

   8. Fai clic su Esegui il deployment.

   gcloud

   1. Crea un file di codice sorgente per il tuo flusso di lavoro:

      touch workflow-parent.yaml

   2. Apri il file di codice sorgente in un editor di testo e incolla la definizione per il flusso di lavoro principale.

   3. Esegui il deployment del flusso di lavoro:

      gcloud workflows deploy workflow-parent \
          --source=workflow-parent.yaml \
          --location=us-central1 \
          --service-account=[e-mail]

Esegui il flusso di lavoro padre senza limiti di frequenza

Esegui il flusso di lavoro principale per richiamare i flussi di lavoro secondari tramite la coda Cloud Tasks. Le esecuzioni dovrebbero richiedere circa 10 secondi.

Console

1. Nella console Google Cloud, vai a Workflows pagina:

   Vai a Flussi di lavoro

2. Nella pagina Flussi di lavoro, fai clic sul pulsante workflow-parent per accedere alla relativa pagina dei dettagli.

3. Nella pagina Dettagli flusso di lavoro, fai clic su Esegui.

4. Fai di nuovo clic su Esegui.

5. Mentre il flusso di lavoro padre è in esecuzione, torna a Flussi di lavoro e fai clic sul pulsante workflow-child per passare alla relativa pagina dei dettagli.

6. Fai clic sulla scheda Esecuzioni.

   Dovresti vedere le esecuzioni del flusso di lavoro secondario, in esecuzione nello stesso periodo di tempo, simili al seguente:

   

gcloud

1. Esegui il flusso di lavoro:

   gcloud workflows run workflow-parent \
        --location=us-central1

2. Per verificare che sia stata attivata un'esecuzione di un flusso di lavoro, elenca le ultime quattro esecuzioni:

   gcloud workflows executions list workflow-child --limit=4

   Poiché il numero di esecuzioni (100) è inferiore al limite di concorrenza dei flussi di lavoro, i risultati dovrebbero essere simili ai seguenti. Se invii migliaia di esecuzioni contemporaneamente.

   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/1570d06e-d133-4536-a859-b7b6a1a85524
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:15.093934448Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/82724960-7d92-4961-aa2c-a0f0be46212c
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.903007626Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/598126fb-37f9-45bc-91d8-aea7d795d702
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.698260524Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/d2e9960b-f93f-4df4-a594-3e7e5c2be53f
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.503818840Z
   END_TIME: 

Hai creato ed eseguito il deployment di un flusso di lavoro che richiama 100 iterazioni del flusso di lavoro secondario.

Esegui il flusso di lavoro padre con i limiti di frequenza

Applica un limite di frequenza di un invio al secondo alla coda Cloud Tasks e poi esegui il flusso di lavoro principale.

Console

1. Nella console Google Cloud, vai alla pagina Cloud Tasks:

   Vai a Cloud Tasks

2. Fai clic su queue-workflow-child, la coda Cloud Tasks che hai creato, e poi su Modifica coda.

3. Nella sezione Limiti di frequenza per invii di attività, per Nel campo Numero massimo di invii, digita 1.

4. Fai clic su Salva.

5. Vai alla pagina Flussi di lavoro:

   Vai a Flussi di lavoro

6. Fai clic sul flusso di lavoro workflow-parent per passare alla relativa pagina dei dettagli.

7. Nella pagina Dettagli flusso di lavoro, fai clic su Esegui.

8. Fai di nuovo clic su Esegui.

9. Mentre il flusso di lavoro padre è in esecuzione, torna a Flussi di lavoro e fai clic sul pulsante workflow-child per passare alla relativa pagina dei dettagli.

10. Fai clic sulla scheda Esecuzioni.

    Dovresti vedere le esecuzioni del flusso di lavoro figlio, in esecuzione su una singola richiesta al secondo, in modo simile al seguente:

    

gcloud

1. Aggiorna la coda Cloud Tasks per applicare un limite di frequenza di un invio al secondo:

   gcloud tasks queues update $QUEUE \
       --max-dispatches-per-second=1 \
       --location=us-central1

2. Esegui il flusso di lavoro:

   gcloud workflows run workflow-parent \
      --location=us-central1

3. Per verificare che sia stata attivata un'esecuzione di un flusso di lavoro, elenca le ultime quattro esecuzioni:

   gcloud workflows executions list workflow-child --limit=4

   I risultati dovrebbero essere simili ai seguenti, con un flusso di lavoro eseguito per secondo:

   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/becf4957-9fb2-40d9-835d-0ff2dd0c1249
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:24.446361457Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/6c1e7c4b-7ac6-4121-b351-1e2d56d10903
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:23.448213989Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/f2ba5027-af40-4cd3-8cd0-b8033bcc6211
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:22.431485914Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/ecc61ee5-fe87-49eb-8803-89dba929f6c8
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:21.443466369Z
   END_TIME: 

Hai eseguito correttamente il deployment di un flusso di lavoro che richiama 100 iterazioni del flusso di lavoro figlio con una frequenza di invio di un'esecuzione al secondo.

Esegui la pulizia

Se hai creato un nuovo progetto per questo tutorial, elimina il progetto. Se hai utilizzato un progetto esistente e vuoi mantenerlo senza l'aggiunta delle modifiche In questo tutorial, elimina le risorse create per il tutorial.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per il tutorial.

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Elimina le risorse del tutorial

Elimina i flussi di lavoro e le risorse di Cloud Tasks creati in questo tutorial:

Console

• Per eliminare i flussi di lavoro:

  1. Nella console Google Cloud, vai a Workflows pagina:

     Vai a Flussi di lavoro

  2. Nell'elenco dei flussi di lavoro, fai clic su un flusso di lavoro per andare Pagina Dettagli del flusso di lavoro.

  3. Fai clic su Elimina.

  4. Digita il nome del flusso di lavoro e fai clic su Conferma.

• Per eliminare la coda di Cloud Tasks:

  1. Nella console Google Cloud, vai alla pagina Cloud Tasks:

     Vai a Cloud Tasks

  2. Seleziona il nome della coda da eliminare e fai clic su Elimina coda.

  3. Conferma l'azione.

gcloud

• Per eliminare i flussi di lavoro, esegui questi comandi:

  gcloud workflows delete workflow-child
  gcloud workflows delete workflow-parent

• Per eliminare la coda Cloud Tasks, esegui questo comando:

  gcloud tasks queues delete queue-workflow-child

Passaggi successivi

• Per scoprire di più su come utilizzare Cloud Tasks per mettere in coda un flusso di lavoro ed eseguirelo in modo asincrono, consulta Mettere in coda le esecuzioni dei flussi di lavoro utilizzando Cloud Tasks.
• Per ulteriori informazioni sulla sintassi di Workflows, consulta il riferimento sulla sintassi di Workflows.