Attiva Workflows con eventi diretti da Cloud Storage (gcloud CLI)

Attiva Workflows con eventi diretti da Cloud Storage (gcloud CLI)

Questa guida rapida mostra come eseguire un flusso di lavoro utilizzando un trigger Eventarc che riceve eventi da Cloud Storage.

Il trigger esegue il flusso di lavoro ascoltando un evento di creazione di oggetti in un bucket Cloud Storage e lo passa come argomento di runtime a un flusso di lavoro di destinazione.

In questa guida rapida:

1. Creare un bucket Cloud Storage come un'origine evento.

2. Utilizzare Workflows per creare ed eseguire il deployment di un flusso di lavoro che estrae e restituisce il nome del bucket di archiviazione e il nome di un file caricato.

3. Creare un trigger Eventarc che collega il bucket Cloud Storage al ricevitore eventi Workflows.

4. Generare un evento caricando un file di testo nel bucket Cloud Storage. Questo evento viene passato come argomento runtime nel flusso di lavoro di destinazione.

5. Visualizza il nome del bucket e il nome del file di testo come risultato dell'esecuzione del flusso di lavoro.

---

Per seguire le istruzioni dettagliate per questa attività direttamente nella console Google Cloud, fai clic su Procedura guidata:

Guidami

---

Prima di iniziare

I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, consulta la pagina Sviluppare applicazioni in un ambiente Google Cloud limitato.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

   Note: You can run the gcloud CLI in the Google Cloud console without installing the Google Cloud CLI. To run the gcloud CLI in the Google Cloud console, use Cloud Shell.

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Make sure that billing is enabled for your Google Cloud project.

6. Install the Google Cloud CLI.

7. To initialize the gcloud CLI, run the following command:

   gcloud init

   Note: You can run the gcloud CLI in the Google Cloud console without installing the Google Cloud CLI. To run the gcloud CLI in the Google Cloud console, use Cloud Shell.

8. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

9. Make sure that billing is enabled for your Google Cloud project.

10. Abilitare le API Compute Engine, Eventarc, Pub/Sub e Workflows.

    gcloud services enable \
    compute.googleapis.com \
    eventarc.googleapis.com \
    pubsub.googleapis.com \
    workflows.googleapis.com \
    workflowexecutions.googleapis.com

11. Aggiorna gcloud componenti:

    gcloud components update

12. Accedi utilizzando il tuo account:

    gcloud auth login

Imposta le variabili di ambiente

Imposta le variabili di ambiente utilizzate in questa guida rapida.

export PROJECT_ID=PROJECT_ID
export WORKFLOW_LOCATION=us-central1
export TRIGGER_LOCATION=us-central1
gcloud config set project ${PROJECT_ID}
gcloud config set workflows/location ${WORKFLOW_LOCATION}
gcloud config set eventarc/location ${TRIGGER_LOCATION}

Puoi trovare il tuo ID progetto nella pagina Dashboard della console Google Cloud.

Configura gli account di servizio

Concedi le autorizzazioni necessarie agli account di servizio utilizzati in questa guida rapida.

1. Se sei l'autore del progetto, ti viene concesso il ruolo Proprietario di base (roles/owner). Per impostazione predefinita, questo ruolo di Identity and Access Management (IAM) include le autorizzazioni necessarie per l'accesso completo alla maggior parte delle risorse Google Cloud e puoi saltare questo passaggio.

   Se non sei l'autore del progetto, le autorizzazioni richieste devono essere concesse per il progetto all'entità appropriata. Ad esempio, un'entità può essere un Account Google (per gli utenti finali) o un account di servizio (per applicazioni e carichi di lavoro di computing). Per ulteriori informazioni, consulta la pagina Ruoli e autorizzazioni per la destinazione dell'evento.

   Autorizzazioni obbligatorie

   Per ottenere le autorizzazioni necessarie per completare questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM sul tuo progetto:

   • Amministratore Eventarc (roles/eventarc.admin)
   • Funzione di accesso alla visualizzazione dei log (roles/logging.viewAccessor)
   • Amministratore IAM progetto (roles/resourcemanager.projectIamAdmin)
   • Service Account Admin (roles/iam.serviceAccountAdmin) [Amministratore account di servizio]
   • Utente account di servizio (roles/iam.serviceAccountUser)
   • Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin)
   • Amministratore spazio di archiviazione (roles/storage.admin)
   • Amministratore flussi di lavoro (roles/workflows.admin)

   Per saperne di più sulla concessione dei ruoli, vedi Gestire l'accesso.

   Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.

2. L'account di servizio predefinito di Compute Engine viene creato automaticamente dopo aver abilitato o utilizzato un servizio Google Cloud che utilizza Compute Engine.

   A scopo di test, puoi collegare questo account di servizio a un trigger Eventarc per rappresentare l'identità del trigger. Prendi nota del formato email da utilizzare quando crei un trigger:

   [e-mail]
   

   Sostituisci PROJECT_NUMBER con il numero del tuo progetto Google Cloud. Puoi trovare il numero del progetto nella pagina Dashboard della console Google Cloud o eseguendo il seguente comando:

   gcloud projects describe PROJECT_ID --format='value(projectNumber)'

   All'account di servizio Compute Engine viene concesso automaticamente il ruolo Editor di base (roles/editor) sul tuo progetto. Tuttavia, se le concessioni automatiche dei ruoli sono state disabilitate, consulta le istruzioni applicabili su Ruoli e autorizzazioni per creare un nuovo account di servizio e concedere i ruoli richiesti.

   Attenzione: ti consigliamo di utilizzare l'account di servizio predefinito di Compute Engine solo a scopo di test. Per gli ambienti di produzione, consigliamo vivamente di creare un nuovo account di servizio e di concedere a tale account uno o più ruoli IAM contenenti le autorizzazioni minime richieste e che seguono il principio del privilegio minimo.
3. Concedi il ruolo Ricevitore eventi Eventarc (roles/eventarc.eventReceiver) sul progetto all'account di servizio predefinito di Compute Engine in modo che il trigger Eventarc possa ricevere eventi da provider di eventi.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/eventarc.eventReceiver

4. Concedi il ruolo Invoker flussi di lavoro (roles/workflows.invoker) sul progetto all'account di servizio predefinito di Compute Engine in modo che l'account abbia l'autorizzazione per attivare l'esecuzione del flusso di lavoro.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/workflows.invoker

5. Concedi il ruolo Writer log di Logging (roles/logging.logWriter) sul progetto all'account di servizio predefinito di Compute Engine in modo che il flusso di lavoro possa inviare log a Cloud Logging.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/logging.logWriter

6. Prima di creare un trigger per eventi diretti da Cloud Storage, concedi il ruolo Publisher Pub/Sub (roles/pubsub.publisher) all'agente di servizio Cloud Storage, un account di servizio gestito da Google:

   SERVICE_ACCOUNT="$(gsutil kms serviceaccount -p PROJECT_ID)"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member="serviceAccount:${SERVICE_ACCOUNT}" \
       --role='roles/pubsub.publisher'
   

7. Se hai abilitato l'agente di servizio Cloud Pub/Sub entro l'8 aprile 2021 per supportare le richieste push Pub/Sub autenticate, concedi il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator) all'account di servizio gestito da Google. In caso contrario, questo ruolo è concesso per impostazione predefinita:

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/iam.serviceAccountTokenCreator

Crea un bucket Cloud Storage

Crea un bucket Cloud Storage da utilizzare come origine evento:

  gsutil mb -l us-central1 gs://${PROJECT_ID}-bucket/

Nota: il bucket Cloud Storage deve risiedere nello stesso progetto Google Cloud e nello stesso regione o località a più regioni del trigger Eventarc.

Crea ed esegui il deployment di un flusso di lavoro

Crea ed esegui il deployment di un flusso di lavoro che viene eseguito quando un oggetto creato nel bucket Cloud Storage attiva un flusso di lavoro con una richiesta HTTP.

1. Nella home directory, crea un nuovo file denominato myEventWorkflow.yaml o myEventWorkflow.json.

2. Copia e incolla quanto segue nel nuovo file e salvalo:

   YAML

     main:
       params: [event]
       steps:
           - log_event:
               call: sys.log
               args:
                   text: ${event}
                   severity: INFO
           - extract_bucket_object:
               assign:
               - bucket: ${event.data.bucket}
               - object: ${event.data.name}
           - return_bucket_object:
                   return:
                       bucket: ${bucket}
                       object: ${object}
     

   JSON

   {
   "main": {
   "params": [
     "event"
   ],
   "steps": [
     {
       "log_event": {
         "call": "sys.log",
         "args": {
           "text": "${event}",
           "severity": "INFO"
         }
       }
     },
     {
       "extract_bucket_object": {
         "assign": [
           {
             "bucket": "${event.data.bucket}"
           },
           {
             "object": "${event.data.name}"
           }
         ]
       }
     },
     {
       "return_bucket_object": {
         "return": {
           "bucket": "${bucket}",
           "object": "${object}"
         }
       }
     }
   ]
   }
   }

3. Esegui il deployment del flusso di lavoro:

   export MY_WORKFLOW=myEventWorkflow
   gcloud workflows deploy ${MY_WORKFLOW} --source=myEventWorkflow.yaml
   

   Sostituisci .yaml con .json se hai copiato la versione JSON del flusso di lavoro di esempio.

Crea un trigger Eventarc

Il trigger Eventarc invia eventi dal bucket Cloud Storage alla destinazione Workflows.

1. Crea un trigger che filtra gli eventi Cloud Storage:

   gcloud eventarc triggers create storage-events-trigger \
       --destination-workflow=${MY_WORKFLOW} \
       --event-filters="type=google.cloud.storage.object.v1.finalized" \
       --event-filters="bucket=${PROJECT_ID}-bucket" \
       --service-account="[e-mail]"
   

   Viene creato un trigger denominato storage-events-trigger.

   Tieni presente che quando crei un trigger Eventarc per la prima volta in un progetto Google Cloud, potrebbe verificarsi un ritardo nel provisioning dell'agente di servizio Eventarc. Per risolvere questo problema, prova a creare di nuovo il trigger. Per ulteriori informazioni, consulta la sezione Errori di autorizzazione negata.

2. Per confermare che storage-events-trigger è stato creato correttamente, esegui:

   gcloud eventarc triggers describe storage-events-trigger --location=${TRIGGER_LOCATION}
   

   L'output dovrebbe essere simile al seguente che elenca l'ora di creazione e la località dell'attivatore:

   createTime: '2021-10-14T15:15:43.872360951Z'
   [...]
   name: projects/PROJECT_ID/locations/us-central1/triggers/storage-events-trigger
   

Nota: anche se il trigger viene creato immediatamente, possono essere necessari fino a due minuti prima che sia completamente funzionante.

Generare e visualizzare un evento

1. Per generare un evento, carica un file di testo in Cloud Storage:

   echo "Hello World" > random.txt
   gsutil cp random.txt gs://${PROJECT_ID}-bucket/random.txt
   

   Il caricamento genera un evento che viene passato come argomento di runtime al flusso di lavoro che restituisce i nomi del bucket di archiviazione e del file caricato.

2. Per verificare che sia stata attivata un'esecuzione di flussi di lavoro, elenca le ultime cinque esecuzioni:

   gcloud workflows executions list ${MY_WORKFLOW} --limit=5
   

   L'output dovrebbe essere simile al seguente ed elencare valori NAME e STATE pari a SUCCEEDED per ogni esecuzione del flusso di lavoro:

   NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/8c02b8f1-8836-4a6d-99d9-fc321eb9668f
   STATE: SUCCEEDED
   START_TIME: 2021-10-13T03:38:03.019148617Z
   END_TIME: 2021-10-13T03:38:03.249705805Z
   NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/a6319d9d-36a6-4117-904e-3d1118bdc90a
   STATE: SUCCEEDED
   START_TIME: 2021-10-13T17:28:51.492864252Z
   END_TIME: 2021-10-13T17:28:52.227212414Z
   

   Tieni presente che nel campo NAME dell'esempio precedente, a6319d9d-36a6-4117-904e-3d1118bdc90a è l'ID dell'esecuzione del flusso di lavoro. Copia l'ID esecuzione così come viene utilizzato nel passaggio successivo.

3. Per visualizzare lo stato di esecuzione, esegui questo comando:

   gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}
   

   Sostituisci WORKFLOW_EXECUTION_ID con l'ID dell'esecuzione del flusso di lavoro corrispondente al momento in cui il file è stato caricato nel bucket.

   L'output è simile al seguente:

   argument: [...]
   name: projects/218898424763/locations/us-central1/workflows/myEventWorkflow/executions/86d2567b-0f1e-49b3-8b10-cdac5d0f6239
   result: '{"bucket":"PROJECT_ID-bucket","object":"random.txt"}'
   startTime: '2021-10-13T03:38:03.019148617Z'
   state: SUCCEEDED
   

4. Verifica che l'ora "timeCreated": "2021-10-13T03:38" in cui il bucket Cloud Storage è stato aggiornato e i startTime dell'esecuzione del flusso di lavoro corrispondano.

Complimenti, hai generato correttamente un evento Cloud Storage che ha attivato un ricevitore di eventi Workflows utilizzando Eventarc.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, elimina il progetto Google Cloud con le risorse.

1. Elimina il flusso di lavoro creato:

   gcloud workflows delete ${MY_WORKFLOW}
   

   Quando ti viene chiesto se vuoi continuare, digita y.

2. Elimina il tuo bucket di archiviazione:

   gsutil rm -r gs://${PROJECT_ID}-bucket/
   

3. Elimina il trigger creato in questo tutorial:

   gcloud eventarc triggers delete storage-events-trigger
   

4. In alternativa, puoi eliminare il progetto Google Cloud per evitare addebiti. L'eliminazione del progetto Google Cloud interrompe la fatturazione per tutte le risorse utilizzate all'interno del progetto.

   Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

   • L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
   • Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

   Delete a Google Cloud project:

   gcloud projects delete PROJECT_ID

Passaggi successivi

• Controlla l'ordine di esecuzione in un flusso di lavoro
• Crea un trigger per il routing degli eventi di Cloud Storage a Workflows