Attiva Workflows con eventi diretti da Cloud Storage (interfaccia a riga di comando gcloud)

Questa guida rapida mostra come eseguire un flusso di lavoro utilizzando un trigger Eventarc che riceve eventi da Cloud Storage.

L'attivatore esegue il flusso di lavoro ascoltando un evento di creazione di oggetti in un bucket Cloud Storage e lo passa come argomento runtime a un flusso di lavoro di destinazione.

In questa guida rapida:

  1. Creare un bucket Cloud Storage come un'origine evento.

  2. Utilizzare Workflows per creare ed eseguire il deployment di un flusso di lavoro che estrae e restituisce il nome del bucket di archiviazione e il nome di un file caricato.

  3. Creare un trigger Eventarc che collega il bucket Cloud Storage al ricevitore eventi Workflows.

  4. Generare un evento caricando un file di testo nel bucket Cloud Storage. Questo evento viene passato come argomento runtime nel flusso di lavoro di destinazione.

  5. Visualizza il nome del bucket e il nome del file di testo come risultato dell'esecuzione del flusso di lavoro.


Per seguire le indicazioni dettagliate per questa attività direttamente nella console Google Cloud, fai clic su Procedura guidata:

Procedura guidata


Prima di iniziare

I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un Google Cloud ambiente vincolato.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.
  3. To initialize the gcloud CLI, run the following command:

    gcloud init
  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Install the Google Cloud CLI.
  7. To initialize the gcloud CLI, run the following command:

    gcloud init
  8. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  9. Make sure that billing is enabled for your Google Cloud project.

  10. Abilita le API Compute Engine, Eventarc, Pub/Sub e Workflows.

    gcloud services enable \
    compute.googleapis.com \
    eventarc.googleapis.com \
    pubsub.googleapis.com \
    workflows.googleapis.com \
    workflowexecutions.googleapis.com

  11. Aggiorna i componenti gcloud:
    gcloud components update
  12. Accedi utilizzando il tuo account:
    gcloud auth login

Imposta le variabili di ambiente

Imposta le variabili di ambiente utilizzate in questa guida rapida.

export PROJECT_ID=PROJECT_ID
export WORKFLOW_LOCATION=us-central1
export TRIGGER_LOCATION=us-central1
gcloud config set project ${PROJECT_ID}
gcloud config set workflows/location ${WORKFLOW_LOCATION}
gcloud config set eventarc/location ${TRIGGER_LOCATION}

Puoi trovare l'ID progetto nella pagina Welcome della console Google Cloud.

Configura gli account di servizio

Concedi le autorizzazioni richieste agli account di servizio utilizzati in questa guida introduttiva.

  1. Se sei il creator del progetto, ti viene assegnato il ruolo di proprietario di base (roles/owner). Per impostazione predefinita, questo ruolo Identity and Access Management (IAM) include le autorizzazioni necessarie per l'accesso completo alla maggior parte delle risorse e puoi saltare questo passaggio. Google Cloud

    Se non sei il creator del progetto, le autorizzazioni richieste devono essere concesse al principale appropriato. Ad esempio, un'entità può essere un Account Google (per gli utenti finali) o un account di servizio (per le applicazioni e i carichi di lavoro di calcolo). Per ulteriori informazioni, consulta la pagina Ruoli e autorizzazioni relativa alla destinazione dell'evento.

    Autorizzazioni obbligatorie

    Per ottenere le autorizzazioni necessarie per completare questa guida introduttiva, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

    Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

  2. Prendi nota dell'account di servizio predefinito di Compute Engine, poiché lo collegherai a un trigger Eventarc per rappresentare l'identità dell'trigger a fini di test. Questo account di servizio viene creato automaticamente dopo aver attivato o utilizzato un Google Cloud servizio che utilizza Compute Engine e con il seguente formato email:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Sostituisci PROJECT_NUMBER con il numero Google Cloud del tuo progetto. Puoi trovare il numero del progetto nella pagina Welcome della console Google Cloud o eseguendo il seguente comando:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Per gli ambienti di produzione, ti consigliamo vivamente di creare un nuovo account di servizio e di assegnargli uno o più ruoli IAM contenenti le autorizzazioni minime richieste e di seguire il principio del privilegio minimo.

  3. Concedi il ruolo Eventarc Recipient (roles/eventarc.eventReceiver) sul progetto all'account di servizio predefinito di Compute Engine in modo che l'trigger Eventarc possa ricevere eventi dai provider di eventi.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/eventarc.eventReceiver
  4. Concedi il ruolo invocatore dei flussi di lavoro (roles/workflows.invoker) sul progetto all'account di servizio predefinito di Compute Engine in modo che l'account abbia l'autorizzazione per attivare l'esecuzione del flusso di lavoro.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/workflows.invoker
  5. Concedi il ruolo Writer di log di Logging (roles/logging.logWriter) sul progetto all'account di servizio predefinito di Compute Engine in modo che il flusso di lavoro possa inviare i log a Cloud Logging.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/logging.logWriter
  6. Prima di creare un trigger per gli eventi diretti da Cloud Storage, concedi il ruolo Editore Pub/Sub (roles/pubsub.publisher) all'agente di servizio Cloud Storage:

    SERVICE_ACCOUNT="$(gcloud storage service-agent --project=PROJECT_ID)"
    
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:${SERVICE_ACCOUNT}" \
        --role='roles/pubsub.publisher'
  7. Se hai attivato l'agente di servizio Cloud Pub/Sub il giorno 8 aprile 2021 o in una data precedente per supportare le richieste push Pub/Sub autenticate, concedi all'agente di servizio il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator). In caso contrario, questo ruolo viene concesso per impostazione predefinita:
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
        --role=roles/iam.serviceAccountTokenCreator

Crea un bucket Cloud Storage

Crea un bucket Cloud Storage da utilizzare come origine evento:

  gsutil mb -l us-central1 gs://${PROJECT_ID}-bucket/

Crea ed esegui il deployment di un flusso di lavoro

Crea e esegui il deployment di un flusso di lavoro che viene eseguito quando un oggetto creato nel bucket Cloud Storage attiva un flusso di lavoro con una richiesta HTTP.

  1. Nella tua home directory, crea un nuovo file denominato myEventWorkflow.yaml o myEventWorkflow.json.

  2. Copia e incolla il seguente testo nel nuovo file e salvalo:

    YAML

      main:
        params: [event]
        steps:
            - log_event:
                call: sys.log
                args:
                    text: ${event}
                    severity: INFO
            - extract_bucket_object:
                assign:
                - bucket: ${event.data.bucket}
                - object: ${event.data.name}
            - return_bucket_object:
                    return:
                        bucket: ${bucket}
                        object: ${object}
      

    JSON

    {
    "main": {
    "params": [
      "event"
    ],
    "steps": [
      {
        "log_event": {
          "call": "sys.log",
          "args": {
            "text": "${event}",
            "severity": "INFO"
          }
        }
      },
      {
        "extract_bucket_object": {
          "assign": [
            {
              "bucket": "${event.data.bucket}"
            },
            {
              "object": "${event.data.name}"
            }
          ]
        }
      },
      {
        "return_bucket_object": {
          "return": {
            "bucket": "${bucket}",
            "object": "${object}"
          }
        }
      }
    ]
    }
    }
  3. Esegui il deployment del flusso di lavoro:

    export MY_WORKFLOW=myEventWorkflow
    gcloud workflows deploy ${MY_WORKFLOW} --source=myEventWorkflow.yaml
    

    Sostituisci .yaml con .json se hai copiato la versione JSON del flusso di lavoro di esempio.

Crea un trigger Eventarc

L'attivatore Eventarc invia gli eventi dal bucket Cloud Storage alla destinazione Workflows.

  1. Crea un trigger che filtra gli eventi Cloud Storage:

    gcloud eventarc triggers create storage-events-trigger \
        --destination-workflow=${MY_WORKFLOW} \
        --event-filters="type=google.cloud.storage.object.v1.finalized" \
        --event-filters="bucket=${PROJECT_ID}-bucket" \
        --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"
    

    Viene creato un trigger denominato storage-events-trigger.

    Tieni presente che quando crei un trigger Eventarc per la prima volta in un Google Cloud progetto, potrebbe verificarsi un ritardo nel provisioning dell'agente di servizio Eventarc. In genere questo problema può essere risolto tentando di creare di nuovo l'attivatore. Per ulteriori informazioni, consulta Errori di autorizzazione negata.

  2. Per confermare che storage-events-trigger è stato creato correttamente, esegui:

    gcloud eventarc triggers describe storage-events-trigger --location=${TRIGGER_LOCATION}
    

    L'output dovrebbe essere simile al seguente, con l'ora di creazione e la posizione di attivazione:

    createTime: '2021-10-14T15:15:43.872360951Z'
    [...]
    name: projects/PROJECT_ID/locations/us-central1/triggers/storage-events-trigger
    

Generare e visualizzare un evento

  1. Per generare un evento, carica un file di testo in Cloud Storage:

    echo "Hello World" > random.txt
    gsutil cp random.txt gs://${PROJECT_ID}-bucket/random.txt
    

    Il caricamento genera un evento che viene passato come argomento di runtime al flusso di lavoro, che restituisce i nomi del bucket di archiviazione e del file caricato.

  2. Per verificare che sia stata attivata un'esecuzione del flusso di lavoro, elenca le ultime cinque esecuzioni:

    gcloud workflows executions list ${MY_WORKFLOW} --limit=5
    

    L'output dovrebbe essere simile al seguente ed elencare valori NAME e STATE pari a SUCCEEDED per ogni esecuzione del flusso di lavoro:

    NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/8c02b8f1-8836-4a6d-99d9-fc321eb9668f
    STATE: SUCCEEDED
    START_TIME: 2021-10-13T03:38:03.019148617Z
    END_TIME: 2021-10-13T03:38:03.249705805Z
    NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/a6319d9d-36a6-4117-904e-3d1118bdc90a
    STATE: SUCCEEDED
    START_TIME: 2021-10-13T17:28:51.492864252Z
    END_TIME: 2021-10-13T17:28:52.227212414Z
    

    Tieni presente che nel campo NAME dell'esempio precedente, a6319d9d-36a6-4117-904e-3d1118bdc90a è l'ID dell'esecuzione del flusso di lavoro. Copia l'ID esecuzione così come viene utilizzato nel passaggio successivo.

  3. Per visualizzare lo stato di esecuzione, esegui il seguente comando:

    gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}
    

    Sostituisci WORKFLOW_EXECUTION_ID con l'ID dell'esecuzione del flusso di lavoro che corrisponde all'ora in cui il file è stato caricato nel bucket.

    L'output è simile al seguente:

    argument: [...]
    name: projects/218898424763/locations/us-central1/workflows/myEventWorkflow/executions/86d2567b-0f1e-49b3-8b10-cdac5d0f6239
    result: '{"bucket":"PROJECT_ID-bucket","object":"random.txt"}'
    startTime: '2021-10-13T03:38:03.019148617Z'
    state: SUCCEEDED
    
  4. Verifica che l'ora "timeCreated": "2021-10-13T03:38" in cui è stato aggiornato il bucket Cloud Storage e l'ora startTime dell'esecuzione del flusso di lavoro corrispondano.

Congratulazioni, hai generato correttamente un evento Cloud Storage che ha attivato un destinatario di eventi Workflows utilizzando Eventarc.

Esegui la pulizia

Per evitare che al tuo Google Cloud account vengano addebitati costi per le risorse utilizzate su questa pagina, elimina il progetto Google Cloud con le risorse.

  1. Elimina il flusso di lavoro creato:

    gcloud workflows delete ${MY_WORKFLOW}
    

    Quando ti viene chiesto se vuoi continuare, digita y.

  2. Elimina il tuo bucket di archiviazione:

    gsutil rm -r gs://${PROJECT_ID}-bucket/
    
  3. Elimina il trigger creato in questo tutorial:

    gcloud eventarc triggers delete storage-events-trigger
    
  4. In alternativa, puoi eliminare il progetto Google Cloud per evitare addebiti. L'eliminazione del progetto Google Cloud interrompe la fatturazione per tutte le risorse utilizzate al suo interno.

    Delete a Google Cloud project:

    gcloud projects delete PROJECT_ID

Passaggi successivi