Puoi utilizzare Workflows per eseguire un job Cloud Run nell'ambito di un flusso di lavoro che esegue un'elaborazione dei dati più complessa o che orchestra un sistema di job esistenti.
Questo tutorial mostra come utilizzare Workflows per eseguire un job Cloud Run che elabora i dati degli eventi archiviati in un bucket Cloud Storage. L'archiviazione del payload dell'evento in un bucket Cloud Storage ti consente di criptare i dati utilizzando le chiavi di crittografia gestite dal cliente, il che non è possibile se trasferisci i dati degli eventi come variabili di ambiente al job Cloud Run.
Il seguente diagramma fornisce una panoramica generale:
Obiettivi
In questo tutorial, imparerai a:
- Crea un job Cloud Run che elabora i dati degli eventi archiviati in un bucket Cloud Storage.
- Esegui il deployment di un workflow che:
- Riceve un evento come argomento.
- Scrive i dati del payload dell'evento nel bucket Cloud Storage.
- Utilizza il connettore dell'API Cloud Run Admin per eseguire il job Cloud Run.
- Crea un argomento Pub/Sub in modo da poter pubblicare un messaggio. Questo tutorial utilizza un evento Pub/Sub come esempio di routing degli eventi utilizzando Workflows, salvando l'evento in Cloud Storage in modo che un job Cloud Run possa elaborare i dati dell'evento.
- Crea un trigger Eventarc che esegue il flusso di lavoro quando un messaggio viene scritto nell'argomento Pub/Sub.
- Attiva il flusso di lavoro scrivendo un messaggio nell'argomento Pub/Sub.
Costi
In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:
Per generare una stima dei costi in base all'utilizzo previsto,
utilizza il calcolatore prezzi.
Prima di iniziare
I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un ambiente Google Cloud vincolato.
Prima di iniziare questo tutorial, devi attivare API specifiche e creare un account di servizio gestito dall'utente. Devi concedere al account di servizio i ruoli e le autorizzazioni necessari per poter instradare gli eventi utilizzando un trigger Eventarc ed eseguire un workflow.
Tieni presente che se utilizzi Cloud Shell per provare questo tutorial, potresti dover concedere ruoli aggiuntivi al service account predefinito di Compute Engine. Per i dettagli, consulta la sezione Creare un job Cloud Run in questo documento.
Console
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs.
-
Create a service account:
-
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart
. - Click Create and continue.
-
Grant the following roles to the service account: Cloud Run Admin, Eventarc Event Receiver, Logs Writer, Storage Object Creator, Workflows Invoker.
To grant a role, find the Select a role list, then select the role.
To grant additional roles, click
Add another role and add each additional role. - Click Continue.
-
Click Done to finish creating the service account.
-
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs.
-
Create a service account:
-
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart
. - Click Create and continue.
-
Grant the following roles to the service account: Cloud Run Admin, Eventarc Event Receiver, Logs Writer, Storage Object Creator, Workflows Invoker.
To grant a role, find the Select a role list, then select the role.
To grant additional roles, click
Add another role and add each additional role. - Click Continue.
-
Click Done to finish creating the service account.
-
- Se hai attivato l'agente di servizio Cloud Pub/Sub l'8 aprile 2021 o in una data precedente per supportare le richieste push Pub/Sub autenticate, concedi il ruolo Creatore token service account (
roles/iam.serviceAccountTokenCreator
) all'agente di servizio. In caso contrario, questo ruolo viene concesso per impostazione predefinita:- Nella console Google Cloud , vai alla pagina
IAM.
- Seleziona la casella di controllo Includi concessioni di ruoli fornite da Google.
- Nella colonna Nome, trova l'account di servizio Cloud Pub/Sub e fai clic su Modifica entità nella riga corrispondente.
- Fai clic su Aggiungi ruolo o Aggiungi un altro ruolo.
- Nell'elenco Seleziona un ruolo, filtra per Creatore token account di servizio, quindi seleziona il ruolo.
- Fai clic su Salva.
- Nella console Google Cloud , vai alla pagina
IAM.
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Cloud Shell supporta i passaggi della riga di comando di questo tutorial.
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs.
-
Create a service account:
-
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart
. - Click Create and continue.
-
Grant the following roles to the service account: roles/eventarc.eventReceiver, roles/logging.logWriter, roles/run.admin, roles/storage.objectCreator, roles/workflows.invoker .
To grant a role, find the Select a role list, then select the role.
To grant additional roles, click
Add another role and add each additional role. - Click Continue.
-
Click Done to finish creating the service account.
-
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs.
-
Create a service account:
-
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart
. - Click Create and continue.
-
Grant the following roles to the service account: roles/eventarc.eventReceiver, roles/logging.logWriter, roles/run.admin, roles/storage.objectCreator, roles/workflows.invoker .
To grant a role, find the Select a role list, then select the role.
To grant additional roles, click
Add another role and add each additional role. - Click Continue.
-
Click Done to finish creating the service account.
-
- Se hai attivato l'agente di servizio Cloud Pub/Sub l'8 aprile 2021 o in una data precedente, per supportare le richieste push Pub/Sub autenticate, concedi
il ruolo Creatore token account di servizio (
roles/iam.serviceAccountTokenCreator
) all'agente di servizio. In caso contrario, questo ruolo viene concesso per impostazione predefinita:gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role=roles/iam.serviceAccountTokenCreator
gcloud
Sostituisci PROJECT_NUMBER
con il numero del tuo progetto Google Cloud. Puoi trovare il numero di progetto nella pagina
Benvenuto
della console Google Cloud o eseguendo questo comando:
gcloud projects describe PROJECT_ID --format='value(projectNumber)'
Crea un job Cloud Run
Questo tutorial utilizza codice campione che puoi trovare su GitHub. Lo script di deployment crea un'immagine container per creare un job Cloud Run. Lo script crea anche un bucket Cloud Storage. Il job Cloud Run legge i dati degli eventi archiviati nel bucket Cloud Storage e li stampa.
Se esegui lo script di deployment in Cloud Shell e se l'account di servizio predefinito di Compute Engine non dispone del ruolo Editor, concedi i seguenti ruoli nel progetto all'account di servizio predefinito di Compute Engine. Altrimenti, puoi saltare questo passaggio e procedere con la clonazione del repository dell'app di esempio nel passaggio successivo.
Concedi il ruolo Writer Artifact Registry (
roles/artifactregistry.writer
):gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/artifactregistry.writer
Sostituisci
PROJECT_NUMBER
con il numero del tuo progetto Google Cloud. Puoi trovare il numero di progetto nella pagina Benvenuto della console Google Cloud o eseguendo questo comando:gcloud projects describe PROJECT_ID --format='value(projectNumber)'
Concedi il ruolo Storage Object User (
roles/storage.objectUser
):gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.objectUser
Concedi il ruolo Writer log di Logging (
roles/logging.logWriter
):gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/logging.logWriter
Recupera il codice campione clonando il repository dell'app di esempio sulla tua macchina locale:
git clone https://github.com/GoogleCloudPlatform/workflows-demos.git
In alternativa, puoi scaricare il campione come file ZIP.
Passa alla directory che contiene il codice di esempio:
cd workflows-demos/cloud-run-jobs-payload-gcs/message-payload-job
Crea il job Cloud Run eseguendo lo script di deployment:
./deploy-job.sh
Lo script crea un bucket Cloud Storage con il nome
message-payload-PROJECT_ID
, dove
PROJECT_ID
è l'ID del tuo progetto Google Cloud .
Viene creato anche un job Cloud Run denominato message-payload-job
.
Esegui il deployment di un flusso di lavoro che esegue il job Cloud Run
Definisci ed esegui il deployment di un flusso di lavoro che esegue il job Cloud Run che hai appena creato. Una definizione di workflow è costituita da una serie di passaggi descritti utilizzando la sintassi di Workflows.
Il flusso di lavoro riceve un evento, salva i dati dell'evento in un bucket Cloud Storage ed esegue un job Cloud Run per elaborare i dati dell'evento.
Console
Nella console Google Cloud , vai alla pagina Workflows:
Fai clic su
Crea.Inserisci un nome per il nuovo flusso di lavoro, ad esempio
message-payload-workflow
.Scegli una regione appropriata, ad esempio
us-central1
.Nel campo Service account, seleziona il account di servizio che hai creato in precedenza.
L'account di servizio funge da identità del flusso di lavoro. Dovresti aver già concesso i seguenti ruoli al account di servizio:
- Amministratore di Cloud Run: per eseguire job Cloud Run
- Writer log: per scrivere voci di log
- Storage Object Creator: per creare oggetti in Cloud Storage
Fai clic su Avanti.
Nell'editor del workflow, inserisci la seguente definizione per il workflow:
Fai clic su Esegui il deployment.
gcloud
Crea un file di codice sorgente per il workflow:
touch message-payload-workflow.yaml
Copia la seguente definizione del workflow in
message-payload-workflow.yaml
:Esegui il deployment del flusso di lavoro inserendo questo comando:
gcloud workflows deploy message-payload-workflow \ --location=us-central1 \ --source=message-payload-workflow.yaml \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Sostituisci quanto segue:
SERVICE_ACCOUNT_NAME
: il nome del account di servizio che hai creato in precedenzaPROJECT_ID
: l'ID del tuo Google Cloud progetto
L'account di servizio funge da identità del flusso di lavoro. Dovresti aver già concesso i seguenti ruoli al account di servizio:
roles/logging.logWriter
: per scrivere voci di logroles/run.admin
: per eseguire job Cloud Runroles/storage.objectCreator
: per creare oggetti in Cloud Storage
Il flusso di lavoro esegue le seguenti operazioni:
init
: accetta un evento come argomento e imposta le variabili necessarie.Passaggio
log_event
: crea una voce di log in Cloud Logging utilizzando la funzione sys.log.Passaggio
write_payload_to_gcs
: esegue una richiesta HTTPPOST
e scrive i dati del payload dell'evento in un file del bucket Cloud Storage.run_job_to_process_payload
: utilizza il metodo del connettore API Cloud Run Admin,googleapis.run.v1.namespaces.jobs.run
, per eseguire il job. Il bucket Cloud Storage e il nome del file di dati vengono trasferiti come variabili di override dal flusso di lavoro al job.Passaggio
finish
: restituisce informazioni sull'esecuzione del job come risultato del workflow.
crea un argomento Pub/Sub
Crea un argomento Pub/Sub in modo da poter pubblicare un messaggio. Un evento Pub/Sub viene utilizzato per dimostrare come instradare un evento utilizzando Workflows e salvare l'evento in Cloud Storage in modo che un job Cloud Run possa elaborare i dati dell'evento.
Console
Nella console Google Cloud , vai alla pagina Argomenti.
Fai clic su
Crea argomento.Nel campo ID argomento, inserisci un ID per l'argomento, ad esempio
message-payload-topic
.Mantieni l'opzione Aggiungi una sottoscrizione predefinita.
Non selezionare le altre opzioni.
Fai clic su Crea.
gcloud
Per creare un argomento con ID message-payload-topic
, esegui il comando
gcloud pubsub topics create
:
gcloud pubsub topics create message-payload-topic
Crea un trigger Eventarc per il routing degli eventi al flusso di lavoro
Per eseguire automaticamente il workflow e, di conseguenza, il job Cloud Run, crea un trigger Eventarc che risponda agli eventi Pub/Sub e che li indirizzi al workflow. Ogni volta che viene scritto un messaggio nell'argomento Pub/Sub, l'evento attiva un'esecuzione del flusso di lavoro.
Console
Nella console Google Cloud , vai alla pagina Workflows:
Fai clic sul nome del flusso di lavoro, ad esempio
message-payload-workflow
.Nella pagina Dettagli del flusso di lavoro, fai clic su
Modifica.Nella pagina Modifica flusso di lavoro, nella sezione Trigger, fai clic su Aggiungi nuovo trigger > Eventarc.
Viene visualizzato il riquadro Trigger Eventarc.
Nel campo Nome trigger, inserisci un nome per il trigger, ad esempio
message-payload-trigger
.Nell'elenco Provider di eventi, seleziona Cloud Pub/Sub.
Nell'elenco Evento, seleziona google.cloud.pubsub.topic.v1.messagePublished.
Nell'elenco Seleziona un argomento Cloud Pub/Sub, seleziona l'argomento Pub/Sub che hai creato in precedenza.
Nel campo Service account, seleziona il account di servizio che hai creato in precedenza.
L'account di servizio funge da identità del trigger. Dovresti aver già concesso i seguenti ruoli al account di servizio:
- Eventarc Event Receiver: per ricevere eventi
- Workflows Invoker: per eseguire i workflow
Fai clic su Salva trigger.
Il trigger Eventarc ora viene visualizzato nella sezione Trigger della pagina Modifica flusso di lavoro.
Fai clic su Avanti.
Fai clic su Esegui il deployment.
gcloud
Crea un trigger Eventarc eseguendo il seguente comando:
gcloud eventarc triggers create message-payload-trigger \ --location=us-central1 \ --destination-workflow=message-payload-workflow \ --destination-workflow-location=us-central1 \ --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \ --transport-topic=projects/PROJECT_ID/topics/message-payload-topic \ --service-account=SERVICE_ACCOUNT_NAME@Piam.gserviceaccount.comROJECT_ID.
Sostituisci quanto segue:
PROJECT_ID
: l'ID del tuo progetto Google CloudSERVICE_ACCOUNT_NAME
: il nome del service account creato in precedenza.
L'account di servizio funge da identità del trigger. Dovresti aver già concesso i seguenti ruoli al account di servizio:
roles/eventarc.eventReceiver
: per ricevere eventiroles/workflows.invoker
: per eseguire i workflow
Attivare il workflow
Testa il sistema end-to-end pubblicando un messaggio nell'argomento Pub/Sub e generando un evento. Per maggiori informazioni, consulta la sezione Attivare un flusso di lavoro con eventi o messaggi Pub/Sub.
Pubblica un messaggio nell'argomento Pub/Sub per generare un evento:
gcloud pubsub topics publish message-payload-topic --message="Hello World"
L'evento viene indirizzato al flusso di lavoro che registra il messaggio dell'evento, salva i dati dell'evento nel bucket Cloud Storage ed esegue il job Cloud Run per elaborare i dati salvati in Cloud Storage. L'operazione potrebbe richiedere un minuto.
Verifica che il job Cloud Run sia stato eseguito come previsto visualizzando le esecuzioni del job:
gcloud run jobs executions list --job=message-payload-job
Nell'output dovresti vedere una nuova esecuzione del job.
Per visualizzare le voci di log correlate all'evento create attivando il flusso di lavoro, esegui questo comando:
gcloud logging read "resource.type=cloud_run_job AND textPayload:Payload"
Cerca una voce di log simile alla seguente:
textPayload: "Payload: {'message': {'data': 'SGVsbG8gV29ybGQ=', 'messageId': '8834108235224238',\ \ 'publishTime': '2023-09-20T17:07:52.921Z'}, 'subscription': 'projects/MY_PROJECT/subscriptions/eventarc-us-central1-message-payload-trigger-sub-741'}" ... resource: labels: job_name: message-payload-job location: us-central1 project_id: MY_PROJECT type: cloud_run_job textPayload: Processing message payload gs://message-payload-MY_PROJECT/8254002311197919.data.json
Puoi verificare che i risultati siano quelli previsti visualizzando i dati degli eventi nell'oggetto bucket Cloud Storage.
Recupera il nome del bucket:
gcloud storage ls
L'output è simile al seguente:
gs://message-payload-PROJECT_ID/
Elenca gli oggetti nel bucket:
gcloud storage ls gs://message-payload-PROJECT_ID/** --recursive
L'output dovrebbe essere simile al seguente:
gs://message-payload-PROJECT_ID/OBJECT_ID.data.json
Prendi nota di
OBJECT_ID
da utilizzare nel passaggio successivo.Scarica l'oggetto nel bucket come file:
gcloud storage cp gs://message-payload-PROJECT_ID/OBJECT_ID.data.json message-event.txt
Sostituisci
OBJECT_ID
con l'ID restituito nel passaggio precedente.In un editor di testo, apri il file
message-event.txt
. Il corpo dell'evento scritto nel file dovrebbe essere simile al seguente:{ "message": { "data": "SGVsbG8gV29ybGQ=", "messageId": "8254002311197919", "publishTime": "2023-09-20T16:54:29.312Z" }, "subscription": "proje
cts/MY_PROJECT/subscriptions/eventarc-us-central1-message-payload-trigger-sub-741" }Tieni presente che se decodifichi il valore dei dati di
SGVsbG8gV29ybGQ=
dal formato Base64, viene restituito "Hello World".
Esegui la pulizia
Se hai creato un nuovo progetto per questo tutorial, elimina il progetto. Se hai utilizzato un progetto esistente e vuoi conservarlo senza le modifiche aggiunte in questo tutorial, elimina le risorse create per il tutorial.
Elimina il progetto
Il modo più semplice per eliminare la fatturazione è eliminare il progetto creato per il tutorial.
Per eliminare il progetto:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Eliminare le risorse del tutorial
Elimina le risorse che hai creato in questo tutorial:
Passaggi successivi
Salvo quando diversamente specificato, i contenuti di questa pagina sono concessi in base alla licenza Creative Commons Attribution 4.0, mentre gli esempi di codice sono concessi in base alla licenza Apache 2.0. Per ulteriori dettagli, consulta le norme del sito di Google Developers. Java è un marchio registrato di Oracle e/o delle sue consociate.
Ultimo aggiornamento 2025-09-04 UTC.