Puoi utilizzare i flussi di lavoro per eseguire un job Cloud Run all'interno di un flusso di lavoro che esegue elaborazioni di dati più complesse o che orchestra un sistema di job esistenti.
Questo tutorial illustra come utilizzare Workflows per eseguire una un job Cloud Run che elabora i dati degli eventi archiviati in nel bucket Cloud Storage. Archiviazione del payload dell'evento in Cloud Storage. di crittografia dei dati ti consente di criptare i dati chiavi di crittografia gestite dal cliente il che non è possibile se passare i dati sugli eventi come variabili di ambiente al job Cloud Run.
Il seguente diagramma fornisce una panoramica generale:
Obiettivi
In questo tutorial, imparerai a:
- Crea un job Cloud Run che elabora i dati degli eventi archiviati in in un bucket Cloud Storage.
- Esegui il deployment di un flusso di lavoro che:
- Riceve un evento come argomento.
- Scrive i dati del payload dell'evento nel bucket Cloud Storage.
- Utilizza il connettore API Cloud Run Admin per eseguire il job Cloud Run.
- Crea un argomento Pub/Sub in modo da potervi pubblicare un messaggio. Questo tutorial utilizza un evento Pub/Sub come esempio di come eseguire il routing utilizzando Workflows, salvando l'evento Cloud Storage per consentire l'elaborazione di un job Cloud Run i dati sugli eventi.
- Crea un trigger Eventarc che esegue il flusso di lavoro quando un viene scritto nell'argomento Pub/Sub.
- Attiva il flusso di lavoro scrivendo un messaggio nell'argomento Pub/Sub.
Costi
In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:
Per generare una stima dei costi basata sull'utilizzo previsto,
utilizza il Calcolatore prezzi.
Prima di iniziare
I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un ambiente Google Cloud vincolato.
Prima di iniziare questo tutorial, devi abilitare API specifiche e creare un'istanza account di servizio dall'utente. Devi concedere all'account di servizio i ruoli e autorizzazioni necessarie per poter indirizzare gli eventi utilizzando Eventarc trigger ed eseguire un flusso di lavoro.
Tieni presente che se utilizzi Cloud Shell per provare questo tutorial, potresti dover assegnare ruoli aggiuntivi all'account di servizio predefinito di Compute Engine. Per maggiori dettagli, in questo documento, vedi Sezione Crea un job Cloud Run.
Console
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs.
-
Create a service account:
-
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart
. - Click Create and continue.
-
Grant the following roles to the service account: Cloud Run Admin, Eventarc Event Receiver, Logs Writer, Storage Object Creator, Workflows Invoker.
To grant a role, find the Select a role list, then select the role.
To grant additional roles, click
Add another role and add each additional role. - Click Continue.
-
Click Done to finish creating the service account.
-
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs.
-
Create a service account:
-
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart
. - Click Create and continue.
-
Grant the following roles to the service account: Cloud Run Admin, Eventarc Event Receiver, Logs Writer, Storage Object Creator, Workflows Invoker.
To grant a role, find the Select a role list, then select the role.
To grant additional roles, click
Add another role and add each additional role. - Click Continue.
-
Click Done to finish creating the service account.
-
- Se hai attivato l'agente di servizio Cloud Pub/Sub il giorno 8 aprile 2021 o in una data precedente per supportare le richieste push Pub/Sub autenticate, concedi all'agente di servizio il ruolo Creatore token account di servizio (
roles/iam.serviceAccountTokenCreator
). In caso contrario, questo ruolo viene concesso per impostazione predefinita:- Nella console Google Cloud, vai alla
IAM.
- Seleziona Includi concessioni dei ruoli fornite da Google. casella di controllo.
- Nella colonna Nome, individua la Account di servizio Cloud Pub/Sub quindi fai clic su Modifica principal nella riga corrispondente.
- Fai clic su Aggiungi ruolo o Aggiungi un altro ruolo.
- Nell'elenco Seleziona un ruolo, filtra per Creatore token account di servizio, quindi seleziona il ruolo.
- Fai clic su Salva.
- Nella console Google Cloud, vai alla
IAM.
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Cloud Shell supporta i passaggi della riga di comando in questo tutorial.
gcloud
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs:
gcloud services enable artifactregistry.googleapis.com
cloudbuild.googleapis.com compute.googleapis.com run.googleapis.com storage.googleapis.com eventarc.googleapis.com workflows.googleapis.com -
Set up authentication:
-
Create the service account:
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
Replace
SERVICE_ACCOUNT_NAME
with a name for the service account. -
Grant roles to the service account. Run the following command once for each of the following IAM roles:
roles/eventarc.eventReceiver, roles/logging.logWriter, roles/run.admin, roles/storage.objectCreator, roles/workflows.invoker
:gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE
Replace the following:
SERVICE_ACCOUNT_NAME
: the name of the service accountPROJECT_ID
: the project ID where you created the service accountROLE
: the role to grant
-
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs:
gcloud services enable artifactregistry.googleapis.com
cloudbuild.googleapis.com compute.googleapis.com run.googleapis.com storage.googleapis.com eventarc.googleapis.com workflows.googleapis.com -
Set up authentication:
-
Create the service account:
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
Replace
SERVICE_ACCOUNT_NAME
with a name for the service account. -
Grant roles to the service account. Run the following command once for each of the following IAM roles:
roles/eventarc.eventReceiver, roles/logging.logWriter, roles/run.admin, roles/storage.objectCreator, roles/workflows.invoker
:gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE
Replace the following:
SERVICE_ACCOUNT_NAME
: the name of the service accountPROJECT_ID
: the project ID where you created the service accountROLE
: the role to grant
-
- Se hai attivato l'agente di servizio Cloud Pub/Sub il giorno 8 aprile 2021 o in una data precedente per supportare le richieste push Pub/Sub autenticate, concedi all'agente di servizio il ruolo Creatore token account di servizio (
roles/iam.serviceAccountTokenCreator
). In caso contrario, questo ruolo viene concesso per impostazione predefinita:gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role=roles/iam.serviceAccountTokenCreator
Sostituisci PROJECT_NUMBER
con il tuo Google Cloud
del progetto. Puoi trovare il numero del progetto nella pagina
Welcome
della console Google Cloud o eseguendo il seguente comando:
gcloud projects describe PROJECT_ID --format='value(projectNumber)'
Crea un job Cloud Run
Questo tutorial utilizza un codice campione che puoi trovare su GitHub. Lo script di deployment crea un'immagine container per creare un job Cloud Run. Lo script crea anche un bucket Cloud Storage. La Il job Cloud Run legge tutti i dati sugli eventi archiviati nel bucket Cloud Storage, quindi stampa i dati sugli eventi.
Se esegui lo script di deployment in Cloud Shell e se Account di servizio predefinito Compute Engine non dispone del ruolo Editor, concedi i seguenti ruoli del progetto alla Account di servizio predefinito Compute Engine. In caso contrario, puoi saltare questo passaggio e procedi con la clonazione del repository di app di esempio nel passaggio successivo.)
Concedi Ruolo Writer Artifact Registry (
roles/artifactregistry.writer
):gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/artifactregistry.writer
Sostituisci
PROJECT_NUMBER
con il tuo Google Cloud del progetto. Puoi trovare il numero del tuo progetto nella Ti diamo il benvenuto della console Google Cloud o eseguendo questo comando:gcloud projects describe PROJECT_ID --format='value(projectNumber)'
Concedi Ruolo Utente oggetti Storage (
roles/storage.objectUser
):gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.objectUser
Concedi Ruolo Writer log di logging (
roles/logging.logWriter
):gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/logging.logWriter
Recupera il codice campione clonando il repository dell'app di esempio nel tuo locale macchina:
git clone https://github.com/GoogleCloudPlatform/workflows-demos.git
In alternativa, puoi scaricare il sample come file ZIP
Passa alla directory che contiene il codice di esempio:
cd workflows-demos/cloud-run-jobs-payload-gcs/message-payload-job
Crea il job Cloud Run eseguendo lo script di deployment:
./deploy-job.sh
Lo script crea un bucket Cloud Storage con il nome
message-payload-PROJECT_ID
, dove
PROJECT_ID
è l'ID del tuo progetto Google Cloud.
Viene creato anche un job Cloud Run denominato message-payload-job
.
Esegui il deployment di un flusso di lavoro che esegue il job Cloud Run
definisci ed esegui il deployment di un flusso di lavoro che esegue il job Cloud Run che hai appena creato. Una definizione di flusso di lavoro è composta da una serie di passaggi descritta utilizzando la sintassi di Workflows.
Il flusso di lavoro riceve un evento e li salva in un file di Cloud Storage ed esegue un job Cloud Run per elaborare l'evento e i dati di Google Cloud.
Console
Nella console Google Cloud, vai alla Pagina Flussi di lavoro:
Fai clic su
Crea.Inserisci un nome per il nuovo flusso di lavoro, ad esempio
message-payload-workflow
.Scegli una regione appropriata. ad esempio
us-central1
.Nel campo Account di servizio, seleziona l'account di servizio creati in precedenza.
L'account di servizio funge da identità del flusso di lavoro. Dovresti avere sono già stati concessi i seguenti ruoli all'account di servizio:
- Amministratore di Cloud Run: per eseguire job Cloud Run
- Writer log: per scrivere le voci di log
- Creatore oggetti Storage: per creare oggetti in Cloud Storage
Fai clic su Avanti.
Nell'editor del flusso di lavoro, inserisci la seguente definizione per il tuo flusso di lavoro personalizzato:
Fai clic su Esegui il deployment.
gcloud
Crea un file di codice sorgente per il tuo flusso di lavoro:
touch message-payload-workflow.yaml
Copia la seguente definizione del flusso di lavoro in
message-payload-workflow.yaml
:Esegui il deployment del flusso di lavoro inserendo il seguente comando:
gcloud workflows deploy message-payload-workflow \ --location=us-central1 \ --source=message-payload-workflow.yaml \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Sostituisci quanto segue:
SERVICE_ACCOUNT_NAME
: il nome di l'account di servizio che hai creato in precedenzaPROJECT_ID
: l'ID del tuo Progetto Google Cloud
L'account di servizio funge da identità del flusso di lavoro. Dovresti avere sono già stati concessi i seguenti ruoli all'account di servizio:
roles/logging.logWriter
: per scrivere voci di logroles/run.admin
: per eseguire job Cloud Runroles/storage.objectCreator
: per creare oggetti in Cloud Storage
Il flusso di lavoro effettua le seguenti operazioni:
Passaggio
init
: accetta un evento come argomento e imposta le variabili necessarie.Passaggio
log_event
: crea una voce di log in Cloud Logging utilizzando la funzione sys.log.write_payload_to_gcs
passaggio: effettua una richiesta HTTPPOST
e scrive l'evento di caricare i dati in un file di bucket Cloud Storage.run_job_to_process_payload
passaggio: utilizza il connettore API Cloud Run Admin ,googleapis.run.v1.namespaces.jobs.run
, per eseguire il job. Il bucket Cloud Storage e il nome file di dati sono passate come variabili di override dal flusso di lavoro al job.Passaggio
finish
: restituisce informazioni sull'esecuzione del job in seguito a nel flusso di lavoro.
crea un argomento Pub/Sub
Crea un argomento Pub/Sub in modo da potervi pubblicare un messaggio. Un evento Pub/Sub viene utilizzato per dimostrare come instradare un evento utilizzando Workflows e salvando l'evento in Cloud Storage in modo che un job Cloud Run possa elaborare i dati sugli eventi.
Console
Nella console Google Cloud, vai alla pagina Argomenti.
Fai clic su
Crea argomento.Nel campo ID argomento, inserisci un ID per l'argomento, ad esempio
message-payload-topic
.Mantieni l'opzione Aggiungi un abbonamento predefinito.
Non selezionare le altre opzioni.
Fai clic su Crea.
gcloud
Per creare un argomento con ID message-payload-topic
, esegui l'operazione
gcloud pubsub topics create
:
gcloud pubsub topics create message-payload-topic
Crea un trigger Eventarc per il routing degli eventi al flusso di lavoro
Eseguire automaticamente il flusso di lavoro e, a sua volta, Cloud Run un job, crea un trigger Eventarc che risponda eventi Pub/Sub e che li instrada al flusso di lavoro. Ogni volta che un messaggio viene scritto nell'argomento Pub/Sub, l'evento attiva un'esecuzione del flusso di lavoro.
Console
Nella console Google Cloud, vai alla Pagina Flussi di lavoro:
Fai clic sul nome del flusso di lavoro, ad esempio
message-payload-workflow
.Nella pagina Dettagli flusso di lavoro, fai clic su
Modifica.Nella sezione Trigger della pagina Modifica flusso di lavoro, fai clic su Aggiungi nuovo trigger > Eventarc.
Viene visualizzato il riquadro Trigger Eventarc.
Nel campo Nome trigger, inserisci un nome per l'attivatore, ad esempio
message-payload-trigger
.Nell'elenco Provider di eventi, seleziona Cloud Pub/Sub.
Nell'elenco Evento, seleziona google.cloud.pubsub.topic.v1.messagePublished.
Nell'elenco Seleziona un argomento Cloud Pub/Sub, seleziona all'argomento Pub/Sub creato in precedenza.
Nel campo Account di servizio, seleziona l'account di servizio creato in precedenza.
L'account di servizio funge da identità del trigger. Dovresti avere sono già stati concessi i seguenti ruoli all'account di servizio:
- Ricevitore eventi Eventarc: per ricevere gli eventi
- Invoker dei flussi di lavoro: per eseguire flussi di lavoro
Fai clic su Salva trigger.
Il trigger Eventarc ora viene visualizzato nella sezione Trigger della pagina Modifica flusso di lavoro.
Fai clic su Avanti.
Fai clic su Esegui il deployment.
gcloud
Crea un trigger Eventarc eseguendo questo comando:
gcloud eventarc triggers create message-payload-trigger \ --location=us-central1 \ --destination-workflow=message-payload-workflow \ --destination-workflow-location=us-central1 \ --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \ --transport-topic=projects/PROJECT_ID/topics/message-payload-topic \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Sostituisci quanto segue:
PROJECT_ID
: l'ID del tuo progetto Google CloudSERVICE_ACCOUNT_NAME
: il nome del servizio creato in precedenza.
L'account di servizio funge da identità del trigger. Dovresti avere sono già stati concessi i seguenti ruoli all'account di servizio:
roles/eventarc.eventReceiver
: per ricevere eventiroles/workflows.invoker
: per eseguire flussi di lavoro
Attiva il flusso di lavoro
Testa il sistema end-to-end pubblicando un messaggio in Pub/Sub e la generazione di un evento. Per ulteriori informazioni, vedi l'attivazione di un flusso di lavoro con eventi o messaggi Pub/Sub.
Pubblica un messaggio nell'argomento Pub/Sub per generare un evento:
gcloud pubsub topics publish message-payload-topic --message="Hello World"
L'evento viene instradato al flusso di lavoro che registra il messaggio di evento, salva i dati sugli eventi al bucket Cloud Storage ed esegue Job Cloud Run per elaborare i dati salvati di archiviazione ideale in Cloud Storage. L'operazione può richiedere un minuto.
Verifica che il job Cloud Run sia stato eseguito come previsto visualizzando le esecuzioni del job:
gcloud run jobs executions list --job=message-payload-job
Nell'output dovresti vedere una nuova esecuzione del job.
Per visualizzare le voci di log relative agli eventi create dall'attivazione del flusso di lavoro, esegui il seguente comando:
gcloud logging read "resource.type=cloud_run_job AND textPayload:Payload"
Cerca una voce di log simile alla seguente:
textPayload: "Payload: {'message': {'data': 'SGVsbG8gV29ybGQ=', 'messageId': '8834108235224238',\ \ 'publishTime': '2023-09-20T17:07:52.921Z'}, 'subscription': 'projects/MY_PROJECT/subscriptions/eventarc-us-central1-message-payload-trigger-sub-741'}" ... resource: labels: job_name: message-payload-job location: us-central1 project_id: MY_PROJECT type: cloud_run_job textPayload: Processing message payload gs://message-payload-MY_PROJECT/8254002311197919.data.json
Puoi verificare che i risultati siano quelli previsti visualizzando i dati sugli eventi in dell'oggetto bucket Cloud Storage.
Recupera il nome del tuo bucket:
gcloud storage ls
L'output è simile al seguente:
gs://message-payload-PROJECT_ID/
Elenca gli oggetti nel tuo bucket:
gcloud storage ls gs://message-payload-PROJECT_ID/** --recursive
L'output dovrebbe essere simile al seguente:
gs://message-payload-PROJECT_ID/OBJECT_ID.data.json
Prendi nota di
OBJECT_ID
da utilizzare nel passaggio successivo.Scarica l'oggetto nel bucket come file:
gcloud storage cp gs://message-payload-PROJECT_ID/OBJECT_ID.data.json message-event.txt
Sostituisci
OBJECT_ID
con l'ID restituito nella passaggio precedente.In un editor di testo, apri il file
message-event.txt
. Il corpo dell'evento, scritto in il file sarà simile al seguente:{ "message": { "data": "SGVsbG8gV29ybGQ=", "messageId": "8254002311197919", "publishTime": "2023-09-20T16:54:29.312Z" }, "subscription": "projects/MY_PROJECT/subscriptions/eventarc-us-central1-message-payload-trigger-sub-741" }
Tieni presente che se decodifiche il valore dei dati di
SGVsbG8gV29ybGQ=
dal relativo Formato Base64, "Hello World" viene restituito.
Esegui la pulizia
Se hai creato un nuovo progetto per questo tutorial, elimina il progetto. Se hai utilizzato un progetto esistente e vuoi mantenerlo senza l'aggiunta delle modifiche In questo tutorial, elimina le risorse create per il tutorial.
Elimina il progetto
Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per il tutorial.
Per eliminare il progetto:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Elimina le risorse del tutorial
Elimina le risorse che hai creato in questo tutorial: