Attiva Workflows utilizzando Cloud Audit Logs (gcloud CLI)
Questa guida rapida mostra come eseguire un flusso di lavoro utilizzando un trigger Eventarc che riceve eventi da BigQuery utilizzando Cloud Audit Logs. BigQuery ospita set di dati pubblici a cui puoi accedere e integrarli nelle tue applicazioni. Il trigger esegue il flusso di lavoro esaminando i job BigQuery completati e passa l'evento come argomenti di runtime a un flusso di lavoro di destinazione.
Puoi completare questa guida rapida utilizzando Google Cloud CLI.
- Utilizza Flussi di lavoro per creare ed eseguire il deployment di un flusso di lavoro che estrae e restituisca l'email dell'utente che ha eseguito la query e la query.
- Crea un trigger Eventarc che connette un job BigQuery a un ricevitore di eventi Workflows.
- Genera un evento eseguendo un job BigQuery utilizzando lo strumento a riga di comando bq. Questo evento viene passato come argomento di runtime al flusso di lavoro di destinazione.
- Visualizzare l'email dell'utente che ha eseguito la query e che la query è stata eseguita.
Prima di iniziare
I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, consulta la pagina Sviluppare applicazioni in un ambiente Google Cloud limitato.
- Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
- Aggiorna
gcloud
componenti:gcloud components update
- Accedi utilizzando il tuo account:
gcloud auth login
- Abilitare le API Compute Engine, Eventarc, Pub/Sub e Workflows.
gcloud services enable \ compute.googleapis.com \ eventarc.googleapis.com \ pubsub.googleapis.com \ workflows.googleapis.com \ workflowexecutions.googleapis.com
- Imposta le variabili di configurazione utilizzate in questa guida rapida:
export WORKFLOW_LOCATION=us-central1 export TRIGGER_LOCATION=us-central1 export PROJECT_ID=PROJECT_ID gcloud config set project ${PROJECT_ID} gcloud config set workflows/location ${WORKFLOW_LOCATION} gcloud config set eventarc/location ${TRIGGER_LOCATION}
-
Se sei l'autore del progetto, ti viene concesso il ruolo Proprietario di base (
roles/owner
). Per impostazione predefinita, questo ruolo di Identity and Access Management (IAM) include le autorizzazioni necessarie per l'accesso completo alla maggior parte delle risorse Google Cloud e puoi saltare questo passaggio.Se non sei l'autore del progetto, le autorizzazioni richieste devono essere concesse per il progetto all'entità appropriata. Ad esempio, un'entità può essere un Account Google (per gli utenti finali) o un account di servizio (per applicazioni e carichi di lavoro di computing). Per ulteriori informazioni, consulta la pagina Ruoli e autorizzazioni per la destinazione dell'evento.
Autorizzazioni obbligatorie
Per ottenere le autorizzazioni necessarie per completare questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM sul tuo progetto:
-
Amministratore Eventarc (
roles/eventarc.admin
) -
Funzione di accesso alla visualizzazione dei log (
roles/logging.viewAccessor
) -
Amministratore IAM progetto (
roles/resourcemanager.projectIamAdmin
) -
Service Account Admin (
roles/iam.serviceAccountAdmin
) [Amministratore account di servizio] -
Utente account di servizio (
roles/iam.serviceAccountUser
) -
Amministratore Service Usage (
roles/serviceusage.serviceUsageAdmin
) -
Amministratore flussi di lavoro (
roles/workflows.admin
)
Per saperne di più sulla concessione dei ruoli, vedi Gestire l'accesso.
Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.
-
Amministratore Eventarc (
L'account di servizio predefinito di Compute Engine viene creato automaticamente dopo aver abilitato o utilizzato un servizio Google Cloud che utilizza Compute Engine.
A scopo di test, puoi collegare questo account di servizio a un trigger Eventarc per rappresentare l'identità del trigger. Prendi nota del formato email da utilizzare quando crei un trigger:
PROJECT_NUMBER-compute@developer.gserviceaccount.com
Sostituisci
PROJECT_NUMBER
con il numero del tuo progetto Google Cloud. Puoi trovare il numero del progetto nella pagina Dashboard della console Google Cloud o eseguendo il seguente comando:gcloud projects describe PROJECT_ID --format='value(projectNumber)'
All'account di servizio Compute Engine viene concesso automaticamente il ruolo Editor di base (
roles/editor
) sul tuo progetto. Tuttavia, se le concessioni automatiche dei ruoli sono state disabilitate, consulta le istruzioni applicabili su Ruoli e autorizzazioni per creare un nuovo account di servizio e concedere i ruoli richiesti.- Concedi il ruolo Ricevitore eventi Eventarc (
roles/eventarc.eventReceiver
) sul progetto all'account di servizio predefinito di Compute Engine in modo che il trigger Eventarc possa ricevere eventi da provider di eventi.gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/eventarc.eventReceiver
- Concedi il ruolo Invoker flussi di lavoro (
roles/workflows.invoker
) sul progetto all'account di servizio predefinito di Compute Engine in modo che l'account abbia l'autorizzazione per attivare l'esecuzione del flusso di lavoro.gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/workflows.invoker
- Concedi il ruolo Writer log di Logging (
roles/logging.logWriter
) sul progetto all'account di servizio predefinito di Compute Engine in modo che il flusso di lavoro possa inviare log a Cloud Logging.gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/logging.logWriter
- Se hai abilitato l'agente di servizio Cloud Pub/Sub entro l'8 aprile 2021 per supportare le richieste push Pub/Sub autenticate, concedi il ruolo Creatore token account di servizio (
roles/iam.serviceAccountTokenCreator
) all'account di servizio gestito da Google. In caso contrario, questo ruolo è concesso per impostazione predefinita:gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role=roles/iam.serviceAccountTokenCreator
Crea ed esegui il deployment di un flusso di lavoro
Creare ed eseguire il deployment di un flusso di lavoro che viene eseguito quando il completamento di un job BigQuery attiva un flusso di lavoro con una richiesta HTTP.
- Apri un terminale o Cloud Shell.
- Nella home directory, crea un nuovo file denominato
myFirstWorkflow.yaml
omyFirstWorkflow.json
. - Copia e incolla quanto segue nel nuovo file e salvalo:
YAML
main: params: [event] steps: - log_event: call: sys.log args: text: ${event} severity: INFO - extract_data: assign: - user: ${event.data.protoPayload.authenticationInfo.principalEmail} - query: ${event.data.protoPayload.serviceData.jobCompletedEvent.job.jobConfiguration.query.query} - return_data: return: user: ${user} query: ${query}
JSON
{ "main": { "params": [ "event" ], "steps": [ { "log_event": { "call": "sys.log", "args": { "text": "${event}", "severity": "INFO" } } }, { "extract_data": { "assign": [ { "user": "${event.data.protoPayload.authenticationInfo.principalEmail}" }, { "query": "${event.data.protoPayload.serviceData.jobCompletedEvent.job.jobConfiguration.query.query}" } ] } }, { "return_data": { "return": { "user": "${user}", "query": "${query}" } } } ] } }
- Esegui il deployment del flusso di lavoro:
export MY_WORKFLOW=myFirstWorkflow gcloud workflows deploy ${MY_WORKFLOW} --source=myFirstWorkflow.yaml
Sostituisci
.yaml
con.json
se hai copiato la versione JSON del flusso di lavoro di esempio.
Crea un trigger Eventarc
Il trigger Eventarc invia eventi da BigQuery alla destinazione Workflows.
Crea un trigger che filtri gli eventi BigQuery:
gcloud eventarc triggers create events-cal-trigger \ --destination-workflow=${MY_WORKFLOW} \ --destination-workflow-location=${WORKFLOW_LOCATION} \ --event-filters="type=google.cloud.audit.log.v1.written" \ --event-filters="serviceName=bigquery.googleapis.com" \ --event-filters="methodName=jobservice.jobcompleted" \ --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"
Viene creato un trigger denominato
events-cal-trigger
.Tieni presente che quando crei un trigger Eventarc per la prima volta in un progetto Google Cloud, potrebbe verificarsi un ritardo nel provisioning dell'agente di servizio Eventarc. Per risolvere questo problema, prova a creare di nuovo il trigger. Per ulteriori informazioni, consulta la sezione Errori di autorizzazione negata.
Per confermare che
events-cal-trigger
è stato creato correttamente, esegui:gcloud eventarc triggers describe events-cal-trigger --location=${TRIGGER_LOCATION}
L'output dovrebbe essere simile al seguente che elenca l'ora di creazione e la località dell'attivatore:
createTime: '2021-10-14T15:15:43.872360951Z' [...] name: projects/PROJECT_ID/locations/us-central1/triggers/events-cal-trigger
Generare e visualizzare un evento
Esegui un job BigQuery utilizzando lo strumento a riga di comando bq per generare un evento e attivare il flusso di lavoro. L'evento generato viene passato come argomento runtime del flusso di lavoro che restituisce l'email e la query dell'utente come risultato dell'esecuzione del flusso di lavoro.
Per attivare un flusso di lavoro, esegui un job BigQuery che acceda a un set di dati pubblico da cui recupera informazioni:
bq query --nouse_legacy_sql \ 'SELECT COUNT(*) FROM `bigquery-public-data`.samples.shakespeare'
Il completamento del job genera un evento che viene passato come argomento di runtime al flusso di lavoro che restituisce l'email dell'utente che ha eseguito la query e della query stessa.
Per verificare che sia stata attivata un'esecuzione di un flusso di lavoro, elenca le ultime cinque esecuzioni:
gcloud workflows executions list ${MY_WORKFLOW} --limit=5
L'output dovrebbe essere simile al seguente, elencando un
NAME
e unSTATE
uguale aSUCCEEDED
per ogni esecuzione del flusso di lavoro.NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2 STATE: SUCCEEDED START_TIME: 2021-11-08T21:59:33.870561996Z END_TIME: 2021-11-08T21:59:34.150034659Z NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/35d7c730-7ba5-4055-afee-c04ed706b179 STATE: SUCCEEDED START_TIME: 2021-10-14T19:32:39.908739298Z END_TIME: 2021-10-14T19:32:40.147484015Z
Tieni presente che nell'output,
a073ad6a-c76b-4437-8d39-2ab3ade289d2
dal campoNAME
è l'ID dell'esecuzione del flusso di lavoro. Copia l'ID esecuzione per utilizzarlo nel passaggio successivo.Per visualizzare lo stato di esecuzione, esegui questo comando:
gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}
Sostituisci
WORKFLOW_EXECUTION_ID
con l'ID dell'esecuzione del flusso di lavoro corrispondente all'ora in cui è stato completato il job BigQuery.L'output dovrebbe essere simile al seguente:
argument: [...] duration: 0.277917625s endTime: '2021-11-08T21:59:34.150034659Z' name: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2 result: '{"query":"SELECT\n COUNT(*)\nFROM\n `bigquery-public-data`.samples.shakespeare","user":"USER_EMAIL"}' startTime: '2021-11-08T21:59:33.870561996Z' state: SUCCEEDED
Verifica che il valore
startTime
in corrispondenza del quale è stato completato il job BigQuery e il valoreSTART_TIME
dell'esecuzione del flusso di lavoro corrispondano tra loro.
Complimenti, hai generato correttamente un evento BigQuery che ha attivato un ricevitore di eventi Workflows utilizzando Eventarc.
Esegui la pulizia
- Elimina il flusso di lavoro creato:
Quando ti viene chiesto se vuoi continuare, digitagcloud workflows delete ${MY_WORKFLOW}
y
. - Elimina l'attivatore che hai creato:
gcloud eventarc triggers delete events-cal-trigger
- In alternativa, puoi eliminare il progetto Google Cloud per evitare addebiti. L'eliminazione di un progetto Google Cloud interrompe la fatturazione per tutte le risorse utilizzate all'interno del progetto.
Delete a Google Cloud project:
gcloud projects delete PROJECT_ID