Guida rapida: attiva Workflows utilizzando Cloud Audit Logs (Google Cloud CLI)

Attiva Workflows utilizzando Cloud Audit Logs (gcloud CLI)

Questa guida rapida mostra come eseguire un flusso di lavoro utilizzando un trigger Eventarc che riceve eventi da BigQuery utilizzando Cloud Audit Logs. BigQuery ospita set di dati pubblici a cui puoi accedere e integrarli nelle tue applicazioni. Il trigger esegue il flusso di lavoro esaminando i job BigQuery completati e passa l'evento come argomenti di runtime a un flusso di lavoro di destinazione.

Puoi completare questa guida rapida utilizzando Google Cloud CLI.

Utilizza Flussi di lavoro per creare ed eseguire il deployment di un flusso di lavoro che estrae e restituisca l'email dell'utente che ha eseguito la query e la query.
Crea un trigger Eventarc che connette un job BigQuery a un ricevitore di eventi Workflows.
Genera un evento eseguendo un job BigQuery utilizzando lo strumento a riga di comando bq. Questo evento viene passato come argomento di runtime al flusso di lavoro di destinazione.
Visualizzare l'email dell'utente che ha eseguito la query e che la query è stata eseguita.

Prima di iniziare

I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, consulta la pagina Sviluppare applicazioni in un ambiente Google Cloud limitato.

Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

Installa Google Cloud CLI.

Per initialize gcloud CLI, esegui questo comando:

gcloud init

Crea o seleziona un progetto Google Cloud.

Crea un progetto Google Cloud:
```
gcloud projects create PROJECT_ID
```
Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.
Seleziona il progetto Google Cloud che hai creato:
```
gcloud config set project PROJECT_ID
```
Sostituisci PROJECT_ID con il nome del tuo progetto Google Cloud.

Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

Installa Google Cloud CLI.

Per initialize gcloud CLI, esegui questo comando:

gcloud init

Crea o seleziona un progetto Google Cloud.

Crea un progetto Google Cloud:
```
gcloud projects create PROJECT_ID
```
Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.
Seleziona il progetto Google Cloud che hai creato:
```
gcloud config set project PROJECT_ID
```
Sostituisci PROJECT_ID con il nome del tuo progetto Google Cloud.

Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

Aggiorna gcloud componenti:
```
gcloud components update
```

Accedi utilizzando il tuo account:
```
gcloud auth login
```

Abilitare le API Compute Engine, Eventarc, Pub/Sub e Workflows.

gcloud services enable \
compute.googleapis.com \
eventarc.googleapis.com \
pubsub.googleapis.com \
workflows.googleapis.com \
workflowexecutions.googleapis.com

Imposta le variabili di configurazione utilizzate in questa guida rapida:

export WORKFLOW_LOCATION=us-central1
export TRIGGER_LOCATION=us-central1
export PROJECT_ID=PROJECT_ID
gcloud config set project ${PROJECT_ID}
gcloud config set workflows/location ${WORKFLOW_LOCATION}
gcloud config set eventarc/location ${TRIGGER_LOCATION}

Se sei l'autore del progetto, ti viene concesso il ruolo Proprietario di base (roles/owner). Per impostazione predefinita, questo ruolo di Identity and Access Management (IAM) include le autorizzazioni necessarie per l'accesso completo alla maggior parte delle risorse Google Cloud e puoi saltare questo passaggio.

Se non sei l'autore del progetto, le autorizzazioni richieste devono essere concesse per il progetto all'entità appropriata. Ad esempio, un'entità può essere un Account Google (per gli utenti finali) o un account di servizio (per applicazioni e carichi di lavoro di computing). Per ulteriori informazioni, consulta la pagina Ruoli e autorizzazioni per la destinazione dell'evento.
Autorizzazioni obbligatorie

Per ottenere le autorizzazioni necessarie per completare questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM sul tuo progetto:
- Amministratore Eventarc (roles/eventarc.admin)
- Funzione di accesso alla visualizzazione dei log (roles/logging.viewAccessor)
- Amministratore IAM progetto (roles/resourcemanager.projectIamAdmin)
- Service Account Admin (roles/iam.serviceAccountAdmin) [Amministratore account di servizio]
- Utente account di servizio (roles/iam.serviceAccountUser)
- Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin)
- Amministratore flussi di lavoro (roles/workflows.admin)
Per saperne di più sulla concessione dei ruoli, vedi Gestire l'accesso.

Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.
L'account di servizio predefinito di Compute Engine viene creato automaticamente dopo aver abilitato o utilizzato un servizio Google Cloud che utilizza Compute Engine.

A scopo di test, puoi collegare questo account di servizio a un trigger Eventarc per rappresentare l'identità del trigger. Prendi nota del formato email da utilizzare quando crei un trigger:
```
PROJECT_NUMBER-compute@developer.gserviceaccount.com
```
Sostituisci PROJECT_NUMBER con il numero del tuo progetto Google Cloud. Puoi trovare il numero del progetto nella pagina Dashboard della console Google Cloud o eseguendo il seguente comando:
```
gcloud projects describe PROJECT_ID --format='value(projectNumber)'
```
All'account di servizio Compute Engine viene concesso automaticamente il ruolo Editor di base (roles/editor) sul tuo progetto. Tuttavia, se le concessioni automatiche dei ruoli sono state disabilitate, consulta le istruzioni applicabili su Ruoli e autorizzazioni per creare un nuovo account di servizio e concedere i ruoli richiesti.

Attenzione: ti consigliamo di utilizzare l'account di servizio predefinito di Compute Engine solo a scopo di test. Per gli ambienti di produzione, consigliamo vivamente di creare un nuovo account di servizio e di concedere a tale account uno o più ruoli IAM contenenti le autorizzazioni minime richieste e che seguono il principio del privilegio minimo.
Concedi il ruolo Ricevitore eventi Eventarc (roles/eventarc.eventReceiver) sul progetto all'account di servizio predefinito di Compute Engine in modo che il trigger Eventarc possa ricevere eventi da provider di eventi.
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/eventarc.eventReceiver
```
Concedi il ruolo Invoker flussi di lavoro (roles/workflows.invoker) sul progetto all'account di servizio predefinito di Compute Engine in modo che l'account abbia l'autorizzazione per attivare l'esecuzione del flusso di lavoro.
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/workflows.invoker
```
Concedi il ruolo Writer log di Logging (roles/logging.logWriter) sul progetto all'account di servizio predefinito di Compute Engine in modo che il flusso di lavoro possa inviare log a Cloud Logging.
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/logging.logWriter
```
Se hai abilitato l'agente di servizio Cloud Pub/Sub entro l'8 aprile 2021 per supportare le richieste push Pub/Sub autenticate, concedi il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator) all'account di servizio gestito da Google. In caso contrario, questo ruolo è concesso per impostazione predefinita:
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
    --role=roles/iam.serviceAccountTokenCreator
```

Crea ed esegui il deployment di un flusso di lavoro

Creare ed eseguire il deployment di un flusso di lavoro che viene eseguito quando il completamento di un job BigQuery attiva un flusso di lavoro con una richiesta HTTP.

Apri un terminale o Cloud Shell.
Nella home directory, crea un nuovo file denominato myFirstWorkflow.yaml o myFirstWorkflow.json.

Copia e incolla quanto segue nel nuovo file e salvalo:

YAML

main:
  params: [event]
  steps:
      - log_event:
          call: sys.log
          args:
              text: ${event}
              severity: INFO
      - extract_data:
          assign:
          - user: ${event.data.protoPayload.authenticationInfo.principalEmail}
          - query: ${event.data.protoPayload.serviceData.jobCompletedEvent.job.jobConfiguration.query.query}
      - return_data:
              return:
                  user: ${user}
                  query: ${query}

JSON

{
  "main": {
    "params": [
      "event"
    ],
    "steps": [
      {
        "log_event": {
          "call": "sys.log",
          "args": {
            "text": "${event}",
            "severity": "INFO"
          }
        }
      },
      {
        "extract_data": {
          "assign": [
            {
              "user": "${event.data.protoPayload.authenticationInfo.principalEmail}"
            },
            {
              "query": "${event.data.protoPayload.serviceData.jobCompletedEvent.job.jobConfiguration.query.query}"
            }
          ]
        }
      },
      {
        "return_data": {
          "return": {
            "user": "${user}",
            "query": "${query}"
          }
        }
      }
    ]
  }
}

Esegui il deployment del flusso di lavoro:
```
export MY_WORKFLOW=myFirstWorkflow
gcloud workflows deploy ${MY_WORKFLOW} --source=myFirstWorkflow.yaml
```
Sostituisci .yaml con .json se hai copiato la versione JSON del flusso di lavoro di esempio.

Crea un trigger Eventarc

Il trigger Eventarc invia eventi da BigQuery alla destinazione Workflows.

Crea un trigger che filtri gli eventi BigQuery:
```
gcloud eventarc triggers create events-cal-trigger \
    --destination-workflow=${MY_WORKFLOW} \
    --destination-workflow-location=${WORKFLOW_LOCATION} \
    --event-filters="type=google.cloud.audit.log.v1.written" \
    --event-filters="serviceName=bigquery.googleapis.com" \
    --event-filters="methodName=jobservice.jobcompleted" \
    --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"
```
Viene creato un trigger denominato events-cal-trigger.

Tieni presente che quando crei un trigger Eventarc per la prima volta in un progetto Google Cloud, potrebbe verificarsi un ritardo nel provisioning dell'agente di servizio Eventarc. Per risolvere questo problema, prova a creare di nuovo il trigger. Per ulteriori informazioni, consulta la sezione Errori di autorizzazione negata.

Per confermare che events-cal-trigger è stato creato correttamente, esegui:

gcloud eventarc triggers describe events-cal-trigger --location=${TRIGGER_LOCATION}

L'output dovrebbe essere simile al seguente che elenca l'ora di creazione e la località dell'attivatore:

createTime: '2021-10-14T15:15:43.872360951Z'
[...]
name: projects/PROJECT_ID/locations/us-central1/triggers/events-cal-trigger

Generare e visualizzare un evento

Esegui un job BigQuery utilizzando lo strumento a riga di comando bq per generare un evento e attivare il flusso di lavoro. L'evento generato viene passato come argomento runtime del flusso di lavoro che restituisce l'email e la query dell'utente come risultato dell'esecuzione del flusso di lavoro.

Per attivare un flusso di lavoro, esegui un job BigQuery che acceda a un set di dati pubblico da cui recupera informazioni:
```
bq query --nouse_legacy_sql \
'SELECT
COUNT(*)
FROM
`bigquery-public-data`.samples.shakespeare'
```
Il completamento del job genera un evento che viene passato come argomento di runtime al flusso di lavoro che restituisce l'email dell'utente che ha eseguito la query e della query stessa.

Per verificare che sia stata attivata un'esecuzione di un flusso di lavoro, elenca le ultime cinque esecuzioni:

gcloud workflows executions list ${MY_WORKFLOW} --limit=5

L'output dovrebbe essere simile al seguente, elencando un NAME e un STATE uguale a SUCCEEDED per ogni esecuzione del flusso di lavoro.

NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
STATE: SUCCEEDED
START_TIME: 2021-11-08T21:59:33.870561996Z
END_TIME: 2021-11-08T21:59:34.150034659Z
NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/35d7c730-7ba5-4055-afee-c04ed706b179
STATE: SUCCEEDED
START_TIME: 2021-10-14T19:32:39.908739298Z
END_TIME: 2021-10-14T19:32:40.147484015Z

Tieni presente che nell'output, a073ad6a-c76b-4437-8d39-2ab3ade289d2 dal campo NAME è l'ID dell'esecuzione del flusso di lavoro. Copia l'ID esecuzione per utilizzarlo nel passaggio successivo.

Per visualizzare lo stato di esecuzione, esegui questo comando:

gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}

Sostituisci WORKFLOW_EXECUTION_ID con l'ID dell'esecuzione del flusso di lavoro corrispondente all'ora in cui è stato completato il job BigQuery.

L'output dovrebbe essere simile al seguente:

argument: [...]
duration: 0.277917625s
endTime: '2021-11-08T21:59:34.150034659Z'
name: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
result: '{"query":"SELECT\n  COUNT(*)\nFROM\n  `bigquery-public-data`.samples.shakespeare","user":"USER_EMAIL"}'
startTime: '2021-11-08T21:59:33.870561996Z'
state: SUCCEEDED

Verifica che il valore startTime in corrispondenza del quale è stato completato il job BigQuery e il valore START_TIME dell'esecuzione del flusso di lavoro corrispondano tra loro.

Complimenti, hai generato correttamente un evento BigQuery che ha attivato un ricevitore di eventi Workflows utilizzando Eventarc.

Esegui la pulizia

Elimina il flusso di lavoro creato:
```
gcloud workflows delete ${MY_WORKFLOW}
```
Quando ti viene chiesto se vuoi continuare, digita y.

Elimina l'attivatore che hai creato:

gcloud eventarc triggers delete events-cal-trigger

In alternativa, puoi eliminare il progetto Google Cloud per evitare addebiti. L'eliminazione di un progetto Google Cloud interrompe la fatturazione per tutte le risorse utilizzate all'interno del progetto.
Attenzione: l'eliminazione di un progetto ha i seguenti effetti:
- L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività in questo documento, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
- Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.
Elimina un progetto Google Cloud:
```
gcloud projects delete PROJECT_ID
```

Attiva Workflows utilizzando Cloud Audit Logs (gcloud CLI)

Prima di iniziare

Autorizzazioni obbligatorie

Crea ed esegui il deployment di un flusso di lavoro

YAML

JSON

Crea un trigger Eventarc

Generare e visualizzare un evento

Esegui la pulizia

Passaggi successivi