Attivare i flussi di lavoro utilizzando Cloud Audit Logs (gcloud CLI)

Attivare i flussi di lavoro utilizzando Cloud Audit Logs (gcloud CLI)

Standard

Questa guida rapida illustra come eseguire un flusso di lavoro utilizzando un trigger Eventarc che riceve eventi di Cloud Audit Logs da BigQuery. BigQuery ospita set di dati pubblici a cui puoi accedere e integrare nelle tue applicazioni. L'attivatore esegue il flusso di lavoro ascoltando un job BigQuery che esegue query su un set di dati pubblico. Poi passa gli eventi come argomenti di runtime al flusso di lavoro di destinazione.

Puoi completare questa guida rapida utilizzando Google Cloud CLI.

1. Utilizza Workflows per creare ed eseguire il deployment di un flusso di lavoro che estrae e restituisce i dati da un evento.
2. Creare un trigger Eventarc che collega un job BigQuery a un ricevitore eventi Workflows.
3. Genera un evento eseguendo un job BigQuery utilizzando lo strumento a riga di comando bq. Questo evento viene passato come argomento runtime al flusso di lavoro di destinazione.
4. Visualizza i dati sugli eventi nell'output dell'esecuzione del flusso di lavoro.

Prima di iniziare

I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un Google Cloud ambiente vincolato.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Make sure that billing is enabled for your Google Cloud project.

6. Install the Google Cloud CLI.

7. To initialize the gcloud CLI, run the following command:

   gcloud init

8. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

9. Make sure that billing is enabled for your Google Cloud project.

10. Aggiorna i componenti gcloud:

    gcloud components update

11. Accedi utilizzando il tuo account:

    gcloud auth login

12. Abilita le API Compute Engine, Eventarc, Pub/Sub e Workflows.

    gcloud services enable \
    compute.googleapis.com \
    eventarc.googleapis.com \
    pubsub.googleapis.com \
    workflows.googleapis.com \
    workflowexecutions.googleapis.com

13. Imposta le variabili di configurazione utilizzate in questa guida rapida:

    export WORKFLOW_LOCATION=us-central1
    export TRIGGER_LOCATION=us-central1
    export PROJECT_ID=PROJECT_ID
    gcloud config set project ${PROJECT_ID}
    gcloud config set workflows/location ${WORKFLOW_LOCATION}
    gcloud config set eventarc/location ${TRIGGER_LOCATION}

14. Se sei il creator del progetto, ti viene assegnato il ruolo di proprietario di base (roles/owner). Per impostazione predefinita, questo ruolo Identity and Access Management (IAM) include le autorizzazioni necessarie per l'accesso completo alla maggior parte delle risorse e puoi saltare questo passaggio. Google Cloud

    Se non sei il creator del progetto, le autorizzazioni richieste devono essere concesse al principale appropriato. Ad esempio, un'entità può essere un Account Google (per gli utenti finali) o un account di servizio (per le applicazioni e i carichi di lavoro di calcolo). Per ulteriori informazioni, consulta la pagina Ruoli e autorizzazioni relativa alla destinazione dell'evento.

    Autorizzazioni obbligatorie

    Per ottenere le autorizzazioni necessarie per completare questa guida introduttiva, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

    • Eventarc Admin (roles/eventarc.admin)
    • Logs View Accessor (roles/logging.viewAccessor)
    • Amministratore IAM del progetto (roles/resourcemanager.projectIamAdmin)
    • Amministratore account di servizio (roles/iam.serviceAccountAdmin)
    • Utente account di servizio (roles/iam.serviceAccountUser)
    • Amministratore utilizzo servizio (roles/serviceusage.serviceUsageAdmin)
    • Amministratore di Workflows (roles/workflows.admin)

    Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

15. Prendi nota dell'account di servizio predefinito di Compute Engine, poiché lo collegherai a un trigger Eventarc per rappresentare l'identità dell'trigger a fini di test. Questo account di servizio viene creato automaticamente dopo aver attivato o utilizzato un Google Cloud servizio che utilizza Compute Engine e con il seguente formato email:

    [e-mail]

    Sostituisci PROJECT_NUMBER con il numero Google Cloud del tuo progetto. Puoi trovare il numero del progetto nella pagina Welcome della console Google Cloud o eseguendo il seguente comando:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Per gli ambienti di produzione, ti consigliamo vivamente di creare un nuovo account di servizio e di assegnargli uno o più ruoli IAM contenenti le autorizzazioni minime richieste e di seguire il principio del privilegio minimo.

    Nota:

    Il vincolo del criterio dell'organizzazione iam.automaticIamGrantsForDefaultServiceAccounts impedisce che il ruolo Editor venga concesso automaticamente agli account di servizio predefiniti. Se hai creato la tua organizzazione dopo il 3 maggio 2024, questo vincolo viene applicato per impostazione predefinita.

    Ti consigliamo vivamente di applicare questo vincolo per disattivare la concessione automatica dei ruoli. Se disattivi la concessione automatica dei ruoli, devi decidere quali ruoli concedere agli account di servizio predefiniti e poi concederli personalmente.

    Se l'account di servizio predefinito dispone già del ruolo Editor, ti consigliamo di sostituire il ruolo Editor con ruoli meno permissivi.Per modificare in sicurezza i ruoli dell'account di servizio, utilizza Policy Simulator per vedere l'impatto della modifica, quindi concedi e revoca i ruoli appropriati.

16. Concedi il ruolo Riepilogatore eventi Eventarc (roles/eventarc.eventReceiver) sul progetto all'account di servizio predefinito di Compute Engine in modo che l'attivatore Eventarc possa ricevere eventi dai provider di eventi.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/eventarc.eventReceiver

17. Concedi il ruolo invocatore dei flussi di lavoro (roles/workflows.invoker) sul progetto all'account di servizio predefinito di Compute Engine in modo che l'account abbia l'autorizzazione per attivare l'esecuzione del flusso di lavoro.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/workflows.invoker

18. Concedi il ruolo Writer di log di Logging (roles/logging.logWriter) sul progetto all'account di servizio predefinito di Compute Engine in modo che il flusso di lavoro possa inviare i log a Cloud Logging.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/logging.logWriter

19. Se hai attivato l'agente di servizio Cloud Pub/Sub il giorno 8 aprile 2021 o in una data precedente per supportare le richieste push Pub/Sub autenticate, concedi all'agente di servizio il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator). In caso contrario, questo ruolo viene concesso per impostazione predefinita:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/iam.serviceAccountTokenCreator

Crea ed esegui il deployment di un flusso di lavoro

Crea ed esegui il deployment di un flusso di lavoro che viene eseguito quando il completamento di un job BigQuery attiva il flusso di lavoro con una richiesta HTTP.

1. Apri un terminale o Cloud Shell.
2. Nella tua home directory, crea un nuovo file denominato myFirstWorkflow.yaml o myFirstWorkflow.json.
3. Copia e incolla il seguente testo nel nuovo file e salvalo:

   YAML

   main:
     params: [event]
     steps:
         - log_event:
             call: sys.log
             args:
                 text: ${event}
                 severity: INFO
         - extract_data:
             assign:
             - data: ${event.data.protoPayload}
         - return_data:
                 return:
                     data: ${data}

   JSON

   {
     "main": {
       "params": [
         "event"
       ],
       "steps": [
         {
           "log_event": {
             "call": "sys.log",
             "args": {
               "text": "${event}",
               "severity": "INFO"
             }
           }
         },
         {
           "extract_data": {
             "assign": [
               {
                 "data": "${event.data.protoPayload}"
               }
             ]
           }
         },
         {
           "return_data": {
             "return": {
               "data": "${data}"
             }
           }
         }
       ]
     }
   }

4. Esegui il deployment del flusso di lavoro:

   export MY_WORKFLOW=myFirstWorkflow
   gcloud workflows deploy ${MY_WORKFLOW} --source=myFirstWorkflow.yaml

   Sostituisci .yaml con .json se hai copiato la versione JSON del flusso di lavoro di esempio.

Crea un trigger Eventarc

Per creare un trigger Eventarc che indirizzi gli eventi da BigQuery a una destinazione Workflows, esegui il comando gcloud eventarc triggers create.

1. Crea un trigger che filtra gli eventi BigQuery:

   gcloud eventarc triggers create events-cal-trigger \
       --destination-workflow=${MY_WORKFLOW} \
       --destination-workflow-location=${WORKFLOW_LOCATION} \
       --event-filters="type=google.cloud.audit.log.v1.written" \
       --event-filters="serviceName=bigquery.googleapis.com" \
       --event-filters="methodName=google.cloud.bigquery.v2.JobService.InsertJob" \
       --service-account="[e-mail]"

   Viene creato un trigger denominato events-cal-trigger.

   Tieni presente che quando crei un trigger Eventarc per la prima volta in un Google Cloud progetto, potrebbe verificarsi un ritardo nel provisioning dell'agente di servizio Eventarc. In genere questo problema può essere risolto tentando di creare di nuovo l'attivatore. Per ulteriori informazioni, consulta Errori di autorizzazione negata.

2. Per confermare che events-cal-trigger è stato creato correttamente, esegui:

   gcloud eventarc triggers describe events-cal-trigger --location=${TRIGGER_LOCATION}

   L'output elenca la data e la località di creazione dell'attivatore e dovrebbe essere simile al seguente:

   createTime: '2021-10-14T15:15:43.872360951Z'
   [...]
   name: projects/PROJECT_ID/locations/us-central1/triggers/events-cal-trigger
   

Nota: anche se l'attivatore viene creato immediatamente, possono essere necessari fino a due minuti prima che sia completamente funzionale.

Generare e visualizzare un evento

Esegui un job BigQuery utilizzando lo strumento a riga di comando bq per generare eventi e attivare il flusso di lavoro.

1. Per attivare il flusso di lavoro, esegui un job BigQuery che accede a un set di dati pubblico e ne recupera le informazioni:

   bq query --nouse_legacy_sql \
   'SELECT
   COUNT(*)
   FROM
   `bigquery-public-data`.samples.shakespeare'

   Gli eventi generati vengono passati come argomenti di runtime al flusso di lavoro che restituisce i dati del payload come risultato dell'esecuzione del flusso di lavoro.

2. Per verificare che il flusso di lavoro sia stato attivato, elenca le ultime due esecuzioni:

   gcloud workflows executions list ${MY_WORKFLOW} --limit=2

   Il job BigQuery attiva due esecuzioni del flusso di lavoro. Uno segnala la modifica del job, l'altro l'inserimento del job stesso. L'output elenca un NAME e un STATE uguali a SUCCEEDED per ogni esecuzione e dovrebbe essere simile al seguente:

   NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
   STATE: SUCCEEDED
   START_TIME: 2024-02-06T14:16:14.390549813Z
   END_TIME: 2024-02-06T14:16:14.870102511Z
   NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/35d7c730-7ba5-4055-afee-c04ed706b179
   STATE: SUCCEEDED
   START_TIME: 2024-02-06T14:16:14.389882601Z
   END_TIME: 2024-02-06T14:16:14.829942525Z

   Tieni presente che nell'output, a073ad6a-c76b-4437-8d39-2ab3ade289d2 del campo NAME è l'ID dell'esecuzione del flusso di lavoro. Copia l'ID esecuzione da utilizzare nel passaggio successivo.

3. Per visualizzare lo stato di esecuzione, esegui il seguente comando:

   gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}

   Sostituisci WORKFLOW_EXECUTION_ID con l'ID dell'esecuzione del flusso di lavoro che corrisponde all'ora in cui è stato completato il job BigQuery.

   L'output dovrebbe essere simile al seguente:

   argument: [...]
   duration: 0.277917625s
   endTime: '2024-02-06T14:16:14.870102511Z'
   name: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
   result: '{"data": [...]}'
   startTime: '2024-02-06T14:16:14.390549813Z'
   state: SUCCEEDED

4. Verifica che il startTime in cui è stato completato il job BigQuery e il START_TIME dell'esecuzione del flusso di lavoro corrispondano tra loro.

Hai generato correttamente un evento BigQuery che ha attivato un destinatario di eventi Workflows utilizzando Eventarc.

Esegui la pulizia

1. Elimina il flusso di lavoro creato:

   gcloud workflows delete ${MY_WORKFLOW}

   Quando ti viene chiesto se vuoi continuare, inserisci y.
2. Elimina l'attivatore che hai creato:

   gcloud eventarc triggers delete events-cal-trigger

3. In alternativa, puoi eliminare il progetto Google Cloud per evitare addebiti. L'eliminazione del progetto Google Cloud interrompe la fatturazione per tutte le risorse utilizzate al suo interno.
   Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

   • L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
   • Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

   Delete a Google Cloud project:

   gcloud projects delete PROJECT_ID

Passaggi successivi

• Controlla l'ordine di esecuzione in un flusso di lavoro
• Determinare i filtri eventi per Cloud Audit Logs
• Inoltra gli eventi di Cloud Audit Logs a Workflows