Guida rapida: ricevi eventi utilizzando Cloud Audit Logs (Google Cloud CLI)

Ricevi eventi utilizzando Cloud Audit Logs (gcloud CLI)

Questa guida rapida mostra come configurare un servizio Google Kubernetes Engine (GKE) come destinazione per ricevere eventi da Cloud Storage utilizzando Eventarc.

In questa guida rapida:

  1. Configura un account di servizio in modo che Eventarc possa eseguire il pull degli eventi e inoltrarli alla destinazione.
  2. Creare un bucket Cloud Storage da utilizzare come origine dell'evento.
  3. Creare un cluster GKE.
  4. Inizializzare le destinazioni GKE in Eventarc.
  5. Eseguire il deployment di un servizio GKE che riceve eventi.
  6. Creare un trigger Eventarc che invia eventi da Cloud Storage al servizio GKE.
  7. Carica un file nel bucket Cloud Storage per generare un evento e visualizzarlo nei log del pod GKE.

Prima di iniziare

  1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
  2. Installa Google Cloud CLI.
  3. Per initialize gcloud CLI, esegui questo comando:

    gcloud init
  4. Crea o seleziona un progetto Google Cloud.

    • Crea un progetto Google Cloud:

      gcloud projects create PROJECT_ID

      Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

    • Seleziona il progetto Google Cloud che hai creato:

      gcloud config set project PROJECT_ID

      Sostituisci PROJECT_ID con il nome del tuo progetto Google Cloud.

  5. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  6. Installa Google Cloud CLI.
  7. Per initialize gcloud CLI, esegui questo comando:

    gcloud init
  8. Crea o seleziona un progetto Google Cloud.

    • Crea un progetto Google Cloud:

      gcloud projects create PROJECT_ID

      Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

    • Seleziona il progetto Google Cloud che hai creato:

      gcloud config set project PROJECT_ID

      Sostituisci PROJECT_ID con il nome del tuo progetto Google Cloud.

  9. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  10. Aggiorna i componenti gcloud:
    gcloud components update
  11. Abilita le API Eventarc, Resource Manager e Google Kubernetes Engine:
    gcloud services enable eventarc.googleapis.com \
        cloudresourcemanager.googleapis.com \
        container.googleapis.com
  12. Imposta le variabili di configurazione utilizzate in questa guida rapida:
    PROJECT_ID=$(gcloud config get-value project)
    TRIGGER_SA=eventarc-sa
    CLUSTER_NAME=events-cluster
    SERVICE_NAME=hello-gke
  13. Se sei l'autore del progetto, ti viene concesso il ruolo Proprietario di base (roles/owner). Per impostazione predefinita, questo ruolo di Identity and Access Management (IAM) include le autorizzazioni necessarie per l'accesso completo alla maggior parte delle risorse Google Cloud e puoi saltare questo passaggio.

    Se non sei l'autore del progetto, le autorizzazioni richieste devono essere concesse per il progetto all'entità appropriata. Ad esempio, un'entità può essere un Account Google (per gli utenti finali) o un account di servizio (per applicazioni e carichi di lavoro di computing). Per ulteriori informazioni, consulta la pagina Ruoli e autorizzazioni per la destinazione dell'evento.

    Autorizzazioni obbligatorie

    Per ottenere le autorizzazioni necessarie per completare questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM sul tuo progetto:

    Per saperne di più sulla concessione dei ruoli, vedi Gestire l'accesso.

    Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.

  14. L'account di servizio predefinito di Compute Engine viene creato automaticamente dopo aver abilitato o utilizzato un servizio Google Cloud che utilizza Compute Engine.

    A scopo di test, puoi collegare questo account di servizio a un trigger Eventarc per rappresentare l'identità del trigger. Prendi nota del formato email da utilizzare quando crei un trigger:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com
    

    Sostituisci PROJECT_NUMBER con il numero del tuo progetto Google Cloud. Puoi trovare il numero del progetto nella pagina Dashboard della console Google Cloud o eseguendo il seguente comando:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    All'account di servizio Compute Engine viene concesso automaticamente il ruolo Editor di base (roles/editor) sul tuo progetto. Tuttavia, se le concessioni automatiche dei ruoli sono state disabilitate, consulta le istruzioni applicabili su Ruoli e autorizzazioni per creare un nuovo account di servizio e concedere i ruoli richiesti.

  15. Concedi il ruolo Sottoscrittore Pub/Sub (roles/pubsub.subscriber) sul progetto all'account di servizio predefinito di Compute Engine in modo che il trigger Eventarc possa eseguire il pull degli eventi da Pub/Sub.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/pubsub.subscriber
  16. Concedi il ruolo Ricevitore eventi Eventarc (roles/eventarc.eventReceiver) sul progetto all'account di servizio predefinito di Compute Engine in modo che il trigger Eventarc possa ricevere eventi da provider di eventi.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/eventarc.eventReceiver
  17. Se hai abilitato l'agente di servizio Cloud Pub/Sub entro l'8 aprile 2021 per supportare le richieste push Pub/Sub autenticate, concedi il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator) all'account di servizio gestito da Google. In caso contrario, questo ruolo è concesso per impostazione predefinita:
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
        --role=roles/iam.serviceAccountTokenCreator
  18. Per Google Cloud Storage, abilita i tipi di log per i seguenti servizi: Lettura amministratore, Lettura dati e Scrittura dati:

    1. Leggi il criterio IAM del progetto e archivialo in un file:
      gcloud projects get-iam-policy PROJECT_ID > /tmp/policy.yaml
    2. Modifica il criterio in "/tmp/policy.yaml", aggiungendo o modificando *solo* la configurazione degli audit log di accesso ai dati. Attenzione: devi conservare le sezioni "associazioni:" ed "etag:" senza modifiche. In caso contrario, il progetto potrebbe diventare inutilizzabile.
      auditConfigs:
        - auditLogConfigs:
          - logType: ADMIN_READ
          - logType: DATA_WRITE
          - logType: DATA_READ
          service: storage.googleapis.com
        bindings:
        - members:
          - user:EMAIL_ADDRESS
          role: roles/owner
        etag: BwW_bHKTV5U=
        version: 1
      Sostituisci EMAIL_ADDRESS con il tuo indirizzo email.
    3. Scrivi il nuovo criterio IAM:
      gcloud projects set-iam-policy PROJECT_ID /tmp/policy.yaml
      Se il comando precedente segnala un conflitto con un'altra modifica, ripeti questi passaggi, iniziando dalla lettura del criterio IAM del progetto.

Crea un bucket Cloud Storage

Questa guida rapida utilizza Cloud Storage come origine evento. Crea un bucket Cloud Storage:

gsutil mb -l us-central1 gs://events-quickstart-$(gcloud config get-value project)/

Dopo aver creato l'origine evento, puoi eseguire il deployment del servizio di ricezione di eventi su GKE.

crea un cluster GKE

Un cluster GKE è composto da almeno una macchina del piano di controllo del cluster e da più macchine worker denominate nodi. I nodi sono istanze di macchine virtuali (VM) Compute Engine che eseguono i processi Kubernetes necessari per renderle parte del cluster. Puoi eseguire il deployment delle applicazioni sui cluster e le applicazioni vengono eseguite sui nodi.

Crea un cluster Autopilot denominato events-cluster:

gcloud container clusters create-auto $CLUSTER_NAME --region us-central1

Il completamento della creazione del cluster potrebbe richiedere diversi minuti. Una volta creato il cluster, l'output dovrebbe essere simile al seguente:

Creating cluster events-cluster...done.
Created [https://container.googleapis.com/v1/projects/MY_PROJECT/zones/us-central1/clusters/events-cluster].
[...]
STATUS: RUNNING

Viene creato un cluster GKE denominato events-cluster in un progetto con ID progetto Google Cloud MY_PROJECT.

Abilita le destinazioni GKE

Per ogni trigger che ha come target un servizio GKE, Eventarc crea un componente di forwarding di eventi che estrae eventi da Pub/Sub e li inoltra alla destinazione. Per creare il componente e gestire le risorse nel cluster GKE, concedi le autorizzazioni all'agente di servizio Eventarc:

  1. Abilita le destinazioni GKE per Eventarc:

    gcloud eventarc gke-destinations init
    
  2. Alla richiesta di associare i ruoli richiesti, inserisci y.

    I ruoli seguenti sono associati all'account di servizio:

    • compute.viewer
    • container.developer
    • iam.serviceAccountAdmin

Crea una destinazione di servizio GKE

Utilizzando un'immagine predefinita, gcr.io/cloudrun/hello, esegui il deployment di un servizio GKE che riceverà e registrerà gli eventi:

  1. Kubernetes utilizza un file YAML denominato kubeconfig per archiviare le informazioni di autenticazione del cluster per kubectl. Aggiorna il file kubeconfig con credenziali e informazioni sull'endpoint in modo che punti kubectl al cluster GKE:

    gcloud container clusters get-credentials $CLUSTER_NAME \
        --region us-central1
    
  2. Crea un deployment Kubernetes:

    kubectl create deployment $SERVICE_NAME \
        --image=gcr.io/cloudrun/hello
    
  3. Esponilo come un servizio Kubernetes:

    kubectl expose deployment $SERVICE_NAME \
        --type ClusterIP --port 80 --target-port 8080
    

Crea un trigger Eventarc

Quando carichi un file in Cloud Storage, il trigger Eventarc invia eventi da Cloud Storage al servizio GKE hello-gke.

  1. Crea un trigger di Cloud Audit Logs:

    gcloud eventarc triggers create my-gke-trigger \
        --location="us-central1" \
        --destination-gke-cluster="events-cluster" \
        --destination-gke-location="us-central1" \
        --destination-gke-namespace="default" \
        --destination-gke-service="hello-gke" \
        --destination-gke-path="/" \
        --event-filters="type=google.cloud.audit.log.v1.written" \
        --event-filters="serviceName=storage.googleapis.com" \
        --event-filters="methodName=storage.objects.create" \
        --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"
    

    Viene creato un trigger denominato my-gke-trigger.

  2. Verifica che il trigger sia stato creato:

    gcloud eventarc triggers list
    

    L'output dovrebbe essere simile al seguente:

    NAME: my-gke-trigger
    TYPE: google.cloud.audit.log.v1.written
    DESTINATION: GKE: hello-gke
    ACTIVE: By 20:39:43
    LOCATION: us-central1
    

Generare e visualizzare un evento

Caricare un file di testo in Cloud Storage per generare un evento e attivare il servizio GKE. Puoi quindi visualizzare il messaggio dell'evento nei log del pod.

  1. Carica un file di testo in Cloud Storage:

    echo "Hello World" > random.txt
    gsutil cp random.txt gs://events-quickstart-$(gcloud config get-value project)/random.txt

    Il caricamento genera un evento e il pod GKE ne registra il messaggio.

  2. Per visualizzare il messaggio dell'evento:

    1. Trova l'ID pod:

      kubectl get pods

      L'output dovrebbe essere simile al seguente:

      NAME                                         READY   STATUS             RESTARTS   AGE
      hello-gke-645964f578-2mjjt                   1/1     Running            0          35s

      Copia il valore NAME del pod per utilizzarlo nel passaggio successivo.

    2. Controlla i log del pod:

      kubectl logs NAME

      Sostituisci NAME con il nome del pod che hai copiato.

    3. Cerca una voce di log simile alla seguente:

      2022/02/24 22:23:49 Hello from Cloud Run! The container started successfully and is listening for HTTP requests on $PORT
      {"severity":"INFO","eventType":"google.cloud.audit.log.v1.written","message":"Received event of type google.cloud.audit.log.v1.written. [...]}
      

Esegui la pulizia

Sebbene Cloud Run non venga addebitato quando il servizio non è in uso, ti potrebbero comunque essere addebitati i costi per l'archiviazione dell'immagine container in Container Registry, le risorse Eventarc, i messaggi Pub/Sub e per il cluster GKE.

Puoi eliminare l'immagine, eliminare il bucket di archiviazione ed eliminare il cluster GKE.

Per eliminare il trigger Eventarc:

gcloud eventarc triggers delete my-gke-trigger

In alternativa, puoi eliminare il progetto Google Cloud per evitare addebiti. L'eliminazione del progetto Google Cloud interrompe la fatturazione per tutte le risorse utilizzate all'interno del progetto.

gcloud projects delete PROJECT_ID_OR_NUMBER

Sostituisci PROJECT_ID_OR_NUMBER con l'ID o il numero del progetto.

Passaggi successivi

Ricevi eventi utilizzando Pub/Sub (Google Cloud CLI)