Utilizzare Eventarc per ricevere eventi da Cloud Storage


Questo tutorial mostra come eseguire il deployment di un'applicazione containerizzata utilizzando un servizio Cloud Run autenticato che riceve eventi tramite Eventarc.

Specificando i filtri per un trigger Eventarc, puoi configurare il routing degli eventi, inclusa l'origine e la destinazione degli eventi. In questo caso, un aggiornamento a un bucket Cloud Storage attiva l'evento e viene inviata una richiesta al servizio Cloud Run sotto forma di richiesta HTTP.

Obiettivi

In questo tutorial, imparerai a:

  1. Crea un bucket Cloud Storage come origine evento.

  2. Esegui il deployment di un servizio di ricezione di eventi in Cloud Run che richiede invocazioni autenticate.

  3. Crea un trigger Eventarc che inoltra gli eventi dal bucket Cloud Storage al servizio Cloud Run.

  4. Generare un evento caricando un file nel bucket Cloud Storage e visualizzare l'evento nei log di Cloud Run.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi Google Cloud utenti potrebbero avere diritto a una prova gratuita.

Prima di iniziare

I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un Google Cloud ambiente vincolato.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.
  3. To initialize the gcloud CLI, run the following command:

    gcloud init
  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Install the Google Cloud CLI.
  7. To initialize the gcloud CLI, run the following command:

    gcloud init
  8. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  9. Make sure that billing is enabled for your Google Cloud project.

  10. Se non utilizzi Cloud Shell, aggiorna i componenti di Google Cloud CLI e accedi utilizzando il tuo account:
    gcloud components update
    gcloud auth login
  11. Abilita le API:
    gcloud services enable artifactregistry.googleapis.com \
        cloudbuild.googleapis.com \
        eventarc.googleapis.com \
        run.googleapis.com \
        storage.googleapis.com
  12. Imposta le variabili di configurazione utilizzate in questo tutorial:
    export REGION=us-central1
    gcloud config set run/region ${REGION}
    gcloud config set run/platform managed
    gcloud config set eventarc/location ${REGION}
  13. Tu o il tuo amministratore dovete concedere all'account di deployment, all'identità di attivazione e, facoltativamente, all'agente di servizio Pub/Sub i seguenti ruoli IAM.

    Ruoli richiesti per l'account di deployment

    1. Se sei il creator del progetto, ti viene assegnato il ruolo di proprietario di base (roles/owner). Per impostazione predefinita, questo ruolo Identity and Access Management (IAM) include le autorizzazioni necessarie per l'accesso completo alla maggior parte delle risorse e puoi saltare questo passaggio. Google Cloud

      Se non sei il creator del progetto, le autorizzazioni richieste devono essere concesse al principale appropriato. Ad esempio, un'entità può essere un Account Google (per gli utenti finali) o un account di servizio (per le applicazioni e i carichi di lavoro di calcolo). Per ulteriori informazioni, consulta la pagina Ruoli e autorizzazioni relativa alla destinazione dell'evento.

      Per ottenere le autorizzazioni necessarie per completare questo tutorial, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

      Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

      Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

      Tieni presente che per impostazione predefinita, le autorizzazioni di Cloud Build includono le autorizzazioni per caricare e scaricare gli artefatti di Artifact Registry.

    Ruoli obbligatori per l'identità dell'attivatore

    1. Prendi nota dell'account di servizio predefinito di Compute Engine, poiché lo collegherai a un trigger Eventarc per rappresentare l'identità dell'trigger a fini di test. Questo account di servizio viene creato automaticamente dopo aver attivato o utilizzato un Google Cloud servizio che utilizza Compute Engine e con il seguente formato email:

      PROJECT_NUMBER-compute@developer.gserviceaccount.com

      Sostituisci PROJECT_NUMBER con il numero Google Cloud del tuo progetto. Puoi trovare il numero del progetto nella pagina Welcome della console Google Cloud o eseguendo il seguente comando:

      gcloud projects describe PROJECT_ID --format='value(projectNumber)'

      Per gli ambienti di produzione, ti consigliamo vivamente di creare un nuovo account di servizio e di assegnargli uno o più ruoli IAM contenenti le autorizzazioni minime richieste e di seguire il principio del privilegio minimo.

    2. Per impostazione predefinita, i servizi Cloud Run possono essere chiamati solo da proprietari, editor e amministratori e invocatori di progetti Cloud Run. Puoi controllare l'accesso in base al servizio. Tuttavia, per scopi di test, concedi al ruolo invocatore Cloud Run (run.invoker) sul Google Cloud progetto l'account di servizio Compute Engine. In questo modo, il ruolo viene concesso a tutti i servizi e i job Cloud Run di un progetto.
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
          --role=roles/run.invoker

      Tieni presente che se crei un trigger per un servizio Cloud Run autenticato senza concedere il ruolo Invoker di Cloud Run, l'trigger viene creato correttamente ed è attivo. Tuttavia, l'attivatore non funzionerà come previsto e nei log verrà visualizzato un messaggio simile al seguente:

      The request was not authenticated. Either allow unauthenticated invocations or set the proper Authorization header.
    3. Concedi il ruolo Riepilogatore eventi Eventarc (roles/eventarc.eventReceiver) sul progetto all'account di servizio predefinito di Compute Engine in modo che l'attivatore Eventarc possa ricevere eventi dai provider di eventi.
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
          --role=roles/eventarc.eventReceiver

    Ruolo facoltativo per l'agente di servizio Pub/Sub

    • Se hai attivato l'agente di servizio Cloud Pub/Sub il giorno 8 aprile 2021 o in una data precedente per supportare le richieste push Pub/Sub autenticate, concedi all'agente di servizio il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator). In caso contrario, questo ruolo viene concesso per impostazione predefinita:
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
          --role=roles/iam.serviceAccountTokenCreator

Creare un repository standard Artifact Registry

Crea un repository standard Artifact Registry per archiviare l'immagine container:

gcloud artifacts repositories create REPOSITORY \
    --repository-format=docker \
    --location=$REGION

Sostituisci REPOSITORY con un nome univoco per il repository.

Crea un bucket Cloud Storage

Crea un bucket Cloud Storage da utilizzare come origine evento:

gcloud storage buckets create gs://PROJECT_ID-bucket/ --location=us-central1

Dopo aver creato l'origine evento, puoi eseguire il deployment del servizio di ricezione di eventi su Cloud Run.

Esegui il deployment di un ricevitore di eventi in Cloud Run

Esegui il deployment di un servizio Cloud Run che riceve e registra gli eventi.

  1. Clona il repository GitHub:

    Node.js

    git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git

    In alternativa, puoi scaricare l'esempio come file ZIP ed estrarlo.

    Python

    git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git

    In alternativa, puoi scaricare l'esempio come file ZIP ed estrarlo.

    Vai

    git clone https://github.com/GoogleCloudPlatform/golang-samples.git

    In alternativa, puoi scaricare l'esempio come file ZIP ed estrarlo.

    Java

    git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git

    In alternativa, puoi scaricare l'esempio come file ZIP ed estrarlo.

    C#

    git clone https://github.com/GoogleCloudPlatform/dotnet-docs-samples.git

    In alternativa, puoi scaricare l'esempio come file ZIP ed estrarlo.

  2. Passa alla directory che contiene il codice campione di Cloud Run:

    Node.js

    cd nodejs-docs-samples/eventarc/audit-storage/

    Python

    cd python-docs-samples/eventarc/audit-storage/

    Vai

    cd golang-samples/eventarc/audit_storage/

    Java

    cd java-docs-samples/eventarc/audit-storage/

    C#

    cd dotnet-docs-samples/eventarc/audit-storage/
  3. Crea il contenitore per il servizio Cloud Run:

    export PROJECT_ID=$(gcloud config get-value project)
    export SERVICE_NAME=helloworld-events
    gcloud builds submit --tag $REGION-docker.pkg.dev/${PROJECT_ID}/REPOSITORY/${SERVICE_NAME}:v1
  4. Esegui il deployment dell'immagine container in Cloud Run:

    gcloud run deploy ${SERVICE_NAME} \
        --image $REGION-docker.pkg.dev/${PROJECT_ID}/REPOSITORY/${SERVICE_NAME}:v1
  5. Alla richiesta Consenti chiamate non autenticate a helloworld-events (y/N)?, rispondi n per "No".

Quando viene visualizzato l'URL del servizio Cloud Run, il deployment è completato.

Crea un trigger Eventarc

Il trigger Eventarc invia eventi dal bucket Cloud Storage al servizio Cloud Run helloworld-events. Il servizio richiede l'autenticazione e l'evento deve essere attivato da un chiamante che dispone di un account di servizio con i ruoli e le autorizzazioni IAM richiesti per utilizzare la risorsa.

  1. Crea un trigger che filtra gli eventi Cloud Storage:

    gcloud eventarc triggers create ${SERVICE_NAME} \
        --destination-run-service=${SERVICE_NAME} \
        --destination-run-region=${REGION} \
        --location=${REGION} \
        --event-filters="type=google.cloud.storage.object.v1.finalized" \
        --event-filters="bucket=PROJECT_ID-bucket" \
        --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Viene creato un trigger denominato helloworld-events.

    Tieni presente che quando crei un trigger Eventarc per la prima volta in un Google Cloud progetto, potrebbe verificarsi un ritardo nel provisioning dell'agente di servizio Eventarc. In genere questo problema può essere risolto tentando di creare di nuovo l'attivatore. Per ulteriori informazioni, consulta Errori di autorizzazione negata.

  2. Verifica che l'attivatore sia stato creato correttamente. Tieni presente che, anche se il trigger viene creato immediatamente, possono essere necessari fino a due minuti prima che sia completamente funzionale.

    gcloud eventarc triggers list --location=${REGION}

    L'output dovrebbe essere simile al seguente:

    NAME: helloworld-events
    TYPE: google.cloud.storage.object.v1.finalized
    DESTINATION: Cloud Run service: helloworld-events
    ACTIVE: Yes
    

Generare e visualizzare un evento

Carica un file di testo nel bucket Cloud Storage per generare un evento che viene indirizzato al servizio Cloud Run. Il servizio Cloud Run registra l'evento nei log del servizio.

  1. Per generare un evento:

    Carica un file di testo su Cloud Storage:

     echo "Hello World" > random.txt
     gcloud storage cp random.txt gs://PROJECT_ID-bucket/random.txt
    

    Il caricamento genera un evento e il servizio Cloud Run registra il messaggio dell'evento.

  2. Per visualizzare la voce di log:

    1. Filtra le voci di log e restituisce l'output in formato JSON:

      gcloud logging read "resource.labels.service_name=helloworld-events AND textPayload:random.txt" --format=json
      
    2. Cerca una voce di log simile alla seguente:

      "textPayload": "Detected change in Cloud Storage bucket: objects/random.txt"
      

La visualizzazione dei log potrebbe richiedere alcuni istanti. Se non li vedi subito, riprova dopo un minuto.

Hai eseguito correttamente il deployment di un servizio di ricezione di eventi in Cloud Run, hai creato un attivatore Eventarc, hai generato un evento da Cloud Storage e lo hai visualizzato nei log di Cloud Run.

Esegui la pulizia

Se hai creato un nuovo progetto per questo tutorial, eliminalo. Se hai utilizzato un progetto esistente e vuoi conservarlo senza le modifiche aggiunte in questo tutorial, elimina le risorse create per il tutorial.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per il tutorial.

Per eliminare il progetto:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Eliminare le risorse dei tutorial

  1. Elimina il servizio Cloud Run di cui hai eseguito il deployment in questo tutorial:

    gcloud run services delete SERVICE_NAME

    dove SERVICE_NAME è il nome del servizio scelto.

    Puoi anche eliminare i servizi Cloud Run dalla console Google Cloud.

  2. Rimuovi le configurazioni predefinite gcloud CLI che hai aggiunto durante la configurazione del tutorial.

    Ad esempio:

    gcloud config unset run/region

    o

    gcloud config unset project

  3. Elimina le altre Google Cloud risorse create in questo tutorial:

    • Elimina l'trigger Eventarc:
      gcloud eventarc triggers delete TRIGGER_NAME
      
      Sostituisci TRIGGER_NAME con il nome dell'attivatore.

Passaggi successivi