Attiva le funzioni da Cloud Storage utilizzando Eventarc


Questo tutorial mostra come eseguire il deployment di una funzione basata su eventi in Cloud Run, e utilizzare Eventarc per attivare la funzione in risposta a Eventi di Cloud Storage con Google Cloud CLI.

Specificando i filtri per un trigger Eventarc, puoi configurare il routing degli eventi, inclusa l'origine e la destinazione degli eventi. Nell'esempio di questo tutorial, un aggiornamento a un bucket Cloud Storage attiva l'evento e viene inviata una richiesta alla funzione sotto forma di richiesta HTTP.

Obiettivi

In questo tutorial, imparerai a:

  1. Crea un bucket Cloud Storage come origine evento.
  2. Esegui il deployment di una funzione basata sugli eventi.
  3. Crea un trigger Eventarc.
  4. Attiva la funzione caricando un file su Cloud Storage.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Prima di iniziare

I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un ambiente Google Cloud vincolato.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.
  3. To initialize the gcloud CLI, run the following command:

    gcloud init
  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Install the Google Cloud CLI.
  7. To initialize the gcloud CLI, run the following command:

    gcloud init
  8. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  9. Make sure that billing is enabled for your Google Cloud project.

  10. Se non utilizzi Cloud Shell, aggiorna Google Cloud CLI e accedi con il tuo account:
    gcloud components update
    gcloud auth login
  11. Abilita le API:
    gcloud services enable artifactregistry.googleapis.com \
        cloudbuild.googleapis.com \
        eventarc.googleapis.com \
        run.googleapis.com \
        storage.googleapis.com
  12. Imposta le variabili di configurazione da utilizzare in questo tutorial:
    export REGION=us-central1
    gcloud config set run/region ${REGION}
    gcloud config set run/platform managed
    gcloud config set eventarc/location ${REGION}
  13. Se utilizzi un criterio dell'organizzazione che limita le chiamate non autenticate per il tuo progetto, dovrai accedere al servizio di cui hai eseguito il deployment come descritto in Test dei servizi privati.

Imposta i ruoli obbligatori

  1. Se sei l'autore del progetto, puoi ricevere ruolo Proprietario di base (roles/owner). Per impostazione predefinita, questo ruolo IAM (Identity and Access Management) include le autorizzazioni necessarie per l'accesso completo alla maggior parte dei servizi Google Cloud e puoi saltare questo passaggio.

    Se non sei l'autore del progetto, devi concedere le autorizzazioni richieste per del progetto all'entità appropriata. Ad esempio, un'entità può essere un Account Google (per gli utenti finali) o un account di servizio (per le applicazioni e i carichi di lavoro di calcolo). Per ulteriori informazioni, consulta la pagina Ruoli e autorizzazioni per la destinazione dell'evento.

    Autorizzazioni obbligatorie

    Per ottenere le autorizzazioni necessarie per completare questo tutorial, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

    Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.

  2. Prendi nota dell'account di servizio predefinito di Compute Engine, poiché lo collegherai a un trigger Eventarc per rappresentare l'identità dell'trigger a fini di test. Questo account di servizio viene creato automaticamente dopo aver abilitato o utilizzato un servizio Google Cloud che impiega Compute Engine, e con seguente formato email:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Sostituisci PROJECT_NUMBER con il numero del tuo progetto Google Cloud. Puoi trovare il numero del progetto nella pagina Welcome della console Google Cloud o eseguendo il seguente comando:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Per gli ambienti di produzione, consigliamo vivamente creazione di un nuovo account di servizio e la concessione di uno o più ruoli IAM contenenti autorizzazioni minime richieste e seguire il principio del privilegio minimo.

  3. Per impostazione predefinita, i servizi Cloud Run possono essere chiamati solo dai proprietari, dagli editor e dagli amministratori e dagli invocatori di progetti Cloud Run. Puoi controllo l'accesso in base al servizio; tuttavia, a scopo di test, concedi la Cloud Run Ruolo Invoker (run.invoker) nel progetto Google Cloud alla Account di servizio Compute Engine. Questo ruolo concede il ruolo i servizi e i job Cloud Run in un progetto.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/run.invoker

    Tieni presente che se crei un trigger per un servizio Cloud Run autenticato senza concedere il ruolo Invoker di Cloud Run, l'trigger viene creato correttamente ed è attivo. Tuttavia, l'attivatore non funzionerà come previsto e verrà visualizzato un messaggio simile al seguente nei log:

    The request was not authenticated. Either allow unauthenticated invocations or set the proper Authorization header.
  4. Concedi Eventarc Ruolo Destinatario evento (roles/eventarc.eventReceiver) nella all'account di servizio predefinito di Compute Engine, il trigger Eventarc può ricevere eventi dai provider di eventi.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/eventarc.eventReceiver
  5. Prima di creare un trigger per gli eventi diretti da Cloud Storage, concedi il ruolo Editore Pub/Sub (roles/pubsub.publisher) all'agente di servizio Cloud Storage:

    SERVICE_ACCOUNT="$(gcloud storage service-agent --project=PROJECT_ID)"
    
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:${SERVICE_ACCOUNT}" \
        --role='roles/pubsub.publisher'
  6. Se hai attivato l'agente di servizio Cloud Pub/Sub il giorno 8 aprile 2021 o in una data precedente per supportare le richieste push Pub/Sub autenticate, concedi all'agente di servizio il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator). In caso contrario, questo ruolo viene concesso per impostazione predefinita:
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
        --role=roles/iam.serviceAccountTokenCreator

Crea un bucket Cloud Storage

Crea un bucket Cloud Storage da utilizzare come origine evento:

gcloud storage buckets create -l us-central1 gs://PROJECT_ID-bucket/

Scrivere una funzione basata sugli eventi

Per scrivere una funzione basata sugli eventi:

Node.js

  1. Crea una nuova directory denominata helloGCS e cambia directory:

       mkdir helloGCS
       cd helloGCS
    

  2. Crea un file package.json nella directory helloGCS per specificare le dipendenze Node.js:

    {
      "name": "nodejs-docs-samples-functions-v2-storage",
      "version": "0.0.1",
      "private": true,
      "license": "Apache-2.0",
      "author": "Google LLC",
      "repository": {
        "type": "git",
        "url": "https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git"
      },
      "engines": {
        "node": ">=16.0.0"
      },
      "scripts": {
        "test": "c8 mocha -p -j 2 test/*.test.js --timeout=60000"
      },
      "dependencies": {
        "@google-cloud/functions-framework": "^3.0.0"
      },
      "devDependencies": {
        "c8": "^10.0.0",
        "mocha": "^10.0.0",
        "sinon": "^18.0.0",
        "supertest": "^7.0.0"
      }
    }
    
  3. Crea un file index.js nella directory helloGCS con quanto segue Esempio di Node.js:

    const functions = require('@google-cloud/functions-framework');
    
    // Register a CloudEvent callback with the Functions Framework that will
    // be triggered by Cloud Storage.
    functions.cloudEvent('helloGCS', cloudEvent => {
      console.log(`Event ID: ${cloudEvent.id}`);
      console.log(`Event Type: ${cloudEvent.type}`);
    
      const file = cloudEvent.data;
      console.log(`Bucket: ${file.bucket}`);
      console.log(`File: ${file.name}`);
      console.log(`Metageneration: ${file.metageneration}`);
      console.log(`Created: ${file.timeCreated}`);
      console.log(`Updated: ${file.updated}`);
    });

Python

  1. Crea una nuova directory denominata helloGCS e cambiala al suo interno:

       mkdir helloGCS
       cd helloGCS
    

  2. Crea un file requirements.txt nella directory helloGCS, per specificare Dipendenze Python:

    functions-framework==3.5.0
    cloudevents==1.11.0

    Vengono aggiunti i pacchetti necessari per il sample.

  3. Crea un file main.py nella directory helloGCS con quanto segue Esempio Python:

    from cloudevents.http import CloudEvent
    
    import functions_framework
    
    
    # Triggered by a change in a storage bucket
    @functions_framework.cloud_event
    def hello_gcs(cloud_event: CloudEvent) -> tuple:
        """This function is triggered by a change in a storage bucket.
    
        Args:
            cloud_event: The CloudEvent that triggered this function.
        Returns:
            The event ID, event type, bucket, name, metageneration, and timeCreated.
        """
        data = cloud_event.data
    
        event_id = cloud_event["id"]
        event_type = cloud_event["type"]
    
        bucket = data["bucket"]
        name = data["name"]
        metageneration = data["metageneration"]
        timeCreated = data["timeCreated"]
        updated = data["updated"]
    
        print(f"Event ID: {event_id}")
        print(f"Event type: {event_type}")
        print(f"Bucket: {bucket}")
        print(f"File: {name}")
        print(f"Metageneration: {metageneration}")
        print(f"Created: {timeCreated}")
        print(f"Updated: {updated}")
    
        return event_id, event_type, bucket, name, metageneration, timeCreated, updated
    
    

Esegui il deployment di una funzione basata su eventi

Esegui il deployment della funzione denominata helloworld-events eseguendo questo comando nella directory che contiene il codice campione:

Node.js

gcloud beta run deploy helloworld-events \
      --source . \
      --function helloGCS \
      --base-image nodejs20 \
      --region us-central1 \

Python

gcloud beta run deploy helloworld-events \
      --source . \
      --function hello_gcs \
      --base-image python312 \
      --region us-central1 \

Al termine del deployment, Google Cloud CLI mostra un URL in cui è in esecuzione il servizio helloworld-events.

Crea un trigger Eventarc

Il trigger Eventarc invia eventi dal bucket Cloud Storage a Cloud Run helloworld-events completamente gestito di Google Cloud.

  1. Crea un trigger che filtra gli eventi Cloud Storage:

    gcloud eventarc triggers create TRIGGER_NAME  \
        --location=${REGION} \
        --destination-run-service=helloworld-events  \
        --destination-run-region=${REGION} \
        --event-filters="type=google.cloud.storage.object.v1.finalized" \
        --event-filters="bucket=PROJECT_ID-bucket" \
        --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Sostituisci:

    • TRIGGER_NAME con il nome dell'attivatore.
    • PROJECT_ID con il tuo ID progetto Google Cloud.
    • PROJECT_NUMBER con il numero del tuo progetto Google Cloud.

    Tieni presente che quando crei un trigger Eventarc per il primo in un progetto Google Cloud, potrebbe verificarsi un ritardo nel provisioning l'agente di servizio Eventarc. In genere questo problema può essere risolto provando a creare nuovamente il trigger. Per ulteriori informazioni, consulta Errori di autorizzazione negata.

  2. Verifica che l'attivatore sia stato creato correttamente. Tieni presente che, sebbene un trigger viene creato immediatamente. Potrebbero essere necessari fino a due minuti prima che un trigger sia completamente funzionale.

    gcloud eventarc triggers list --location=${REGION}

    L'output dovrebbe essere simile al seguente:

    NAME: helloworld-events
    TYPE: google.cloud.storage.object.v1.finalized
    DESTINATION: Cloud Run service: helloworld-events
    ACTIVE: Yes
    LOCATION: us-central1
    

Generare e visualizzare un evento

Carica un file di testo nel bucket Cloud Storage per generare un evento che viene indirizzato alla funzione. La funzione Cloud Run registra l'evento nei log del servizio.

  1. Carica un file di testo su Cloud Storage per generare un evento:

     echo "Hello World" > random.txt
     gcloud storage cp random.txt gs://PROJECT_ID-bucket/random.txt
    

    Il caricamento genera un evento e Cloud Run registra il messaggio dell'evento.

  2. Per visualizzare la voce di log:

    1. Filtra le voci di log e restituisci l'output in formato JSON:

      gcloud logging read "resource.labels.service_name=helloworld-events AND textPayload:random.txt" --format=json
      
    2. Cerca una voce di log simile alla seguente:

      [
        {
         ....
          "resource": {
            "labels": {
              ....
              "location": "us-central1",
              .....
              "service_name": "helloworld-events"
            },
          },
          "textPayload": "File: random.txt",
           .....
        }
      ]
      

      La visualizzazione dei log potrebbe richiedere alcuni istanti. Se non li vedi immediatamente, controlla di nuovo tra un minuto.

Quando visualizzi la voce di log, significa che hai eseguito correttamente il deployment di una funzione basata su eventi attivata quando è stato caricato un file di testo in Cloud Storage.

Esegui la pulizia

Se hai creato un nuovo progetto per questo tutorial, eliminalo. Se hai utilizzato un progetto esistente e vuoi mantenerlo senza l'aggiunta delle modifiche In questo tutorial, elimina le risorse create per il tutorial.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione creato per il tutorial.

Per eliminare il progetto:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Eliminare le risorse dei tutorial

  1. Elimina il servizio Cloud Run di cui hai eseguito il deployment in questo tutorial:

    gcloud run services delete SERVICE_NAME

    Dove SERVICE_NAME è il nome del servizio che hai scelto.

    I servizi Cloud Run possono essere eliminati anche Console Google Cloud.

  2. Rimuovi le configurazioni predefinite dell'interfaccia a riga di comando gcloud che hai aggiunto durante la configurazione del tutorial.

    Ad esempio:

    gcloud config unset run/region

    o

    gcloud config unset project

  3. Elimina altre risorse Google Cloud create in questo tutorial:

    • Elimina l'trigger Eventarc:
      gcloud eventarc triggers delete TRIGGER_NAME
      
      Sostituisci TRIGGER_NAME con il nome del tuo trigger.

Passaggi successivi