Trasmetti le modifiche a Pub/Sub utilizzando l'attivatore facoltativo della funzione Cloud Run

---

Questo tutorial mostra come utilizzare il modello Bigtable modifiche in tempo reale to Pub/Sub, incluso come configurare un argomento e il modello. Se vuoi, puoi creare una funzione Cloud Run nel linguaggio di programmazione che preferisci, che viene attivata dal flusso di eventi.

Questo tutorial è rivolto a utenti tecnici che hanno familiarità con Bigtable, la scrittura di codice e i servizi di streaming di eventi.

Obiettivi

Questo tutorial mostra come:

• Crea una tabella Bigtable con un flusso di modifiche abilitato.
• Crea un argomento Pub/Sub con lo schema dello stream delle modifiche di Bigtable.
• Esegui il deployment di uno stream delle modifiche di Bigtable in una pipeline Pub/Sub su Dataflow utilizzando il modello.
• Visualizza il flusso di eventi direttamente in Pub/Sub o nei log di una funzione Cloud Run.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

• Bigtable
• Compute Engine
• Dataflow
• Cloud Run functions
• Pub/Sub
• Cloud Storage

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

I nuovi utenti di Google Cloud potrebbero avere diritto a una prova senza costi.

Al termine delle attività descritte in questo documento, puoi evitare l'addebito di ulteriori costi eliminando le risorse che hai creato. Per ulteriori informazioni, vedi Pulizia.

Prima di iniziare

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

Enable the APIs

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

1. Aggiorna e installa la CLI cbt.

   gcloud components update
   gcloud components install cbt

crea un argomento Pub/Sub

1. Nella console Google Cloud , vai alla pagina Argomenti di Pub/Sub.

   Vai ad Argomenti

2. Fai clic su Crea argomento.

3. Imposta l'ID su bigtable-change-stream-topic.

4. Seleziona Utilizza uno schema.

5. Nel menu a discesa Seleziona uno schema Pub/Sub, fai clic su Crea nuovo schema. Si apre una nuova scheda in cui definisci lo schema.

   1. Imposta l'ID schema su bigtable-change-stream-schema.
   2. Imposta il tipo di schema su Avro.
   3. Incolla il seguente codice come definizione dello schema. Per saperne di più sullo schema, consulta la pagina della documentazione del modello.

     {
         "name" : "ChangelogEntryMessage",
         "type" : "record",
         "namespace" : "com.google.cloud.teleport.bigtable",
         "fields" : [
           { "name" : "rowKey", "type" : "bytes"},
           {
             "name" : "modType",
             "type" : {
               "name": "ModType",
               "type": "enum",
               "symbols": ["SET_CELL", "DELETE_FAMILY", "DELETE_CELLS", "UNKNOWN"]}
           },
           { "name": "isGC", "type": "boolean" },
           { "name": "tieBreaker", "type": "int"},
           { "name": "columnFamily", "type": "string"},
           { "name": "commitTimestamp", "type" : "long"},
           { "name" : "sourceInstance", "type" : "string"},
           { "name" : "sourceCluster", "type" : "string"},
           { "name" : "sourceTable", "type" : "string"},
           { "name": "column", "type" : ["null", "bytes"]},
           { "name": "timestamp", "type" : ["null", "long"]},
           { "name": "timestampFrom", "type" : ["null", "long"]},
           { "name": "timestampTo", "type" : ["null", "long"]},
           { "name" : "value", "type" : ["null", "bytes"]}
       ]
     }
   

   1. Fai clic su Crea per creare lo schema.

6. Chiudi la scheda Crea schema, aggiorna l'elenco degli schemi e seleziona lo schema che hai appena definito.

7. Fai clic su Crea per creare l'argomento.

(Facoltativo) Crea una funzione Cloud Run

Potresti voler elaborare il flusso Pub/Sub con una funzione Cloud Run.

1. Nella pagina Dettagli dell'argomento bigtable-change-stream-topic, fai clic su Attiva funzione Cloud .
2. Nel campo Nome funzione, inserisci il nome bt-ps-tutorial-function.
3. Nella sezione Codice sorgente, fai clic sul menu a discesa Runtime e poi seleziona il runtime e il linguaggio di programmazione che preferisci. Viene generato un hello world che stampa il flusso di modifiche man mano che viene ricevuto. Consulta la documentazione per scoprire di più sulla scrittura di funzioni Cloud Run.
4. Utilizza i valori predefiniti per tutti gli altri campi.
5. Fai clic su Esegui il deployment della funzione.

Crea una tabella con un flusso di modifiche abilitato

1. Nella console Google Cloud , vai alla pagina Bigtable Istanze.

   Vai a Istanze

2. Fai clic sull'ID dell'istanza che stai utilizzando per questo tutorial.

   Se non hai un'istanza disponibile, creane una con le configurazioni predefinite in una regione vicina.

3. Nel riquadro di navigazione a sinistra, fai clic su Tabelle.

4. Fai clic su Crea una tabella.

5. Assegna un nome alla tabella change-streams-pubsub-tutorial.

6. Aggiungi una famiglia di colonne denominata cf.

7. Seleziona Abilita flusso di modifiche.

8. Fai clic su Crea.

Inizializza una pipeline di dati per acquisire lo stream delle modifiche

1. Nella pagina Tabelle di Bigtable, trova la tua tabella change-streams-pubsub-tutorial.
2. Nella colonna Stream di modifiche, fai clic su Connetti.
3. Nella finestra di dialogo, seleziona Pub/Sub.
4. Fai clic su Crea job Dataflow.
5. Nella pagina Crea job di Dataflow, imposta il nome del topic Pub/Sub di output su: bigtable-change-stream-topic.
6. Imposta l'ID profilo dell'applicazione Bigtable su default.
7. Fai clic su Esegui job.
8. Attendi che lo stato del job sia Avvio o In esecuzione prima di procedere. Una volta messo in coda, il job richiede circa 5 minuti.

Scrivere alcuni dati in Bigtable

1. In Cloud Shell, scrivi alcune righe in Bigtable in modo che il log delle modifiche possa scrivere alcuni dati nel flusso Pub/Sub. Se scrivi i dati dopo la creazione del job, le modifiche vengono visualizzate. Non devi attendere che lo stato del job diventi running.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user123 cf:col1=abc
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user546 cf:col1=def
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user789 cf:col1=ghi
   

Visualizza i log delle modifiche in Pub/Sub

1. Nella console Google Cloud , vai alla pagina Sottoscrizioni di Pub/Sub.

   Vai agli abbonamenti

2. Fai clic sulla sottoscrizione creata automaticamente per l'argomento bigtable-change-stream-topic. Dovrebbe essere denominato bigtable-change-stream-topic-sub.

3. Vai alla scheda Messaggi.

4. Fai clic su Pull.

5. Esplora l'elenco dei messaggi e visualizza i dati che hai scritto.

   

(Facoltativo) Visualizza le modifiche nei log di Cloud Run Functions

Se hai creato una funzione Cloud Run Functions, puoi visualizzare le modifiche nei log.

1. Nella console Google Cloud , vai a Cloud Run Functions.

   Vai alle funzioni Cloud Run

2. Fai clic sulla funzione bt-ps-tutorial-function.

3. Vai alla scheda Log.

4. Assicurati che Gravità sia impostata almeno su Info in modo da poter visualizzare i log.

5. Esplora i log e visualizza i dati che hai scritto.

L'output è simile al seguente:

Pub/Sub message: {"rowKey":"user789","modType":"SET_CELL","isGC":false,"tieBreaker":0,"columnFamily":"cf","commitTimestamp":1695653833064548,"sourceInstance":"YOUR-INSTANCE","sourceCluster":"YOUR-INSTANCE-c1","sourceTable":"change-streams-pubsub-tutorial","column":{"bytes":"col1"},"timestamp":{"long":1695653832278000},"timestampFrom":null,"timestampTo":null,"value":{"bytes":"ghi"}}

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Elimina la tabella Bigtable

1. Nella console Google Cloud , vai alla pagina Bigtable Istanze.

   Vai a Istanze

2. Fai clic sull'ID dell'istanza che stai utilizzando per questo tutorial.

3. Nel riquadro di navigazione a sinistra, fai clic su Tabelle.

4. Individua la tabella change-streams-pubsub-tutorial.

5. Fai clic su Modifica.

6. Deseleziona Abilita flusso di modifiche.

7. Fai clic su Salva.

8. Apri il menu extra della tabella.

9. Fai clic su Elimina e inserisci il nome della tabella per confermare.

Arresta la pipeline del flusso di modifiche

1. Nella console Google Cloud , vai alla pagina Job di Dataflow.

   Vai a Job

2. Seleziona il tuo lavoro di streaming dall'elenco dei lavori.

3. Nella navigazione, fai clic su Stop.

4. Nella finestra di dialogo Arresta job, annulla la pipeline, quindi fai clic su Arresta job.

Elimina l'argomento e la sottoscrizione Pub/Sub

1. Nella console Google Cloud , vai alla pagina Argomenti di Pub/Sub.

   Vai ad Argomenti

2. Seleziona l'argomento bigtable-change-stream-topic.

3. Fai clic su Elimina e conferma.

4. Fai clic su Abbonamenti nella barra laterale.

5. Seleziona l'abbonamento a bigtable-change-stream-topic-sub.

6. Fai clic su Elimina e conferma.

Elimina la funzione Cloud Run

1. Nella console Google Cloud , vai a Cloud Run Functions.

   Vai alle funzioni Cloud Run

2. Seleziona la funzione bt-ps-tutorial-function.

3. Fai clic su Elimina e conferma.

Passaggi successivi

• Leggi la documentazione modifiche in tempo reale modifiche.
• Scopri di più sulla scrittura di funzioni basate su eventi con Cloud Run Functions.