Trasmetti il flusso di modifiche a Pub/Sub utilizzando il trigger di funzione facoltativo di Cloud Run

---

Questo tutorial mostra come utilizzare i flussi di modifiche in tempo reale di Bigtable per Pub/Sub, incluse le istruzioni su come impostare un argomento e modello. Facoltativamente, puoi creare una funzione Cloud Run, nel linguaggio di programmazione di tua scelta, che viene attivato dallo stream di eventi.

Questo tutorial è rivolto a utenti tecnici che hanno familiarità con Bigtable, la scrittura di codice e i servizi di streaming di eventi.

Obiettivi

Questo tutorial illustra come svolgere le seguenti operazioni:

• Crea una tabella Bigtable con un flusso di modifiche abilitato.
• Crea un argomento Pub/Sub con lo schema del flusso di modifiche di Bigtable.
• Esegui il deployment di un flusso di modifiche Bigtable in una pipeline Pub/Sub a Dataflow usando il modello.
• Visualizza il flusso di eventi direttamente in Pub/Sub o nei log di un nella funzione Cloud Run.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• Bigtable
• Compute Engine
• Dataflow
• Cloud Run functions
• Pub/Sub
• Cloud Storage

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Una volta completate le attività descritte in questo documento, puoi evitare la fatturazione continua eliminando le risorse che hai creato. Per ulteriori informazioni, consulta la pagina Pulizia.

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

   Enable the APIs

8. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

9. Aggiorna e installa il Interfaccia a riga di comando cbt di Google.

   gcloud components update
   gcloud components install cbt

crea un argomento Pub/Sub

1. Nella console Google Cloud, vai alla pagina Argomenti di Pub/Sub.

   Vai ad Argomenti

2. Fai clic su Crea argomento.

3. Imposta l'ID su bigtable-change-stream-topic.

4. Seleziona Utilizza uno schema.

5. Nel menu a discesa Seleziona uno schema Pub/Sub, fai clic su Crea nuovo schema. Si apre una nuova scheda in cui definisci lo schema.

   1. Imposta l'ID schema su bigtable-change-stream-schema.
   2. Imposta il tipo di schema su Avro.
   3. Incolla quanto segue come definizione dello schema. Puoi trovare ulteriori informazioni sullo schema nella pagina della documentazione del modello.

     {
         "name" : "ChangelogEntryMessage",
         "type" : "record",
         "namespace" : "com.google.cloud.teleport.bigtable",
         "fields" : [
           { "name" : "rowKey", "type" : "bytes"},
           {
             "name" : "modType",
             "type" : {
               "name": "ModType",
               "type": "enum",
               "symbols": ["SET_CELL", "DELETE_FAMILY", "DELETE_CELLS", "UNKNOWN"]}
           },
           { "name": "isGC", "type": "boolean" },
           { "name": "tieBreaker", "type": "int"},
           { "name": "columnFamily", "type": "string"},
           { "name": "commitTimestamp", "type" : "long"},
           { "name" : "sourceInstance", "type" : "string"},
           { "name" : "sourceCluster", "type" : "string"},
           { "name" : "sourceTable", "type" : "string"},
           { "name": "column", "type" : ["null", "bytes"]},
           { "name": "timestamp", "type" : ["null", "long"]},
           { "name": "timestampFrom", "type" : ["null", "long"]},
           { "name": "timestampTo", "type" : ["null", "long"]},
           { "name" : "value", "type" : ["null", "bytes"]}
       ]
     }
   

   1. Fai clic su Crea per creare lo schema.

6. Chiudi la scheda Crea schema, aggiorna l'elenco di schemi e seleziona il schema appena definito.

7. Fai clic su Crea per creare l'argomento.

(Facoltativo) Crea una funzione Cloud Run

Potresti voler elaborare lo stream Pub/Sub con una funzione Cloud Run.

1. Nella pagina Dettagli dell'argomento bigtable-change-stream-topic, fai clic su Attiva funzione Cloud.
2. Nel campo Nome funzione, inserisci il nome bt-ps-tutorial-function.
3. Nella sezione Codice sorgente, fai clic sul menu a discesa Runtime, quindi seleziona il linguaggio di runtime e di programmazione che preferisci. Un hello world che stampa il flusso di modifiche man mano che arriva. Consulta la documentazione per scoprire di più sulla scrittura di funzioni Cloud Run.
4. Utilizza i valori predefiniti per tutti gli altri campi.
5. Fai clic su Esegui il deployment della funzione.

Crea una tabella con un flusso di modifiche abilitato

1. Nella console Google Cloud, vai a Bigtable nella pagina Istanze.

   Vai a Istanze

2. Fai clic sull'ID dell'istanza che stai utilizzando per questo tutorial.

   Se non è disponibile un'istanza, crea una istanza con le configurazioni predefinite in una regione vicino a te.

3. Nel riquadro di navigazione a sinistra, fai clic su Tabelle.

4. Fai clic su Crea una tabella.

5. Assegna alla tabella il nome change-streams-pubsub-tutorial.

6. Aggiungi una famiglia di colonne denominata cf.

7. Seleziona Attiva flusso di modifiche.

8. Fai clic su Crea.

Inizializza una pipeline di dati per acquisire il flusso di modifiche

1. Individua la tua tabella nella pagina Tabelle di Bigtable change-streams-pubsub-tutorial.
2. Nella colonna Change stream, fai clic su Connect (Connetti).
3. Nella finestra di dialogo, seleziona Pub/Sub.
4. Fai clic su Crea job Dataflow.
5. Nella pagina Crea job di Dataflow, imposta il nome dell'argomento Pub/Sub di output su: bigtable-change-stream-topic.
6. Imposta l'ID profilo dell'applicazione Bigtable su default.
7. Fai clic su Esegui job.
8. Prima di procedere, attendi che lo stato del job sia Avvio o In esecuzione. Una volta che il job viene messo in coda, sono necessari circa 5 minuti.

Scrivere alcuni dati in Bigtable

1. In Cloud Shell, scrivi alcune righe in Bigtable in modo che il log delle modifiche possa scrivere alcuni dati nello stream Pub/Sub. Per tutta la durata mentre scrivi i dati dopo la creazione del job, vengono visualizzate le modifiche. Non devi attendere che lo stato del job diventi running.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user123 cf:col1=abc
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user546 cf:col1=def
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user789 cf:col1=ghi
   

Visualizzare i log delle modifiche in Pub/Sub

1. Nella console Google Cloud, vai al Pub/Sub pagina Abbonamenti.

   Vai agli abbonamenti

2. Fai clic sulla sottoscrizione creata automaticamente per il tuo argomentobigtable-change-stream-topic. Deve essere denominato bigtable-change-stream-topic-sub.

3. Vai alla scheda Messaggi.

4. Fai clic su Tira.

5. Esplora l'elenco dei messaggi e visualizza i dati che hai scritto.

   

(Facoltativo) Visualizza le modifiche nei log delle funzioni Cloud Run

Se hai creato una funzione Cloud Run, puoi visualizzare le modifiche nei log.

1. Nella console Google Cloud, vai a Funzioni Cloud Run.

   Vai alle funzioni Cloud Run

2. Fai clic sulla funzione bt-ps-tutorial-function.

3. Vai alla scheda Log.

4. Assicurati che l'opzione Gravità sia impostata su almeno Informazioni in modo da poter visualizzare logaritmi.

5. Esplora i log e visualizza i dati che hai scritto.

L'output è simile al seguente:

Pub/Sub message: {"rowKey":"user789","modType":"SET_CELL","isGC":false,"tieBreaker":0,"columnFamily":"cf","commitTimestamp":1695653833064548,"sourceInstance":"YOUR-INSTANCE","sourceCluster":"YOUR-INSTANCE-c1","sourceTable":"change-streams-pubsub-tutorial","column":{"bytes":"col1"},"timestamp":{"long":1695653832278000},"timestampFrom":null,"timestampTo":null,"value":{"bytes":"ghi"}}

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Elimina la tabella Bigtable

1. Nella console Google Cloud, vai a Bigtable nella pagina Istanze.

   Vai a Istanze

2. Fai clic sull'ID dell'istanza che stai utilizzando per questo tutorial.

3. Nel riquadro di navigazione a sinistra, fai clic su Tables (Tabelle).

4. Individua la tabella change-streams-pubsub-tutorial.

5. Fai clic su Modifica.

6. Deseleziona Attiva flusso di modifiche.

7. Fai clic su Salva.

8. Apri il menu extra della tabella.

9. Fai clic su Elimina e inserisci il nome della tabella per confermare.

Interrompi la pipeline del flusso di modifiche

1. Nella console Google Cloud, vai alla pagina Job di Dataflow.

   Vai a Job

2. Seleziona il job di flussi di dati dall'elenco dei job.

3. Nella barra di navigazione, fai clic su Interrompi.

4. Nella finestra di dialogo Arresta job, annulla la pipeline, quindi fai clic su Arresta job.

Elimina l'argomento e la sottoscrizione Pub/Sub

1. Nella console Google Cloud, vai alla pagina Argomenti di Pub/Sub.

   Vai ad Argomenti

2. Seleziona l'argomento bigtable-change-stream-topic.

3. Fai clic su Elimina e conferma.

4. Fai clic su Abbonamenti nella barra laterale.

5. Seleziona l'abbonamento bigtable-change-stream-topic-sub.

6. Fai clic su Elimina e conferma.

Elimina la funzione Cloud Run

1. Nella console Google Cloud, vai a Funzioni di Cloud Run.

   Vai alle funzioni Cloud Run

2. Seleziona la funzione bt-ps-tutorial-function.

3. Fai clic su Elimina e conferma.

Passaggi successivi

• Leggi la documentazione relativa ai flussi di modifiche.
• Scopri di più sulla scrittura di funzioni basate su eventi con le funzioni di Cloud Run.