Utilizza il modello di flusso delle modifiche di Bigtable a BigQuery
In questa guida rapida imparerai a configurare una tabella Bigtable con un flusso di modifiche abilitato, eseguire una pipeline di flussi di modifiche, apportare modifiche alla tabella e visualizzare lo streaming delle modifiche.
Prima di iniziare
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator
(
roles/resourcemanager.projectCreator
), which contains theresourcemanager.projects.create
permission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, and BigQuery APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin
), which contains theserviceusage.services.enable
permission. Learn how to grant roles. -
In the Google Cloud console, activate Cloud Shell.
Crea un set di dati BigQuery
Utilizza la console Google Cloud per creare un set di dati in cui sono archiviati i dati.
Nella console Google Cloud , vai alla pagina BigQuery.
Nel riquadro Explorer, fai clic sul nome del progetto.
Espandi l'opzione Azioni
e fai clic su Crea set di dati.Nella pagina Crea set di dati:
- In ID set di dati, inserisci
bigtable_bigquery_quickstart
. - Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.
- In ID set di dati, inserisci
Crea una tabella con un flusso di modifiche abilitato
Nella console Google Cloud , vai alla pagina Istanze di Bigtable.
Fai clic sull'ID dell'istanza che utilizzi per questa guida rapida.
Se non hai un'istanza disponibile, creane una con le configurazioni predefinite in una regione vicina.
Nel riquadro di navigazione a sinistra, fai clic su Tabelle.
Fai clic su Crea una tabella.
Assegna un nome alla tabella
bigquery-changestream-quickstart
.Aggiungi una famiglia di colonne denominata
cf
.Seleziona Abilita flusso di modifiche.
Fai clic su Crea.
Nella pagina Tabelle di Bigtable, trova la tua tabella
bigquery-changestream-quickstart
.Nella colonna Stream di modifiche, fai clic su Connetti.
Nella finestra di dialogo, seleziona BigQuery.
Fai clic su Crea job Dataflow.
Nei campi dei parametri forniti, inserisci i valori dei parametri. Non devi fornire parametri facoltativi.
- Imposta l'ID profilo dell'applicazione Bigtable su
default
. - Imposta il set di dati BigQuery su
bigtable_bigquery_quickstart
.
- Imposta l'ID profilo dell'applicazione Bigtable su
Fai clic su Esegui job.
Attendi che lo stato del job sia Avvio o In esecuzione prima di procedere. Una volta messo in coda, il job richiede circa 5 minuti.
Mantieni il job aperto in una scheda, in modo da poterlo arrestare durante la pulizia delle risorse.
Scrivere alcuni dati in Bigtable
In Cloud Shell, scrivi alcune righe in Bigtable in modo che il log delle modifiche possa scrivere alcuni dati in BigQuery. Se scrivi i dati dopo la creazione del job, le modifiche vengono visualizzate. Non devi attendere che lo stato del job diventi
running
.cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \ set bigquery-changestream-quickstart user123 cf:col1=abc cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \ set bigquery-changestream-quickstart user546 cf:col1=def cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \ set bigquery-changestream-quickstart user789 cf:col1=ghi
Sostituisci quanto segue:
- PROJECT_ID: l'ID del progetto che stai utilizzando
- BIGTABLE_INSTANCE_ID: l'ID dell'istanza che contiene la tabella
bigquery-changestream-quickstart
Visualizza i log delle modifiche in BigQuery
Nella console Google Cloud , vai alla pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e il set di dati
bigtable_bigquery_quickstart
.Fai clic sulla tabella
bigquery-changestream-quickstart_changelog
.Per visualizzare il registro modifiche, fai clic su Anteprima.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.
Disattiva il flusso di modifiche nella tabella:
gcloud bigtable instances tables update bigquery-changestream-quickstart \ --project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \ --clear-change-stream-retention-period
Elimina la tabella
bigquery-changestream-quickstart
:cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart
Arresta la pipeline di flusso delle modifiche:
Nella console Google Cloud , vai alla pagina Job di Dataflow.
Seleziona il tuo lavoro di streaming dall'elenco dei lavori.
Nella navigazione, fai clic su Stop.
Nella finestra di dialogo Arresta job, seleziona Annulla, quindi fai clic su Arresta job.
Elimina il set di dati BigQuery:
Nella console Google Cloud , vai alla pagina BigQuery.
Nel riquadro Explorer, individua il set di dati
bigtable_bigquery_quickstart
e fai clic.Fai clic su Elimina, digita
delete
e poi fai clic su Elimina per confermare.
(Facoltativo) Elimina l'istanza se ne hai creata una nuova per questa guida rapida:
cbt deleteinstance BIGTABLE_INSTANCE_ID
Passaggi successivi