Utilizzare il modello di modifiche in tempo reale di Bigtable a BigQuery

In questa guida rapida imparerai a configurare una tabella Bigtable con un flusso di modifiche abilitato, eseguire un pipeline di modifiche in tempo reale, apporta modifiche alla tabella e poi visualizza le modifiche trasmessi in streaming.

Prima di iniziare

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, and BigQuery APIs.

    Enable the APIs

  4. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

Crea un set di dati BigQuery

Utilizza la console Google Cloud per creare un set di dati in cui sono archiviati i dati.

  1. Nella console Google Cloud, vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, fai clic sul nome del tuo progetto.

  3. Espandi l'opzione Azioni e fai clic su Crea set di dati.

  4. Nella pagina Crea set di dati, segui questi passaggi:

    1. In ID set di dati, inserisci bigtable_bigquery_quickstart.
    2. Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.

Crea una tabella con un flusso di modifiche abilitato

  1. Nella console Google Cloud, vai alla pagina Istanze Bigtable.

    Vai a Istanze

  2. Fai clic sull'ID dell'istanza che stai utilizzando per questa guida rapida.

    Se non è disponibile un'istanza, creane una con il valore predefinito configurazioni in una regione nelle tue vicinanze.

  3. Nel riquadro di navigazione a sinistra, fai clic su Tabelle.

  4. Fai clic su Crea una tabella.

  5. Assegna alla tabella il nome bigquery-changestream-quickstart.

  6. Aggiungi una famiglia di colonne denominata cf.

  7. Seleziona Attiva modifiche in tempo reale.

  8. Fai clic su Crea.

  9. Individua la tua tabella nella pagina Tabelle di Bigtable bigquery-changestream-quickstart.

  10. Nella colonna Change stream, fai clic su Connect (Connetti).

  11. Nella finestra di dialogo, seleziona BigQuery.

  12. Fai clic su Crea job Dataflow.

  13. Inserisci i valori parametro negli appositi campi. Non fornire eventuali parametri facoltativi.

    1. Imposta l'ID profilo dell'applicazione Bigtable su default.
    2. Imposta il set di dati BigQuery su bigtable_bigquery_quickstart.

  14. Fai clic su Esegui job.

  15. Prima di procedere, attendi che lo stato del job sia In fase di avvio o In esecuzione. Una volta che il job viene messo in coda, sono necessari circa 5 minuti.

  16. Mantieni aperto il job in una scheda in modo da poterlo arrestare durante la pulizia delle risorse.

Scrivi alcuni dati in Bigtable

  1. In Cloud Shell, scrivi alcune righe in Bigtable log delle modifiche può scrivere alcuni dati in BigQuery. Purché scrivi dei dati dopo la creazione del job, vengono visualizzate le modifiche. Non è necessario attendi che lo stato del job diventi running.

    cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user123 cf:col1=abc
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user546 cf:col1=def
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user789 cf:col1=ghi

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del progetto che stai utilizzando
    • BIGTABLE_INSTANCE_ID: l'ID dell'istanza che contiene la tabella bigquery-changestream-quickstart

Visualizza i log delle modifiche in BigQuery

  1. Nella console Google Cloud, vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e il set di datibigtable_bigquery_quickstart.

  3. Fai clic sulla tabella bigquery-changestream-quickstart_changelog.

  4. Per visualizzare il log delle modifiche, fai clic su Anteprima.

    Anteprima del log delle modifiche in BigQuery

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi per le risorse utilizzate in questa pagina, segui questi passaggi.

  1. Disabilita il flusso di modifiche nella tabella:

    gcloud bigtable instances tables update bigquery-changestream-quickstart \
--project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

  2. Elimina la tabella bigquery-changestream-quickstart:

    cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart

  3. Interrompi la pipeline del flusso di modifiche:

    1. Nella console Google Cloud, vai ai Job di Dataflow. .

      Vai a Job

    2. Seleziona il job di flussi di dati dall'elenco dei job.

    3. Nella barra di navigazione, fai clic su Interrompi.

    4. Nella finestra di dialogo Arresta job, seleziona Annulla e fai clic su Interrompi. un lavoro.

  4. Elimina il set di dati BigQuery:

    1. Nella console Google Cloud, vai alla pagina BigQuery.

      Vai a BigQuery

    2. Nel riquadro di esplorazione, trova il set di dati bigtable_bigquery_quickstart e fai clic su di esso.

    3. Fai clic su Elimina, digita delete e quindi fai clic su Elimina per confermare.

  5. (Facoltativo) Elimina l'istanza se ne hai creata una nuova per questa guida rapida:

    cbt deleteinstance BIGTABLE_INSTANCE_ID

Passaggi successivi