Membuat tabel yang mendukung aliran data perubahan dan mencatat perubahan

Pelajari cara menyiapkan tabel Bigtable dengan aliran data perubahan yang diaktifkan, menjalankan pipeline aliran perubahan, membuat perubahan pada tabel, lalu melihat perubahan yang di-streaming.

Sebelum memulai

  1. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  2. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  3. Enable the Dataflow, Cloud Bigtable API, and Cloud Bigtable Admin API APIs.

    Enable the APIs

  4. Di konsol Google Cloud, aktifkan Cloud Shell.

    Aktifkan Cloud Shell

Membuat tabel dengan aliran perubahan diaktifkan

  1. Di konsol Google Cloud, buka halaman Instance Bigtable.

    Buka Instance

  2. Klik ID instance yang Anda gunakan untuk panduan memulai ini.

    Jika tidak ada instance yang tersedia, buat instance dengan konfigurasi default di region terdekat Anda.

  3. Di panel navigasi sebelah kiri, klik Tables.

  4. Klik Buat tabel.

  5. Beri nama tabel change-streams-quickstart.

  6. Tambahkan grup kolom bernama cf.

  7. Pilih Aktifkan aliran data perubahan.

  8. Klik Create.

Melakukan inisialisasi pipeline data untuk menangkap aliran perubahan

  1. Di Cloud Shell, jalankan perintah berikut untuk mendownload kode dan menjalankannya.

    git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git
cd java-docs-samples/bigtable/beam/change-streams
mvn compile exec:java -Dexec.mainClass=ChangeStreamsHelloWorld \
"-Dexec.args=--project=PROJECT_ID --bigtableProjectId=PROJECT_ID \
--bigtableInstanceId=BIGTABLE_INSTANCE_ID --bigtableTableId=change-streams-quickstart \
--runner=dataflow --region=BIGTABLE_REGION --experiments=use_runner_v2"

    Ganti kode berikut:

    • PROJECT_ID: ID project yang Anda gunakan
    • BIGTABLE_INSTANCE_ID: ID instance untuk memuat tabel baru
    • BIGTABLE_REGION: region tempat instance Bigtable Anda berada, seperti us-east5

  2. Di konsol Google Cloud, buka halaman Dataflow.

    Buka Dataflow

  3. Klik tugas dengan nama yang diawali dengan changestreamquickstart.

  4. Di bagian bawah layar, klik Tampilkan untuk membuka panel log.

  5. Klik Worker logs untuk memantau output aliran perubahan.

  6. Di Cloud Shell, tulis beberapa data ke Bigtable untuk melihat proses aliran data perubahan.

    cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
import change-streams-quickstart quickstart-data.csv column-family=cf

  7. Di konsol Google Cloud, pastikan Keparahan disetel ke minimal Info.

  8. Log output log pekerja berisi berikut ini:

    Change captured: user123#2023,USER,SetCell,cf,col1,abc
Change captured: user546#2023,USER,SetCell,cf,col1,def
Change captured: user789#2023,USER,SetCell,cf,col1,ghi

Pembersihan

Agar akun Google Cloud Anda tidak dikenakan biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

  1. Nonaktifkan aliran data perubahan pada tabel

    gcloud bigtable instances tables update change-streams-quickstart --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

  2. Hapus tabel change-streams-quickstart:

    cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID deletetable change-streams-quickstart

  3. Hentikan pipeline aliran perubahan:

    1. Di konsol Google Cloud, buka halaman Jobs Dataflow.

      Buka Tugas

    2. Pilih tugas streaming Anda dari daftar tugas.

    3. Pada navigasi, klik Hentikan.

    4. Pada dialog Stop job, batalkan pipeline Anda, lalu klik Hentikan tugas.

  4. Opsional: Hapus instance jika Anda membuat instance baru untuk panduan memulai ini:

    cbt deleteinstance BIGTABLE_INSTANCE_ID

Langkah selanjutnya