Membuat tabel yang mengaktifkan aliran perubahan dan merekam perubahan

Pelajari cara menyiapkan tabel Bigtable dengan aliran perubahan yang diaktifkan, menjalankan pipeline aliran perubahan, membuat perubahan pada tabel, lalu melihat perubahan yang di-streaming.

Sebelum memulai

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the Dataflow, Cloud Bigtable API, and Cloud Bigtable Admin API APIs.

    Enable the APIs

  4. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

Membuat tabel dengan aliran perubahan diaktifkan

  1. Di konsol Google Cloud, buka halaman Instance Bigtable.

    Buka Instance

  2. Klik ID instance yang Anda gunakan untuk panduan memulai ini.

    Jika Anda tidak memiliki instance, buat instance dengan konfigurasi default di wilayah dekat Anda.

  3. Di panel navigasi kiri, klik Tables.

  4. Klik Buat tabel.

  5. Beri nama tabel change-streams-quickstart.

  6. Tambahkan keluarga kolom bernama cf.

  7. Pilih Aktifkan aliran data perubahan.

  8. Klik Create.

Melakukan inisialisasi pipeline data untuk mengambil aliran perubahan

  1. Di Cloud Shell, jalankan perintah berikut untuk mendownload kode dan menjalankannya.

    git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git
cd java-docs-samples/bigtable/beam/change-streams
mvn compile exec:java -Dexec.mainClass=ChangeStreamsHelloWorld \
"-Dexec.args=--project=PROJECT_ID --bigtableProjectId=PROJECT_ID \
--bigtableInstanceId=BIGTABLE_INSTANCE_ID --bigtableTableId=change-streams-quickstart \
--runner=dataflow --region=BIGTABLE_REGION --experiments=use_runner_v2"

    Ganti kode berikut:

    • PROJECT_ID: ID project yang Anda gunakan
    • BIGTABLE_INSTANCE_ID: ID instance yang akan berisi tabel baru
    • BIGTABLE_REGION: region tempat instance Bigtable Anda berada, seperti us-east5

  2. Di konsol Google Cloud, buka halaman Dataflow.

    Buka Dataflow

  3. Klik tugas dengan nama yang dimulai dengan changestreamquickstart.

  4. Di bagian bawah layar, klik Tampilkan untuk membuka panel log.

  5. Klik Log pekerja untuk memantau output aliran data perubahan.

  6. Di Cloud Shell, tulis beberapa data ke Bigtable untuk melihat proses aliran perubahan.

    cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
import change-streams-quickstart quickstart-data.csv column-family=cf

  7. Di konsol Google Cloud, pastikan Severity disetel ke setidaknya Info.

  8. Log output log pekerja berisi hal ini:

    Change captured: user123#2023,USER,SetCell,cf,col1,abc
Change captured: user546#2023,USER,SetCell,cf,col1,def
Change captured: user789#2023,USER,SetCell,cf,col1,ghi

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

  1. Menonaktifkan aliran perubahan pada tabel

    gcloud bigtable instances tables update change-streams-quickstart --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

  2. Hapus tabel change-streams-quickstart:

    cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID deletetable change-streams-quickstart

  3. Hentikan pipeline aliran data perubahan:

    1. Di konsol Google Cloud, buka halaman Jobs Dataflow.

      Buka Tugas

    2. Pilih tugas streaming Anda dari daftar tugas.

    3. Di navigasi, klik Stop.

    4. Di dialog Stop job, batalkan pipeline, lalu klik Stop job.

  4. Opsional: Hapus instance jika Anda membuat instance baru untuk panduan memulai ini:

    cbt deleteinstance BIGTABLE_INSTANCE_ID

Langkah selanjutnya