Menggunakan template aliran perubahan Bigtable ke BigQuery

Dalam panduan memulai ini, Anda akan mempelajari cara menyiapkan tabel Bigtable dengan mengaktifkan aliran perubahan, menjalankan pipeline aliran perubahan, membuat perubahan pada tabel, lalu melihat perubahan yang di-streaming.

Sebelum memulai

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, and BigQuery APIs.

    Enable the APIs

  4. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

Membuat set data BigQuery

Gunakan konsol Google Cloud untuk membuat set data yang menyimpan data.

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, klik nama project Anda.

  3. Luaskan opsi Actions, lalu klik Create dataset.

  4. Di halaman Create dataset, lakukan hal berikut:

    1. Untuk Dataset ID, masukkan bigtable_bigquery_quickstart.
    2. Jangan ubah setelan default lainnya, lalu klik Create dataset.

Membuat tabel dengan aliran perubahan diaktifkan

  1. Di konsol Google Cloud, buka halaman Instance Bigtable.

    Buka Instance

  2. Klik ID instance yang Anda gunakan untuk panduan memulai ini.

    Jika Anda tidak memiliki instance, buat instance dengan konfigurasi default di wilayah dekat Anda.

  3. Di panel navigasi kiri, klik Tables.

  4. Klik Buat tabel.

  5. Beri nama tabel bigquery-changestream-quickstart.

  6. Tambahkan keluarga kolom bernama cf.

  7. Pilih Aktifkan aliran data perubahan.

  8. Klik Buat.

  9. Di halaman Tabel Bigtable, temukan tabel bigquery-changestream-quickstart Anda.

  10. Di kolom Change stream, klik Connect.

  11. Pada dialog, pilih BigQuery.

  12. Klik Buat tugas Dataflow.

  13. Di kolom parameter yang disediakan, masukkan nilai parameter Anda. Anda tidak perlu memberikan parameter opsional apa pun.

    1. Tetapkan ID profil aplikasi Bigtable ke default.
    2. Tetapkan set data BigQuery ke bigtable_bigquery_quickstart.

  14. Klik Run job.

  15. Tunggu hingga status tugas menjadi Starting atau Running sebelum melanjutkan. Perlu waktu sekitar 5 menit setelah tugas diantrekan.

  16. Biarkan tugas tetap terbuka di tab, sehingga Anda dapat menghentikan tugas saat membersihkan resource.

Menulis beberapa data ke Bigtable

  1. Di Cloud Shell, tulis beberapa baris ke Bigtable sehingga log perubahan dapat menulis beberapa data ke BigQuery. Selama Anda menulis data setelah tugas dibuat, perubahan akan muncul. Anda tidak perlu menunggu status tugas menjadi running.

    cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user123 cf:col1=abc
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user546 cf:col1=def
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user789 cf:col1=ghi

    Ganti kode berikut:

    • PROJECT_ID: ID project yang Anda gunakan
    • BIGTABLE_INSTANCE_ID: ID instance yang berisi tabel bigquery-changestream-quickstart

Melihat log perubahan di BigQuery

  1. Di Konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project Anda dan set data bigtable_bigquery_quickstart.

  3. Klik tabel bigquery-changestream-quickstart_changelog.

  4. Untuk melihat log perubahan, klik Pratinjau.

    Pratinjau log perubahan di BigQuery

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan di halaman ini, ikuti langkah-langkah berikut.

  1. Nonaktifkan aliran perubahan pada tabel:

    gcloud bigtable instances tables update bigquery-changestream-quickstart \
--project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

  2. Hapus tabel bigquery-changestream-quickstart:

    cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart

  3. Hentikan pipeline aliran data perubahan:

    1. Di konsol Google Cloud, buka halaman Jobs Dataflow.

      Buka Tugas

    2. Pilih tugas streaming Anda dari daftar tugas.

    3. Di navigasi, klik Stop.

    4. Dalam dialog Stop job, pilih Cancel, lalu klik Stop job.

  4. Hapus set data BigQuery:

    1. Di konsol Google Cloud, buka halaman BigQuery.

      Buka BigQuery

    2. Di panel Explorer, temukan set data bigtable_bigquery_quickstart, lalu klik.

    3. Klik Delete, ketik delete, lalu klik Delete untuk mengonfirmasi.

  5. Opsional: Hapus instance jika Anda membuat instance baru untuk panduan memulai ini:

    cbt deleteinstance BIGTABLE_INSTANCE_ID

Langkah selanjutnya