Tutorial ini menunjukkan cara menggunakan template Bigtable change streams to Pub/Sub, termasuk cara menyiapkan topik dan mengonfigurasi template. Anda dapat secara opsional membuat fungsi Cloud Run, dalam bahasa pemrograman pilihan Anda, yang dipicu oleh aliran peristiwa.
Tutorial ini ditujukan bagi pengguna teknis yang sudah memahami Bigtable, penulisan kode, dan layanan streaming peristiwa.
Membuat topik Pub/Sub
Di konsol Google Cloud , buka halaman Topics Pub/Sub.
Klik Create topic.
Setel ID ke
bigtable-change-stream-topic
.Pilih Gunakan skema.
Di menu drop-down Select a Pub/Sub schema, klik Create new schema. Tindakan ini akan membuka tab baru tempat Anda menentukan skema.
- Tetapkan ID skema ke
bigtable-change-stream-schema
. - Tetapkan jenis skema ke Avro.
- Tempelkan kode berikut sebagai definisi skema. Informasi selengkapnya tentang skema dapat ditemukan di halaman dokumentasi template.
{ "name" : "ChangelogEntryMessage", "type" : "record", "namespace" : "com.google.cloud.teleport.bigtable", "fields" : [ { "name" : "rowKey", "type" : "bytes"}, { "name" : "modType", "type" : { "name": "ModType", "type": "enum", "symbols": ["SET_CELL", "DELETE_FAMILY", "DELETE_CELLS", "UNKNOWN"]} }, { "name": "isGC", "type": "boolean" }, { "name": "tieBreaker", "type": "int"}, { "name": "columnFamily", "type": "string"}, { "name": "commitTimestamp", "type" : "long"}, { "name" : "sourceInstance", "type" : "string"}, { "name" : "sourceCluster", "type" : "string"}, { "name" : "sourceTable", "type" : "string"}, { "name": "column", "type" : ["null", "bytes"]}, { "name": "timestamp", "type" : ["null", "long"]}, { "name": "timestampFrom", "type" : ["null", "long"]}, { "name": "timestampTo", "type" : ["null", "long"]}, { "name" : "value", "type" : ["null", "bytes"]} ] }
- Klik Buat untuk membuat skema.
- Tetapkan ID skema ke
Tutup tab Buat skema, muat ulang daftar skema, lalu pilih skema yang baru Anda tentukan.
Klik Create untuk membuat topik.
Opsional: Membuat Cloud Run Function
Anda mungkin ingin memproses aliran Pub/Sub dengan fungsi Cloud Run.
- Di halaman Details untuk topik
bigtable-change-stream-topic
, klik Trigger Cloud Function . - Di kolom Function name, masukkan nama
bt-ps-tutorial-function
. - Di bagian Source Code, klik drop-down Runtime, lalu
pilih runtime dan bahasa pemrograman pilihan Anda.
hello world
dibuat yang mencetak aliran perubahan saat masuk. Lihat dokumentasi untuk mempelajari lebih lanjut cara menulis Cloud Run Functions. - Gunakan nilai default untuk semua kolom lainnya.
- Klik Deploy function.
Membuat tabel dengan aliran perubahan yang diaktifkan
Di konsol Google Cloud , buka halaman Bigtable Instances.
Klik ID instance yang Anda gunakan untuk tutorial ini.
Jika Anda tidak memiliki instance yang tersedia, buat instance dengan konfigurasi default di wilayah terdekat.
Di panel navigasi kiri, klik Tabel.
Klik Buat tabel.
Beri nama tabel
change-streams-pubsub-tutorial
.Tambahkan family kolom bernama
cf
.Pilih Aktifkan aliran perubahan.
Klik Buat.
Menginisialisasi pipeline data untuk merekam aliran perubahan
- Di halaman Tables Bigtable, temukan tabel Anda
change-streams-pubsub-tutorial
. - Di kolom Change stream, klik Connect.
- Pada dialog, pilih Pub/Sub.
- Klik Buat tugas Dataflow.
- Di halaman Create job Dataflow, tetapkan nama topik Pub/Sub output ke:
bigtable-change-stream-topic
. - Tetapkan ID profil aplikasi Bigtable ke
default
. - Klik Run job.
- Tunggu hingga status tugas menjadi Starting atau Running sebelum melanjutkan. Proses ini memerlukan waktu sekitar 5 menit setelah tugas dimasukkan dalam antrean.
Tulis beberapa data ke Bigtable
Di Cloud Shell, tulis beberapa baris ke Bigtable sehingga log perubahan dapat menulis beberapa data ke aliran Pub/Sub. Selama Anda menulis data setelah tugas dibuat, perubahan akan muncul. Anda tidak perlu menunggu hingga status tugas menjadi
running
.cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \ set change-streams-pubsub-tutorial user123 cf:col1=abc cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \ set change-streams-pubsub-tutorial user546 cf:col1=def cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \ set change-streams-pubsub-tutorial user789 cf:col1=ghi
Melihat log perubahan di Pub/Sub
Di konsol Google Cloud , buka halaman Subscriptions Pub/Sub.
Klik langganan yang dibuat secara otomatis untuk topik Anda
bigtable-change-stream-topic
. Harus diberi namabigtable-change-stream-topic-sub
.Buka tab Pesan.
Klik Pull.
Jelajahi daftar pesan dan lihat data yang Anda tulis.
Opsional: Lihat perubahan di log fungsi Cloud Run
Jika membuat fungsi Cloud Run Functions, Anda dapat melihat perubahan di log.
Di konsol Google Cloud , buka Cloud Run functions.
Klik fungsi Anda
bt-ps-tutorial-function
.Buka tab Log.
Pastikan Severity disetel ke setidaknya Info agar Anda dapat melihat log.
Jelajahi log dan lihat data yang Anda tulis.
Outputnya terlihat mirip dengan yang berikut ini:
Pub/Sub message: {"rowKey":"user789","modType":"SET_CELL","isGC":false,"tieBreaker":0,"columnFamily":"cf","commitTimestamp":1695653833064548,"sourceInstance":"YOUR-INSTANCE","sourceCluster":"YOUR-INSTANCE-c1","sourceTable":"change-streams-pubsub-tutorial","column":{"bytes":"col1"},"timestamp":{"long":1695653832278000},"timestampFrom":null,"timestampTo":null,"value":{"bytes":"ghi"}}