Menggunakan Pub/Sub Seek dengan Dataflow

Dengan Pub/Sub Seek, pengguna dapat memutar ulang dan memproses ulang pesan yang sebelumnya telah dikonfirmasi atau mengonfirmasi pesan secara massal. Namun, kami tidak merekomendasikan akses langsung ke Pub/Sub Seek dari dalam pipeline Dataflow yang sedang berjalan. Akses langsung membatalkan logika watermark Dataflow dan tidak berfungsi optimal dengan pemrosesan tepat satu kali. Selain itu, akses langsung bertentangan dengan status pipeline yang menggabungkan data yang diproses.

Sebaiknya gunakan Pub/Sub Seek dengan alur kerja berikut:

  1. Buat ringkasan langganan.
  2. Mengosongkan pesan langganan di Dataflow.
  3. Kirim ulang pipeline.

Membuat snapshot

Anda berusaha dan mengulangi pemrosesan dari ringkasan langganan. Untuk membuat snapshot ini menggunakan alat command line gcloud, jalankan perintah berikut:

alias pubsub='gcloud pubsub'
pubsub snapshots create my-snapshot --subscription=seek-demo-sub

Untuk memastikan bahwa Anda telah membuat snapshot, jalankan perintah:

pubsub snapshots list

Mengosongkan langganan

Untuk menghabiskan langganan dan mengirim ulang pipeline, ikuti langkah-langkah berikut:

  1. Buka konsol Dataflow dan klik pipeline streaming Anda.
  2. Di panel Summary, klik Stop Job.
  3. Pilih Drain untuk mengizinkan pemrosesan pesan yang sedang berlangsung dan tunggu hingga tugas dihentikan.
  4. Cari langganan Anda ke snapshot dengan alat command line gcloud:
    pubsub subscriptions seek seek-demo-sub --snapshot=my-snapshot
    
  5. Kirim ulang pipeline Dataflow Anda.