Menggunakan snapshot Dataflow

Snapshot Dataflow menyimpan status pipeline streaming, yang memungkinkan Anda memulai versi baru tugas Dataflow tanpa kehilangan status. Snapshot berguna untuk pencadangan dan pemulihan, menguji dan mengembalikan update ke pipeline streaming, dan skenario serupa lainnya.

Anda dapat membuat snapshot Dataflow dari tugas streaming yang sedang berjalan. Perhatikan bahwa tugas baru apa pun yang Anda buat dari snapshot menggunakan Streaming Engine. Anda juga dapat menggunakan snapshot Dataflow untuk memigrasikan pipeline yang ada ke Streaming Engine yang lebih efisien dan skalabel dengan periode nonaktif minimal.

Panduan ini menjelaskan cara membuat snapshot, mengelola snapshot, dan membuat tugas dari snapshot.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Datastore, and Cloud Resource Manager APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Datastore, and Cloud Resource Manager APIs.

   Enable the APIs

Membuat snapshot

Konsol

1. Di konsol Google Cloud, buka halaman Jobs Dataflow.

   Buka Tugas

   Daftar tugas Dataflow akan muncul beserta statusnya. Jika tidak melihat tugas streaming, Anda perlu menjalankan tugas streaming baru. Untuk mengetahui contoh tugas streaming, lihat Panduan memulai penggunaan Template.

2. Pilih tugas.
3. Di panel menu pada halaman Detail tugas, klik Buat snapshot.
4. Pada dialog Create a snapshot, pilih salah satu opsi berikut:
   • Tanpa sumber data: pilih opsi ini untuk membuat snapshot status tugas Dataflow saja.
   • Dengan sumber data: pilih opsi ini untuk membuat snapshot status tugas Dataflow beserta snapshot sumber Pub/Sub Anda.
5. Klik Create.

gcloud

Buat snapshot:

gcloud dataflow snapshots create \
    --job-id=JOB_ID \
    --snapshot-ttl=DURATION \
    --snapshot-sources=true \
    --region=REGION

Ganti kode berikut:

• JOB_ID: ID tugas streaming Anda
• DURATION: jumlah waktu (dalam hari) sebelum masa berlaku snapshot berakhir, setelah itu tidak ada lagi tugas yang dapat dibuat dari snapshot. Flag snapshot-ttl bersifat opsional, jadi jika tidak ditentukan, masa berlaku snapshot akan berakhir dalam 7 hari. Tentukan nilai dalam format berikut: 5d. Durasi maksimum yang dapat Anda tentukan adalah 30 hari (30d).
• REGION: region tempat tugas streaming Anda berjalan

Flag snapshot-sources menentukan apakah akan mengambil snapshot sumber Pub/Sub beserta snapshot Dataflow. Jika true, sumber Pub/Sub akan otomatis diambil snapshot-nya dan ID snapshot Pub/Sub akan ditampilkan dalam respons output. Setelah menjalankan perintah create, periksa status snapshot dengan menjalankan perintah list atau describe.

Hal berikut berlaku saat membuat snapshot Dataflow:

• Snapshot Dataflow dikenai biaya berdasarkan penggunaan disk.
• Snapshot dibuat di region yang sama dengan tugas.
• Jika lokasi pekerja tugas berbeda dengan region tugas, pembuatan snapshot akan gagal. Lihat panduan Region Dataflow.
• Anda hanya dapat mengambil snapshot tugas non-Streaming Engine jika tugas tersebut dimulai atau diperbarui setelah 1 Februari 2021.
• Snapshot Pub/Sub yang dibuat dengan snapshot Dataflow dikelola oleh layanan Pub/Sub dan dikenai biaya.
• Masa berlaku snapshot Pub/Sub tidak lebih dari 7 hari sejak waktu pembuatannya. Masa aktif pastinya ditentukan saat pembuatan oleh backlog yang ada di langganan sumber. Secara khusus, masa berlaku snapshot Pub/Sub adalah 7 days - (age of oldest unacked message in the subscription). Misalnya, pertimbangkan langganan yang pesannya yang belum direspons paling lama adalah 3 hari. Jika snapshot Pub/Sub dibuat dari langganan ini, snapshot, yang selalu merekam backlog 3 hari ini selama snapshot ada, akan berakhir masa berlakunya dalam 4 hari. Lihat referensi snapshot Pub/Sub.
• Selama operasi snapshot, tugas Dataflow Anda akan dijeda dan dilanjutkan setelah snapshot siap. Waktu yang diperlukan bergantung pada ukuran status pipeline. Misalnya, waktu yang diperlukan untuk mengambil snapshot pada tugas Streaming Engine umumnya lebih singkat daripada tugas non-Streaming Engine.
• Anda dapat membatalkan tugas saat snapshot sedang berlangsung, yang kemudian akan membatalkan snapshot.
• Anda tidak dapat memperbarui atau menguras tugas saat snapshot sedang berlangsung. Anda harus menunggu hingga tugas dilanjutkan dari proses snapshot sebelum dapat memperbarui atau menghabiskan tugas.

Menggunakan halaman snapshot

Setelah membuat snapshot, Anda dapat menggunakan halaman Snapshots di Konsol Google Cloud untuk melihat dan mengelola snapshot untuk project Anda.

Mengklik snapshot akan membuka halaman Detail snapshot. Anda dapat melihat metadata tambahan tentang snapshot serta link ke tugas sumber dan snapshot Pub/Sub apa pun.

Catatan: Ukuran disk snapshot mungkin tidak tersedia di halaman hingga 30 menit setelah snapshot dibuat. Selain itu, ukuran disk dapat bervariasi selama 24 jam pertama setelah snapshot siap karena operasi kompresi data berkala yang terjadi di latar belakang.

Menghapus snapshot

Perhatian: Menghapus snapshot saat snapshot sedang berlangsung akan menghentikan progres saat ini dan membatalkan snapshot.

Menghapus snapshot adalah cara untuk menghentikan proses snapshot dan melanjutkan tugas. Selain itu, menghapus snapshot Dataflow tidak akan otomatis menghapus snapshot Pub/Sub terkait.

Konsol

1. Di konsol Google Cloud, buka halaman Snapshots Dataflow.

   Buka Snapshots

2. Pilih snapshot, lalu klik Delete.
3. Di dialog Hapus snapshot, klik Hapus untuk mengonfirmasi.

gcloud

Menghapus snapshot:

gcloud dataflow snapshots delete SNAPSHOT_ID \
    --region=REGION

Ganti kode berikut:

• SNAPSHOT_ID: ID snapshot Anda
• REGION: region tempat snapshot Anda berada

Untuk informasi selengkapnya, lihat referensi perintah delete.

Membuat tugas dari snapshot

Setelah membuat snapshot, Anda dapat memulihkan status tugas Dataflow dengan membuat tugas baru dari snapshot tersebut.

Java

Untuk membuat tugas baru dari snapshot, gunakan flag --createFromSnapshot dan --enableStreamingEngine.

• Di shell atau terminal, buat tugas baru dari snapshot. Misalnya:

  mvn -Pdataflow-runner compile exec:java \
      -Dexec.mainClass=MAIN_CLASS \
      -Dexec.args="--project=PROJECT_ID \
      --stagingLocation=gs://STORAGE_BUCKET/staging/ \
      --inputFile=gs://apache-beam-samples/shakespeare/* \
      --output=gs://STORAGE_BUCKET/output \
      --runner=DataflowRunner \
      --enableStreamingEngine \
      --createFromSnapshot=SNAPSHOT_ID \
      --region=REGION"

  Ganti kode berikut:

  • MAIN_CLASS atau MODULE: Untuk pipeline Java, lokasi class utama yang berisi kode pipeline Anda. Untuk pipeline Python, lokasi modul yang berisi kode pipeline Anda. Misalnya, saat menggunakan contoh Wordcount, nilainya adalah org.apache.beam.examples.WordCount.
  • PROJECT_ID: project ID Google Cloud Anda
  • STORAGE_BUCKET: bucket Cloud Storage yang Anda gunakan untuk aset tugas sementara dan output akhir
  • SNAPSHOT_ID: ID snapshot dari snapshot tempat Anda ingin membuat tugas baru
  • REGION: lokasi tempat Anda ingin menjalankan tugas Dataflow baru

Python

Snapshot Dataflow memerlukan Apache Beam SDK untuk Python, versi 2.29.0 atau yang lebih baru.

Untuk membuat tugas baru dari snapshot, gunakan flag --createFromSnapshot dan --enableStreamingEngine.

• Di shell atau terminal, buat tugas baru dari snapshot. Contoh:

  python -m MODULE \
      --project PROJECT_ID \
      --temp_location gs://STORAGE_BUCKET/tmp/ \
      --input gs://apache-beam-samples/shakespeare/* \
      --output gs://STORAGE_BUCKET/output \
      --runner DataflowRunner \
      --enable_streaming_engine \
      --create_from_snapshot=SNAPSHOT_ID \
      --region REGION \
      --streaming

  Ganti kode berikut:

  • MAIN_CLASS atau MODULE: Untuk pipeline Java, lokasi class utama yang berisi kode pipeline Anda. Untuk pipeline Python, lokasi modul yang berisi kode pipeline Anda. Misalnya, saat menggunakan contoh Wordcount, nilainya adalah org.apache.beam.examples.WordCount.
  • PROJECT_ID: project ID Google Cloud Anda
  • STORAGE_BUCKET: bucket Cloud Storage yang Anda gunakan untuk aset tugas sementara dan output akhir
  • SNAPSHOT_ID: ID snapshot dari snapshot tempat Anda ingin membuat tugas baru
  • REGION: lokasi tempat Anda ingin menjalankan tugas Dataflow baru

Hal berikut berlaku saat membuat tugas dari snapshot Dataflow:

• Tugas yang dibuat dari snapshot harus berjalan di region yang sama dengan tempat snapshot disimpan.

• Jika snapshot Dataflow menyertakan snapshot sumber Pub/Sub, tugas yang dibuat dari snapshot Dataflow akan otomatis seek ke snapshot Pub/Sub tersebut sebagai sumber. Anda harus menentukan topik Pub/Sub yang sama dengan yang digunakan oleh tugas sumber saat membuat tugas dari snapshot Dataflow tersebut.

  Catatan: Sebelum membuat tugas Dataflow baru, pastikan snapshot Pub/Sub tidak habis masa berlakunya. Jika tidak, tugas akan berhenti merespons.

• Jika snapshot Dataflow tidak menyertakan snapshot sumber Pub/Sub dan tugas sumber menggunakan sumber Pub/Sub, Anda harus menentukan topik Pub/Sub saat membuat tugas dari snapshot Dataflow tersebut.

• Tugas baru yang dibuat dari snapshot masih akan dikenai pemeriksaan kompatibilitas update.

Batasan umum

Batasan berikut berlaku untuk snapshot Dataflow:

• Anda tidak dapat membuat tugas dari snapshot menggunakan template atau editor Dataflow SQL.
• Jangka waktu habis masa berlaku snapshot hanya dapat ditetapkan melalui Google Cloud CLI.
• Snapshot Dataflow hanya mendukung snapshot sumber Pub/Sub.
• Snapshot sink tidak didukung. Misalnya, Anda tidak dapat membuat snapshot BigQuery saat membuat snapshot Dataflow.

Pemecahan masalah

Bagian ini memberikan petunjuk untuk memecahkan masalah umum yang ditemukan saat berinteraksi dengan snapshot Dataflow.

Sebelum menghubungi dukungan, pastikan Anda telah mengesampingkan masalah yang terkait dengan batasan yang diketahui dan di bagian pemecahan masalah berikut.

Permintaan pembuatan snapshot ditolak

Setelah permintaan pembuatan snapshot dikirim, baik dari Konsol Google Cloud maupun gcloud CLI, layanan Dataflow akan melakukan pemeriksaan prasyarat dan menampilkan pesan error. Permintaan pembuatan snapshot dapat ditolak karena berbagai alasan yang ditentukan dalam pesan error—misalnya, jika jenis tugas tidak didukung atau region tidak tersedia.

Jika permintaan ditolak karena tugas sudah terlalu lama, Anda harus memperbarui tugas sebelum meminta snapshot.

Pembuatan snapshot gagal

Pembuatan snapshot mungkin gagal karena beberapa alasan. Misalnya, tugas sumber dibatalkan atau project tidak memiliki izin yang benar untuk membuat snapshot Pub/Sub. Log job-message tugas berisi pesan error dari pembuatan snapshot. Jika pembuatan snapshot gagal, tugas sumber akan dilanjutkan.

Gagal membuat tugas dari snapshot

Saat membuat tugas dari snapshot, pastikan snapshot ada dan belum habis masa berlakunya. Tugas baru harus berjalan di Streaming Engine.

Untuk masalah umum pembuatan tugas, lihat panduan pemecahan masalah Dataflow. Secara khusus, tugas baru yang dibuat dari snapshot akan dikenai pemeriksaan kompatibilitas update, dengan tugas baru harus kompatibel dengan tugas sumber yang diambil snapshot-nya.

Tugas yang dibuat dari snapshot hanya sedikit mengalami progres

Log job-message tugas berisi pesan error untuk pembuatan tugas. Misalnya, Anda mungkin melihat bahwa tugas tidak dapat menemukan snapshot Pub/Sub. Dalam hal ini, pastikan snapshot Pub/Sub ada dan masa berlakunya belum habis. Masa berlaku snapshot Pub/Sub akan berakhir segera setelah pesan tertua dalam snapshot lebih lama dari tujuh hari. Snapshot Pub/Sub yang sudah tidak berlaku mungkin akan otomatis dihapus oleh layanan Pub/Sub.

Untuk tugas yang dibuat dari snapshot Dataflow yang menyertakan snapshot sumber Pub/Sub, tugas baru mungkin memiliki backlog Pub/Sub yang besar untuk diproses. Penskalaan otomatis streaming mungkin membantu tugas baru untuk menyelesaikan backlog dengan lebih cepat.

Tugas sumber yang diambil snapshot-nya mungkin sudah dalam status tidak sehat sebelum snapshot diambil. Memahami alasan tugas sumber tidak sehat dapat membantu menyelesaikan masalah tugas baru. Untuk tips proses debug tugas umum, lihat panduan pemecahan masalah Dataflow.