Mengelola upgrade versi untuk instance dan pipeline

Halaman ini menjelaskan cara mengupgrade versi instance atau pipeline batch.

Upgrade instance Cloud Data Fusion dan pipeline batch ke versi platform dan plugin terbaru untuk mendapatkan fitur terbaru, perbaikan bug, dan peningkatan performa.

Sebelum memulai

  • Rencanakan periode nonaktif terjadwal untuk upgrade. Proses ini memerlukan waktu hingga satu jam.

  • In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

Batasan

  • Setelah membuat instance Cloud Data Fusion, Anda tidak dapat mengubah edisi-nya, bahkan melalui operasi upgrade.

  • Jangan memicu upgrade dengan Terraform, karena tindakan ini akan menghapus dan membuat ulang instance, bukan melakukan upgrade di tempat. Masalah ini mengakibatkan hilangnya data yang ada dalam instance.

  • Mengupgrade pipeline real-time tidak didukung, kecuali dalam pipeline yang dibuat dalam versi 6.8.0 dengan sumber real-time Kafka. Untuk solusinya, lihat Mengupgrade pipeline real-time.

  • Cloud Data Fusion tidak memulai ulang pipeline yang berhenti sebagai akibat dari operasi upgrade.

Mengupgrade instance Cloud Data Fusion

Untuk mengupgrade instance Cloud Data Fusion ke versi Cloud Data Fusion baru, buka halaman Detail instance:

  1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

  2. Klik Instance, lalu klik nama instance untuk membuka halaman Instance details.

    Buka Instance

Kemudian, lakukan upgrade menggunakan Konsol Google Cloud atau gcloud CLI:

Konsol

  1. Klik Upgrade untuk melihat daftar versi yang tersedia.

  2. Pilih versi.

  3. Klik Upgrade.

  4. Verifikasi bahwa upgrade berhasil:

    1. Muat ulang halaman Detail instance.

    2. Klik Lihat instance untuk mengakses instance yang diupgrade di antarmuka web Cloud Data Fusion.

    3. Klik System admin di panel menu.

      Nomor versi baru akan muncul di bagian atas halaman.

  5. Untuk mencegah pipeline macet saat Anda menjalankannya dalam versi baru, berikan peran yang diperlukan di instance yang diupgrade.

gcloud

  1. Untuk mengupgrade ke versi Cloud Data Fusion baru, jalankan perintah gcloud CLI berikut dari sesi Cloud Shell terminal lokal:

      gcloud beta data-fusion instances update INSTANCE_ID \
    --project=PROJECT_ID \
    --location=LOCATION_NAME \
    --version=AVAILABLE_INSTANCE_VERSION

  2. Pastikan upgrade berhasil dengan mengikuti langkah-langkah berikut:

    1. Di konsol Google Cloud, buka halaman Instance Cloud Data Fusion.

    2. Klik Lihat instance untuk mengakses instance yang diupgrade di antarmuka web Cloud Data Fusion.

    3. Klik System Admin di panel menu.

      Nomor versi baru akan muncul di bagian atas halaman.

  3. Untuk mencegah pipeline macet saat Anda menjalankannya dalam versi baru, berikan peran yang diperlukan di instance yang diupgrade.

Mengupgrade pipeline batch

Untuk mengupgrade pipeline batch Cloud Data Fusion agar menggunakan versi plugin terbaru:

  1. Tetapkan variabel lingkungan.

  2. Direkomendasikan: Cadangkan semua pipeline. Anda dapat mencadangkan pipeline dengan salah satu dari dua cara berikut:

    • Download file ZIP dengan mengikuti langkah-langkah berikut:

      1. Untuk memicu download file zip, cadangkan semua pipeline dengan perintah berikut:
      echo $CDAP_ENDPOINT/v3/export/apps
      1. Salin output URL ke browser Anda.
      2. Ekstrak file yang didownload, lalu konfirmasi bahwa semua pipeline telah diekspor. Pipeline diatur berdasarkan namespace.

    • Cadangkan pipeline menggunakan Source Control Management (SCM), yang tersedia di versi 6.9 dan yang lebih baru. SCM menyediakan integrasi GitHub, yang dapat Anda gunakan untuk mencadangkan pipeline.

  3. Upgrade pipeline dengan mengikuti langkah-langkah berikut:

    1. Buat variabel yang mengarah ke file pipeline_upgrade.json yang akan Anda buat di langkah berikutnya untuk menyimpan daftar pipeline.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json

      Ganti PATH dengan jalur ke file.

    2. Buat daftar semua pipeline untuk instance dan namespace menggunakan perintah berikut. Hasilnya disimpan dalam file $PIPELINE_LIST dalam format JSON. Anda dapat mengedit daftar untuk menghapus pipeline yang tidak memerlukan upgrade.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST

      Ganti NAMESPACE_ID dengan namespace tempat Anda ingin upgrade dilakukan.

    3. Upgrade pipeline yang tercantum di pipeline_upgrade.json. Masukkan NAMESPACE_ID pipeline yang akan diupgrade. Perintah ini menampilkan daftar pipeline yang diupgrade dengan status upgrade-nya.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST

      Ganti NAMESPACE_ID dengan ID namespace pipeline yang diupgrade.

  4. Untuk mencegah pipeline macet saat Anda menjalankannya dalam versi baru, berikan peran yang diperlukan di instance yang diupgrade.

Mengupgrade pipeline real-time

Mengupgrade pipeline real-time tidak didukung, kecuali dalam pipeline yang dibuat dalam versi 6.8.0 dengan sumber real-time Kafka.

Untuk hal lainnya, Anda dapat melakukan hal berikut:

  1. Hentikan dan ekspor pipeline.
  2. Upgrade instance.
  3. Impor pipeline real-time ke instance yang diupgrade.

Mengupgrade untuk mengaktifkan Replikasi

Replikasi dapat diaktifkan di lingkungan Cloud Data Fusion versi 6.3.0 atau yang lebih baru. Jika Anda memiliki versi 6.2.3, upgrade ke 6.3.0, lalu upgrade ke versi terbaru. Kemudian, Anda dapat mengaktifkan Replikasi.

Memberikan peran untuk instance yang diupgrade

Setelah upgrade selesai, berikan peran Cloud Data Fusion Runner (roles/datafusion.runner) dan peran Cloud Storage Admin (roles/storage.admin) ke akun layanan Dataproc di project Anda.

Langkah selanjutnya