Mengelola upgrade versi untuk instance dan pipeline

Halaman ini menjelaskan upgrade versi instance atau pipeline batch.

Upgrade instance Cloud Data Fusion dan pipeline batch ke versi platform dan plugin terbaru untuk mendapatkan fitur terbaru, perbaikan bug, dan peningkatan performa.

Sebelum memulai

Rencanakan periode nonaktif terjadwal untuk upgrade. Proses ini memerlukan waktu hingga satu jam.

Di konsol Google Cloud, aktifkan Cloud Shell.

Aktifkan Cloud Shell

Batasan

Setelah membuat instance Cloud Data Fusion, Anda tidak dapat mengubah edisinya, bahkan melalui operasi upgrade.
Mengupgrade pipeline real-time tidak didukung, kecuali dalam pipeline yang dibuat di versi 6.8.0 dengan sumber real-time Kafka. Untuk solusinya, lihat Mengupgrade pipeline real-time.
Cloud Data Fusion tidak memulai ulang pipeline yang berhenti akibat operasi upgrade.

Mengupgrade instance Cloud Data Fusion

Untuk mengupgrade instance Cloud Data Fusion ke versi Cloud Data Fusion baru, buka halaman Detail instance:

Di konsol Google Cloud, buka halaman Cloud Data Fusion.
Klik Instance, lalu klik nama instance untuk membuka halaman Detail instance.

Buka Instance

Kemudian, lakukan upgrade menggunakan Konsol Google Cloud atau gcloud CLI:

Konsol

Klik Upgrade untuk melihat daftar versi yang tersedia.
Pilih versi.
Klik Upgrade.
Verifikasi bahwa upgrade berhasil:
1. Muat ulang halaman Detail instance.
2. Klik View instance untuk mengakses instance yang telah diupgrade di antarmuka web Cloud Data Fusion.
3. Klik System admin di panel menu.
  
  Nomor versi baru akan muncul di bagian atas halaman.
Untuk mencegah pipeline Anda macet saat Anda menjalankannya dalam versi baru, berikan peran yang diperlukan di instance yang telah diupgrade.

gcloud

Untuk melakukan upgrade ke versi Cloud Data Fusion yang baru, jalankan perintah gcloud CLI berikut dari sesi Cloud Shell terminal lokal:
```
gcloud beta data-fusion instances update \
  --project= \
  --location= \
  --version=
```
- Opsional: Jika berlaku untuk instance Anda, tambahkan flag --enable_stackdriver_logging, --enable_stackdriver_monitoring, dan --labels.
- Opsional: Anda dapat meneruskan properti CDAP, seperti enable.unrecoverable.reset, sebagai --options.
Verifikasi bahwa upgrade berhasil dengan mengikuti langkah-langkah berikut:
1. Di konsol Google Cloud, buka halaman Instance Cloud Data Fusion.
2. Klik View instance untuk mengakses instance yang telah diupgrade di antarmuka web Cloud Data Fusion.
3. Klik System Admin di panel menu.
  
  Nomor versi baru akan muncul di bagian atas halaman.
Untuk mencegah pipeline Anda macet saat Anda menjalankannya dalam versi baru, berikan peran yang diperlukan di instance yang telah diupgrade.

Mengupgrade pipeline batch

Untuk mengupgrade pipeline batch Cloud Data Fusion agar menggunakan versi plugin terbaru:

Tetapkan variabel lingkungan.
Direkomendasikan: Cadangkan semua pipeline. Anda dapat mencadangkan pipeline dengan salah satu dari dua cara berikut:
- Download file ZIP dengan mengikuti langkah-langkah berikut:
  1. Untuk memicu download file ZIP, cadangkan semua pipeline dengan perintah berikut:
```
echo $CDAP_ENDPOINT/v3/export/apps
```
  1. Salin output URL ke browser Anda.
  2. Ekstrak file yang didownload, lalu pastikan semua pipeline telah diekspor. Pipeline diatur berdasarkan namespace.
- Cadangkan pipeline menggunakan Source Control Management (SCM), yang tersedia dalam versi 6.9 dan yang lebih baru. SCM menyediakan integrasi GitHub, yang dapat Anda gunakan untuk mencadangkan pipeline.
Mengupgrade pipeline dengan mengikuti langkah-langkah berikut:
1. Buat variabel yang mengarah ke file pipeline_upgrade.json yang akan Anda buat pada langkah berikutnya untuk menyimpan daftar pipeline.
```
export PIPELINE_LIST=PATH/pipeline_upgrade.json
```
  Ganti PATH dengan jalur ke file.
2. Buat daftar semua pipeline untuk instance dan namespace menggunakan perintah berikut. Hasilnya disimpan dalam file $PIPELINE_LIST dalam format JSON. Anda dapat mengedit daftar untuk menghapus pipeline yang tidak memerlukan upgrade.
```
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST
```
  Ganti NAMESPACE_ID dengan namespace tempat Anda ingin upgrade dilakukan.
3. Mengupgrade pipeline yang tercantum di pipeline_upgrade.json. Masukkan NAMESPACE_ID pipeline yang akan diupgrade. Perintah ini menampilkan daftar pipeline yang diupgrade beserta status upgradenya.
```
curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST
```
  Ganti NAMESPACE_ID dengan ID namespace pipeline yang sedang diupgrade.
Untuk mencegah pipeline Anda macet saat Anda menjalankannya dalam versi baru, berikan peran yang diperlukan dalam instance yang telah diupgrade.

Mengupgrade pipeline real-time

Mengupgrade pipeline real-time tidak didukung, kecuali dalam pipeline yang dibuat di versi 6.8.0 dengan sumber real-time Kafka.

Untuk hal lainnya, Anda dapat melakukan hal berikut:

Hentikan dan ekspor pipeline.
Upgrade instance.
Impor pipeline real-time ke instance yang telah diupgrade.

Upgrade untuk mengaktifkan Replikasi

Replikasi dapat diaktifkan di lingkungan Cloud Data Fusion dalam versi 6.3.0 atau yang lebih baru. Jika Anda memiliki versi 6.2.3, upgrade ke 6.3.0, lalu upgrade ke versi terbaru. Kemudian, Anda dapat mengaktifkan Replikasi.

Memberikan peran untuk instance yang diupgrade

Setelah upgrade selesai, berikan peran Cloud Data Fusion Runner (roles/datafusion.runner) dan peran Admin Cloud Storage (roles/storage.admin) ke akun layanan Dataproc di project Anda.

Langkah selanjutnya

Kelola revisi patch untuk instance Cloud Data Fusion.
Pelajari pembuatan versi di Cloud Data Fusion.
Lihat versi yang tersedia dan upgrade revisi patch.
Memecahkan masalah upgrade.