Mengupgrade lingkungan

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara mengupgrade lingkungan Anda ke versi Cloud Composer atau Airflow baru.

Tentang operasi upgrade

Anda dapat mengupgrade versi Cloud Composer, versi Airflow, atau keduanya secara bersamaan.

Saat Anda mengubah versi Airflow atau Cloud Composer yang digunakan oleh lingkungan Anda:

• Cloud Composer men-deploy ulang komponen lingkungan Anda menggunakan image Cloud Composer versi baru.

• Cloud Composer menerapkan perubahan konfigurasi Airflow, seperti paket PyPI kustom atau penggantian opsi konfigurasi Airflow, jika lingkungan Anda memilikinya sebelum upgrade.

• Cloud Composer memperbarui koneksi airflow_db Airflow agar mengarah ke database Cloud SQL baru.

Mengupgrade tidak akan mengubah cara Anda terhubung ke resource di lingkungan, seperti URL bucket lingkungan, atau server web Airflow.

Batasan operasi upgrade

Operasi upgrade memiliki batasan berikut:

• Anda tidak dapat mendowngrade ke versi Cloud Composer atau Airflow yang lebih lama.

• Di konsol Google Cloud, Anda hanya dapat mengupgrade ke Cloud Composer versi terbaru yang didukung.

• Di Google Cloud CLI, API, atau Terraform, Anda dapat mengupgrade lingkungan ke versi terbaru yang didukung, tiga versi Cloud Composer sebelumnya, versi patch terakhir dari versi minor sebelumnya, dan ke versi dengan linimasa upgrade yang diperpanjang. Anda tidak dapat melakukan upgrade ke versi Cloud Composer lainnya, meskipun versi tersebut masih didukung dan dapat digunakan untuk membuat lingkungan baru.

• Versi yang Anda upgrade harus mendukung versi Python saat ini di lingkungan Anda.

• Batas kuota Compute Engine API dapat mencegah upgrade. Di konsol Google Cloud, buka halaman IAM and Admin > Quotas and System Limits, lalu periksa apakah kuota Compute Engine API untuk CPU tidak terlampaui. Jika batas kuota hampir tercapai, minta Penambahan kuota sebelum melanjutkan operasi upgrade.

• Anda tidak dapat melakukan upgrade ke versi utama Cloud Composer atau Airflow yang berbeda secara langsung. Anda dapat mentransfer DAG dan konfigurasi secara manual antar-lingkungan. Untuk informasi selengkapnya, lihat:

  • Bermigrasi dari Cloud Composer 1, Airflow 1 ke Cloud Composer 2, Airflow 2.
  • Bermigrasi dari Cloud Composer 1, Airflow 2 ke Cloud Composer 2, Airflow 2.
  • Bermigrasi dari Cloud Composer 1, Airflow 1 ke Cloud Composer 1, Airflow 2.

• Anda tidak dapat mengupgrade lingkungan jika database Airflow berisi lebih dari 16 GB data. Selama upgrade, peringatan akan ditampilkan jika ukuran database Airflow lebih dari 16 GB. Dalam hal ini, lakukan pemeliharaan database untuk mengurangi ukuran database.

• Jika Anda menggunakan mekanisme XCom untuk mentransfer file, pastikan Anda menggunakannya sesuai dengan panduan Airflow. Mentransfer file besar atau sejumlah besar file menggunakan XCom akan memengaruhi performa database Airflow dan dapat menyebabkan kegagalan saat memuat snapshot atau mengupgrade lingkungan Anda. Pertimbangkan untuk menggunakan alternatif seperti Cloud Storage untuk mentransfer data dalam volume besar.

Sebelum memulai

Perhatian:

• Pastikan Anda mengetahui perbedaan antara versi Airflow dan Cloud Composer saat ini dan versi yang Anda upgrade. Versi baru dapat mencakup berbagai versi paket bawaan, patch dari Cloud Composer, atau perubahan pada fungsi Airflow, yang disediakan oleh project open source Airflow. Anda dapat memeriksa versi paket penyedia yang disertakan dalam versi tertentu.

• Pastikan DAG Anda kompatibel dengan versi Airflow baru dan versi baru semua paket penyedia (termasuk paket penyedia Airflow untuk layanan Google Cloud dan Google). Perubahan yang tidak kompatibel dapat menyebabkan DAG Anda tidak berfungsi lagi.

• Selama operasi upgrade, semua tugas yang berjalan akan dihentikan. Setelah upgrade selesai, Airflow menjadwalkan tugas ini untuk dicoba ulang, bergantung pada cara Anda mengonfigurasi percobaan ulang untuk DAG.

• Jangan upgrade cluster GKE di lingkungan Cloud Composer Anda ke versi yang lebih baru. Gunakan versi GKE yang telah dikonfigurasi sebelumnya selama pembuatan lingkungan dan mengandalkan upgrade otomatis layanan GKE.

• Sebaiknya buat snapshot baru lingkungan agar dapat membuat ulang lingkungan jika diperlukan.

• Akun Anda harus memiliki peran yang dapat memicu operasi upgrade lingkungan. Selain itu, akun layanan lingkungan harus memiliki peran yang memiliki izin yang memadai untuk melakukan operasi upgrade. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses.

Periksa apakah lingkungan Anda sudah yang terbaru

Cloud Composer menampilkan peringatan saat image lingkungan Anda mendekati akhir tanggal dukungan penuh. Anda dapat menggunakan peringatan ini untuk selalu menjaga lingkungan Anda didukung.

Gambar 1. Pesan penghentian penggunaan ditampilkan di halaman detail Lingkungan

Cloud Composer melacak versi image Cloud Composer yang menjadi dasar lingkungan Anda. Saat mendekati tanggal akhir dukungan, Anda dapat melihat peringatan dalam daftar lingkungan dan di halaman Detail lingkungan.

Catatan: Anda selalu dapat mengupgrade lingkungan, meskipun versi image Cloud Composer telah melewati periode dukungan penuhnya.

Untuk memeriksa apakah lingkungan Anda sudah yang terbaru:

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di kolom Versi gambar, salah satu pesan berikut akan ditampilkan:

   • Versi terbaru yang tersedia. Image lingkungan Anda didukung sepenuhnya.

   • Tersedia versi baru. Gambar lingkungan Anda didukung sepenuhnya dan Anda dapat mengupgradenya ke versi yang lebih baru.

   • Dukungan untuk versi image ini akan berakhir pada... Gambar lingkungan Anda hampir mendekati akhir periode dukungan penuh.

   • Versi ini tidak didukung mulai... Lingkungan Anda telah melewati periode dukungan penuh.

gcloud

Fungsi ini tidak tersedia melalui Google Cloud CLI. Sebagai gantinya, Anda dapat Melihat upgrade yang tersedia, yang menampilkan versi baru yang tersedia.

API

Fungsi ini tidak tersedia melalui API. Sebagai gantinya, Anda dapat Melihat upgrade yang tersedia, yang menampilkan versi baru yang tersedia.

Melihat upgrade yang tersedia

Untuk melihat versi Cloud Composer yang dapat Anda upgrade:

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan, lalu klik Upgrade Image Version.

4. Untuk mengetahui daftar versi yang tersedia, klik menu drop-down Versi image Cloud Composer.

gcloud

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan tersebut berada.

Contoh:

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

Anda dapat melihat versi yang tersedia untuk suatu lokasi. Untuk melakukannya, buat permintaan API imageVersions.list.

Contoh:

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Memeriksa konflik paket PyPI sebelum mengupgrade

Pratinjau — Upgrade check

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dalam Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Anda dapat memeriksa apakah paket PyPI yang diinstal di lingkungan Anda memiliki konflik dengan paket yang telah diinstal sebelumnya di image Cloud Composer yang baru.

Pemeriksaan yang berhasil berarti tidak ada konflik dalam dependensi paket PyPI antara versi saat ini dan versi yang ditentukan. Namun, operasi upgrade mungkin masih tidak berhasil karena alasan lain.

Konsol

Untuk menjalankan pemeriksaan upgrade untuk lingkungan Anda:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan, temukan entri Versi image, lalu klik Upgrade.

4. Pada dialog Environment version upgrade, di menu drop-down New version, pilih versi Cloud Composer yang ingin Anda upgrade.

5. Di bagian Kompatibilitas paket PyPI, klik Periksa konflik.

6. Tunggu hingga pemeriksaan selesai. Jika ada konflik dependensi paket PyPI, pesan error yang ditampilkan akan berisi detail tentang paket dan versi paket yang bertentangan.

gcloud

Untuk menjalankan pemeriksaan upgrade untuk lingkungan Anda, jalankan perintah environments check-upgrade dengan versi image Cloud Composer yang ingin Anda upgrade.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan tersebut berada.
• VERSION dengan versi image Cloud Composer baru yang ingin Anda upgrade, dalam format composer-a.b.c-airflow-x.y.z. Anda juga dapat menggunakan semua alias versi.

Contoh:

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --image-version composer-1.20.12-airflow-1.10.15

Contoh output:

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-1.20.12-airflow-1.10.15. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

Atau, Anda dapat menjalankan pemeriksaan upgrade secara asinkron. Gunakan argumen --async untuk melakukan panggilan asinkron, lalu periksa hasilnya dengan perintah gcloud composer operations describe.

API

Buat permintaan API environments.checkUpgrade.

Tentukan versi image di kolom imageVersion:

{
  "imageVersion": "VERSION"
}

Ganti VERSION dengan versi baru yang ingin Anda upgrade, dalam format composer-a.b.c-airflow-x.y.z.

Mengupgrade lingkungan

Perhatian: Jeda semua DAG dan tunggu hingga tugas yang sedang berlangsung selesai sebelum mengupgrade.

Untuk mengupgrade lingkungan Anda ke Cloud Composer atau Airflow versi yang lebih baru:

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Cari item Versi image, lalu klik Upgrade.

5. Dari menu drop-down Image version, pilih versi Cloud Composer yang ingin Anda upgrade.

6. Klik Upgrade.

gcloud

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan tersebut berada.
• VERSION dengan versi image Cloud Composer baru yang ingin Anda upgrade, dalam format composer-a.b.c-airflow-x.y.z. Anda juga dapat menggunakan semua alias versi.

Contoh:

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --image-version composer-1.20.12-airflow-1.10.15

API

1. Buat permintaan API environments.patch.

2. Dalam permintaan ini:

   1. Dalam parameter updateMask, tentukan mask config.softwareConfig.imageVersion.

   2. Dalam isi permintaan, di kolom imageVersion, tentukan versi baru yang ingin Anda upgrade.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-1.20.12-airflow-1.10.15"
      }
    }
  }

Terraform

Peringatan: Jika Anda menentukan versi utama Airflow atau Cloud Composer yang berbeda, Terraform akan menghapus lingkungan Anda dan membuat yang baru. Anda hanya dapat mengupgrade dalam versi minor Airflow atau Cloud Composer.

Kolom image_version di blok config.software_config mengontrol image Cloud Composer lingkungan Anda. Di kolom ini, tentukan image Cloud Composer baru.

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan tersebut berada. Versi image Cloud Composer baru yang ingin Anda upgrade, dalam format composer-a.b.c-airflow-x.y.z. Anda juga dapat menggunakan semua alias versi.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-1.20.12-airflow-1.10.15"
    }
  }
}

Langkah selanjutnya

• Daftar versi
• Pembuatan versi Cloud Composer
• Memperbarui lingkungan