Mengupgrade lingkungan

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Pratinjau — Cloud Composer 3

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dalam Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Halaman ini menjelaskan cara mengupgrade lingkungan Anda ke lingkungan baru Aliran udara .

Tentang operasi upgrade

Di Cloud Composer 3, Anda tidak mengelola versi Cloud Composer lingkungan Anda:

• Cloud Composer mengupgrade infrastruktur secara otomatis komponen lingkungan Anda. Komponen ini terkait dengan Fungsionalitas Cloud Composer dan tidak mengubah cara kerja Airflow atau cara DAG Airflow Anda dieksekusi.
• Cloud Composer tidak mengupgrade versi Airflow secara otomatis dan build, komponen Airflow, atau komponen yang terkait erat dengan Airflow sebagian besar workload standar dan berbasis cloud. Parameter tidak berubah saat komponen infrastruktur diupgrade secara otomatis.
• Anda dapat mengupgrade secara manual ke Airflow baru versi atau build.

Misalnya, Anda dapat menggunakan versi dan build Airflow yang sama untuk beberapa bulan, tanpa melakukan upgrade apa pun, dan lingkungan Anda tetap menerima update, perbaikan, dan peningkatan Cloud Composer terbaru komponen infrastruktur lingkungan Anda. Ketika nanti Anda memutuskan untuk pindah ke versi baru atau build Airflow, Anda mengupgrade versi Airflow di lingkungan fleksibel App Engine.

Tentang upgrade versi Airflow

Lingkungan Anda mengubah versi atau build Airflow dalam aplikasi berikut cara:

• Anda mengontrol versi Airflow (dan build) lingkungan Anda. Anda dapat menjalankan operasi upgrade versi Airflow saat Anda memilih untuk beralih lingkungan Anda ke versi Airflow yang berbeda. Sebagai contoh, mungkin terjadi jika versi dan build Airflow saat ini tidak lagi didukung.

• Cloud Composer men-deploy ulang komponen Airflow lingkungan Anda menggunakan versi dan build Airflow yang ditentukan.

• Cloud Composer menerapkan perubahan konfigurasi Airflow, seperti paket PyPI khusus atau penggantian opsi konfigurasi Airflow, jika sebelum upgrade.

• Cloud Composer mengupdate koneksi airflow_db Airflow ke mengarah ke database Cloud SQL baru.

Mengubah versi Airflow tidak mengubah cara Anda terhubung ke resource di lingkungan Anda, seperti URL bucket lingkungan Anda, atau Server web Airflow.

Tentang operasi upgrade infrastruktur otomatis

Cloud Composer dijalankan secara berkala operasi upgrade infrastruktur otomatis:

• Operasi upgrade infrastruktur otomatis berjalan secara berkala selama masa pemeliharaan yang ditentukan untuk lingkungan.

• Upgrade infrastruktur otomatis tidak mungkin dinonaktifkan di Cloud Composer 3. Anda dapat mengontrol jangka waktu upgrade otomatis yang dapat dijalankan dengan menentukan masa pemeliharaan khusus untuk lingkungan Anda.

• Operasi ini dapat dilihat di Konsol Google Cloud log lingkungan, seperti operasi yang berjalan lama lainnya. Sementara operasi sedang berjalan, Anda tidak dapat memulai operasi lain di lingkungan tersebut (tetapi Anda tetap dapat menjalankan DAG Airflow).

• Upgrade infrastruktur otomatis tidak mengganggu Airflow atau tugas Airflow yang sudah berjalan. Upgrade mungkin menyebabkan dalam waktu singkat ketidaktersediaan infrastruktur lingkungan lain, seperti pemantauan lingkungan.

Batasan operasi upgrade

Operasi upgrade memiliki batasan berikut:

• Anda tidak dapat melakukan downgrade ke versi atau build Airflow sebelumnya.

• Anda tidak dapat mengupgrade lingkungan jika database Airflow berisi data berukuran lebih dari 16 GB. Selama upgrade, peringatan ditampilkan jika ukuran database Airflow lebih dari 16 GB. Dalam kasus ini, lakukan pemeliharaan database untuk mengurangi ukuran {i>database<i}.

Sebelum memulai

Perhatian:

• Pastikan Anda mengetahui perbedaan antara Airflow versi saat ini dan versi yang akan Anda upgrade. Versi baru dapat mencakup berbagai versi pra-instal paket, patch dari Cloud Composer, atau perubahan dalam Airflow fungsionalitas, yang disediakan oleh project open source Airflow. Anda dapat periksa versi paket penyedia yang disertakan dalam menggunakan versi tertentu.

• Pastikan DAG Anda kompatibel dengan versi Airflow baru dan versi baru dari semua paket penyedia (termasuk penyedia Airflow untuk layanan Google Cloud dan Google). Perubahan yang tidak kompatibel dapat menyebabkan DAG Anda tidak lagi berfungsi.

• Tidak seperti upgrade infrastruktur otomatis, saat lingkungan diupgrade ke versi atau build Airflow baru, kemudian semua tugas yang berjalan akan dihentikan. Setelah upgrade selesai, Airflow menjadwalkan tugas ini untuk dicoba ulang, bergantung pada cara Anda mengonfigurasi percobaan ulang untuk DAG Anda.

• Sebaiknya buat ringkasan baru dari dapat menciptakan ulang lingkungan jika hal ini diperlukan.

• Akun Anda harus memiliki peran yang dapat memicu upgrade lingkungan operasional bisnis. Selain itu, akun layanan lingkungan harus memiliki yang memiliki izin cukup untuk melakukan operasi upgrade. Untuk selengkapnya informasi, lihat Kontrol akses.

Periksa apakah lingkungan Anda sudah yang terbaru

Cloud Composer menampilkan peringatan saat build Airflow lingkungan Anda mendekati akhir tanggal dukungan. Anda dapat menggunakan peringatan ini untuk selalu menjaga lingkungan didukung.

Gambar 1. Pesan penghentian penggunaan ditampilkan di Lingkungan halaman detail

Cloud Composer melacak Versi dan build Airflow yang menjadi dasar lingkungan Anda. Ketika mendekati tanggal akhir dukungan, Anda dapat melihat peringatan dalam daftar lingkungan dan di Halaman Detail lingkungan.

Catatan: Anda dapat mengupgrade lingkungan kapan saja, meskipun jika versi dan build Airflow lingkungannya melewati periode dukungannya.

Untuk memeriksa apakah lingkungan Anda sudah yang terbaru:

Konsol

1. Di Konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Pada daftar lingkungan, klik nama lingkungan Anda. Halaman Detail lingkungan akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di kolom Versi gambar, salah satu pesan berikut akan ditampilkan:

   • Versi terbaru yang tersedia. Gambar lingkungan Anda didukung sepenuhnya.

   • Versi baru tersedia. Image lingkungan Anda didukung sepenuhnya dan Anda dapat meningkatkannya ke versi yang lebih baru.

   • Dukungan untuk versi image ini berakhir pada... Gambar lingkungan Anda mendekati akhir periode dukungan penuh.

   • Versi ini tidak didukung mulai... Lingkungan Anda telah melampaui periode dukungan penuh.

gcloud

Fungsi ini tidak tersedia melalui Google Cloud CLI. Anda dapat Lihat upgrade yang tersedia, yang menampilkan versi baru yang tersedia.

API

Fungsi ini tidak tersedia melalui API. Anda dapat Lihat upgrade yang tersedia, yang menampilkan versi baru yang tersedia.

Lihat upgrade yang tersedia

Untuk melihat versi Cloud Composer yang dapat diupgrade:

Konsol

1. Di Konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Pada daftar lingkungan, klik nama lingkungan Anda. Halaman Detail lingkungan akan terbuka.

3. Buka tab Konfigurasi lingkungan, lalu klik Upgrade Versi Image.

4. Untuk melihat daftar versi yang tersedia, klik Cloud Composer Menu drop-down Versi gambar.

gcloud

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan berada.

Contoh:

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

Anda dapat melihat versi yang tersedia untuk sebuah lokasi. Untuk melakukannya, bangun Permintaan API imageVersions.list.

Contoh:

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Periksa konflik paket PyPI sebelum mengupgrade

Pratinjau — Upgrade check

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dalam Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Anda dapat memeriksa apakah paket PyPI yang diinstal di lingkungan Anda memiliki bertentangan dengan paket yang sudah diinstal sebelumnya dalam Versi atau build Airflow.

Pemeriksaan yang berhasil berarti tidak ada konflik dalam paket PyPI dependensi antara versi saat ini dan versi yang ditentukan. Namun, operasi upgrade mungkin masih tidak berhasil karena alasan lain.

Konsol

Untuk menjalankan pemeriksaan upgrade bagi lingkungan Anda:

1. Di Konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Pada daftar lingkungan, klik nama lingkungan Anda. Halaman Detail lingkungan akan terbuka.

3. Buka tab Environment configuration, cari entri Image version, lalu klik Upgrade.

4. Dalam dialog Environment version upgrade, di menu drop-down Versi baru, pilih versi Airflow atau build tujuan upgrade.

5. Di bagian Kompatibilitas paket PyPI, klik Periksa konflik.

6. Tunggu hingga pemeriksaan selesai. Jika ada dependensi paket PyPI bentrok, maka pesan {i>error<i} yang ditampilkan berisi detail tentang paket dan versi paket yang konflik.

gcloud

Untuk menjalankan pemeriksaan upgrade bagi lingkungan Anda, jalankan environments check-upgrade perintah ini dengan Versi atau build Airflow. tujuan upgrade.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan berada.
• VERSION dengan versi dan build Airflow baru yang ingin Anda upgrade dalam format airflow-x.y.z-build.t. Anda juga dapat menggunakan semua alias versi.

Contoh:

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --airflow-version airflow-2.9.1-build.6

Contoh output:

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-3-airflow-2.9.1-build.6. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

Sebagai alternatif, Anda dapat menjalankan pemeriksaan upgrade secara asinkron. Gunakan Argumen --async untuk melakukan panggilan asinkron, lalu periksa hasilnya dengan gcloud composer operations describe perintah.

API

Membuat environments.checkUpgrade API permintaan.

Tentukan versi gambar di kolom imageVersion:

{
  "imageVersion": "VERSION"
}

Ganti VERSION dengan versi baru yang ingin Anda upgrade, di dalam format composer-3-airflow-x.y.z-build.t.

Mengupgrade lingkungan Anda

Perhatian: Jeda semua DAG dan tunggu hingga tugas yang sedang berlangsung selesai sebelum saat mengupgrade.

Untuk mengupgrade lingkungan Anda ke versi baru atau build Airflow:

Konsol

1. Di Konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Pada daftar lingkungan, klik nama lingkungan Anda. Halaman Detail lingkungan akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Cari item Image version lalu klik Upgrade.

5. Dari menu drop-down Versi image, pilih versi Airflow atau build tujuan upgrade.

6. Klik Upgrade.

gcloud

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan berada.
• VERSION dengan versi dan build Airflow baru yang ingin Anda upgrade dalam format airflow-x.y.z-build.t. Anda juga dapat menggunakan semua alias versi.

Contoh:

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --airflow-version airflow-2.9.1-build.6

API

1. Buat permintaan environments.patch API.

2. Dalam permintaan ini:

   1. Di parameter updateMask, tentukan Mask config.softwareConfig.imageVersion.

   2. Dalam isi permintaan, di kolom imageVersion, tentukan yang ingin Anda upgrade.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-3-airflow-2.9.1-build.6"
      }
    }
  }

Terraform

Kolom image_version di blok config.software_config kontrol versi Airflow dan build lingkungan Anda. Di sini menentukan versi dan build Airflow baru.

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan berada. versi dan build Airflow baru yang ingin diupgrade dalam format airflow-x.y.z-build.t. Anda juga dapat menggunakan semua alias versi.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "airflow-2.9.1-build.6"
    }
  }
}

Langkah selanjutnya

• Daftar versi
• Pembuatan versi Cloud Composer
• Mengupdate lingkungan