Memperbarui lingkungan

Cloud Composer 1 | Cloud Composer 2

Halaman ini menjelaskan cara memperbarui lingkungan.

Tentang operasi update

Saat Anda mengubah parameter lingkungan, seperti menentukan parameter penskalaan dan performa baru, atau menginstal paket PyPI kustom, lingkungan Anda akan diupdate.

Setelah operasi ini selesai, perubahan akan tersedia di lingkungan Anda.

Untuk satu lingkungan Cloud Composer, Anda hanya dapat memulai satu operasi pembaruan dalam satu waktu. Anda harus menunggu hingga operasi update selesai sebelum memulai operasi lingkungan lainnya.

Penting: Jangan upgrade cluster GKE lingkungan Cloud Composer ke versi GKE yang lebih baru. Gunakan versi GKE yang telah dikonfigurasi sebelumnya selama pembuatan lingkungan dan andalkan upgrade otomatis yang dilakukan oleh layanan GKE.

Pengaruh update terhadap pengoperasian tugas Airflow

Perhatian: Selama operasi update, semua tugas yang sedang berjalan akan dihentikan.

Saat Anda menjalankan operasi update, seperti menginstal paket PyPI kustom, semua penjadwal dan pekerja Airflow di lingkungan Anda akan dimulai ulang, dan semua tugas yang sedang berjalan akan dihentikan. Setelah operasi update selesai, Airflow menjadwalkan tugas ini untuk dicoba ulang, bergantung pada cara Anda mengonfigurasi percobaan ulang untuk DAG.

Mengupdate dengan Terraform

Peringatan: Jika Anda mencoba mengubah parameter konfigurasi yang tidak dapat diperbarui, Terraform akan menghapus lingkungan Anda dan membuat lingkungan baru dengan nilai parameter baru.

Jalankan terraform plan sebelum terraform apply untuk mengetahui apakah Terraform membuat lingkungan baru, bukan mengupdatenya.

Sebelum memulai

• Pastikan akun Anda, akun layanan lingkungan Anda, dan akun Agen Layanan Cloud Composer di project Anda memiliki izin yang diperlukan:

  • Akun Anda harus memiliki peran yang dapat memicu operasi pembaruan lingkungan.

  • Akun layanan lingkungan Anda harus memiliki peran yang memiliki izin yang cukup untuk menjalankan operasi update.

• Perintah gcloud composer environments update berakhir saat operasi selesai. Anda dapat menggunakan flag --async agar tidak perlu menunggu operasi selesai.

Memperbarui lingkungan

Untuk mengetahui informasi selengkapnya tentang cara mengupdate lingkungan, lihat halaman dokumentasi lainnya tentang operasi update tertentu. Contoh:

• Mengganti opsi konfigurasi Airflow
• Menetapkan variabel lingkungan
• Menginstal dependensi Python
• Lingkungan penskalaan
• Mengonfigurasi jaringan yang diizinkan

Lihat detail lingkungan

Konsol

1. Di Konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Pada daftar lingkungan, klik nama lingkungan Anda. Halaman Detail lingkungan akan terbuka.

gcloud

Jalankan perintah gcloud berikut:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan wilayah tempat lingkungan berada.

API

Buat permintaan environments.get API.

Contoh:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Jalankan perintah terraform state show untuk resource lingkungan Anda.

Nama resource Terraform lingkungan Anda mungkin berbeda dengan nama lingkungan Anda.

terraform state show google_composer_environment.RESOURCE_NAME

Ganti:

• RESOURCE_NAME dengan nama resource lingkungan Anda.

Me-roll back perubahan update

Dalam beberapa situasi yang jarang terjadi, operasi update mungkin terganggu (misalnya, karena waktu tunggu habis) dan perubahan yang diminta mungkin tidak di-roll back di semua komponen lingkungan (seperti server web Airflow).

Misalnya, operasi update mungkin menginstal atau menghapus modul PyPI tambahan, menentukan ulang atau menentukan variabel lingkungan Airflow atau Cloud Composer baru, atau mengubah beberapa parameter terkait Airflow.

Situasi tersebut dapat terjadi jika operasi update dipicu saat operasi lain sedang berlangsung, misalnya penskalaan otomatis cluster Cloud Composer atau operasi pemeliharaan.

Dalam situasi seperti ini, sebaiknya ulangi operasi ini.

Durasi operasi update atau upgrade

Sebagian besar operasi update atau upgrade memerlukan mulai ulang komponen Airflow seperti penjadwal Airflow, pekerja, dan server web.

Setelah dimulai ulang, komponen harus diinisialisasi. Selama inisialisasi, penjadwal dan pekerja Airflow akan mendownload konten folder /dags dan /plugins dari bucket lingkungan. Proses sinkronisasi file ke penjadwal dan pekerja Airflow tidak seketika dan bergantung pada ukuran total serta jumlah semua objek dalam folder ini.

Sebaiknya simpan hanya file DAG dan plugin di folder /dags dan /plugins (masing-masing) dan hapus semua file lainnya. Terlalu banyak data dalam folder /dags dan /plugins dapat memperlambat inisialisasi komponen Airflow dan dalam kasus tertentu mungkin membuat inisialisasi tidak memungkinkan.

Sebaiknya simpan kurang dari 30 MB data di folder /dags dan /plugins, serta jangan melebihi ukuran data 100 MB.

Untuk informasi selengkapnya, lihat juga:

• Data Disimpan di Cloud Storage

• Menangani DAG dan plugin dalam jumlah besar

Mengupgrade jenis mesin untuk node GKE

Anda dapat mengupgrade jenis mesin untuk cluster GKE lingkungan secara manual dengan menghapus default-pool yang ada dan membuat default-pool baru dengan jenis mesin yang diinginkan.

Sebaiknya tentukan jenis mesin yang sesuai untuk jenis komputasi yang terjadi di lingkungan Cloud Composer saat Anda membuat lingkungan.

Jika Anda menjalankan tugas yang melakukan komputasi resource yang intensif, sebaiknya gunakan Operator GKE.

Perhatian: Eksekusi DAG Anda mungkin akan terganggu selama upgrade. Sebelum mengupgrade, sebaiknya jeda semua DAG dan tunggu hingga tugas yang sedang berlangsung selesai.

Setelah upgrade, jenis mesin sebelumnya masih tercantum di detail lingkungan Anda. Misalnya, halaman detail Lingkungan tidak mencerminkan jenis mesin baru.

Konsol

Untuk mengupgrade jenis mesin:

1. Di Konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Pada daftar lingkungan, klik nama lingkungan Anda. Halaman Detail lingkungan akan terbuka.

3. Mendapatkan informasi tentang kumpulan node default:

   1. Buka tab Environment configuration.

   2. Klik link lihat detail cluster.

   3. Di halaman Clusters di bagian Node, klik default-pool.

   4. Catat semua informasi untuk default-pool di halaman detail Kumpulan node. Anda menggunakan informasi ini untuk membuat kumpulan node default baru untuk lingkungan Anda.

4. Untuk menghapus default-pool:

   1. Di halaman Detail kumpulan node, klik panah kembali untuk kembali ke halaman Clusters untuk lingkungan Anda.

   2. Di bagian Kumpulan Node, klik ikon sampah untuk kumpulan default. Kemudian, klik Hapus untuk mengonfirmasi operasi.

5. Untuk membuat default-pool baru:

   Perhatian: Gunakan akun layanan yang sama dengan yang menjalankan lingkungan Cloud Composer. Jika menggunakan akun layanan kustom dan mengandalkan cakupan akses, Anda harus menggunakan gcloud CLI untuk membuat kumpulan baru dengan cakupan yang tepat. Untuk melakukannya, ikuti petunjuk di halaman Menambahkan dan mengelola kumpulan node. Tentukan cakupan akses menggunakan parameter --scopes.

   1. Di halaman Clusters, klik Add node pool.

   2. Untuk Name, masukkan default-pool. Anda harus menggunakan nama default-pool agar alur kerja di lingkungan Anda dapat berjalan di kumpulan ini.

   3. Masukkan setelan Ukuran dan Node.

   4. (Hanya untuk akun layanan Compute Engine default) Untuk cakupan Akses, pilih Izinkan akses penuh ke semua Cloud API.

   5. Klik Simpan.

6. Jika Anda melihat bahwa workload didistribusikan secara tidak merata, turunkan skala deployment pekerja aliran udara ke nol dan tingkatkan skala lagi.

Langkah selanjutnya

• Mengupgrade lingkungan
• Mengganti opsi konfigurasi Airflow