Memigrasikan lingkungan ke Cloud Composer 2 (dari Airflow 1)

Cloud Composer 1 | Cloud Composer 2

Halaman ini menjelaskan cara mentransfer DAG, data, dan konfigurasi dari lingkungan Cloud Composer 1, Airflow 1 yang sudah ada ke Cloud Composer 2, Airflow 2.

Panduan migrasi lainnya

Dari	Kepada	Metode	Panduan
Cloud Composer 1, Airflow 2	Cloud Composer 2, Airflow 2	Secara berdampingan, menggunakan snapshot	Panduan migrasi (snapshot)
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Secara berdampingan, menggunakan snapshot	Panduan migrasi (snapshot)
Cloud Composer 1, Airflow 2	Cloud Composer 2, Airflow 2	Transfer manual berdampingan	Panduan migrasi manual
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Transfer manual berdampingan	Panduan ini (migrasi manual)
Aliran udara 1	Aliran udara 2	Transfer manual berdampingan	Panduan migrasi manual

Sebelum memulai

• Cloud Composer mendukung migrasi berdampingan dari Cloud Composer 1 ke Cloud Composer 2. Anda tidak dapat mengupgrade dari Cloud Composer 1 ke Cloud Composer 2.
• Lihat daftar perbedaan antara Cloud Composer 1 dan Cloud Composer 2.

• Karena Cloud Composer 2 menggunakan Airflow 2, migrasi mencakup pengalihan DAG dan konfigurasi lingkungan Anda ke Airflow 2. Lihat panduan migrasi dari Airflow 1 ke Airflow 2 untuk mengetahui informasi tentang perubahan yang dapat menyebabkan gangguan antara Airflow 1 dan Airflow 2 di Cloud Composer.

• Dalam panduan ini, Anda menggabungkan migrasi ke Airflow 2 dan migrasi ke Cloud Composer 2 dalam satu prosedur migrasi. Dengan cara ini, Anda tidak perlu bermigrasi ke lingkungan Cloud Composer 1 dengan Airflow 2 sebelum bermigrasi ke Cloud Composer 2.

Langkah 1: Upgrade ke Airflow 1.10.15

Jika lingkungan Anda menggunakan versi Airflow yang lebih lama dari 1.10.15, upgrade lingkungan Anda ke versi Cloud Composer yang menggunakan Airflow 1.10.15.

Langkah 2: Periksa kompatibilitas dengan Airflow 2

Untuk memeriksa potensi konflik dengan Airflow 2, gunakan skrip pemeriksaan upgrade yang disediakan oleh Airflow di lingkungan Airflow 1.10.15 yang ada.

Catatan: Airflow tidak melakukan pemeriksaan upgrade pada DAG yang berada di file zip. Perilaku ini merupakan batasan umum di Airflow.

gcloud

1. Jalankan pemeriksaan upgrade melalui perintah gcloud composer environments run. Beberapa pemeriksaan upgrade yang relevan untuk Airflow 1.10.15 mandiri tidak relevan untuk Cloud Composer. Perintah berikut mengecualikan pemeriksaan ini.

   gcloud composer environments run \
       COMPOSER_1_ENV  \
       --location=COMPOSER_1_LOCATION \
       upgrade_check \
       -- --ignore VersionCheckRule --ignore LoggingConfigurationRule \
       --ignore PodTemplateFileRule --ignore SendGridEmailerMovedRule
   

   Ganti:

   • COMPOSER_1_ENV dengan nama lingkungan Airflow 1.10.15 Anda.
   • COMPOSER_1_LOCATION dengan region tempat lingkungan berada.

2. Periksa output perintah. Skrip pemeriksaan update melaporkan potensi masalah kompatibilitas di lingkungan yang ada.

   Catatan: Satu masalah umum yang mungkin Anda temui berkaitan dengan jalur impor yang tidak kompatibel. Untuk mengetahui informasi selengkapnya tentang menyelesaikan masalah kompatibilitas ini, dalam panduan Mengupgrade ke Airflow 2.0+, lihat bagian tentang penyedia backport.

3. Terapkan perubahan lain pada DAG, seperti yang dijelaskan dalam panduan Mengupgrade ke Airflow 2.0+, di bagian tentang mengupgrade DAG.

Langkah 3: Dapatkan daftar penggantian konfigurasi, paket PyPI kustom, dan variabel lingkungan

Konsol

Dapatkan daftar penggantian konfigurasi lingkungan Cloud Composer 1, paket PyPI kustom, dan variabel lingkungan:

1. Buka halaman Environments di Konsol Google Cloud:

   Buka Lingkungan

2. Pilih lingkungan Cloud Composer 1 Anda.

3. Lihat variabel lingkungan di tab Environment variables.

4. Lihat penggantian konfigurasi di tab Perubahan konfigurasi Airflow.

5. Lihat paket PyPI kustom di tab Paket PyPI.

gcloud

Untuk mendapatkan daftar variabel lingkungan, jalankan:

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.envVariables)"

Untuk mendapatkan daftar penggantian konfigurasi Airflow lingkungan, jalankan:

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.airflowConfigOverrides)"

Untuk mendapatkan daftar paket PyPI kustom, jalankan:

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.pypiPackages)"

Ganti:

• COMPOSER_1_ENV dengan nama lingkungan Cloud Composer 1 Anda.
• COMPOSER_1_LOCATION dengan region tempat lingkungan Cloud Composer 1 berada.

Terraform

Lewati langkah ini. Konfigurasi lingkungan Cloud Composer 1 Anda sudah mencantumkan penggantian konfigurasi, paket PyPI kustom, dan variabel lingkungan untuk lingkungan Anda.

Langkah 4: Buat lingkungan Cloud Composer 2

Pada langkah ini, buat lingkungan Cloud Composer 2. Anda dapat memulai dengan preset lingkungan yang sesuai dengan permintaan resource yang diharapkan, lalu menskalakan dan mengoptimalkan lingkungan lebih lanjut.

Konsol

Buat lingkungan Cloud Composer 2 dan tentukan penggantian konfigurasi dan variabel lingkungan.

Sebagai alternatif, Anda dapat mengganti konfigurasi Airflow dan variabel lingkungan setelah membuat lingkungan.

Beberapa opsi konfigurasi dari Airflow 1 menggunakan nama dan bagian yang berbeda di Airflow 2. Untuk mengetahui informasi selengkapnya, lihat Perubahan konfigurasi.

gcloud

Buat lingkungan Cloud Composer 2 dan tentukan penggantian konfigurasi dan variabel lingkungan.

Sebagai alternatif, Anda dapat mengganti konfigurasi Airflow dan variabel lingkungan setelah membuat lingkungan.

Beberapa opsi konfigurasi dari Airflow 1 menggunakan nama dan bagian yang berbeda di Airflow 2. Untuk mengetahui informasi selengkapnya, lihat Perubahan konfigurasi.

Terraform

Buat lingkungan Cloud Composer 2 berdasarkan konfigurasi lingkungan Cloud Composer 1:

1. Salin konfigurasi lingkungan Cloud Composer 1 Anda.
2. Ubah nama lingkungan Anda.

3. Gunakan penyedia google-beta:

   resource "google_composer_environment" "example_environment_composer_2" {
     provider = google-beta
     # ...
   }
   

4. Tentukan gambar Cloud Composer 2 di blok config.software_config:

   software_config {
     image_version = "composer-2.6.6-airflow-2.6.3"
     # ...
   }
   

5. Jika tidak, tentukan penggantian konfigurasi dan variabel lingkungan.

6. Tentukan paket PyPI kustom dalam blok config.software_config.pypi_packages:

   software_config {
   
     # ...
   
     pypi_packages = {
       numpy = ""
       scipy = ">=1.1.0"
     }
   
   }
   

Langkah 5: Instal paket PyPI ke lingkungan Cloud Composer 2

Catatan: Jika lingkungan Anda tidak menggunakan paket PyPI kustom, lewati langkah ini. Paket PyPI kustom adalah paket yang Anda instal selain paket bawaan di lingkungan Anda.

Setelah lingkungan Cloud Composer 2 dibuat, instal paket PyPI kustom ke lingkungan tersebut.

Konsol

1. Buka halaman Environments di Konsol Google Cloud:

   Buka Lingkungan

2. Pilih lingkungan Cloud Composer 2 Anda.

3. Buka tab Paket PyPI dan klik Edit.

4. Salin persyaratan paket PyPI dari lingkungan Cloud Composer 1 Anda. Klik Save dan tunggu hingga lingkungan diperbarui.

gcloud

1. Buat file requirements.txt dengan daftar paket PyPI kustom:

     numpy
     scipy>=1.1.0
   

2. Update lingkungan Anda dan teruskan file requirements.txt dalam perintah :ke --update-pypi-packages-from-file:

   gcloud composer environments update COMPOSER_2_ENV \
     --location COMPOSER_2_LOCATION  \
     --update-pypi-packages-from-file requirements.txt
   

   Ganti:

   • COMPOSER_2_ENV dengan nama lingkungan Cloud Composer 2 Anda.
   • COMPOSER_2_LOCATION dengan region tempat lingkungan Cloud Composer 2 berada.

Terraform

Lewati langkah ini. Anda sudah menginstal paket PyPI kustom saat membuat lingkungan.

Langkah 6: Mentransfer variabel dan kumpulan

Catatan: Jika lingkungan Anda tidak menggunakan variabel atau kumpulan Airflow selain default_pool, lewati langkah ini.

Airflow mendukung ekspor variabel dan kumpulan ke file JSON. Kemudian, Anda dapat mengimpor file ini ke lingkungan Cloud Composer 2.

Perintah CLI Airflow yang digunakan dalam langkah ini beroperasi pada file lokal di pekerja Airflow. Untuk mengupload atau mendownload file, gunakan folder /data dalam bucket Cloud Storage di lingkungan Anda. Folder ini disinkronkan ke direktori /home/airflow/gcs/data/ di pekerja Airflow. Dalam perintah CLI Airflow, tentukan /home/airflow/gcs/data/ dalam parameter FILEPATH.

gcloud

1. Ekspor variabel dari lingkungan Cloud Composer 1 Anda:

   gcloud composer environments run \
       COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        variables -- -e /home/airflow/gcs/data/variables.json
   

   Ganti:

   • COMPOSER_1_ENV dengan nama lingkungan Cloud Composer 1 Anda.
   • COMPOSER_1_LOCATION dengan region tempat lingkungan Cloud Composer 1 berada.

2. Ekspor kumpulan dari lingkungan Cloud Composer 1 Anda:

   gcloud composer environments run COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        pool -- -e /home/airflow/gcs/data/pools.json
   

   Ganti:

   • COMPOSER_1_ENV dengan nama lingkungan Cloud Composer 1 Anda.
   • COMPOSER_1_LOCATION dengan region tempat lingkungan Cloud Composer 1 berada.

3. Dapatkan URI bucket lingkungan Cloud Composer 2.

   1. Jalankan perintah berikut:

      gcloud composer environments describe COMPOSER_2_ENV \
          --location COMPOSER_2_LOCATION \
           --format="value(config.dagGcsPrefix)"
      

      Ganti:

      • COMPOSER_2_ENV dengan nama lingkungan Cloud Composer 2 Anda.
      • COMPOSER_2_LOCATION dengan region tempat lingkungan berada.

   2. Pada output, hapus folder /dags. Hasilnya adalah URI bucket lingkungan Cloud Composer 2 Anda.

      Misalnya, ubah gs://us-central1-example-916807e1-bucket/dags menjadi gs://us-central1-example-916807e1-bucket.

4. Transfer file JSON dengan variabel dan kumpulan ke lingkungan Cloud Composer 2:

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION \
       --source=variables.json
   

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION \
       --source=pools.json
   

   Ganti:

   • COMPOSER_2_BUCKET dengan URI bucket lingkungan Cloud Composer 2, yang diperoleh di langkah sebelumnya.
   • COMPOSER_1_ENV dengan nama lingkungan Cloud Composer 1 Anda.
   • COMPOSER_1_LOCATION dengan region tempat lingkungan Cloud Composer 1 berada.

5. Impor variabel dan kumpulan ke Cloud Composer 2:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       variables import \
       -- /home/airflow/gcs/data/variables.json
   

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       pools import \
       -- /home/airflow/gcs/data/pools.json
   

6. Pastikan variabel dan kumpulan diimpor:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       variables list
   

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       pools list
   

7. Hapus file JSON dari bucket:

   gcloud composer environments storage data delete \
       variables.json \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

   gcloud composer environments storage data delete \
       pools.json \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

   gcloud composer environments storage data delete \
       variables.json \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

   gcloud composer environments storage data delete \
       pools.json \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

Langkah 7: Transfer data lain dari bucket lingkungan Cloud Composer 1 Anda

Transfer plugin dan data lainnya dari bucket lingkungan Cloud Composer 1.

gcloud

1. Transfer plugin ke lingkungan Cloud Composer 2 Anda. Untuk melakukannya, ekspor plugin dari bucket lingkungan Cloud Composer 1 ke folder /plugins di bucket lingkungan Cloud Composer 2 Anda:

   gcloud composer environments storage plugins export \
       --destination=COMPOSER_2_BUCKET/plugins \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

2. Pastikan folder /plugins berhasil diimpor:

   gcloud composer environments storage plugins list \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

3. Ekspor folder /data dari lingkungan Cloud Composer 1 ke lingkungan Airflow 2:

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

4. Pastikan folder /data berhasil diimpor:

   gcloud composer environments storage data list \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

Langkah 8: Transfer koneksi

Perhatian: Lingkungan Cloud Composer memiliki banyak koneksi default yang telah dikonfigurasi untuk suatu lingkungan. Jangan mentransfer koneksi ini karena lingkungan Cloud Composer 2 Anda sudah memilikinya. Jika lingkungan Anda hanya menggunakan koneksi default, lewati langkah ini.

Airflow 1.10.15 tidak mendukung ekspor koneksi. Untuk mentransfer koneksi, buat koneksi secara manual di lingkungan Cloud Composer 2 dari lingkungan Cloud Composer 1.

gcloud

1. Untuk mendapatkan daftar koneksi di lingkungan Cloud Composer 1, jalankan:

   gcloud composer environments run COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        connections -- --list
   

2. Untuk membuat koneksi baru di lingkungan Cloud Composer 2, jalankan perintah CLI Airflow connections melalui gcloud. Contoh:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       connections add \
       -- --conn-host postgres.example.com \
       --conn-port 5432 \
       --conn-type postgres \
       --conn-login example_user \
       --conn-password example_password \
       --conn-description "Example connection" \
       example_connection
   

Langkah 9: Transfer akun pengguna

Langkah ini menjelaskan cara mentransfer pengguna dengan membuatnya secara manual.

Airflow 1.10.15 tidak mendukung ekspor pengguna. Untuk mentransfer pengguna dan koneksi, buat akun pengguna baru secara manual di lingkungan Airflow 2 Anda dari lingkungan Cloud Composer 1.

Catatan: Untuk melihat pengguna, akun Anda harus memiliki peran Admin.

UI Airflow

1. Untuk melihat daftar pengguna di lingkungan Cloud Composer 1:

   1. Buka antarmuka web Airflow untuk lingkungan Cloud Composer 1 Anda.

   2. Buka Admin > Pengguna.

2. Untuk membuat pengguna di lingkungan Cloud Composer 2:

   1. Buka antarmuka web Airflow untuk lingkungan Cloud Composer 2 Anda.

   2. Buka Keamanan > Daftar Pengguna.

   3. Klik Add a new record.

gcloud

1. Anda tidak dapat melihat daftar pengguna melalui gcloud di Airflow 1. Gunakan UI Airflow.

2. Untuk membuat akun pengguna baru di lingkungan Cloud Composer 2, jalankan perintah CLI Airflow users create melalui gcloud. Contoh:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       users create \
       -- --username example_username \
       --firstname Example-Name \
       --lastname Example-Surname \
       --email [e-mail] \
       --use-random-password \
       --role Op
   

   Ganti:

   • COMPOSER_2_ENV dengan nama lingkungan Cloud Composer 2 Anda.
   • COMPOSER_2_LOCATION dengan region tempat lingkungan Cloud Composer 2 berada.
   • Semua parameter konfigurasi pengguna dengan nilainya dari lingkungan Cloud Composer 1, termasuk peran pengguna.

Langkah 10: Pastikan DAG Anda siap untuk Airflow 2

Sebelum mentransfer DAG ke lingkungan Cloud Composer 1, pastikan bahwa:

1. Skrip pemeriksaan upgrade agar DAG Anda berhasil dijalankan dan tidak ada masalah kompatibilitas yang lain.

2. DAG Anda menggunakan pernyataan impor yang benar.

   Misalnya, pernyataan impor baru untuk BigQueryCreateDataTransferOperator dapat terlihat seperti ini:

   from airflow.providers.google.cloud.operators.bigquery_dts \
       import BigQueryCreateDataTransferOperator
   

3. DAG Anda diupgrade untuk Airflow 2. Perubahan ini kompatibel dengan Airflow 1.10.14 dan versi yang lebih baru.

Langkah 11: Transfer DAG ke lingkungan Cloud Composer 2

Peringatan: Langkah ini menjelaskan cara menghindari potensi masalah terkait operasi DAG duplikat, hilang, keliru, dan tidak valid saat mentransfer DAG antarlingkungan.

Potensi masalah berikut mungkin terjadi saat Anda mentransfer DAG antarlingkungan:

• Jika DAG diaktifkan (tidak dijeda) di kedua lingkungan, setiap lingkungan akan menjalankan salinan DAG-nya sendiri, sesuai jadwal. Hal ini dapat menyebabkan DAG duplikat berjalan untuk data dan waktu eksekusi yang sama.

• Karena ketertinggalan DAG, Airflow menjadwalkan operasi DAG tambahan, mulai dari tanggal mulai yang ditentukan dalam DAG Anda. Hal ini terjadi karena instance Airflow baru tidak memperhitungkan histori DAG yang dijalankan dari lingkungan Cloud Composer 1. Hal ini dapat menyebabkan sejumlah besar operasi DAG terjadwal yang dimulai dari tanggal mulai yang ditentukan.

Mencegah operasi DAG duplikat

Di lingkungan Cloud Composer 2, di lingkungan Airflow 2 Anda, tambahkan Airflow configuration options override untuk opsi dags_are_paused_at_creation. Setelah Anda melakukan perubahan ini, semua DAG baru akan dijeda secara default.

Bagian	Kunci	Nilai
core	dags_are_paused_at_creation	True

Catatan: Anda dapat menghapus penggantian ini setelah mentransfer semua DAG ke lingkungan Cloud Composer 2.

Mencegah operasi DAG tambahan atau hilang

Untuk menghindari kesenjangan dan tumpang-tindih pada tanggal eksekusi, nonaktifkan Cloud Composer 2 Anda. Dengan cara ini, setelah Anda mengupload DAG ke lingkungan Cloud Composer 2, Airflow tidak menjadwalkan operasi DAG yang sudah berjalan di lingkungan Cloud Composer 1. Tambahkan penggantian opsi konfigurasi Airflow untuk opsi catchup_by_default:

Bagian	Kunci	Nilai
scheduler	catchup_by_default	False

Perhatian: Jangan hapus penggantian ini. Jika Anda melakukannya, jadwal lingkungan Anda akan menghambat pengoperasian DAG. Operasi DAG ini mungkin tumpang tindih dengan yang sudah dijalankan di lingkungan Cloud Composer 1 Anda.

Transfer DAG Anda ke lingkungan Cloud Composer 2

Untuk mentransfer DAG ke lingkungan Cloud Composer 2:

1. Upload DAG dari lingkungan Cloud Composer 1 ke lingkungan Cloud Composer 2. Lewati DAG airflow_monitoring.py.

2. DAG dijeda di lingkungan Cloud Composer 2 karena penggantian konfigurasi, sehingga tidak ada operasi DAG yang dijadwalkan.

3. Di antarmuka web Airflow, buka DAG dan periksa error sintaksis DAG yang dilaporkan.

4. Saat Anda berencana mentransfer DAG:

   1. Jeda DAG di lingkungan Cloud Composer 1 Anda.

   2. Lanjutkan DAG di lingkungan Cloud Composer 2 Anda.

   3. Pastikan operasi DAG yang baru dijadwalkan pada waktu yang tepat.

   4. Tunggu hingga operasi DAG terjadi di lingkungan Cloud Composer 2, lalu periksa apakah operasi tersebut berhasil. Jika operasi DAG berhasil, jangan lanjutkan jeda di lingkungan Cloud Composer 1. Jika Anda melakukannya, DAG akan dijalankan untuk waktu dan tanggal yang sama di lingkungan Cloud Composer 1.

5. Jika DAG tertentu gagal dijalankan, coba memecahkan masalah DAG hingga berhasil dijalankan di Cloud Composer 2.

   Jika diperlukan, Anda dapat kembali ke DAG versi Cloud Composer 1 kapan saja dan menjalankan operasi DAG yang gagal di Cloud Composer 2 dari lingkungan Cloud Composer 1 Anda:

   1. Jeda DAG di lingkungan Cloud Composer 2 Anda.

   2. Lanjutkan DAG di lingkungan Cloud Composer 1 Anda. Jadwal ini menggantikan DAG yang berjalan pada saat DAG dijeda di lingkungan Cloud Composer 1.

Langkah 12: Pantau lingkungan Cloud Composer 2 Anda

Setelah Anda mentransfer semua DAG dan konfigurasi ke lingkungan Cloud Composer 2, pantau potensi masalah, kegagalan pengoperasian DAG, dan kondisi lingkungan secara keseluruhan. Jika lingkungan Cloud Composer 2 berjalan tanpa masalah selama jangka waktu yang cukup, pertimbangkan untuk menghapus lingkungan Cloud Composer 1.

Langkah selanjutnya

• Memecahkan masalah DAG
• Memecahkan masalah pembuatan lingkungan
• Memecahkan masalah terkait pembaruan lingkungan
• Menggunakan paket backport