Memigrasikan lingkungan ke Cloud Composer 2 (dari Airflow 1)

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara mentransfer DAG, data, dan konfigurasi dari lingkungan Cloud Composer 1, Airflow 1 yang ada ke Cloud Composer 2, Airflow 2.

Panduan migrasi lainnya

Dari	Ke	Metode	Panduan
Cloud Composer 1, Airflow 2	Cloud Composer 2, Airflow 2	Berdampingan, menggunakan snapshot	Panduan migrasi (snapshot)
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Berdampingan, menggunakan snapshot	Panduan migrasi (snapshot)
Cloud Composer 1, Airflow 2	Cloud Composer 2, Airflow 2	Transfer manual berdampingan	Panduan migrasi manual
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Transfer manual berdampingan	Panduan ini (migrasi manual)
Aliran udara 1	Airflow 2	Transfer manual berdampingan	Panduan migrasi manual

Sebelum memulai

• Cloud Composer mendukung migrasi berdampingan dari Cloud Composer 1 ke Cloud Composer 2. Anda tidak dapat mengupgrade dari Cloud Composer 1 ke Cloud Composer 2 secara langsung.
• Lihat daftar perbedaan antara Cloud Composer 1 dan Cloud Composer 2.

• Karena Cloud Composer 2 menggunakan Airflow 2, migrasi ini mencakup pengalihan DAG dan konfigurasi lingkungan Anda ke Airflow 2. Lihat panduan migrasi dari Airflow 1 ke Airflow 2 untuk mengetahui informasi tentang perubahan yang menyebabkan gangguan antara Airflow 1 dan Airflow 2 di Cloud Composer.

• Dalam panduan ini, Anda menggabungkan migrasi ke Airflow 2 dan migrasi ke Cloud Composer 2 dalam satu prosedur migrasi. Dengan cara ini, Anda tidak perlu bermigrasi ke lingkungan Cloud Composer 1 dengan Airflow 2 sebelum bermigrasi ke Cloud Composer 2.

Langkah 1: Upgrade ke Airflow 1.10.15

Jika lingkungan Anda menggunakan versi Airflow sebelum 1.10.15, upgrade lingkungan Anda ke versi Cloud Composer yang menggunakan Airflow 1.10.15.

Langkah 2: Periksa kompatibilitas dengan Airflow 2

Untuk memeriksa potensi konflik dengan Airflow 2, lihat panduan Mengupgrade ke Airflow 2.0+, di bagian tentang mengupgrade DAG.

Salah satu masalah umum yang mungkin Anda temui terkait dengan jalur impor yang tidak kompatibel. Untuk informasi selengkapnya tentang cara mengatasi masalah kompatibilitas ini, dalam panduan Mengupgrade ke Airflow 2.0+, lihat bagian tentang penyedia backport.

Langkah 3: Dapatkan daftar penggantian konfigurasi, paket PyPI kustom, dan variabel lingkungan

Konsol

Dapatkan daftar penggantian konfigurasi lingkungan Cloud Composer 1, paket PyPI kustom, dan variabel lingkungan:

1. Buka halaman Environments di konsol Google Cloud:

   Buka Lingkungan

2. Pilih lingkungan Cloud Composer 1 Anda.

3. Lihat variabel lingkungan di tab Variabel lingkungan.

4. Lihat penggantian konfigurasi di tab Penggantian konfigurasi alur data.

5. Lihat paket PyPI kustom di tab PyPI packages.

gcloud

Untuk mendapatkan daftar variabel lingkungan, jalankan:

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.envVariables)"

Untuk mendapatkan daftar penggantian konfigurasi Airflow lingkungan, jalankan:

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.airflowConfigOverrides)"

Untuk mendapatkan daftar paket PyPI kustom, jalankan:

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.pypiPackages)"

Ganti:

• COMPOSER_1_ENV dengan nama lingkungan Cloud Composer 1 Anda.
• COMPOSER_1_LOCATION dengan region tempat lingkungan Cloud Composer 1 berada.

Terraform

Lewati langkah ini. Konfigurasi lingkungan Cloud Composer 1 Anda sudah mencantumkan penggantian konfigurasi, paket PyPI kustom, dan variabel lingkungan untuk lingkungan Anda.

Langkah 4: Buat lingkungan Cloud Composer 2

Pada langkah ini, buat lingkungan Cloud Composer 2. Anda dapat memulai dengan preset lingkungan yang cocok dengan permintaan resource yang diharapkan, lalu menskalakan dan mengoptimalkan lingkungan lebih lanjut.

Konsol

Buat lingkungan Cloud Composer 2 dan tentukan penggantian konfigurasi dan variabel lingkungan.

Sebagai alternatif, Anda dapat mengganti konfigurasi Airflow dan variabel lingkungan setelah membuat lingkungan.

Beberapa opsi konfigurasi dari Airflow 1 menggunakan nama dan bagian yang berbeda di Airflow 2. Untuk informasi selengkapnya, lihat Perubahan konfigurasi.

gcloud

Buat lingkungan Cloud Composer 2 dan tentukan penggantian konfigurasi dan variabel lingkungan.

Sebagai alternatif, Anda dapat mengganti konfigurasi Airflow dan variabel lingkungan setelah membuat lingkungan.

Beberapa opsi konfigurasi dari Airflow 1 menggunakan nama dan bagian yang berbeda di Airflow 2. Untuk informasi selengkapnya, lihat Perubahan konfigurasi.

Terraform

Buat lingkungan Cloud Composer 2 berdasarkan konfigurasi lingkungan Cloud Composer 1:

1. Salin konfigurasi lingkungan Cloud Composer 1 Anda.
2. Ubah nama lingkungan Anda.

3. Gunakan penyedia google-beta:

   resource "google_composer_environment" "example_environment_composer_2" {
     provider = google-beta
     # ...
   }
   

4. Tentukan image Cloud Composer 2 di blok config.software_config:

   software_config {
     image_version = "composer-2.9.11-airflow-2.9.3"
     # ...
   }
   

5. Jika belum, tentukan penggantian konfigurasi dan variabel lingkungan.

6. Tentukan paket PyPI kustom di blok config.software_config.pypi_packages:

   software_config {
   
     # ...
   
     pypi_packages = {
       numpy = ""
       scipy = ">=1.1.0"
     }
   
   }
   

Langkah 5: Instal paket PyPI ke lingkungan Cloud Composer 2

Catatan: Jika lingkungan Anda tidak menggunakan paket PyPI kustom, lewati langkah ini. Paket PyPI kustom adalah paket yang Anda instal selain paket yang telah diinstal sebelumnya di lingkungan Anda.

Setelah lingkungan Cloud Composer 2 dibuat, instal paket PyPI kustom ke lingkungan tersebut.

Konsol

1. Buka halaman Environments di konsol Google Cloud:

   Buka Lingkungan

2. Pilih lingkungan Cloud Composer 2 Anda.

3. Buka tab Paket PyPI, lalu klik Edit.

4. Salin persyaratan paket PyPI dari lingkungan Cloud Composer 1 Anda. Klik Save dan tunggu hingga lingkungan diperbarui.

gcloud

1. Buat file requirements.txt dengan daftar paket PyPI kustom:

     numpy
     scipy>=1.1.0
   

2. Perbarui lingkungan Anda dan teruskan file requirements.txt di :to ke perintah --update-pypi-packages-from-file:

   gcloud composer environments update COMPOSER_2_ENV \
     --location COMPOSER_2_LOCATION  \
     --update-pypi-packages-from-file requirements.txt
   

   Ganti:

   • COMPOSER_2_ENV dengan nama lingkungan Cloud Composer 2 Anda.
   • COMPOSER_2_LOCATION dengan region tempat lingkungan Cloud Composer 2 berada.

Terraform

Lewati langkah ini. Anda telah menginstal paket PyPI kustom saat membuat lingkungan.

Langkah 6: Mentransfer variabel dan kumpulan

Catatan: Jika lingkungan Anda tidak menggunakan variabel atau kumpulan Airflow selain default_pool, lewati langkah ini.

Airflow mendukung ekspor variabel dan kumpulan ke file JSON. Kemudian, Anda dapat mengimpor file ini ke lingkungan Cloud Composer 2.

Perintah Airflow CLI yang digunakan dalam langkah ini beroperasi pada file lokal di pekerja Airflow. Untuk mengupload atau mendownload file, gunakan folder /data di bucket Cloud Storage lingkungan Anda. Folder ini disinkronkan ke direktori /home/airflow/gcs/data/ di pekerja Airflow. Dalam perintah CLI Airflow, tentukan /home/airflow/gcs/data/ dalam parameter FILEPATH.

gcloud

1. Mengekspor variabel dari lingkungan Cloud Composer 1:

   gcloud composer environments run \
       COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        variables -- -e /home/airflow/gcs/data/variables.json
   

   Ganti:

   • COMPOSER_1_ENV dengan nama lingkungan Cloud Composer 1 Anda.
   • COMPOSER_1_LOCATION dengan region tempat lingkungan Cloud Composer 1 berada.

2. Mengekspor kumpulan dari lingkungan Cloud Composer 1:

   gcloud composer environments run COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        pool -- -e /home/airflow/gcs/data/pools.json
   

   Ganti:

   • COMPOSER_1_ENV dengan nama lingkungan Cloud Composer 1 Anda.
   • COMPOSER_1_LOCATION dengan region tempat lingkungan Cloud Composer 1 berada.

3. Dapatkan URI bucket lingkungan Cloud Composer 2 Anda.

   1. Jalankan perintah berikut:

      gcloud composer environments describe COMPOSER_2_ENV \
          --location COMPOSER_2_LOCATION \
           --format="value(config.dagGcsPrefix)"
      

      Ganti:

      • COMPOSER_2_ENV dengan nama lingkungan Cloud Composer 2 Anda.
      • COMPOSER_2_LOCATION dengan region tempat lingkungan berada.

   2. Dalam output, hapus folder /dags. Hasilnya adalah URI bucket lingkungan Cloud Composer 2 Anda.

      Misalnya, ubah gs://us-central1-example-916807e1-bucket/dags menjadi gs://us-central1-example-916807e1-bucket.

4. Transfer file JSON dengan variabel dan kumpulan ke lingkungan Cloud Composer 2:

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION \
       --source=variables.json
   

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION \
       --source=pools.json
   

   Ganti:

   • COMPOSER_2_BUCKET dengan URI bucket lingkungan Cloud Composer 2, yang diperoleh pada langkah sebelumnya.
   • COMPOSER_1_ENV dengan nama lingkungan Cloud Composer 1 Anda.
   • COMPOSER_1_LOCATION dengan region tempat lingkungan Cloud Composer 1 berada.

5. Mengimpor variabel dan kumpulan ke Cloud Composer 2:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       variables import \
       -- /home/airflow/gcs/data/variables.json
   

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       pools import \
       -- /home/airflow/gcs/data/pools.json
   

6. Pastikan variabel dan kumpulan diimpor:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       variables list
   

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       pools list
   

7. Hapus file JSON dari bucket:

   gcloud composer environments storage data delete \
       variables.json \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

   gcloud composer environments storage data delete \
       pools.json \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

   gcloud composer environments storage data delete \
       variables.json \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

   gcloud composer environments storage data delete \
       pools.json \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

Langkah 7: Transfer data lain dari bucket lingkungan Cloud Composer 1 Anda

Transfer plugin dan data lainnya dari bucket lingkungan Cloud Composer 1 Anda.

gcloud

1. Transfer plugin ke lingkungan Cloud Composer 2 Anda. Untuk melakukannya, ekspor plugin dari bucket lingkungan Cloud Composer 1 ke folder /plugins di bucket lingkungan Cloud Composer 2:

   gcloud composer environments storage plugins export \
       --destination=COMPOSER_2_BUCKET/plugins \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

2. Pastikan folder /plugins berhasil diimpor:

   gcloud composer environments storage plugins list \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

3. Ekspor folder /data dari lingkungan Cloud Composer 1 ke lingkungan Airflow 2:

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

4. Pastikan folder /data berhasil diimpor:

   gcloud composer environments storage data list \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

Langkah 8: Transfer koneksi

Perhatian: Lingkungan Cloud Composer memiliki banyak koneksi default yang sudah dikonfigurasi untuk lingkungan. Jangan transfer koneksi ini karena lingkungan Cloud Composer 2 Anda sudah memilikinya. Jika lingkungan Anda hanya menggunakan koneksi default, lewati langkah ini.

Airflow 1.10.15 tidak mendukung ekspor koneksi. Untuk mentransfer koneksi, buat koneksi secara manual di lingkungan Cloud Composer 2 dari lingkungan Cloud Composer 1.

gcloud

1. Untuk mendapatkan daftar koneksi di lingkungan Cloud Composer 1, jalankan:

   gcloud composer environments run COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        connections -- --list
   

2. Untuk membuat koneksi baru di lingkungan Cloud Composer 2, jalankan perintah connections Airflow CLI melalui gcloud. Contoh:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       connections add \
       -- --conn-host postgres.example.com \
       --conn-port 5432 \
       --conn-type postgres \
       --conn-login example_user \
       --conn-password example_password \
       --conn-description "Example connection" \
       example_connection
   

Langkah 9: Mentransfer akun pengguna

Langkah ini menjelaskan cara mentransfer pengguna dengan membuatnya secara manual.

Airflow 1.10.15 tidak mendukung ekspor pengguna. Untuk mentransfer pengguna dan koneksi, buat akun pengguna baru di lingkungan Airflow 2 secara manual dari lingkungan Cloud Composer 1.

Catatan: Untuk melihat pengguna, akun Anda harus memiliki peran Admin.

UI Airflow

1. Untuk melihat daftar pengguna di lingkungan Cloud Composer 1:

   1. Buka antarmuka web Airflow untuk lingkungan Cloud Composer 1 Anda.

   2. Buka Admin > Users.

2. Untuk membuat pengguna di lingkungan Cloud Composer 2:

   1. Buka antarmuka web Airflow untuk lingkungan Cloud Composer 2 Anda.

   2. Buka Security > List Users.

   3. Klik Add a new record.

gcloud

1. Anda tidak dapat melihat daftar pengguna melalui gcloud di Airflow 1. Gunakan UI Airflow.

2. Untuk membuat akun pengguna baru di lingkungan Cloud Composer 2, jalankan perintah users create Airflow CLI melalui gcloud. Contoh:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       users create \
       -- --username example_username \
       --firstname Example-Name \
       --lastname Example-Surname \
       --email [e-mail] \
       --use-random-password \
       --role Op
   

   Ganti:

   • COMPOSER_2_ENV dengan nama lingkungan Cloud Composer 2 Anda.
   • COMPOSER_2_LOCATION dengan region tempat lingkungan Cloud Composer 2 berada.
   • Semua parameter konfigurasi pengguna dengan nilainya dari lingkungan Cloud Composer 1, termasuk peran pengguna.

Langkah 10: Pastikan DAG Anda siap untuk Airflow 2

Sebelum mentransfer DAG ke lingkungan Cloud Composer 1, pastikan bahwa:

1. DAG Anda berhasil berjalan dan tidak ada masalah kompatibilitas yang tersisa.

2. DAG Anda menggunakan pernyataan impor yang benar.

   Misalnya, pernyataan impor baru untuk BigQueryCreateDataTransferOperator dapat terlihat seperti ini:

   from airflow.providers.google.cloud.operators.bigquery_dts \
       import BigQueryCreateDataTransferOperator
   

3. DAG Anda diupgrade untuk Airflow 2. Perubahan ini kompatibel dengan Airflow 1.10.14 dan versi yang lebih baru.

Langkah 11: Transfer DAG ke lingkungan Cloud Composer 2

Peringatan: Langkah ini menjelaskan cara menghindari potensi masalah dengan eksekusi DAG duplikat, tidak ada, salah, dan tidak valid saat mentransfer DAG antar-lingkungan.

Potensi masalah berikut dapat terjadi saat Anda mentransfer DAG di antara lingkungan:

• Jika DAG diaktifkan (tidak dijeda) di kedua lingkungan, setiap lingkungan akan menjalankan salinan DAG-nya sendiri, seperti yang dijadwalkan. Hal ini dapat menyebabkan DAG duplikat berjalan untuk data dan waktu eksekusi yang sama.

• Karena penyesuaian DAG, Airflow menjadwalkan operasi DAG tambahan, mulai dari tanggal mulai yang ditentukan dalam DAG Anda. Hal ini terjadi karena instance Airflow baru tidak memperhitungkan histori DAG yang berjalan dari lingkungan Cloud Composer 1. Hal ini dapat menyebabkan banyak DAG berjalan sesuai jadwal mulai dari tanggal mulai yang ditentukan.

Mencegah operasi DAG duplikat

Di lingkungan Cloud Composer 2, di lingkungan Airflow 2, tambahkan penggantian opsi konfigurasi Airflow untuk opsi dags_are_paused_at_creation. Setelah Anda melakukan perubahan ini, semua DAG baru akan dijeda secara default.

Bagian	Kunci	Nilai
core	dags_are_paused_at_creation	True

Catatan: Anda dapat menghapus penggantian ini setelah mentransfer semua DAG ke lingkungan Cloud Composer 2.

Mencegah operasi DAG tambahan atau yang tidak ada

Untuk menghindari kesenjangan dan tumpang-tindih dalam tanggal eksekusi, nonaktifkan catch up di Cloud Composer 2 Anda. Dengan cara ini, setelah Anda mengupload DAG ke lingkungan Cloud Composer 2, Airflow tidak menjadwalkan operasi DAG yang sudah berjalan di lingkungan Cloud Composer 1. Tambahkan penggantian opsi konfigurasi Airflow untuk opsi catchup_by_default:

Bagian	Kunci	Nilai
scheduler	catchup_by_default	False

Perhatian: Jangan hapus penggantian ini. Jika Anda melakukannya, lingkungan Anda akan menjadwalkan penyesuaian DAG. Pengoperasian DAG ini mungkin tumpang-tindih dengan yang sudah dijalankan di lingkungan Cloud Composer 1 Anda.

Mentransfer DAG ke lingkungan Cloud Composer 2

Untuk mentransfer DAG ke lingkungan Cloud Composer 2:

1. Upload DAG dari lingkungan Cloud Composer 1 ke lingkungan Cloud Composer 2. Lewati DAG airflow_monitoring.py.

2. DAG dijeda di lingkungan Cloud Composer 2 karena penggantian konfigurasi, sehingga tidak ada DAG yang dijalankan sesuai jadwal.

3. Di antarmuka web Airflow, buka DAG dan periksa error sintaksis DAG yang dilaporkan.

4. Pada saat Anda berencana mentransfer DAG:

   1. Jeda DAG di lingkungan Cloud Composer 1 Anda.

   2. Batalkan jeda DAG di lingkungan Cloud Composer 2 Anda.

   3. Pastikan DAG baru yang berjalan dijadwalkan pada waktu yang tepat.

   4. Tunggu hingga DAG dijalankan di lingkungan Cloud Composer 2 dan periksa apakah DAG berhasil dijalankan. Jika operasi DAG berhasil, jangan hentikan jeda di lingkungan Cloud Composer 1; jika Anda melakukannya, operasi DAG akan berjalan pada waktu dan tanggal yang sama di lingkungan Cloud Composer 1.

5. Jika DAG tertentu gagal dijalankan, coba pecahkan masalah DAG hingga berhasil dijalankan di Cloud Composer 2.

   Jika diperlukan, Anda selalu dapat kembali ke DAG versi Cloud Composer 1 dan menjalankan DAG yang gagal di Cloud Composer 2 dari lingkungan Cloud Composer 1:

   1. Jeda DAG di lingkungan Cloud Composer 2 Anda.

   2. Batalkan jeda DAG di lingkungan Cloud Composer 1 Anda. Tindakan ini menjadwalkan operasi DAG untuk mengejar waktu saat DAG dijeda di lingkungan Cloud Composer 1.

Langkah 12: Pantau lingkungan Cloud Composer 2

Setelah Anda mentransfer semua DAG dan konfigurasi ke lingkungan Cloud Composer 2, monitor untuk mengetahui potensi masalah, operasi DAG yang gagal, dan kondisi lingkungan secara keseluruhan. Jika lingkungan Cloud Composer 2 berjalan tanpa masalah selama periode waktu yang memadai, pertimbangkan untuk menghapus lingkungan Cloud Composer 1.

Langkah selanjutnya

• Memecahkan masalah DAG
• Memecahkan masalah pembuatan lingkungan
• Memecahkan masalah update lingkungan
• Menggunakan paket backport