Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Sebelum men-deploy DAG ke produksi, Anda dapat menjalankan sub-perintah CLI Airflow untuk mengurai kode DAG dalam konteks yang sama dengan tempat DAG dijalankan.
Menguji DAG secara lokal dengan alat CLI Pengembangan Lokal Composer
Alat CLI Pengembangan Lokal Composer menyederhanakan pengembangan DAG Apache Airflow untuk Cloud Composer 2 dengan menjalankan lingkungan Airflow secara lokal. Lingkungan Airflow lokal ini menggunakan image dari versi Cloud Composer 2 tertentu.
Anda dapat mengembangkan dan menguji DAG menggunakan lingkungan Airflow lokal ini, lalu mentransfer DAG ke lingkungan Cloud Composer pengujian. Bagian selanjutnya dari panduan ini menjelaskan pengujian DAG di lingkungan Cloud Composer pengujian.
Pengujian selama pembuatan DAG
Anda dapat menjalankan satu instance tugas secara lokal dan melihat output log. Dengan melihat output, Anda dapat memeriksa error sintaksis dan tugas. Pengujian secara lokal tidak memeriksa dependensi atau menyampaikan status ke database.
Sebaiknya tempatkan DAG di folder data/test
di lingkungan pengujian Anda.
Membuat direktori pengujian
Di bucket lingkungan Anda, buat direktori pengujian dan salin DAG ke dalamnya.
gcloud storage cp BUCKET_NAME/dags \
BUCKET_NAME/data/test --recursive
Ganti kode berikut:
BUCKET_NAME
: nama bucket yang terkait dengan lingkungan Cloud Composer Anda.
Contoh:
gcloud storage cp gs://us-central1-example-environment-a12bc345-bucket/dags \
gs://us-central1-example-environment-a12bc345-bucket/data/test --recursive
Untuk informasi selengkapnya tentang cara mengupload DAG, lihat Menambahkan dan memperbarui DAG.
Memeriksa error sintaksis
Untuk memeriksa error sintaksis dalam DAG yang Anda upload ke folder /data/test
, masukkan perintah gcloud
berikut:
gcloud composer environments run \
ENVIRONMENT_NAME \
--location ENVIRONMENT_LOCATION \
dags list -- --subdir /home/airflow/gcs/data/test
Ganti kode berikut:
ENVIRONMENT_NAME
: nama lingkungan.ENVIRONMENT_LOCATION
: region tempat lingkungan berada.
Memeriksa error tugas
Untuk memeriksa error khusus tugas dalam DAG yang Anda upload ke folder /data/test
, jalankan perintah gcloud
berikut:
gcloud composer environments run \
ENVIRONMENT_NAME \
--location ENVIRONMENT_LOCATION \
tasks test -- --subdir /home/airflow/gcs/data/test \
DAG_ID TASK_ID \
DAG_EXECUTION_DATE
Ganti kode berikut:
ENVIRONMENT_NAME
: nama lingkungan.ENVIRONMENT_LOCATION
: region tempat lingkungan berada.DAG_ID
: ID DAG.TASK_ID
: ID tugas.DAG_EXECUTION_DATE
: tanggal eksekusi DAG. Tanggal ini digunakan untuk tujuan pembuatan template. Terlepas dari tanggal yang Anda tentukan di sini, DAG akan segera berjalan.
Contoh:
gcloud composer environments run \
example-environment \
--location us-central1 \
tasks test -- --subdir /home/airflow/gcs/data/test \
hello_world print_date 2021-04-22
Memperbarui dan menguji DAG yang di-deploy
Untuk menguji update pada DAG di lingkungan pengujian:
- Salin DAG yang di-deploy yang ingin Anda perbarui ke
data/test
. - Perbarui DAG.
- Uji DAG.
- Pastikan DAG berhasil berjalan.
- Nonaktifkan DAG di lingkungan pengujian Anda.
- Buka UI Airflow > halaman DAG.
- Jika DAG yang Anda ubah terus berjalan, nonaktifkan DAG.
- Untuk mempercepat tugas yang belum selesai, klik tugas dan Tandai Berhasil.
- Deploy DAG ke lingkungan produksi Anda.
- Nonaktifkan DAG di lingkungan produksi Anda.
- Upload DAG yang telah diperbarui
ke folder
dags/
di lingkungan produksi Anda.
FAQ untuk menguji DAG
Bagaimana cara mengisolasi DAG yang berjalan di lingkungan produksi dan pengujian?
Misalnya, Airflow memiliki repositori kode sumber global di folder dags/
yang digunakan bersama oleh semua DAG yang berjalan. Anda ingin mengupdate kode sumber dalam produksi atau pengujian tanpa mengganggu DAG yang sedang berjalan.
Airflow tidak memberikan isolasi DAG yang kuat. Sebaiknya pertahankan lingkungan Cloud Composer produksi dan pengujian yang terpisah untuk mencegah DAG pengujian mengganggu DAG produksi.
Bagaimana cara menghindari interferensi DAG saat menjalankan pengujian integrasi dari cabang GitHub yang berbeda
Gunakan nama tugas yang unik untuk mencegah interferensi. Misalnya, Anda dapat menambahkan awalan pada ID tugas dengan nama cabang.
Apa praktik terbaik untuk pengujian integrasi dengan Airflow?
Sebaiknya gunakan lingkungan khusus untuk pengujian integrasi dengan Airflow. Salah satu cara untuk menandakan keberhasilan DAG run adalah dengan menulis ke dalam file di folder Cloud Storage, lalu memeriksa konten dalam kasus pengujian integrasi Anda sendiri.
Bagaimana cara berkolaborasi secara efisien dengan kontributor DAG lainnya?
Setiap kontributor dapat memiliki subdirektori di folder data/
untuk pengembangan.
DAG yang ditambahkan ke folder data/
tidak diambil secara otomatis oleh
penjadwal Airflow atau server web
Kontributor DAG dapat membuat DAG berjalan secara manual menggunakan
perintah gcloud composer environments run
dan sub-perintah test
dengan flag --subdir
untuk menentukan direktori pengembangan kontributor.
Contoh:
gcloud composer environments run test-environment-name \
tasks test -- dag-id task-id execution-date \
--subdir /home/airflow/gcs/data/alice_dev
Bagaimana cara menjaga sinkronisasi antara lingkungan deployment dan produksi?
Untuk mengelola akses:
Untuk autentikasi, gunakan akun layanan.
Untuk kontrol akses, gunakan peran dan izin Identity and Access Management dan Cloud Composer.
Untuk men-deploy dari pengembangan ke produksi:
Pastikan konfigurasi yang konsisten, seperti variabel lingkungan dan paket PyPI.
Memastikan argumen DAG yang konsisten. Untuk menghindari hard code, sebaiknya Anda menggunakan makro dan variabel Airflow.
Contoh:
gcloud composer environments run test-environment-name \ variables set -- DATA_ENDPOINT_KEY DATA_ENDPOINT_VALUE
Langkah selanjutnya
- Memecahkan masalah DAG
- Menambahkan dan Memperbarui DAG
- Menguji, menyinkronkan, dan men-deploy DAG menggunakan kontrol versi