Melihat DAG, operasi DAG, dan tugas

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara mendapatkan informasi tentang DAG di lingkungan Anda.

Cara melihat informasi tentang DAG

Cloud Composer menyediakan beberapa cara untuk mendapatkan informasi mendetail tentang DAG di lingkungan Anda:

  • DAG UI adalah bagian dari antarmuka konsol Google Cloud untuk Cloud Composer khusus untuk melihat dan memantau DAG, operasi DAG, dan tugas individu.
  • UI Airflow adalah antarmuka web bawaan Airflow.
  • Airflow CLI adalah antarmuka command line Airflow. Anda mendapatkan informasi tentang DAG dengan menjalankan perintah CLI Airflow dengan gcloud.

Tentang UI DAG Cloud Composer

DAG UI adalah bagian dari antarmuka konsol Google Cloud untuk Cloud Composer khusus untuk melihat dan memantau DAG, operasi DAG, dan tugas individu.

Di UI DAG, Anda dapat:

  • Lihat daftar DAG di lingkungan Anda, termasuk interval jadwal, DAG status, dan deskripsi.

  • Menjeda, membatalkan jeda, dan picu DAG.

  • Melihat detail operasi DAG, termasuk operasi yang berhasil, aktif, dan gagal, serta waktu sejak terakhir kali dijalankan. Untuk setiap DAG, Anda dapat melihat histori DAG operasi, dan instance tugas yang terkait dengan DAG tertentu ini, termasuk log untuk tugas-tugas yang telah dilaksanakan.

  • Filter detail operasi DAG. Misalnya, Anda dapat memilih interval waktu dan membuat kueri untuk memilih informasi yang Anda butuhkan.

  • Lihat informasi mendetail tentang setiap DAG dan tugas. Hal ini mencakup memvisualisasikan diagram DAG, informasi tentang tugas dalam DAG, DAG kode sumber, dan informasi tambahan tentang DAG.

Sebelum memulai

  • Pastikan akun Anda memiliki peran yang dapat mengakses DAG UI dan melihat DAG spesifikasi pendukung. Untuk informasi selengkapnya, lihat Kontrol akses.

  • UI DAG memerlukan serialisasi DAG yang diaktifkan.

  • UI DAG didukung di Cloud Composer 1.17.8 dan yang lebih baru versi.

Melihat daftar DAG untuk lingkungan Anda

Konsol

Tab DAG di lingkungan Anda menampilkan daftar DAG beserta DAG menjalankan detail untuk setiap DAG.

Untuk melihat daftar DAG:

  1. Di Konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

Anda dapat menggunakan filter untuk melihat detail hanya untuk DAG tertentu atau untuk kondisi tertentu. Contoh:

  1. Pilih kolom Filter.
  2. Dari menu drop-down, pilih properti ID DAG.
  3. Tentukan ID DAG. Hasilnya menunjukkan detail hanya untuk DAG yang dipilih.
  4. (Opsional) Untuk menyertakan lebih banyak DAG, tambahkan operator OR yang diikuti dengan ID DAG.
  5. (Opsional) Untuk memfilter kondisi lain, tambahkan properti lain di kolom Filters. Misalnya, Anda dapat memfilter DAG dengan yang berjalan dengan menentukan Failed runs:>0.

UI Airflow

Untuk melihat daftar DAG di antarmuka web Airflow:

  1. Di Konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom server web Airflow, ikuti link Airflow untuk lingkungan fleksibel App Engine.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, pada halaman DAGs, daftar DAG untuk lingkungan Anda akan ditampilkan.

gcloud

Jalankan perintah Airflow CLI dags list:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.

Melihat histori operasi dan tugas DAG

Konsol

Tab Runs di halaman DAG details menampilkan histori operasi DAG untuk DAG individual.

Untuk melihat histori operasi DAG:

  1. Di Konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

  3. Pilih DAG.

  4. Di halaman DAG details, buka tab Runs.

  5. Pilih operasi DAG dari daftar untuk melihat detail operasi DAG, seperti status instance tugas untuk operasi DAG ini, jumlah percobaan, dan durasi eksekusi. Anda dapat memilih tugas individual untuk dilihat log instance tugas.

UI Airflow

Untuk melihat daftar DAG di antarmuka web Airflow:

  1. Di Konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom server web Airflow, ikuti link Airflow untuk lingkungan fleksibel App Engine.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, pada menu, pilih Browse > DAG Run. Halaman DAG Runs akan menampilkan DAG berjalan untuk lingkungan Anda. Anda dapat mengikuti link di halaman Run ID untuk mendapatkan informasi tambahan tentang tugas.

gcloud

Jalankan perintah Airflow CLI dags list-runs:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.
  • DAG_ID dengan nama DAG.

Anda bisa mendapatkan informasi tambahan tentang instance tugas dengan menjalankan perintah CLI Airflow tasks state dan tasks states-for-dag-run.

Untuk informasi selengkapnya, lihat Mengakses Airflow CLI dan Referensi Airflow CLI.

Melihat diagram DAG

Konsol

Tab Diagram di halaman detail DAG menampilkan visualisasi DAG dengan dependensi tugas.

Untuk melihat diagram DAG:

  1. Di Konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

  3. Pilih DAG.

  4. Di halaman Detail DAG, buka tab Diagram.

  5. (Opsional) Untuk melihat informasi tambahan tentang tugas, pilih tugas individual pada diagram.

UI Airflow

Untuk melihat diagram DAG di antarmuka web Airflow:

  1. Di Konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom server web Airflow, ikuti link Airflow untuk lingkungan fleksibel App Engine.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, pada halaman DAGs, daftar DAG untuk lingkungan Anda akan ditampilkan.

  5. Untuk DAG, di kolom Link, ikuti link Tampilan Grafik.

Melihat kode sumber DAG dan informasi tambahan tentang DAG

Konsol

Anda dapat melihat kode sumber DAG dan informasi tambahan seperti ID DAG dan link ke file definisi DAG di file definisi direktori VM dengan bucket.

  1. Di Konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

  3. Pilih DAG.

  4. Untuk melihat kode sumber DAG, buka tab Diagram.

  5. Untuk melihat informasi tambahan tentang DAG, buka tab Sumber.

UI Airflow

Untuk melihat diagram DAG di antarmuka web Airflow:

  1. Di Konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom server web Airflow, ikuti link Airflow untuk lingkungan fleksibel App Engine.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, pada halaman DAGs, klik nama DAG Anda.

  5. Di halaman dengan detail DAG, buka tab yang tersedia untuk melihat informasi tambahan tentang DAG.

Langkah selanjutnya