Melihat DAG, operasi DAG, dan tugas

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara mendapatkan informasi tentang DAG di lingkungan Anda.

Cara melihat informasi tentang DAG

Cloud Composer menyediakan beberapa cara untuk mendapatkan informasi mendetail tentang DAG di lingkungan Anda:

  • UI DAG adalah bagian dari antarmuka konsol Google Cloud untuk Cloud Composer yang dikhususkan untuk melihat dan memantau DAG, DAG berjalan, dan setiap tugas.
  • UI Airflow adalah antarmuka web bawaan Airflow.
  • Airflow CLI adalah antarmuka command line Airflow. Anda dapat mendapatkan informasi tentang DAG dengan menjalankan perintah Airflow CLI dengan gcloud.

Tentang UI DAG Cloud Composer

UI DAG adalah bagian dari antarmuka konsol Google Cloud untuk Cloud Composer yang dikhususkan untuk melihat dan memantau DAG, DAG berjalan, dan setiap tugas.

Di UI DAG, Anda dapat:

  • Lihat daftar DAG di lingkungan Anda, termasuk interval jadwal, status, dan deskripsi DAG.

  • Menjeda, membatalkan jeda, dan memicu DAG.

  • Melihat detail operasi DAG, termasuk operasi yang berhasil, aktif, dan gagal, waktu sejak operasi terakhir yang selesai. Untuk setiap DAG, Anda dapat melihat histori eksekusi DAG dan instance tugas yang terkait dengan DAG tertentu ini, termasuk log untuk tugas yang dijalankan.

  • Memfilter detail operasi DAG. Misalnya, Anda dapat memilih interval waktu dan membuat kueri untuk memilih informasi yang Anda butuhkan.

  • Melihat informasi mendetail tentang setiap DAG dan tugas. Hal ini mencakup diagram DAG yang divisualisasi, informasi tentang tugas dalam DAG, kode sumber DAG, dan informasi tambahan tentang DAG.

Sebelum memulai

  • Pastikan akun Anda memiliki peran yang dapat mengakses UI DAG dan melihat detail DAG. Untuk informasi selengkapnya, lihat Kontrol akses.

  • UI DAG memerlukan serialisasi DAG yang diaktifkan.

  • UI DAG didukung di Cloud Composer 1.17.8 dan versi yang lebih baru.

Melihat daftar DAG untuk lingkungan Anda

Konsol

Tab DAG di lingkungan Anda menampilkan daftar DAG beserta detail eksekusi DAG untuk setiap DAG.

Untuk melihat daftar DAG:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

Anda dapat menggunakan filter untuk melihat detail hanya untuk DAG tertentu atau untuk kondisi tertentu. Contoh:

  1. Pilih kolom Filters.
  2. Dari menu drop-down, pilih properti DAG id.
  3. Tentukan ID DAG. Hasilnya hanya menampilkan detail untuk DAG yang dipilih.
  4. (Opsional) Untuk menyertakan lebih banyak DAG, tambahkan operator OR, diikuti dengan ID DAG.
  5. (Opsional) Untuk memfilter berdasarkan kondisi lain, tambahkan properti lain di kolom Filters. Misalnya, Anda dapat memfilter DAG dengan operasi yang gagal dengan menentukan Failed runs:>0.

UI Airflow

Untuk melihat daftar DAG di antarmuka web Airflow:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, di halaman DAG, daftar DAG untuk lingkungan Anda akan ditampilkan.

gcloud

Di Airflow 1.10.*, jalankan perintah Airflow CLI list_dags:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

Di Airflow 2, jalankan perintah Airflow CLI dags list:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.

Melihat histori tugas dan operasi DAG

Konsol

Tab Runs di halaman DAG details menampilkan histori operasi DAG untuk setiap DAG.

Untuk melihat histori operasi DAG:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

  3. Pilih DAG.

  4. Di halaman DAG details, buka tab Runs.

  5. Pilih operasi DAG dari daftar untuk melihat detail operasi DAG, seperti status instance tugas untuk operasi DAG ini, jumlah percobaan, dan durasi eksekusi. Anda dapat memilih setiap tugas untuk melihat log instance tugas.

UI Airflow

Untuk melihat daftar DAG di antarmuka web Airflow:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, di menu, pilih Browse > DAG Runs. Halaman DAG Runs menampilkan operasi DAG untuk lingkungan Anda. Anda dapat mengikuti link di kolom ID Run untuk mendapatkan informasi tambahan tentang tugas.

gcloud

Di Airflow 1.10.*, jalankan perintah Airflow CLI list_dag_runs:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

Di Airflow 2, jalankan perintah Airflow CLI dags list-runs:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.
  • DAG_ID dengan nama DAG.

Anda bisa mendapatkan informasi tambahan tentang instance tugas dengan menjalankan perintah CLI Airflow tasks state dan tasks states-for-dag-run.

Untuk mengetahui informasi selengkapnya, lihat Mengakses Airflow CLI dan referensi Airflow CLI untuk Airflow 1 dan Airflow 2.

Melihat diagram DAG

Konsol

Tab Diagram di halaman Detail DAG menampilkan visualisasi DAG dengan dependensi tugas.

Untuk melihat diagram DAG:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

  3. Pilih DAG.

  4. Di halaman DAG details, buka tab Diagram.

  5. (Opsional) Untuk melihat informasi tambahan tentang tugas, pilih setiap tugas pada diagram.

UI Airflow

Untuk melihat diagram DAG di antarmuka web Airflow:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, di halaman DAG, daftar DAG untuk lingkungan Anda akan ditampilkan.

  5. Untuk DAG Anda, di kolom Links, ikuti link Graph View.

Melihat kode sumber DAG dan informasi tambahan tentang DAG

Konsol

Anda dapat melihat kode sumber DAG dan informasi tambahan seperti ID DAG dan link ke file definisi DAG di bucket lingkungan.

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

  3. Pilih DAG.

  4. Untuk melihat kode sumber DAG, buka tab Diagram.

  5. Untuk melihat informasi tambahan tentang DAG, buka tab Sumber.

UI Airflow

Untuk melihat diagram DAG di antarmuka web Airflow:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, di halaman DAG, klik nama DAG Anda.

  5. Di halaman dengan detail DAG, buka tab yang tersedia untuk melihat informasi tambahan tentang DAG.

Langkah selanjutnya