Melihat DAG, operasi DAG, dan tugas

Cloud Composer 1 | Cloud Composer 2

Halaman ini menjelaskan cara mendapatkan informasi tentang DAG di lingkungan Anda.

Cara melihat informasi tentang DAG

Cloud Composer menyediakan beberapa cara untuk mendapatkan informasi mendetail tentang DAG di lingkungan Anda:

  • UI DAG adalah bagian dari antarmuka Google Cloud Console untuk Cloud Composer yang dikhususkan untuk melihat dan memantau DAG, pengoperasian DAG, dan tugas individual.
  • UI Airflow adalah antarmuka web bawaan Airflow.
  • Airflow CLI adalah antarmuka command line Airflow. Anda bisa mendapatkan informasi tentang DAG dengan menjalankan perintah Airflow CLI menggunakan gcloud.

Tentang UI DAG Cloud Composer

UI DAG adalah bagian dari antarmuka Google Cloud Console untuk Cloud Composer yang dikhususkan untuk melihat dan memantau DAG, pengoperasian DAG, dan tugas individual.

Di UI DAG, Anda dapat:

  • Melihat daftar DAG di lingkungan Anda, termasuk interval jadwal, status DAG, dan deskripsi.

  • Jeda, batalkan jeda, dan picu DAG.

  • Melihat detail proses DAG, termasuk operasi yang berhasil, aktif, dan gagal, waktu sejak terakhir kali dijalankan. Untuk setiap DAG, Anda dapat melihat histori pengoperasian DAG dan instance tugas yang terkait dengan DAG khusus ini, termasuk log untuk tugas yang dijalankan.

  • Filter detail pengoperasian DAG. Misalnya, Anda dapat memilih interval waktu dan membuat kueri untuk memilih informasi yang Anda butuhkan.

  • Lihat informasi mendetail tentang masing-masing DAG dan tugas. Hal ini mencakup diagram DAG yang divisualisasikan, informasi tentang tugas dalam DAG, kode sumber DAG, dan informasi tambahan tentang DAG.

Sebelum memulai

  • UI DAG didukung di Cloud Composer 2.0.1 dan versi yang lebih baru.

Melihat daftar DAG untuk lingkungan Anda

Konsol

Tab DAG di lingkungan Anda menampilkan daftar DAG beserta detail pengoperasian DAG untuk setiap DAG.

Untuk melihat daftar DAG:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom Daftar DAG, ikuti link DAG untuk lingkungan Anda.

Anda dapat menggunakan filter untuk melihat detail hanya untuk DAG tertentu atau untuk kondisi tertentu. Contoh:

  1. Pilih kolom Filter.
  2. Dari menu drop-down, pilih properti DAG id.
  3. Tentukan ID DAG. Hasilnya hanya menampilkan detail untuk DAG yang dipilih.
  4. (Opsional) Untuk menyertakan lebih banyak DAG, tambahkan operator OR, diikuti dengan ID DAG.
  5. (Opsional) Untuk memfilter kondisi lain, tambahkan properti lain di kolom Filter. Misalnya, Anda dapat memfilter DAG yang mengalami kegagalan dengan menentukan Failed runs:>0.

UI Airflow

Untuk melihat daftar DAG di antarmuka web Airflow:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom webserver Airflow, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, di halaman DAG, daftar DAG untuk lingkungan Anda akan ditampilkan.

gcloud

Jalankan perintah CLI Airflow dags list:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan wilayah tempat lingkungan berada.

Melihat histori tugas dan pengoperasian DAG

Konsol

Tab Runs di halaman detail DAG menampilkan histori operasi DAG untuk satu DAG.

Untuk melihat histori operasi DAG:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom Daftar DAG, ikuti link DAG untuk lingkungan Anda.

  3. Pilih DAG.

  4. Pada halaman Detail DAG, buka tab Runs.

  5. Pilih DAG yang dijalankan dari daftar untuk melihat detail run DAG, seperti status instance tugas untuk run DAG ini, jumlah percobaan, dan durasi eksekusi. Anda dapat memilih tugas satu per satu untuk melihat log instance tugas.

UI Airflow

Untuk melihat daftar DAG di antarmuka web Airflow:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom webserver Airflow, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, pada menu, pilih Browse > DAG Runs. Halaman DAG Runs menampilkan DAG yang dijalankan untuk lingkungan Anda. Anda dapat mengikuti link di kolom Run ID untuk mendapatkan informasi tambahan tentang tugas.

gcloud

Jalankan perintah CLI Airflow dags list-runs:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan wilayah tempat lingkungan berada.
  • DAG_ID dengan nama DAG.

Anda bisa mendapatkan informasi tambahan tentang instance tugas dengan menjalankan perintah CLI Airflow tasks state dan tasks states-for-dag-run.

Untuk mengetahui informasi selengkapnya, lihat Mengakses Airflow CLI dan referensi Airflow CLI.

Lihat diagram DAG

Konsol

Tab Diagram di halaman detail DAG menampilkan visualisasi DAG dengan dependensi tugas.

Untuk melihat diagram DAG:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom Daftar DAG, ikuti link DAG untuk lingkungan Anda.

  3. Pilih DAG.

  4. Di halaman detail DAG, buka tab Diagram.

  5. (Opsional) Untuk melihat informasi tambahan tentang tugas, pilih setiap tugas pada diagram.

UI Airflow

Untuk melihat diagram DAG di antarmuka web Airflow:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom webserver Airflow, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, di halaman DAG, daftar DAG untuk lingkungan Anda akan ditampilkan.

  5. Untuk DAG, di kolom Links, ikuti link Graph View.

Melihat kode sumber DAG dan informasi tambahan tentang DAG

Konsol

Anda dapat melihat kode sumber DAG dan informasi tambahan seperti ID DAG dan link ke file definisi DAG di bucket lingkungan.

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom Daftar DAG, ikuti link DAG untuk lingkungan Anda.

  3. Pilih DAG.

  4. Untuk melihat kode sumber DAG, buka tab Diagram.

  5. Untuk melihat informasi tambahan tentang DAG, buka tab Sumber.

UI Airflow

Untuk melihat diagram DAG di antarmuka web Airflow:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di kolom webserver Airflow, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, di halaman DAGs, klik nama DAG Anda.

  5. Di halaman yang berisi detail DAG, buka tab yang tersedia untuk melihat informasi tambahan tentang DAG.

Langkah selanjutnya