Lihat log Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara mengakses dan melihat log Apache Airflow untuk Cloud Composer.

Jenis log

Cloud Composer memiliki log Airflow berikut:

  • Log Airflow: Log ini terkait dengan satu tugas DAG. Anda dapat lihat log tugas di folder logs Cloud Storage yang terkait dengan lingkungan Cloud Composer. Anda juga dapat melihat log in antarmuka web Airflow.

  • Log streaming: Log ini adalah superset log di Airflow. Kepada mengakses log streaming, Anda dapat membuka tab logs di detail Lingkungan di konsol Google Cloud, gunakan Cloud Logging, atau gunakan Cloud Monitoring.

    Kuota Logging dan Monitoring berlaku.

    Untuk mempelajari Cloud Logging dan Cloud Monitoring untuk Lingkungan Cloud Composer, lihat Memantau lingkungan.

Log di Cloud Storage

Saat Anda membuat lingkungan, Cloud Composer membuat bucket Cloud Storage dan mengaitkan bucket dengan lingkungan Anda. Cloud Composer menyimpan log untuk satu tugas DAG di folder logs di bucket.

Struktur direktori folder log

Folder logs menyertakan folder untuk setiap alur kerja yang telah berjalan di lingkungan. Setiap folder alur kerja menyertakan folder untuk DAG dan sub-DAG-nya. Setiap folder berisi file log untuk setiap tugas. Nama file tugas menunjukkan kapan tugas dimulai.

Contoh berikut menunjukkan struktur direktori log untuk suatu lingkungan.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Retensi log

Untuk mencegah kehilangan data, log yang disimpan di bucket lingkungan tidak dihapus setelah Anda menghapus lingkungan. Anda harus menghapus log secara manual dari bucket lingkungan Anda.

Log yang disimpan di bucket lingkungan menggunakan kebijakan bucket. Cloud Composer membuat bucket dengan kebijakan default yang menjaga data selamanya.

Untuk log yang disimpan di Cloud Logging, Cloud Composer menggunakan _Default dan Buatan pengguna periode retensi log.

Sebelum memulai

Anda harus memiliki peran yang dapat melihat objek di bucket lingkungan. Untuk selengkapnya informasi, lihat Kontrol akses.

Melihat log tugas di Cloud Storage

Agar dapat melihat file log untuk tugas DAG:

  1. Untuk melihat file log, masukkan perintah berikut, dan ganti VARIABLES dengan nilai yang sesuai:

    gcloud storage ls gs://BUCKET/logs --recursive

  2. (Opsional) Untuk menyalin satu log atau subfolder, masukkan perintah berikut, dan ganti VARIABLES dengan nilai yang sesuai:

    gcloud storage cp gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY --recursive

Melihat log streaming di konsol Google Cloud

Cloud Composer menghasilkan log berikut:

  • airflow: Log yang tidak dikategorikan yang dihasilkan pod Airflow.
  • airflow-upgrade-db: Tugas inisialisasi database Airflow dalam log (sebelumnya airflow-database-init-job).
  • airflow-scheduler: Log yang dihasilkan penjadwal Airflow.
  • dag-processor-manager: Log pengelola prosesor DAG (bagian dari penjadwal yang memproses file DAG).
  • airflow-triggerer: Log yang dihasilkan pemicu Airflow.
  • airflow-webserver: Log yang dihasilkan antarmuka web Airflow.
  • airflow-worker: Log yang dibuat sebagai bagian dari alur kerja dan eksekusi DAG.
  • cloudaudit.googleapis.com/activity: Log yang dihasilkan Aktivitas Admin.
  • composer-agent: Log yang dibuat sebagai bagian dari operasi pembuatan dan update lingkungan.
  • gcs-syncd: Log yang dibuat oleh proses sinkronisasi file.
  • build-log-worker-scheduler: Log dari build lokal image pekerja Airflow (selama upgrade dan penginstalan paket Python).
  • build-log-webserver: Log dari build image server web Airflow (selama upgrade dan penginstalan paket python).
  • airflow-monitoring: Log yang dihasilkan pemantauan Airflow.

Log ini dapat dilihat di tab log di halaman detail Lingkungan atau di Cloud Logging.

Untuk melihat log streaming di halaman detail Lingkungan:

  1. Di Konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Temukan nama lingkungan yang ingin Anda periksa dalam daftar. Klik nama lingkungan untuk membuka halaman Detail lingkungan, lalu pilih tab Logs.

  3. Pilih subkategori log yang ingin Anda lihat dan pilih waktunya interval untuk memeriksa dengan pemilih rentang waktu di sudut kiri atas.

Untuk melihat log streaming di Cloud Logging:

  1. Buka Logs Explorer di konsol Google Cloud.

    Buka Logs Explorer

  2. Pilih log yang ingin Anda lihat.

    Anda dapat memfilter menurut properti seperti file log dan level, label yang ditentukan sebelumnya, nama tugas, alur kerja, dan tanggal eksekusi. Untuk mengetahui informasi selengkapnya tentang memilih dan memfilter log, lihat Menggunakan Logs Explorer.

    Untuk mempelajari cara mengekspor log, lihat Mengonfigurasi dan mengelola sink.

Langkah selanjutnya