Melihat log Airflow

Cloud Composer 1 | Cloud Composer 2

Halaman ini menjelaskan cara mengakses dan melihat log Apache Airflow untuk Cloud Composer.

Jenis log

Cloud Composer memiliki log Airflow berikut:

  • Log airflow: Log ini terkait dengan satu tugas DAG. Anda dapat melihat log tugas di folder logs Cloud Storage yang terkait dengan lingkungan Cloud Composer. Anda juga dapat melihat log di Antarmuka web Airflow.

  • Log streaming: Log ini adalah superset log dalam Airflow. Untuk mengakses log streaming, Anda dapat membuka tab log di halaman detail Lingkungan di Konsol Google Cloud, menggunakan Cloud Logging, atau menggunakan Cloud Monitoring.

    Kuota Logging dan Pemantauan berlaku.

    Untuk mempelajari Cloud Logging dan Cloud Monitoring untuk lingkungan Cloud Composer Anda, lihat Monitoring lingkungan.

Log di Cloud Storage

Saat Anda membuat lingkungan, Cloud Composer membuat bucket Cloud Storage dan mengaitkan bucket dengan lingkungan Anda. Cloud Composer menyimpan log untuk satu tugas DAG di folder logs di bucket.

Struktur direktori folder log

Folder logs menyertakan folder untuk setiap alur kerja yang telah berjalan di lingkungan. Setiap folder alur kerja menyertakan folder untuk DAG dan sub-DAG-nya. Setiap folder berisi file log untuk setiap tugas. Nama file tugas menunjukkan kapan tugas dimulai.

Contoh berikut menunjukkan struktur direktori log untuk suatu lingkungan.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Retensi log

Untuk mencegah kehilangan data, log yang disimpan di bucket lingkungan tidak dihapus setelah Anda menghapus lingkungan. Anda harus menghapus log secara manual dari bucket lingkungan Anda.

Log yang disimpan di bucket lingkungan menggunakan kebijakan bucket. Cloud Composer membuat bucket dengan kebijakan default yang akan menyimpan data selamanya.

Untuk log yang disimpan di Cloud Logging, Cloud Composer menggunakan _Default dan periode retensi log yang Ditentukan pengguna.

Sebelum memulai

Anda harus memiliki peran yang dapat melihat objek di bucket lingkungan. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses.

Melihat log tugas di Cloud Storage

Untuk melihat file log tugas DAG:

  1. Untuk melihat file log, masukkan perintah berikut, dengan mengganti VARIABLES dengan nilai yang sesuai:

    gsutil ls -r gs://BUCKET/logs

  2. (Opsional) Untuk menyalin satu log atau subfolder, masukkan perintah berikut, dan ganti VARIABLES dengan nilai yang sesuai:

    gsutil cp -r gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY

Melihat log streaming di konsol Google Cloud

Cloud Composer menghasilkan log berikut:

  • airflow: Log yang tidak dikategorikan yang dihasilkan pod Airflow.
  • airflow-upgrade-db: Membuat log tugas inisialisasi database Airflow (sebelumnya airflow-database-init-job).
  • airflow-scheduler: Mencatat log yang dihasilkan penjadwal Airflow.
  • dag-processor-manager: Log pengelola prosesor DAG (bagian dari penjadwal yang memproses file DAG).
  • pemicu airflow: Mencatat log yang dihasilkan pemicu Airflow.
  • airflow-webserver: Mencatat log yang dihasilkan antarmuka web Airflow.
  • airflow-worker: Log yang dihasilkan sebagai bagian dari alur kerja dan eksekusi DAG.
  • cloudaudit.googleapis.com/activity: Log yang dihasilkan Aktivitas Admin.
  • composer-agent: Log yang dihasilkan sebagai bagian dari operasi pembuatan dan update lingkungan.
  • gcs-syncd: Log yang dihasilkan oleh proses sinkronisasi file.
  • build-log-worker-scheduler: Log dari build lokal image worker Airflow (selama upgrade dan penginstalan paket Python).
  • build-log-webserver: Log dari build image server web Airflow (selama upgrade dan penginstalan paket Python).
  • airflow-monitoring: Log yang dihasilkan pemantauan Airflow.

Log ini dapat dilihat di tab log pada halaman detail Lingkungan atau di Cloud Logging.

Untuk melihat log streaming di halaman detail Lingkungan:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Temukan nama lingkungan yang ingin Anda periksa dalam daftar. Klik nama lingkungan untuk membuka halaman Environment details, lalu pilih tab Logs.

  3. Pilih subkategori log yang ingin Anda lihat dan pilih interval waktu yang akan diperiksa dengan pemilih rentang waktu di pojok kiri atas.

Untuk melihat log streaming di Cloud Logging:

  1. Buka Logs Explorer di Konsol Google Cloud.

    Buka Logs Explorer

  2. Pilih log yang ingin Anda lihat.

    Anda dapat memfilter berdasarkan properti seperti file dan level log, label bawaan, nama tugas, alur kerja, dan tanggal eksekusi. Untuk mengetahui informasi selengkapnya tentang cara memilih dan memfilter log, lihat Menggunakan Logs Explorer.

    Untuk mempelajari cara mengekspor log, lihat Mengonfigurasi dan mengelola sink.

Langkah selanjutnya