Melihat log Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara mengakses dan melihat log Apache Airflow untuk Cloud Composer.

Jenis log

Cloud Composer memiliki log Airflow berikut:

  • Log Airflow: Log ini dikaitkan dengan satu tugas DAG. Anda dapat melihat log tugas di folder logs Cloud Storage yang terkait dengan lingkungan Cloud Composer. Anda juga dapat melihat log di antarmuka web Airflow.

  • Log streaming: Log ini adalah superset dari log di Airflow. Untuk mengakses log streaming, Anda dapat membuka tab log di halaman detail Lingkungan di Konsol Google Cloud, menggunakan Cloud Logging, atau menggunakan Cloud Monitoring.

    Kuota Logging dan Pemantauan berlaku.

    Untuk mempelajari Cloud Logging dan Cloud Monitoring untuk lingkungan Cloud Composer, lihat Pemantauan lingkungan.

Log di Cloud Storage

Saat Anda membuat lingkungan, Cloud Composer akan membuat bucket Cloud Storage dan mengaitkannya dengan lingkungan Anda. Cloud Composer menyimpan log untuk satu tugas DAG di folder logs di bucket.

Struktur direktori folder log

Folder logs menyertakan folder untuk setiap alur kerja yang telah berjalan di lingkungan. Setiap folder alur kerja menyertakan folder untuk DAG dan sub-DAG-nya. Setiap folder berisi file log untuk setiap tugas. Nama file tugas menunjukkan kapan tugas dimulai.

Contoh berikut menunjukkan struktur direktori log untuk lingkungan.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Retensi log

Untuk mencegah kehilangan data, log yang disimpan di bucket lingkungan tidak akan dihapus setelah Anda menghapus lingkungan. Anda harus menghapus log secara manual dari bucket lingkungan.

Log yang disimpan di bucket lingkungan menggunakan kebijakan bucket. Cloud Composer membuat bucket dengan kebijakan default yang menyimpan data selamanya.

Untuk log yang disimpan di Cloud Logging, Cloud Composer menggunakan _Default dan periode retensi log yang ditentukan pengguna.

Sebelum memulai

Anda harus memiliki peran yang dapat melihat objek di bucket lingkungan. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses.

Melihat log tugas di Cloud Storage

Untuk melihat file log untuk tugas DAG:

  1. Untuk melihat file log, masukkan perintah berikut, dengan mengganti VARIABLES dengan nilai yang sesuai:

    gcloud storage ls gs://BUCKET/logs --recursive

  2. (Opsional) Untuk menyalin satu log atau subfolder, masukkan perintah berikut, dengan mengganti VARIABLES dengan nilai yang sesuai:

    gcloud storage cp gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY --recursive

Melihat log streaming di konsol Google Cloud

Cloud Composer menghasilkan log berikut:

  • airflow: Log yang tidak dikategorikan yang dihasilkan pod Airflow.
  • airflow-upgrade-db: Log yang dihasilkan oleh tugas inisialisasi database Airflow (sebelumnya airflow-database-init-job).
  • airflow-scheduler: Log yang dihasilkan oleh penjadwal Airflow.
  • dag-processor-manager: Log pengelola pemroses DAG (bagian dari penjadwal yang memproses file DAG).
  • airflow-triggerer: Log yang dihasilkan pemicu Airflow.
  • airflow-webserver: Log yang dihasilkan antarmuka web Airflow.
  • airflow-worker: Log yang dihasilkan sebagai bagian dari alur kerja dan eksekusi DAG.
  • cloudaudit.googleapis.com/activity: Log yang dihasilkan Aktivitas Admin.
  • composer-agent: Log yang dihasilkan sebagai bagian dari operasi pembuatan dan pembaruan lingkungan.
  • gcs-syncd: Log yang dihasilkan oleh proses sinkronisasi file.
  • build-log-worker-scheduler: Log dari build lokal image pekerja Airflow (selama upgrade dan penginstalan paket Python).
  • build-log-webserver: Log dari build image server web Airflow (selama upgrade dan penginstalan paket python).
  • airflow-monitoring: Log yang dihasilkan pemantauan Airflow.

Log ini dapat dilihat di tab log pada halaman detail Lingkungan atau di Cloud Logging.

Untuk melihat log streaming di halaman Detail lingkungan:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Temukan nama lingkungan yang ingin Anda periksa dalam daftar. Klik nama lingkungan untuk membuka halaman Detail lingkungan, lalu pilih tab Logs.

  3. Pilih subkategori log yang ingin Anda lihat dan pilih interval waktu yang akan diperiksa dengan pemilih rentang waktu di sudut kiri atas.

Untuk melihat log streaming di Cloud Logging:

  1. Buka Logs Explorer di konsol Google Cloud.

    Buka Logs Explorer

  2. Pilih log yang ingin Anda lihat.

    Anda dapat memfilter berdasarkan properti seperti file dan level log, label standar, nama tugas, alur kerja, dan tanggal eksekusi. Untuk mengetahui informasi selengkapnya tentang cara memilih dan memfilter log, lihat Menggunakan Logs Explorer.

    Untuk mempelajari cara mengekspor log, lihat Mengonfigurasi dan mengelola sink.

Langkah selanjutnya