Melihat log Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menjelaskan cara mengakses dan melihat log Apache Airflow untuk Cloud Composer.

Tentang jenis log

Cloud Composer memiliki log Airflow berikut:

• Log streaming. Log ini berisi log tugas Airflow, serta log komponen Airflow di lingkungan Anda, seperti penjadwal dan pekerja Airflow.

  Untuk mempelajari Cloud Logging dan Cloud Monitoring untuk lingkungan Cloud Composer Anda, lihat Memantau lingkungan.

• Log tugas Airflow di bucket lingkungan. Log ini terkait dengan tugas DAG tunggal. Jika Anda mengaktifkan penyimpanan log ke bucket lingkungan, Cloud Composer akan menyimpan file dengan log tugas Airflow ke folder /logs.

• Cloud Composer membuat log audit, seperti log Aktivitas Admin. Untuk mengetahui informasi selengkapnya, lihat Melihat log audit.

Sebelum memulai

• Akun Google Anda harus memiliki peran yang dapat melihat objek di bucket lingkungan. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses.

• Log yang disimpan di bucket lingkungan menggunakan kebijakan bucket. Cloud Composer membuat bucket dengan kebijakan default yang menyimpan data selamanya. Untuk log yang disimpan di Cloud Logging, Cloud Composer menggunakan _Default dan periode retensi data log yang ditentukan Pengguna.

• Untuk mencegah kehilangan data, log yang disimpan di bucket lingkungan tidak dihapus setelah Anda menghapus lingkungan. Anda harus menghapus log secara manual dari bucket lingkungan Anda.

Melihat log streaming

Untuk melihat log streaming di Cloud Logging:

Konsol

1. Di konsol Google Cloud , buka halaman Environments.

   Buka Lingkungan

2. Dalam daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Log.

Melihat log streaming di Cloud Logging

Untuk melihat log streaming di Cloud Logging:

Konsol

1. Di konsol Google Cloud , buka halaman Environments.

   Buka Lingkungan

2. Dalam daftar lingkungan, temukan lingkungan Anda.

3. di kolom Logs, klik link Logs.

Melihat log tugas Airflow di bucket lingkungan

Catatan: Anda dapat melihat log tugas Airflow di UI Airflow.

Untuk melihat log tugas Airflow di bucket lingkungan Anda:

Konsol

1. Di Google Cloud console, buka halaman Environments.

   Buka Lingkungan

2. Dalam daftar lingkungan, temukan baris dengan nama lingkungan Anda dan di kolom folder DAG, klik link DAG. Halaman Bucket details akan terbuka.

3. Di panel Folder browser, klik /logs.

   Catatan: Jika folder ini kosong, berarti penyimpanan log ke bucket lingkungan mungkin dinonaktifkan untuk lingkungan Anda.

Langkah berikutnya

• Memantau lingkungan
• Logging audit Cloud Composer