Melihat log pipeline di Cloud Logging

Halaman ini menjelaskan cara mengaktifkan Cloud Logging untuk instance Cloud Data Fusion dan cara melihat log pipeline.

Sebelum memulai

Buat instance Cloud Data Fusion. Perlu waktu hingga 30 menit untuk menyelesaikan proses pembuatan instance.

Catatan: Saat menggunakan Cloud Data Fusion, Anda menggunakan Konsol Google Cloud dan UI Cloud Data Fusion terpisah. Di konsol Google Cloud, Anda dapat membuat project Google Cloud, membuat dan menghapus instance Cloud Data Fusion, serta melihat detail instance. Di UI Cloud Data Fusion, Anda dapat menggunakan berbagai halaman seperti Pipeline Studio atau Wrangler untuk memanfaatkan fungsi Cloud Data Fusion.

Mengaktifkan Cloud Logging

Untuk menggunakan Cloud Logging dengan pipeline Cloud Data Fusion, aktifkan Cloud Logging saat Anda membuat instance Cloud Data Fusion.

1. Di konsol Google Cloud, buka halaman Instance.
2. Klik Create instance.
3. Klik Tampilkan opsi lanjutan.

4. Di bagian Logging dan pemantauan, klik Aktifkan layanan logging Stackdriver.

   

Setelah membuat instance, Anda tidak dapat mengaktifkan Cloud Logging di konsol Google Cloud. Sebagai gantinya, jalankan perintah gcloud CLI ini:

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

Lihat log

Setiap operasi pipeline Cloud Data Fusion diberi RunID unik. Setelah men-deploy dan menjalankan pipeline, temukan RunID-nya. Kemudian, di logging, gunakan RunID untuk melihat log pipeline Anda.

Mendapatkan RunID pipeline

1. Buka instance Anda:

   1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

   2. Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.

      Buka Instance

2. Klik Summary > Table.

3. Klik link RunId untuk menyalin.

   

Melihat log di Logs Explorer

1. Buka halaman Cloud Logging > Logs Explorer di konsol Google Cloud:

   Buka Logs Explorer

2. Di menu filter, pilih Cloud Dataproc Cluster > cdap-PIPELINE_NAME-YOUR_RUNID.

   

Opsional: Memfilter log

Gunakan menu filter untuk memfilter log Anda. Anda dapat memfilter menurut berbagai tingkat keparahan log atau menurut komponen seperti datafusion-pipeline-logs.

Opsional: Mendownload log

Klik Download log.

Untuk mengetahui informasi selengkapnya, lihat dokumentasi Cloud Logging untuk mendownload entri log.

Langkah selanjutnya

• Pelajari cara melihat log audit.
• Pelajari cara melihat log pipeline dari Cloud Data Fusion Pipeline Studio.