Membuat pemberitahuan pipeline

Halaman ini menjelaskan cara menyiapkan pemberitahuan untuk pipeline data di Cloud Data Fusion.

Anda dapat membuat notifikasi melalui layanan berikut:

• Pemberitahuan melalui Cloud Data Fusion: Anda menyiapkan pemberitahuan ini saat mendesain pipeline batch di Cloud Data Fusion. Setelah men-deploy pipeline, Anda tidak dapat menambahkan atau mengedit pemberitahuan.

• Pemberitahuan berbasis log melalui Cloud Monitoring: Anda menyiapkan pemberitahuan ini di Konsol Google Cloud sebelum dan setelah men-deploy pipeline.

Sebelum memulai

Anda memerlukan instance Cloud Data Fusion. Untuk mengetahui informasi selengkapnya, lihat Membuat instance Cloud Data Fusion.

Tambahkan pemberitahuan di Cloud Data Fusion

Catatan: Anda tidak dapat menambahkan atau mengedit pemberitahuan tentang pipeline yang di-deploy di Cloud Data Fusion.

1. Buka instance Anda.

   1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

   2. Untuk membuka instance di antarmuka web Cloud Data Fusion, klik Instance, lalu klik View instance.

      Buka Instance

2. Buka halaman Studio tempat Anda mendesain pipeline.

3. Klik Konfigurasi > Pemberitahuan pipeline > Tambahkan.

4. Pilih dan konfigurasi notifikasi. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi pemberitahuan, lihat Pemberitahuan pipeline batch.

   Catatan: Untuk pemberitahuan email, jika pipeline Anda tidak memiliki cluster Dataproc yang berjalan lama dengan server Simple Mail Transfer Protocol (SMTP), masukkan informasi layanan atau server email, seperti persyaratan host dan port.

5. Setelah mengonfigurasi pemberitahuan, klik Validasi untuk memeriksa error, lalu klik Konfirmasi.

Membuat pemberitahuan di Monitoring

1. Aktifkan Cloud Logging di instance Cloud Data Fusion Anda.

2. Buat notifikasi berbasis log.

   1. Di Konsol Google Cloud, buka halaman Logs Explorer.

      Buka Logs Explorer

      Halaman ini memungkinkan Anda menyimpan, mengkueri, memperbarui, dan menghapus data.

   2. Masukkan kueri berikut:

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      Ganti PROJECT_ID dengan ID project Anda.

   3. Klik Buat pemberitahuan dan konfigurasikan pemberitahuan.

Pemberitahuan hanya dibuat saat pipeline berjalan di cluster Dataproc dan mengalami kegagalan. Untuk kegagalan pembuatan cluster Dataproc, pemberitahuan tidak akan dibuat.

Langkah selanjutnya

• Lihat halaman referensi Pemberitahuan Pipeline Batch CDAP OS.