Membuat pemberitahuan pipeline

Halaman ini menjelaskan cara menyiapkan pemberitahuan untuk pipeline data di Cloud Data Fusion.

Anda dapat membuat pemberitahuan melalui layanan berikut:

  • Pemberitahuan melalui Cloud Data Fusion: Anda menyiapkan pemberitahuan ini saat mendesain pipeline batch di Cloud Data Fusion. Setelah men-deploy pipeline, Anda tidak dapat menambahkan atau mengedit pemberitahuan.

  • Pemberitahuan berbasis log melalui Cloud Monitoring: Anda menyiapkan pemberitahuan ini di konsol Google Cloud sebelum dan sesudah men-deploy pipeline.

Sebelum memulai

Anda memerlukan instance Cloud Data Fusion. Untuk mengetahui informasi selengkapnya, lihat Membuat instance Cloud Data Fusion.

Menambahkan pemberitahuan di Cloud Data Fusion

  1. Buka instance Anda.

    1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

    2. Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.

      Buka Instance

  2. Buka halaman Studio tempat Anda mendesain pipeline.

  3. Klik Konfigurasi > Notifikasi pipeline > Tambahkan.

  4. Pilih dan konfigurasikan pemberitahuan. Untuk informasi selengkapnya tentang cara mengonfigurasi pemberitahuan, lihat Pemberitahuan pipeline batch.

  5. Setelah mengonfigurasi pemberitahuan, klik Validasi untuk memeriksa error, lalu klik Konfirmasi.

Membuat pemberitahuan di Monitoring

  1. Aktifkan Cloud Logging di instance Cloud Data Fusion Anda.

  2. Buat pemberitahuan berbasis log.

    1. Di Konsol Google Cloud, buka halaman Logs Explorer.

      Buka Logs Explorer

      Halaman ini memungkinkan Anda menyimpan, membuat kueri, memperbarui, dan menghapus data.

    2. Masukkan kueri berikut:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Ganti PROJECT_ID dengan ID project Anda.

    3. Klik Buat pemberitahuan dan konfigurasikan pemberitahuan.

Notifikasi hanya dibuat saat pipeline berjalan di cluster Dataproc dan gagal. Untuk kegagalan pembuatan cluster Dataproc, pemberitahuan tidak akan dibuat.

Langkah selanjutnya