建立管道警示

本頁面說明如何在 Cloud Data Fusion 中設定資料管道的警示。

你可以透過下列服務建立快訊:

  • 透過 Cloud Data Fusion 發出警示:在 Cloud Data Fusion 中設計批次管道時,您可以設定這些警示。部署管道後,您就無法新增或編輯警示。

  • 透過 Cloud Monitoring 發出記錄警示:您可以在部署管道前後,在 Google Cloud 控制台中設定這些警示。

事前準備

您需要 Cloud Data Fusion 執行個體。詳情請參閱「建立 Cloud Data Fusion 執行個體」。

在 Cloud Data Fusion 中新增警示

  1. 開啟執行個體。

    1. 在 Google Cloud 控制台中,前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體,請依序按一下「Instances」和「View instance」

      前往「Instances」(執行個體)

  2. 前往您設計管道的「Studio」頁面。

  3. 依序按一下「設定」>「管道警示」> 「新增」

  4. 選取並設定快訊。如要進一步瞭解如何設定快訊,請參閱「批次管道快訊」。

  5. 設定完成後,請按一下「驗證」檢查是否有錯誤,然後按一下「確認」

在 Monitoring 中建立快訊

  1. 在 Cloud Data Fusion 執行個體中啟用 Cloud Logging

  2. 建立以記錄為基礎的警告

    1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

      前往「Logs Explorer」

      本頁面可讓您儲存、查詢、更新及刪除資料。

    2. 輸入下列查詢:

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      PROJECT_ID 替換為專案 ID。

    3. 按一下「建立快訊」,然後設定快訊。

只有在管道在 Dataproc 叢集中執行且失敗時,系統才會產生警示。系統不會針對 Dataproc 叢集建立失敗事件產生快訊。

後續步驟