監控 Cloud Data Fusion 系統、執行個體和管道的健康狀態

本指南說明如何使用 Monitoring 中的 Cloud Data Fusion 監控資訊主頁,監控 Cloud Data Fusion 執行個體和管道。

Cloud Data Fusion 資訊主頁提供主要指標的可自訂檢視畫面。直接在 Monitoring 中查看這些指標,即可自訂指標的篩選和匯總方式。

這個資訊主頁包含下列檢視畫面:

  • 總覽:監控 Cloud Data Fusion 系統指標和記錄。
  • 執行個體:監控專案中的所有 Cloud Data Fusion 執行個體。
  • 管道:提供管道執行和效能相關資訊。

如要查看任何檢視畫面中指標的詳細資訊,請將滑鼠游標懸停在小工具上,然後依序點選「更多」>「在 Metrics Explorer 中查看」

事前準備

  • 在 Google Cloud 控制台中,安裝範本資訊主頁,然後選取「Cloud Data Fusion Monitoring」資訊主頁範本。

定價

使用 Cloud Monitoring 會產生費用。詳情請參閱 Google Cloud Observability 定價

必要的角色

如要取得查看指標所需的權限,請要求管理員為您授予專案的 Monitoring 檢視者 (roles/monitoring.viewer) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。

您或許還可透過自訂角色或其他預先定義的角色取得必要權限。

執行個體檢視畫面小工具

下表說明「執行個體」檢視畫面中的小工具:

小工具 說明
正在並行執行的 pipeline 同時執行的管道數量。
已啟動並行執行的 pipeline 處於佈建或啟動狀態的管道數量。
收到的 API 要求 收到的 API 要求累計次數。
API 回應次數 傳送的 API 回應累計次數。
授權檢查次數 授權檢查累計次數。
授權檢查時間 授權檢查的延遲時間。
已部署的 pipeline 數量 已部署的管道數量。
草稿 pipeline 數量 草稿 pipeline 數量。
命名空間數量 命名空間數量。

管道檢視畫面小工具

下表說明「Pipeline」檢視畫面中的小工具:

小工具 說明
成功的管道執行作業 成功執行的 pipeline 累計次數。
失敗的管道執行作業 失敗的管道執行作業累計次數。
終止的管道執行作業 已終止的 pipeline 執行作業累計數量。
已拒絕的 pipeline 執行作業 遭拒絕的管道執行作業累計次數。
成功的管道執行時間 成功執行管道所需的時間。
管道啟動延遲 管道執行作業達到「執行中」狀態所需的時間。
Dataproc 佈建延遲時間 佈建 Dataproc 叢集所需的時間。
Dataproc API 要求次數 向 Dataproc 發出的 API 要求累計次數。
執行時間:成功的預覽 成功完成預覽執行作業所需的時間。
預覽執行作業 預覽執行次數。
已讀取的 pipeline 位元組數 管道讀取的累計位元組數。
已寫入的 pipeline 位元組數 管道寫入的累計位元組數。
重組的 pipeline 位元組數 管道中洗牌的累計位元組數。
外掛程式處理的記錄筆數:輸入 進入外掛程式的記錄累計數量。
外掛程式處理的記錄筆數:輸出 外掛程式輸出的記錄累計數量。

查看及篩選指標

直接在 Monitoring 中查看及篩選指標:

  1. 前往 Google Cloud 控制台的「指標探索器」頁面。

    前往「Metrics Explorer」頁面

  2. 選取「Cloud Data Fusion」受監控資源。

  3. 選擇指標。

  4. 選取篩選器和匯總。

後續步驟