監控 Cloud Data Fusion 系統、執行個體和管道的健康狀態

本指南說明如何監控 Cloud Data Fusion 執行個體和管道。您可以在 Cloud Data Fusion 監控資訊主頁中查看重要指標。如要進行其他彙整或篩選,可以在 Cloud Monitoring 中查看指標。

事前準備

開始監控 Cloud Data Fusion 執行個體和管道之前,請先查看定價並授予必要角色。

定價

使用 Cloud Monitoring 會產生費用。詳情請參閱 Google Cloud Observability 定價

必要的角色

如要取得查看指標所需的權限,請要求管理員授予您專案的「Monitoring 檢視者」 (roles/monitoring.viewer) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。

您或許還可透過自訂角色或其他預先定義的角色取得必要權限。

在 Cloud Data Fusion 中監控

使用監控資訊主頁,直接在 Cloud Data Fusion 中查看及篩選執行個體和管道的指標:

  1. 前往 Google Cloud 控制台的 Cloud Data Fusion 頁面。

  2. 按一下「Instances」(執行個體),然後按一下執行個體名稱,前往「Instance details」(執行個體詳細資料) 頁面。

    前往「Instances」(執行個體) 頁面

  3. 按一下 [監控] 分頁。畫面上會顯示資訊主頁,其中包含執行個體和管道的圖表。

    資訊主頁會顯示下列檢視畫面:

    • 總覽:監控 Cloud Data Fusion 系統指標。
    • 執行個體:監控專案中的所有 Cloud Data Fusion 執行個體。
    • 管道:提供管道執行和效能的相關資訊。

    如要查看任何檢視畫面中指標的詳細資訊,請將滑鼠游標懸停在小工具上,然後按一下「更多」>「在 Metrics Explorer 中查看」

監控資訊主頁中的小工具

以下各節說明「總覽」、「執行個體」和「管道」檢視畫面中可用的小工具。

總覽檢視畫面小工具

下表說明「總覽」檢視畫面中的小工具:

小工具 說明
AppFabric 服務健康狀態 AppFabric 服務可用性
指標服務健康狀態 指標的服務可用性
Wrangler 服務健康狀態 Wrangler 服務適用情形
Dataset Executor 健康狀態 資料集的服務可用性
Pipeline Studio 健康狀態 Pipeline Studio 服務可用性
Runtime 服務健康狀態 執行階段的服務可用性
Log Saver 服務健康狀態 Log Saver 服務可用性
中繼資料服務健康狀態 中繼資料的服務可用性

管道檢視畫面小工具

下表說明「Pipeline」(管線) 檢視畫面中的小工具:

小工具 說明
成功的管道執行作業 成功執行的管道累計次數。
失敗的管道執行作業 失敗的管道執行作業累計次數。
終止的管道執行作業 已終止的管道執行作業累計數量。
已拒絕的管道執行作業 遭拒絕的管道執行作業累計次數。
成功的管道執行時間 成功執行管道所需的時間。
管道啟動延遲 管道執行作業達到「執行中」狀態所需的時間。
Dataproc 佈建延遲時間 佈建 Dataproc 叢集所需的時間。
Dataproc API 要求次數 向 Dataproc 發出的 API 要求累計次數。
執行時間:成功的預覽 成功完成預覽執行作業所需的時間。
預覽執行作業 預覽執行次數。
已讀取的管道位元組數 管道讀取的累計位元組數。
已寫入的管道位元組數 管道寫入的累計位元組數。
重組的管道位元組數 管道中洗牌的累計位元組數。
外掛程式處理的記錄筆數:輸入 進入外掛程式的記錄累計數量。
外掛程式處理的記錄筆數:輸出 外掛程式輸出的記錄累計數。

執行個體檢視畫面小工具

下表說明「執行個體」檢視畫面中的小工具:

小工具 說明
正在並行執行的 pipeline 同時執行的管道數量。
已啟動並行執行的 pipeline 處於佈建或啟動狀態的管道數量。
收到的 API 要求 收到的 API 要求累計次數。
API 回應次數 傳送的 API 回應累計次數。
授權檢查次數 授權檢查累計次數。
授權檢查時間 授權檢查的延遲時間。
已部署的 pipeline 數量 已部署的管道數量。
草稿管道數量 草稿管道數量。
命名空間數量 命名空間數量。

在 Cloud Monitoring 中查看指標,進行進階分析

如需其他篩選和匯總選項,請在 Cloud Monitoring 中查看指標:

  1. 前往 Google Cloud 控制台的 Cloud Monitoring「指標探索器」頁面。

    前往「Metrics Explorer」頁面

  2. 選取「Cloud Data Fusion」受監控資源。

  3. 選擇指標。

  4. 選取篩選器和匯總。

後續步驟