本指南說明如何使用 Monitoring 中的 Cloud Data Fusion 監控資訊主頁,監控 Cloud Data Fusion 執行個體和管道。
Cloud Data Fusion 資訊主頁提供主要指標的可自訂檢視畫面。直接在 Monitoring 中查看這些指標,即可自訂指標的篩選和匯總方式。
這個資訊主頁包含下列檢視畫面:
- 總覽:監控 Cloud Data Fusion 系統指標和記錄。
- 執行個體:監控專案中的所有 Cloud Data Fusion 執行個體。
- 管道:提供管道執行和效能相關資訊。
如要查看任何檢視畫面中指標的詳細資訊,請將滑鼠游標懸停在小工具上,然後依序點選「更多」>「在 Metrics Explorer 中查看」。
事前準備
- 在 Google Cloud 控制台中,安裝範本資訊主頁,然後選取「Cloud Data Fusion Monitoring」資訊主頁範本。
定價
使用 Cloud Monitoring 會產生費用。詳情請參閱 Google Cloud Observability 定價。
必要的角色
如要取得查看指標所需的權限,請要求管理員為您授予專案的 Monitoring 檢視者 (roles/monitoring.viewer
) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。
執行個體檢視畫面小工具
下表說明「執行個體」檢視畫面中的小工具:
小工具 | 說明 |
---|---|
正在並行執行的 pipeline | 同時執行的管道數量。 |
已啟動並行執行的 pipeline | 處於佈建或啟動狀態的管道數量。 |
收到的 API 要求 | 收到的 API 要求累計次數。 |
API 回應次數 | 傳送的 API 回應累計次數。 |
授權檢查次數 | 授權檢查累計次數。 |
授權檢查時間 | 授權檢查的延遲時間。 |
已部署的 pipeline 數量 | 已部署的管道數量。 |
草稿 pipeline 數量 | 草稿 pipeline 數量。 |
命名空間數量 | 命名空間數量。 |
管道檢視畫面小工具
下表說明「Pipeline」檢視畫面中的小工具:
小工具 | 說明 |
---|---|
成功的管道執行作業 | 成功執行的 pipeline 累計次數。 |
失敗的管道執行作業 | 失敗的管道執行作業累計次數。 |
終止的管道執行作業 | 已終止的 pipeline 執行作業累計數量。 |
已拒絕的 pipeline 執行作業 | 遭拒絕的管道執行作業累計次數。 |
成功的管道執行時間 | 成功執行管道所需的時間。 |
管道啟動延遲 | 管道執行作業達到「執行中」狀態所需的時間。 |
Dataproc 佈建延遲時間 | 佈建 Dataproc 叢集所需的時間。 |
Dataproc API 要求次數 | 向 Dataproc 發出的 API 要求累計次數。 |
執行時間:成功的預覽 | 成功完成預覽執行作業所需的時間。 |
預覽執行作業 | 預覽執行次數。 |
已讀取的 pipeline 位元組數 | 管道讀取的累計位元組數。 |
已寫入的 pipeline 位元組數 | 管道寫入的累計位元組數。 |
重組的 pipeline 位元組數 | 管道中洗牌的累計位元組數。 |
外掛程式處理的記錄筆數:輸入 | 進入外掛程式的記錄累計數量。 |
外掛程式處理的記錄筆數:輸出 | 外掛程式輸出的記錄累計數量。 |
查看及篩選指標
直接在 Monitoring 中查看及篩選指標:
前往 Google Cloud 控制台的「指標探索器」頁面。
選取「Cloud Data Fusion」受監控資源。
選擇指標。
選取篩選器和匯總。
後續步驟
- 如要瞭解篩選器和指標,請參閱 Cloud Data Fusion 指標總覽。