本頁面說明如何管理已部署管道的設定。
事前準備
您需要具備一些運算設定檔和管道效能的背景知識，才能瞭解本頁內容。
運算設定檔設定
您可以變更運算設定檔，或自訂執行管道的預設運算設定檔參數。詳情請參閱「管理運算資源設定檔」和 Dataproc 佈建工具屬性。
管道設定
您可以針對每個管道啟用或停用檢測功能，例如計時指標。根據預設，儀器會開啟。如果啟用檢測功能，當您執行管道時，Cloud Data Fusion 會為每個管道節點產生指標。下列指標會顯示在每個節點的「Metrics」分頁中。來源、轉換和接收器指標略有不同。
- 記錄外出
- 記錄在
- 錯誤總數
- 每秒傳送的記錄數量
- 最短處理時間 (一筆記錄)
- 處理時間上限 (一筆記錄)
- 標準差
- 平均處理時間
除非環境資源不足，否則建議您一律開啟檢測功能。
針對串流管道，您也可以設定串流資料的批次間隔 (秒/分鐘)。
引擎設定
Apache Spark 是預設執行引擎。您可以為 Spark 傳遞自訂參數。詳情請參閱「並行處理」。
資源
您可以為 Spark 驅動程式和執行緒指定記憶體和 CPU 數量。驅動程式會調度管理 Spark 工作。執行緒會處理 Spark 中的資料處理作業。詳情請參閱「資源管理」。
管道警報
您可以設定管道，在管道執行完畢後傳送快訊並開始後續處理工作。您可以在設計管道時建立管道快訊。部署管道後，您就能查看快訊。您可以編輯管道來變更警示設定。詳情請參閱「建立快訊」。
轉換下推
如果您希望管道在 BigQuery 中執行特定轉換作業，可以啟用轉換下推功能。詳情請參閱「轉換推送總覽」。
後續步驟
- 進一步瞭解如何在 Cloud Data Fusion 中查看及下載管道記錄。