Cloud Data Fusion 中的流程控制機制可防止您提交過多要求,這可能會導致管道執行作業卡住或失敗。這個機制適用於啟動 (Launch
) 要求,適用於下列管道和工作,適用於所有 Cloud Data Fusion 版本 (6.6 以上版本):
- 批次處理管道
- 即時管道
- 複製工作
閾值
為控管 Cloud Data Fusion 中未處理的啟動要求數量,流程控管會依據以下兩個門檻運作:
- 啟動門檻
- 限制啟動要求的數量。如果 Cloud Data Fusion 收到的未處於
Running
狀態的啟動要求數量超過啟動門檻 (未執行的啟動要求數量 > 啟動門檻),系統就會拒絕要求。這個數字包括批次管道、即時管道和複寫作業。 - 執行門檻
- 限制系統中未完成的啟動要求數量。如果 Cloud Data Fusion 收到的未完成待發布要求數量超過指定的執行次數門檻 (未完成的待發布要求數量 > 執行次數門檻),系統就會拒絕要求。
已拒絕的要求
如果符合任一門檻,系統就會拒絕所有新的啟動要求。舉例來說,已遭拒絕的批次管道在記錄中顯示 Rejected
狀態,而 UI 中的對話方塊會說明為何拒絕啟動。
指標
您可以透過指標服務存取啟動和執行管線的數量,以及系統中遭到拒絕的管線數量,如下所示。
Launching
指標
回報系統中啟動要求的數量。也就是說,它會回報處於 Provisioning
或 Starting
狀態的啟動要求數量。
指標名稱:flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
Running
指標
回報系統中執行中的管道和工作數量。執行門檻是根據 Launching
和 Running
指標值的總和計算。
指標名稱:flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Rejected
指標
回報因工作流程控管機制而遭拒的執行次數。
指標名稱:program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
後續步驟
- 如需提供標記和匯總不同管道
Rejected
指標的範例,請參閱 CDAP 指標微服務。