Cloud Data Fusion のフロー制御メカニズムを使用すると、パイプラインの実行が停止したり、失敗したりする可能性がある過大なリクエストの送信が回避されます。このメカニズムは、Cloud Data Fusion バージョン 6.6 以降のすべてのエディションで、次のパイプラインとジョブの開始(Launch
)リクエストに適用されます。
- バッチ パイプライン
- リアルタイム パイプライン
- レプリケーション ジョブ
しきい値
Cloud Data Fusion の未処理の開始リクエストの数を制御するために、フロー制御は次の 2 つのしきい値に依存します。
- 起動しきい値
- 発行リクエストの数を制限します。Cloud Data Fusion が受信した起動リクエストのうち、まだ
Running
状態ではないものの数が、起動しきい値より大きい場合(まだ実行されていない起動リクエストの数 > 起動しきい値)、リクエストは拒否されます。この数には、バッチ パイプライン、リアルタイム パイプライン、レプリケーション ジョブが含まれます。 - 実行しきい値
- システム内の未処理の起動リクエストの数を制限します。Cloud Data Fusion が受信した、まだ完了していない未処理の起動リクエストの数が、指定した実行しきい値より大きい場合(まだ完了していない未処理リクエストの数 > しきい値)、リクエストは拒否されます。
拒否されたリクエスト
いずれかのしきい値に達すると、新しい開始リクエストはすべて拒否されます。たとえば、拒否されたバッチ パイプラインのログには Rejected
ステータスがあり、UI のダイアログには起動が拒否された理由が表示されます。
指標
次のように、指標サービスを介して、起動中および実行中のパイプラインの数と、拒否されたパイプラインの数にアクセスすることができます。
Launching
指標
システムで起動中のリクエストの数が報告されます。つまり、Provisioning
状態または Starting
状態の起動リクエストの数が報告されます。
指標名: flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
Running
指標
システム内で実行中のパイプラインとジョブの数を報告します。実行しきい値は、Launching
と Running
の指標値の合計に基づきます。
指標名: flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Rejected
指標
フロー制御メカニズムが原因で拒否された実行の数が報告されます。
指標名: program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
次のステップ
- タグを指定して、さまざまなパイプラインの
Rejected
指標を集計する例については、CDAP 指標マイクロサービスをご覧ください。