Cloud Data Fusion のフロー制御の概要

Cloud Data Fusion のフロー制御メカニズムを使用すると、パイプラインの実行が停止したり、失敗したりする可能性がある過大なリクエストの送信が回避されます。このメカニズムは、Cloud Data Fusion バージョン 6.6 以降のすべてのエディションで、次のパイプラインとジョブの開始(Launch)リクエストに適用されます。

  • バッチ パイプライン
  • リアルタイム パイプライン
  • レプリケーション ジョブ

しきい値

Cloud Data Fusion の未処理の開始リクエストの数を制御するために、フロー制御は次の 2 つのしきい値に依存します。

起動しきい値
発行リクエストの数を制限します。Cloud Data Fusion が受信した起動リクエストのうち、まだ Running 状態ではないものの数が、起動しきい値より大きい場合(まだ実行されていない起動リクエストの数 > 起動しきい値)、リクエストは拒否されます。この数には、バッチ パイプライン、リアルタイム パイプライン、レプリケーション ジョブが含まれます。
実行しきい値
システム内の未処理の起動リクエストの数を制限します。Cloud Data Fusion が受信した、まだ完了していない未処理の起動リクエストの数が、指定した実行しきい値より大きい場合(まだ完了していない未処理リクエストの数 > しきい値)、リクエストは拒否されます。

拒否されたリクエスト

いずれかのしきい値に達すると、新しい開始リクエストはすべて拒否されます。たとえば、拒否されたバッチ パイプラインのログには Rejected ステータスがあり、UI のダイアログには起動が拒否された理由が表示されます。

指標

次のように、指標サービスを介して、起動中および実行中のパイプラインの数と、拒否されたパイプラインの数にアクセスすることができます。

Launching 指標

システムで起動中のリクエストの数が報告されます。つまり、Provisioning 状態または Starting 状態の起動リクエストの数が報告されます。

指標名: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running 指標

システム内で実行中のパイプラインとジョブの数を報告します。実行しきい値は、LaunchingRunning の指標値の合計に基づきます。

指標名: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected 指標

フロー制御メカニズムが原因で拒否された実行の数が報告されます。

指標名: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

次のステップ