Cloud Data Fusion のフロー制御の概要

Cloud Data Fusion のフロー制御メカニズムを使用すると、パイプラインの実行が停止したり、失敗したりする可能性がある過大なリクエストの送信が回避されます。このメカニズムは、バージョン 6.6 以降のすべてのエディションの Cloud Data Fusion で、次のパイプラインとジョブの開始(Launch)リクエストに適用されます。

  • バッチ パイプライン
  • リアルタイム パイプライン
  • レプリケーション ジョブ

しきい値

Cloud Data Fusion の未処理の開始リクエストの数を制御するために、フロー制御は次の 2 つのしきい値に依存します。

リリースのしきい値
実行リクエストの数を制限します。Cloud Data Fusion が受信した起動リクエストのうち、まだ Running 状態ではないものの数が、起動しきい値より大きい場合(まだ実行されていない起動リクエストの数 > 起動しきい値)、リクエストは拒否されます。この数には、バッチ パイプライン、リアルタイム パイプライン、レプリケーション ジョブが含まれます。
実行回数のしきい値
システム内の保留中の起動リクエストの数を制限します。Cloud Data Fusion が受信した、まだ完了していない未処理の起動リクエストの数が、指定した実行しきい値より大きい場合(まだ完了していない未処理リクエストの数 > しきい値)、リクエストは拒否されます。

拒否されたリクエスト

いずれかのしきい値に達すると、新しい開始リクエストはすべて拒否されます。たとえば、拒否されたバッチ パイプラインのログには Rejected ステータスがあり、UI のダイアログにリリースが拒否された理由が示されます。

指標

次のように、指標サービスを介して、起動中および実行中のパイプラインの数と、拒否されたパイプラインの数にアクセスすることができます。

Launching 指標

システムで起動中のリクエストの数が報告されます。つまり、Provisioning 状態または Starting 状態の起動リクエストの数が報告されます。

指標名: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running 指標

システムで実行中のパイプラインとジョブの数を報告します。実行しきい値は、Launching 指標値と Running 指標値の合計に基づいています。

指標名: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected 指標

フロー制御メカニズムが原因で拒否された実行の数が報告されます。

指標名: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

次のステップ