Cloud Data Fusion のフロー制御の概要

Cloud Data Fusion のフロー制御メカニズムを使用すると、多すぎるリクエストの送信が妨げられます。送信するリクエストが多すぎると、パイプラインの実行が停止したり、失敗したりする可能性があります。このメカニズムは、Cloud Data Fusion バージョン 6.6 以降のすべてのエディションで、次のパイプラインとジョブの開始(Launch)リクエストに適用されます。

  • バッチ パイプライン
  • リアルタイム パイプライン
  • レプリケーション ジョブ

しきい値

Cloud Data Fusion の未処理の開始リクエストの数を制御するために、フロー制御は次の 2 つのしきい値に依存します。

起動しきい値
起動リクエストの数を制限します。Cloud Data Fusion が受信したまだ Running 状態ではない起動リクエストの数が起動しきい値より大きい場合(まだ実行されていない起動リクエストの数 > 起動しきい値)、リクエストは拒否されます。この数には、バッチ パイプライン、リアルタイム パイプライン、レプリケーション ジョブが含まれます。
実行しきい値
システム内の未処理の起動リクエストの数を制限します。Cloud Data Fusion が受信したまだ完了していない未処理の起動リクエストの数が、指定した実行しきい値より大きい場合(まだ完了していない未処理のリクエストの数 > 実行しきい値)、リクエストが拒否されます。

拒否されたリクエスト

いずれかのしきい値に達すると、新しい開始リクエストはすべて拒否されます。たとえば、拒否されたバッチ パイプラインのログには Rejected ステータスがあり、UI のダイアログには起動が拒否された理由が表示されます。

指標

次のように、指標サービスを介して、起動中および実行中のパイプラインの数と、拒否されたパイプラインの数にアクセスすることができます。

Launching 指標

システムで起動中のリクエストの数が報告されます。つまり、Provisioning 状態または Starting 状態の起動リクエストの数が報告されます。

指標名: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running 指標

システム内で実行中のパイプラインとジョブの数が報告されます。実行しきい値は、LaunchingRunning の指標値の合計に基づきます。

指標名: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected 指標

フロー制御メカニズムが原因で拒否された実行の数が報告されます。

指標名: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

次のステップ