Cloud Data Fusion 流控制概览

Cloud Data Fusion 中的流控制机制可防止您提交过多请求,否则可能会导致流水线运行卡住或失败。此机制适用于 Cloud Data Fusion 6.6 及更高版本所有版本中的以下流水线和作业的启动 (Launch) 请求:

  • 批处理流水线
  • 实时流水线
  • 复制作业

阈值

为了控制 Cloud Data Fusion 中未完成的启动请求的数量,流控制依赖于两个阈值:

启动阈值
限制发出的启动请求的数量。如果 Cloud Data Fusion 收到的尚未处于 Running 状态的启动请求数量大于启动阈值(尚未运行的启动请求数量 > 启动阈值),该请求将被拒绝。数量包括批处理流水线、实时流水线和复制作业。
运行次数阈值
限制系统中未完成启动请求的数量。如果 Cloud Data Fusion 收到的尚未完成的未完成启动请求数量超过指定的运行阈值(尚未完成的待处理请求数量 > 运行阈值),该请求将被拒绝。

已拒绝的请求

如果满足任一阈值,每个新的启动请求都会被拒绝。例如,被拒绝的批处理流水线在日志中显示为 Rejected 状态,并且界面中的对话框描述了启动被拒绝的原因。

指标

您可以通过指标服务访问系统中启动和正在运行的流水线的数量,以及系统中被拒绝的流水线的数量,如下所示。

Launching 指标

报告系统中启动的请求数量。也就是说,它会报告处于 ProvisioningStarting 状态的启动请求的数量。

指标名称:flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running 指标

报告系统中正在运行的流水线和作业的数量。运行阈值根据 LaunchingRunning 指标值的总和确定。

指标名称:flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected 指标

报告因流控制机制而被拒绝的运行的次数。

指标名称:program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

后续步骤

  • 如需查看为不同流水线提供标记和汇总 Rejected 指标的示例,请参阅 CDAP 指标微服务