Cloud Data Fusion 流控制概览

Cloud Data Fusion 中的流控制机制阻止您提交 请求过多,可能会导致流水线运行卡住或失败。这种机制 适用于以下流水线和所有作业的启动 (Launch) 请求 Cloud Data Fusion 6.6 版及更高版本:

  • 批处理流水线
  • 实时流水线
  • 复制作业

阈值

如需控制 Cloud Data Fusion 中未完成的启动请求的数量, 流控制依赖于两个阈值:

启动阈值
限制发出的启动请求数量。如果 Cloud Data Fusion 收到但尚未进入的启动请求的数量, “Running”状态超出了启动阈值(启动请求数量) 尚未投放 >启动阈值),请求会被拒绝。此数量包括批处理流水线、实时流水线和复制作业。
运行次数阈值
限制系统中待处理的启动请求的数量。如果 Cloud Data Fusion 收到的待处理启动请求数量(尚未完成的待处理请求数量)大于指定的运行阈值(尚未完成的待处理请求数量 > 运行阈值),系统会拒绝该请求。

被拒的请求

如果满足任一阈值,则每个新的启动请求都会被拒绝。例如,被拒批的批处理流水线在日志中显示 Rejected 状态,并且界面中的对话框会说明发布被拒的原因。

指标

您可以通过指标服务按如下方式访问系统中正在启动和运行的流水线的数量以及被拒绝的流水线的数量。

Launching 指标

报告系统中启动请求的数量。也就是说,它会报告 处于 ProvisioningStarting 状态的启动请求的数量。

指标名称:flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running 指标

报告系统中正在运行的流水线和作业的数量。运行阈值基于 LaunchingRunning 指标值的总和。

指标名称:flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected 指标

报告因流量控制机制而被拒绝的运行次数。

指标名称:program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

后续步骤

  • 查看相关示例,了解如何提供代码并汇总以下指标的 Rejected 指标: 请参阅 CDAP 指标微服务