Cloud Data Fusion 中的流控制机制可防止您提交过多请求,否则可能会导致流水线运行卡住或失败。此机制适用于 Cloud Data Fusion 6.6 及更高版本所有版本中的以下流水线和作业的启动 (Launch
) 请求:
- 批处理流水线
- 实时流水线
- 复制作业
阈值
为了控制 Cloud Data Fusion 中未完成的启动请求的数量,流控制依赖于两个阈值:
- 启动阈值
- 限制发出的启动请求的数量。如果 Cloud Data Fusion 收到的尚未处于
Running
状态的启动请求数量大于启动阈值(尚未运行的启动请求数量 > 启动阈值),该请求将被拒绝。数量包括批处理流水线、实时流水线和复制作业。 - 运行次数阈值
- 限制系统中未完成启动请求的数量。如果 Cloud Data Fusion 收到的尚未完成的未完成启动请求数量超过指定的运行阈值(尚未完成的待处理请求数量 > 运行阈值),该请求将被拒绝。
已拒绝的请求
如果满足任一阈值,每个新的启动请求都会被拒绝。例如,被拒绝的批处理流水线在日志中显示为 Rejected
状态,并且界面中的对话框描述了启动被拒绝的原因。
指标
您可以通过指标服务访问系统中启动和正在运行的流水线的数量,以及系统中被拒绝的流水线的数量,如下所示。
Launching
指标
报告系统中启动的请求数量。也就是说,它会报告处于 Provisioning
或 Starting
状态的启动请求的数量。
指标名称:flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
Running
指标
报告系统中正在运行的流水线和作业的数量。运行阈值根据 Launching
和 Running
指标值的总和确定。
指标名称:flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Rejected
指标
报告因流控制机制而被拒绝的运行的次数。
指标名称:program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
后续步骤
- 如需查看为不同流水线提供标记和汇总
Rejected
指标的示例,请参阅 CDAP 指标微服务。