Cloud Data Fusion 中的流控制机制可防止您提交过多请求,这可能会导致流水线运行卡住或失败。此机制适用于 Cloud Data Fusion 所有版本(6.6 及更高版本)中以下流水线和作业的启动 (Launch
) 请求:
- 批处理流水线
- 实时流水线
- 复制作业
阈值
为了控制 Cloud Data Fusion 中待处理的启动请求数量,流量控制依赖于两个阈值:
- 启动阈值
- 限制发出的启动请求数量。如果 Cloud Data Fusion 收到的尚未处于
Running
状态的启动请求数量超过启动阈值(尚未运行的启动请求数量 > 启动阈值),则系统会拒绝该请求。此数量包括批处理流水线、实时流水线和复制作业。 - 运行次数阈值
- 限制系统中待处理的启动请求的数量。如果 Cloud Data Fusion 收到的待处理启动请求数量(尚未完成的待处理请求数量)大于指定的运行阈值(尚未完成的待处理请求数量 > 运行阈值),系统会拒绝该请求。
被拒的请求
如果达到任一阈值,系统都会拒绝所有新的启动请求。例如,被拒批的批处理流水线在日志中显示 Rejected
状态,并且界面中的对话框会说明发布被拒的原因。
指标
您可以通过指标服务按如下方式访问系统中启动和正在运行的流水线的数量以及被拒绝的流水线的数量。
Launching
指标
报告系统中的启动请求数量。也就是说,它会报告处于 Provisioning
或 Starting
状态的启动请求的数量。
指标名称:flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
Running
指标
报告系统中正在运行的流水线和作业的数量。运行阈值基于 Launching
和 Running
指标值的总和。
指标名称:flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Rejected
指标
报告因流量控制机制而被拒绝的运行次数。
指标名称:program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
后续步骤
- 如需查看为不同流水线提供标记和汇总
Rejected
指标的示例,请参阅 CDAP 指标微服务。