Cloud Data Fusion 流控制概览

Cloud Data Fusion 中的流控制机制可防止您提交过多请求,这些请求可能会导致流水线运行中断或失败。此机制适用于所有版本 Cloud Data Fusion 版本 6.6 及更高版本中的启动以下流水线和作业的 (Launch) 请求:

  • 批处理流水线
  • 实时流水线
  • 复制作业

阈值

如需控制 Cloud Data Fusion 中未完成的启动请求的数量,流控制需要使用两个阈值:

发布阈值
限制发出的启动请求的数量。如果 Cloud Data Fusion 收到的尚未处于 Running 状态的启动请求数量大于启动阈值(尚未启动的启动请求数量),该请求将被拒绝。此数量包括批处理流水线、实时流水线和复制作业。
运行阈值
限制系统中未完成的启动请求的数量。如果 Cloud Data Fusion 收到的尚未完成的启动请求数量尚未超过指定的运行阈值,则系统会拒绝该请求。

已拒绝的请求

如果满足任一阈值,每个新的启动请求都会被拒绝。例如,被拒绝的批处理流水线在日志中具有 Rejected 状态,并且界面中的对话框会说明启动遭拒的原因。

指标

您可以通过指标服务访问启动和正在运行的流水线数量以及系统中被拒绝的流水线数量,如下所示。

Launching 个指标

报告系统中发出的启动请求的数量。也就是说,它报告处于 ProvisioningStarting 状态的启动请求的数量。

指标名称:flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running 个指标

报告系统中正在运行的流水线和作业的数量。运行阈值取决于 LaunchingRunning 指标值的总和。

指标名称:flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected 个指标

报告由于流控制机制而被拒的运行次数。

指标名称:program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

后续步骤

  • 如需查看提供标记和聚合不同流水线的 Rejected 指标的示例,请参阅 CDAP 指标微服务