使用 Dataflow 运行流水线时,您可以通过 Dataflow 监控界面查看该作业和其他任何作业。通过此监控界面,您可以查看相关 Dataflow 作业并与之交互。
您可以在Google Cloud console中访问 Dataflow 监控界面。
您可以使用监控界面执行的任务包括:
- 查看正在运行、已完成和失败的作业列表。
- 查看作业各个阶段的图形表示以及每个阶段的进度
- 查看作业指标的图表,例如数据新鲜度、资源利用率和 I/O 请求。
- 监控作业的估算费用。
- 查看流水线日志。
- 确定哪些步骤可能会导致流水线延迟。
- 找出来源和接收器中延迟的原因。
- 了解流水线错误。
监控界面组件
监控界面包含以下可视化工具和图表:
- 项目监控信息中心
- 一个信息中心,用于在项目级监控您的 Dataflow 作业。
- 作业列表
- 所有正在运行的 Dataflow 作业和过去 30 天内运行的所有作业的列表,以及它们的状态、区域、已用时间和其他信息。
- 作业图
- 流水线的图形表示。作业图表还提供了作业摘要、作业日志以及流水线中每个步骤的相关信息。
- 执行详细信息
- 显示作业的执行阶段、流式作业的数据新鲜度以及批量作业的工作器进度。
- 作业指标
- 显示作业时长内的各种指标的图表。
- 估算的费用
- 根据资源用量指标估算的 Dataflow 作业费用。
- 建议
- 建议,用于提高作业性能、降低费用以及排查错误。
- 自动扩缩
- 一组图表,可帮助您了解流式作业的自动扩缩行为。
- 流水线日志
- 由您的流水线和 Dataflow 服务发出的日志。
- 数据抽样
- 可让您在流水线的每个步骤中观察抽样数据的工具。
后续步骤
- 使用 Cloud Monitoring 以创建提醒并查看 Dataflow 指标,包括自定义指标
- 详细了解如何构建生产就绪型数据流水线
- 了解如何排查流水线问题