在 Cloud Data Fusion 中运行流水线时,您可以在流水线运行开始后直接从 Pipeline Studio 页面获取用于监控和调试的日志。
如需了解更多日志记录选项,请参阅查看审核日志和在 Cloud Logging 中查看流水线日志。
准备工作
您需要一个 Cloud Data Fusion 流水线。如果没有,请参阅快速入门。
查看流水线日志
如需在 Cloud Data Fusion 中查看流水线日志,请执行以下操作:
打开您修改和运行流水线的 Pipeline Studio 页面。
点击日志以获取日志消息列表。
监控正在运行的流水线
如需监控流水线的进度,请在流水线运行时点击日志。
过滤日志
如需过滤流水线日志消息,请打开级别下拉列表,然后选择所需的消息类型:
- 错误
- 警告
- 信息
- 调试
- Trace
使用高级日志
在 Cloud Data Fusion 中查看流水线日志时,您会在流水线的各个运行阶段收到有关流水线的基本消息。如需获取有关 Dataproc 集群和执行引擎运行状况的其他消息,请点击查看高级日志。
您可以在流水线预览或运行期间随时获取高级日志。
如需返回查看基本日志,请点击隐藏高级日志。
查看最新的日志消息
从 Cloud Data Fusion 6.1.4 开始,点击日志后,可直接转到最新的日志消息。在所有版本中,如需查看最新消息,请点击滚动到最新日志。
下载日志
您可以从 Cloud Logging 下载日志。如果未启用 Cloud Logging,则在流水线运行完成后,您可以直接从 Pipeline Studio 页面下载日志文件。此文件包含对调试有用的高级日志消息和跟踪消息。
打开流水线列表页面,然后点击所需的流水线。
流水线会在 Pipeline Studio 页面中打开。
点击日志。
点击全部下载。
可选:如需在浏览器中查看纯文本日志,请打开全部下载下拉列表,然后选择查看原始日志。
后续步骤
- 了解如何查看审核日志。
- 了解如何在 Cloud Logging 中查看流水线日志。