查看来自 Pipeline Studio 的日志

在 Cloud Data Fusion 中运行流水线时,您可以在流水线开始运行后直接从 Pipeline Studio 页面获取用于监控和调试的日志。

如需了解更多日志记录选项,请参阅查看审核日志在 Cloud Logging 中查看流水线日志

准备工作

您需要使用 Cloud Data Fusion 流水线。如果没有,请参阅快速入门

查看流水线日志

如需在 Cloud Data Fusion 中查看流水线日志,请执行以下操作:

  1. 打开您修改和运行流水线的 Pipeline Studio 页面。

  2. 点击日志以获取日志消息列表。

监控正在运行的流水线

如需监控流水线的进度,请在流水线运行时点击日志

过滤日志

如需过滤流水线日志消息,请打开级别下拉列表,然后选择所需的消息类型:

  • 错误
  • 警告
  • 信息
  • 调试
  • Trace

使用高级日志

在 Cloud Data Fusion 中查看流水线日志时,您会在流水线的各个运行阶段获得有关流水线的基本消息。如需获取更多有关 Dataproc 集群和执行引擎运行状况的消息,请点击查看高级日志

您可以在流水线预览或运行期间随时获取高级日志。

如需返回查看基本日志,请点击隐藏高级日志

查看最新的日志消息

从 Cloud Data Fusion 6.1.4 开始,当您点击日志时,您将直接跳转到最新的日志消息。在所有版本中,如需查看最新的消息,请点击滚动到最新日志

正在下载日志

您可以从 Cloud Logging 下载日志。如果未启用 Cloud Logging,则流水线运行完毕后,您可以直接从 Pipeline Studio 页面下载日志文件。该文件包含高级日志消息和跟踪记录消息,可用于调试。

  1. 打开流水线列表页面,然后点击所需的流水线。

    流水线将在 Pipeline Studio 页面中打开。

  2. 点击日志

  3. 点击全部下载

  4. (可选)要在浏览器中查看纯文本日志,请打开下载所有下拉列表并选择查看原始日志

后续步骤