在 Cloud Logging 中查看流水线日志

本页面介绍了如何为 Cloud Data Fusion 实例启用 Cloud Logging 以及如何查看流水线日志。

准备工作

创建 Cloud Data Fusion 实例。最长可能需要 30 分钟才能完成实例创建过程。

启用 Cloud Logging

如需搭配使用 Cloud Logging 与 Cloud Data Fusion 流水线,请在创建 Cloud Data Fusion 实例时启用 Cloud Logging。在创建实例后,您将无法启用 Cloud Logging。

  1. 在 Cloud Console 中,打开实例页面。
  2. 点击创建实例
  3. 点击显示高级选项
  4. Logging 和 Monitoring 下,点击启用 Stackdriver Logging 服务

    启用 Cloud Logging。

查看日志

每个 Cloud Data Fusion 流水线都分配有唯一的 RunID。部署并运行流水线后,找到其 RunID。然后,在 Logging 中使用 RunID 查看流水线日志。

获取流水线 RunID

  1. 转到 Cloud Data Fusion 界面中的流水线 Studio
  2. 点击摘要
  3. 摘要页面中,点击标签页。
  4. 点击 RunId 链接进行复制。

    复制 RunID。

查看日志

  1. 转到 Cloud Console 中的 Cloud Logging > 日志查看器页面:

    转到“日志查看器”页面

  2. 使用已审核的资源下拉菜单 ,选择 Cloud Dataproc 集群 > cdap-PIPELINE_NAME-YOUR_RUNID

    转到 Cloud Logging。

过滤日志

使用过滤条件下拉菜单过滤日志。您可以按各种日志级别或组件(例如 datafusion-pipeline-logs)进行过滤。

正在下载日志

点击下载日志

如需了解详情,请参阅 Cloud Logging 文档以下载日志条目

后续步骤