在 Cloud Logging 中查看流水线日志

本页面介绍了如何为 Cloud Data Fusion 实例启用 Cloud Logging 以及如何查看流水线日志。

准备工作

创建 Cloud Data Fusion 实例。最长可能需要 30 分钟才能完成实例创建过程。

启用 Cloud Logging

如需搭配使用 Cloud Logging 与 Cloud Data Fusion 流水线,请在创建 Cloud Data Fusion 实例时启用 Cloud Logging。

  1. 在 Cloud Console 中,打开实例页面。
  2. 点击创建实例
  3. 点击显示高级选项
  4. Logging 和 Monitoring 下,点击启用 Stackdriver Logging 服务

    启用 Cloud Logging。

创建实例后,您无法在 Cloud Console 中启用 Cloud Logging。请运行以下 gcloud CLI 命令:

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

查看日志

每个 Cloud Data Fusion 流水线都分配有唯一的 RunID。部署并运行流水线后,找到其 RunID。然后,在 Logging 中使用 RunID 查看流水线日志。

获取流水线 RunID

  1. 转到 Cloud Data Fusion 界面中的流水线 Studio
  2. 点击摘要
  3. 摘要页面中,点击标签页。
  4. 点击 RunId 链接进行复制。

    复制 RunID。

查看日志

  1. 转到 Cloud Console 中的 Cloud Logging > 日志浏览器页面:

    转到“日志浏览器”页面

  2. 在过滤条件菜单中,选择 Cloud Dataproc Cluster > cdap-PIPELINE_NAME-YOUR_RUNID

    转到 Cloud Logging。

过滤日志

使用过滤条件菜单过滤日志。您可以按各种日志严重级别或组件(如 datafusion-pipeline-logs)进行过滤。

正在下载日志

点击下载日志

如需了解详情,请参阅 Cloud Logging 文档以下载日志条目

后续步骤