在 Cloud Logging 中查看流水线日志

本页面介绍了如何为 Cloud Data Fusion 实例启用 Cloud Logging 以及如何查看流水线日志。

准备工作

创建 Cloud Data Fusion 实例。最长可能需要 30 分钟才能完成实例创建过程。

启用 Cloud Logging

如需搭配使用 Cloud Logging 与 Cloud Data Fusion 流水线,请在创建 Cloud Data Fusion 实例时启用 Cloud Logging。

  1. 在 Google Cloud 控制台中,打开实例页面。
  2. 点击创建实例
  3. 点击显示高级选项
  4. Logging 和 Monitoring 下,点击启用 Stackdriver Logging 服务

    启用 Cloud Logging。

创建实例后,您无法在 Google Cloud 控制台。请改为运行以下 gcloud CLI 命令:

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

查看日志

每个 Cloud Data Fusion 流水线都分配有唯一的 RunID。部署并运行流水线后,找到其 RunID。然后,在 Logging 中使用 RunID 查看流水线日志。

获取流水线的 RunID

  1. 转到您的实例:
    1. 在 Google Cloud 控制台中,转到 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例,请点击实例,然后点击查看实例

      转到实例

  2. 点击摘要 > 表格
  3. 点击 RunId 链接进行复制。

    复制 RunID。

在 Logs Explorer 中查看日志

  1. 前往 Google Cloud 控制台中的 Cloud Logging > 日志浏览器页面:

    Go Logs Explorer

  2. 在过滤条件菜单中 选择 Cloud Dataproc 集群 >cdap-PIPELINE_NAME-YOUR_RUNID

    转到 Cloud Logging。

可选:过滤日志

使用过滤菜单过滤日志。您可以按各种日志严重级别或组件(例如 datafusion-pipeline-logs)进行过滤。

可选:下载日志

点击下载日志

如需了解详情,请参阅 Cloud Logging 文档以下载日志条目

后续步骤