在 Cloud Logging 中查看流水线日志

本页面介绍了如何为 Cloud Data Fusion 实例启用 Cloud Logging 以及如何查看流水线日志。

准备工作

创建 Cloud Data Fusion 实例。最长可能需要 30 分钟才能完成实例创建过程。

启用 Cloud Logging

如需搭配使用 Cloud Logging 与 Cloud Data Fusion 流水线，请在创建 Cloud Data Fusion 实例时启用 Cloud Logging。

  1. 在 Google Cloud 控制台中，打开实例页面。
  2. 点击创建实例。
  3. 点击显示高级选项。

  4. 在 Logging 和 Monitoring 下，点击启用 Stackdriver Logging 服务。

    启用 Cloud Logging。

创建实例后，您无法在 Google Cloud 控制台。请改为运行以下 gcloud CLI 命令：

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

查看日志

每个 Cloud Data Fusion 流水线都分配有唯一的 RunID。部署并运行流水线后，找到其 RunID。然后，在 Logging 中使用 RunID 查看流水线日志。

获取流水线的 RunID

  1. 转到您的实例：

    1. 在 Google Cloud 控制台中，转到 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例，请点击实例，然后点击查看实例。

      转到实例

  2. 点击摘要 > 表格。

  3. 点击 RunId 链接进行复制。

    复制 RunID。

在 Logs Explorer 中查看日志

  1. 前往 Google Cloud 控制台中的 Cloud Logging > 日志浏览器页面：

    Go Logs Explorer

  2. 在过滤条件菜单中 选择 Cloud Dataproc 集群 >cdap-PIPELINE_NAME-YOUR_RUNID。

    转到 Cloud Logging。

可选：过滤日志

使用过滤菜单过滤日志。您可以按各种日志严重级别或组件（例如 datafusion-pipeline-logs）进行过滤。

可选：下载日志

点击下载日志。

如需了解详情，请参阅 Cloud Logging 文档以下载日志条目。

后续步骤