查看 Dataform 的 Cloud Logging

本文档介绍了如何查看 Dataform 工作流调用的 Cloud Logging 日志。

每次调用 Dataform 工作流都会通过 Cloud Logging 进行记录。系统会自动为 Dataform 工作流调用启用日志记录功能，这可能会产生 Cloud Logging 结算费用。如需了解详情，请参阅 Dataform 价格。

权限和角色

Logs Viewer 角色 (roles/logging.viewer) 为您提供对 Logging 所有功能的只读权限。如需详细了解适用于 Cloud Logging 数据的 IAM 权限和角色，请参阅 Cloud Logging 访问权限控制指南。

查看日志

要查看日志，请前往日志浏览器。

转到日志浏览器

如需了解如何在 Logs Explorer 中过滤 Cloud Logging 日志，请参阅使用 Logs Explorer 查看日志。

Dataform 日志按 Dataform 代码库编入索引。

日志格式

Dataform 会以以下格式发送工作流调用日志消息：

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

记录的内容

Dataform 日志条目包含对监控和调试工作流调用有用的信息。

日志条目包含以下类型的信息：

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity：可以是 INFO、WARNING 或 ERROR
  • terminalState：可以是 SUCCEEDED、CANCELED 或 FAILED
  • timestamp
  • @type

使用 Cloud Monitoring 配置指标和提醒

您可以使用 Cloud Monitoring 观察日志中的趋势，并在出现描述的条件时通知您。

为了向 Cloud Monitoring 提供日志中的数据，Cloud Logging 会为您提供以下内容：

  • 您可以按以下方式使用基于日志的指标：
    • 创建提醒政策以通知您一段时间的变化。
    • 创建随时间显示变化的图表。
  • 基于日志的提醒，可在日志中出现特定事件时通知您。

如需详细了解基于日志的指标和基于日志的提醒，请参阅监控日志。

如需了解如何为 Dataform 工作流调用配置基于日志的提醒，请参阅为失败的工作流调用配置提醒。

后续步骤