查看 Cloud Logging for Dataform

本文档介绍了如何查看 Dataform 工作流调用的 Cloud Logging 日志。

每个 Dataform 工作流调用都使用 Cloud Logging 进行记录。系统会自动为 Dataform 工作流调用启用 Logging，这可能会产生 Cloud Logging 结算费用。如需了解详情，请参阅 Dataform 价格。

权限和角色

Logs Viewer 角色 (roles/logging.viewer) 为您提供对 Logging 所有功能的只读权限。如需详细了解适用于 Cloud Logging 数据的 IAM 权限和角色，请参阅 Cloud Logging 访问权限控制指南。

查看日志

要查看日志，请前往日志浏览器。

转到日志浏览器

如需了解如何在日志浏览器中过滤 Cloud Logging 日志，请参阅使用日志浏览器查看日志。

Dataform 日志由 Dataform 代码库编入索引。

日志格式

Dataform 采用以下格式发送工作流调用日志消息：

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

记录的内容

Dataform 日志条目包含对监控和调试工作流调用有用的信息。

日志条目包含以下类型的信息：

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity：可以是 INFO、WARNING 或 ERROR
  • terminalState：可以是 SUCCEEDED、CANCELED 或 FAILED
  • timestamp
  • @type

使用 Cloud Monitoring 配置指标和提醒

您可以使用 Cloud Monitoring 观察日志中的趋势，并在发生您所描述的情况时通知您。

为了向 Cloud Monitoring 提供日志中的数据，Cloud Logging 提供了以下功能：

  • 您可以按以下方式使用基于日志的指标：
    • 创建提醒政策以通知您一段时间的变化。
    • 创建随时间显示变化的图表。
  • 基于日志的提醒，可在日志中出现特定事件时通知您。

如需详细了解基于日志的指标和基于日志的提醒，请参阅监控日志。

如需了解如何为 Dataform 工作流调用配置基于日志的提醒，请参阅为失败的工作流调用配置提醒。

后续步骤