监控和查看 BigQuery Data Transfer Service 的日志

BigQuery Data Transfer Service 监控和日志记录功能提供有关服务的工作负载性能和状态的信息。BigQuery Data Transfer Service 会将监控数据导出到 Cloud Monitoring。

监控 BigQuery Data Transfer Service

监控指标适用于以下用途：

评估数据转移作业配置的使用情况和性能。
排查问题。
监控转移作业运行状态。

如需使用 Monitoring 创建自定义信息中心、设置提醒以及查询指标，您可以使用 Google Cloud 控制台或 Monitoring API。

在 Metrics Explorer 中查看转移作业数据

在 Google Cloud 控制台中，进入 Monitoring 页面。

进入 Monitoring
在导航窗格中，点击 Metrics Explorer。
选择您的项目。
在查找资源类型和指标框中，输入以下内容：
- 对于资源类型，请输入 BigQuery DTS Config。
- 对于指标，请选择转移作业配置的 Monitoring 指标中列出的指标之一，例如 Completed run count。
可选：选择校准器、缩减器和其他参数。
此时，您会在 Metrics Explorer 窗口中看到这些指标。

定义 Cloud Monitoring 提醒

您可为 BigQuery Data Transfer Service 指标定义 Monitoring 提醒：

在 Google Cloud 控制台中，进入 Monitoring 页面。

进入 Monitoring
在导航窗格中，选择提醒 > 创建政策。

如需详细了解提醒政策及其背后的概念，请参阅提醒政策的类型。
点击添加条件，然后选择条件类型。
选择指标和过滤条件。对于指标，资源类型为 BigQuery DTS 配置。
点击 Save Condition。
输入政策名称，然后点击保存政策。

如需详细了解提醒政策和概念，请参阅提醒简介。

定义 Cloud Monitoring 自定义信息中心

您可以针对 BigQuery Data Transfer Service 指标创建自定义信息中心：

在 Google Cloud 控制台中，进入 Monitoring 页面。

进入 Monitoring
在导航窗格中，选择信息中心 > 创建信息中心。
点击添加图表。
给图表添加一个标题。
选择指标和过滤条件。对于指标，资源类型为 BigQuery DTS 配置。
点击保存。

如需了解详情，请参阅管理自定义信息中心。

指标报告频率和保留

系统每隔 1 分钟将 BigQuery Data Transfer Service 运行的指标批量导出到 Monitoring。监控数据会保留 6 周。

信息中心可提供默认时间间隔为 1h（1 小时）、6H（6 小时）、1D（1 天）、1W（1 周）和 6W（6 周）的数据分析。您可以在 1M（1 分钟）到 6W（6 周）的任何时间间隔内手动请求执行分析。

监控转移作业配置的指标

系统会将 BigQuery Data Transfer Service 配置的以下指标导出到 Monitoring：

指标	说明
运行延迟分布	每个转移作业配置的每次转移作业运行的执行时间（以秒为单位）分布。
活跃的运行次数	针对每个转移作业配置，正在运行或待运行的转移作业运行次数。
已完成的运行次数	针对每个转移作业配置，某个时间段内已完成的转移作业运行次数。

过滤指标的维度

系统会为每个 BigQuery Data Transfer Service 配置汇总指标。您可以按照以下维度过滤汇总的指标：

属性	说明
`TRANSFER_STATE`	表示转移作业运行的当前转移作业状态。此维度可以具有以下值之一： `unspecified` `pending` `running` `succeeded` `failed` `cancelled`
`ERROR_CODE`	表示转移作业运行的最终错误代码。此维度可以具有以下值之一： `OK` `CANCELLED` `UNKNOWN` `INVALID_ARGUMENT` `DEADLINE_EXCEEDED` `NOT_FOUND` `ALREADY_EXISTS` `PERMISSION_DENIED` `UNAUTHENTICATED` `RESOURCE_EXHAUSTED` `FAILED_PRECONDITION` `ABORTED` `OUT_OF_RANGE` `UNIMPLEMENTED` `INTERNAL` `UNAVAILABLE` `DATA_LOSS`
`RUN_CAUSE`	表示触发转移作业运行的方式。此维度可以具有以下值之一： `USER_REQUESTED` `AUTO_SCHEDULE`

BigQuery Data Transfer Service 日志

每次 BigQuery Data Transfer Service 运行都会通过 Cloud Logging 进行记录。系统会自动为所有数据转移作业启用日志记录功能。

所需的角色

Logs Viewer 角色 (roles/logging.viewer) 为您提供对 Logging 所有功能的只读权限。如需详细了解适用于 Logging 数据的 Identity and Access Management (IAM) 权限和角色，请参阅 Logging 访问权限控制指南。

查看日志

如需查看日志，请转到日志浏览器页面。

转到日志浏览器

BigQuery Data Transfer Service 日志首先按转移作业配置编入索引，然后按单次转移作业运行编入索引。

查看转移作业运行日志

如需仅显示给定转移作业 run_id 中的日志条目，请在查询构建器中添加以下过滤条件：

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

查看运行日志。

查看转移作业配置日志

如需显示给定转移作业 config_id 中的日志条目，请在查询构建器中添加以下过滤条件：

resource.type="bigquery_dts_config"
labels.run_id="transfer_config_id"

查看配置日志。

查看所有日志

如需查看所有 BigQuery Data Transfer Service 日志，请执行以下操作之一：

在日志字段部分的资源类型中，选择 BigQuery DTS 配置。
在查询构建器中，添加以下过滤条件：
```
resource.type="bigquery_dts_config"
```

如需详细了解如何使用日志浏览器，请参阅使用日志浏览器。

日志格式

BigQuery Data Transfer Service 按以下格式记录消息：

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

记录的内容

BigQuery Data Transfer Service 日志条目包含对监控和调试转移作业运行有用的信息。日志条目包含以下类型的信息：

timestamp：用于计算日志条目的存在时间并强制执行日志的保留期限
severity：可以是 INFO、WARNING 或 ERROR
message_text：包含一个字符串，用于说明转移作业运行的当前状态

后续步骤

详细了解监控功能。
阅读 Cloud Audit Logs 和 Cloud Logging 的概览。