监控和查看 BigQuery Data Transfer Service 的日志

BigQuery Data Transfer Service 监控日志记录功能提供有关服务的工作负载性能和状态的信息。BigQuery Data Transfer Service 会将监控数据导出到 Cloud Monitoring

监控 BigQuery Data Transfer Service

监控指标适用于以下用途:

  • 评估数据转移作业配置的使用情况和性能。
  • 排查问题。
  • 监控转移作业运行状态。

如需使用 Monitoring 创建自定义信息中心、设置提醒以及查询指标,您可以使用 Google Cloud 控制台或 Monitoring API

在 Metrics Explorer 中查看转移作业数据

  1. 在 Google Cloud 控制台中,进入 Monitoring 页面。

    进入 Monitoring

  2. 在导航窗格中,点击 Metrics Explorer

  3. 选择您的项目。

  4. 查找资源类型和指标框中,输入以下内容:

  5. 可选:选择校准器、缩减器和其他参数。

  6. 此时,您会在 Metrics Explorer 窗口中看到这些指标。

    指标示例。

定义 Cloud Monitoring 提醒

您可为 BigQuery Data Transfer Service 指标定义 Monitoring 提醒

  1. 在 Google Cloud 控制台中,进入 Monitoring 页面。

    进入 Monitoring

  2. 在导航窗格中,选择提醒 > 创建政策

    如需详细了解提醒政策及其背后的概念,请参阅提醒政策的类型

  3. 点击添加条件,然后选择条件类型。

  4. 选择指标和过滤条件。对于指标,资源类型为 BigQuery DTS 配置

  5. 点击 Save Condition

  6. 输入政策名称,然后点击保存政策

如需详细了解提醒政策和概念,请参阅提醒简介

定义 Cloud Monitoring 自定义信息中心

您可以针对 BigQuery Data Transfer Service 指标创建自定义信息中心:

  1. 在 Google Cloud 控制台中,进入 Monitoring 页面。

    进入 Monitoring

  2. 在导航窗格中,选择信息中心 > 创建信息中心

  3. 点击添加图表

  4. 给图表添加一个标题。

  5. 选择指标和过滤条件。对于指标,资源类型为 BigQuery DTS 配置

  6. 点击保存

如需了解详情,请参阅管理自定义信息中心

指标报告频率和保留

系统每隔 1 分钟将 BigQuery Data Transfer Service 运行的指标批量导出到 Monitoring。监控数据会保留 6 周。

信息中心可提供默认时间间隔为 1h(1 小时)、6H(6 小时)、1D(1 天)、1W(1 周)和 6W(6 周)的数据分析。您可以在 1M(1 分钟)到 6W(6 周)的任何时间间隔内手动请求执行分析。

监控转移作业配置的指标

系统会将 BigQuery Data Transfer Service 配置的以下指标导出到 Monitoring:

指标 说明
运行延迟分布 每个转移作业配置的每次转移作业运行的执行时间(以秒为单位)分布。
活跃的运行次数 针对每个转移作业配置,正在运行或待运行的转移作业运行次数。
已完成的运行次数 针对每个转移作业配置,某个时间段内已完成的转移作业运行次数。

过滤指标的维度

系统会为每个 BigQuery Data Transfer Service 配置汇总指标。您可以按照以下维度过滤汇总的指标:

属性 说明
TRANSFER_STATE 表示转移作业运行的当前转移作业状态。此维度可以具有以下值之一:
  • unspecified
  • pending
  • running
  • succeeded
  • failed
  • cancelled
ERROR_CODE 表示转移作业运行的最终错误代码。此维度可以具有以下值之一:
  • OK
  • CANCELLED
  • UNKNOWN
  • INVALID_ARGUMENT
  • DEADLINE_EXCEEDED
  • NOT_FOUND
  • ALREADY_EXISTS
  • PERMISSION_DENIED
  • UNAUTHENTICATED
  • RESOURCE_EXHAUSTED
  • FAILED_PRECONDITION
  • ABORTED
  • OUT_OF_RANGE
  • UNIMPLEMENTED
  • INTERNAL
  • UNAVAILABLE
  • DATA_LOSS
RUN_CAUSE 表示触发转移作业运行的方式。此维度可以具有以下值之一:
  • USER_REQUESTED
  • AUTO_SCHEDULE

BigQuery Data Transfer Service 日志

每次 BigQuery Data Transfer Service 运行都会通过 Cloud Logging 进行记录。系统会自动为所有数据转移作业启用日志记录功能。

所需的角色

Logs Viewer 角色 (roles/logging.viewer) 为您提供对 Logging 所有功能的只读权限。如需详细了解适用于 Logging 数据的 Identity and Access Management (IAM) 权限和角色,请参阅 Logging 访问权限控制指南

查看日志

如需查看日志,请转到日志浏览器页面。

转到日志浏览器

BigQuery Data Transfer Service 日志首先按转移作业配置编入索引,然后按单次转移作业运行编入索引。

查看转移作业运行日志

如需仅显示给定转移作业 run_id 中的日志条目,请在查询构建器中添加以下过滤条件:

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

查看运行日志。

查看转移作业配置日志

如需显示给定转移作业 config_id 中的日志条目,请在查询构建器中添加以下过滤条件:

resource.type="bigquery_dts_config"
labels.run_id="transfer_config_id"

查看配置日志。

查看所有日志

如需查看所有 BigQuery Data Transfer Service 日志,请执行以下操作之一:

  • 日志字段部分的资源类型中,选择 BigQuery DTS 配置

    查看所有日志。

  • 查询构建器中,添加以下过滤条件:

    resource.type="bigquery_dts_config"

如需详细了解如何使用日志浏览器,请参阅使用日志浏览器

日志格式

BigQuery Data Transfer Service 按以下格式记录消息:

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

记录的内容

BigQuery Data Transfer Service 日志条目包含对监控和调试转移作业运行有用的信息。日志条目包含以下类型的信息:

  • timestamp:用于计算日志条目的存在时间并强制执行日志的保留期限
  • severity:可以是 INFOWARNINGERROR
  • message_text:包含一个字符串,用于说明转移作业运行的当前状态

后续步骤