Cloud Monitoring

BigQuery Data Transfer Service 会将监控数据导出到 Cloud Monitoring

监控指标适用于以下用途:

  • 评估数据转移作业配置的使用情况和性能。
  • 排查问题。
  • 监控转移作业运行状态。

如需使用 Monitoring 创建自定义信息中心、设置提醒以及查询指标,您可以使用 Google Cloud Console 或 Monitoring API

在 Metrics Explorer 中查看转移作业数据

  1. 在 Cloud Console 中,转到 Monitoring 页面。

    转到 Monitoring

  2. 在导航窗格中,点击 Metrics Explorer

  3. 选择您的项目。

  4. 查找资源类型和指标框中,输入以下内容:

  5. 可选:选择校准器、缩减器和其他参数。

  6. 此时,您会在 Metrics Explorer 窗口中看到这些指标。

    指标示例。

定义 Cloud Monitoring 提醒

您可为 BigQuery Data Transfer Service 指标定义 Monitoring 提醒

  1. 在 Cloud Console 中,转到 Monitoring 页面。

    转到 Monitoring

  2. 在导航窗格中,选择提醒 > 创建政策

    如需详细了解提醒政策及其背后的概念,请参阅提醒政策的类型

  3. 点击添加条件,然后选择条件类型。

  4. 选择指标和过滤条件。对于指标,资源类型为 BigQuery DTS 配置

  5. 点击 Save Condition

  6. 输入政策名称,然后点击保存政策

如需详细了解提醒政策和概念,请参阅提醒简介

定义 Cloud Monitoring 自定义信息中心

您可以针对 BigQuery Data Transfer Service 指标创建自定义信息中心:

  1. 在 Google Cloud Console 中,转到 Monitoring

  2. 在导航窗格中,选择信息中心 > 创建信息中心

  3. 点击添加图表

  4. 给图表添加一个标题。

  5. 选择指标和过滤条件。对于指标,资源类型为 BigQuery DTS 配置

  6. 点击保存

如需详细了解如何使用 Cloud Console 管理信息中心,请参阅通过 Cloud Console 管理信息中心

指标报告频率和保留

系统每隔 1 分钟将 BigQuery Data Transfer Service 运行的指标批量导出到 Monitoring。监控数据会保留 6 周。

信息中心可提供默认时间间隔为 1h(1 小时)、6H(6 小时)、1D(1 天)、1W(1 周)和 6W(6 周)的数据分析。您可以在 1M(1 分钟)到 6W(6 周)的任何时间间隔内手动请求执行分析。

转移作业配置的 Monitoring 指标

系统会将 BigQuery Data Transfer Service 配置的以下指标导出到 Monitoring:

指标 说明
运行延迟分布 每个转移作业配置的每次转移作业运行的执行时间(以秒为单位)分布。
活跃的运行次数 针对每个转移作业配置,正在运行或待运行的转移作业运行次数。
已完成的运行次数 针对每个转移作业配置,某个时间段内已完成的转移作业运行次数。

过滤指标的维度

系统会为每个 BigQuery Data Transfer Service 配置汇总指标。您可以按照以下维度过滤汇总的指标:

属性 说明
TRANSFER_STATE 表示转移作业运行的当前转移作业状态。此维度可以具有以下值之一:
  • unspecified
  • pending
  • running
  • succeeded
  • failed
  • cancelled
ERROR_CODE 表示转移作业运行的最终错误代码。此维度可以具有以下值之一:
  • OK
  • CANCELLED
  • UNKNOWN
  • INVALID_ARGUMENT
  • DEADLINE_EXCEEDED
  • NOT_FOUND
  • ALREADY_EXISTS
  • PERMISSION_DENIED
  • UNAUTHENTICATED
  • RESOURCE_EXHAUSTED
  • FAILED_PRECONDITION
  • ABORTED
  • OUT_OF_RANGE
  • UNIMPLEMENTED
  • INTERNAL
  • UNAVAILABLE
  • DATA_LOSS
RUN_CAUSE 表示触发转移作业运行的方式。此维度可以具有以下值之一:
  • USER_REQUESTED
  • AUTO_SCHEDULE

后续步骤