Cloud Monitoring

BigQuery Data Transfer Service 将监控数据导出到 Cloud Monitoring

监控指标具有以下用途:

  • 评估数据转移作业配置的使用情况和性能。
  • 排查问题。
  • 监控转移作业运行状态。

如需使用 Monitoring 创建自定义信息中心、设置提醒以及查询指标,您可以使用 Google Cloud Console 或 Monitoring API

在 Metrics Explorer 中查看转移作业数据

  1. 在 Cloud Console 中,转到 Monitoring 页面。

    转到 Monitoring

    首次访问 Google Cloud 项目的任何 Monitoring 功能时,该项目会与工作区相关联。如果您从未使用过 Monitoring,则系统会自动创建一个工作区。否则,系统会弹出一个对话框。从对话框中,选择创建工作区或者将项目添加到现有工作区。

  2. 在导航窗格中,点击 Metrics Explorer

  3. 选择您的项目。

  4. 查找资源类型和指标框中,输入以下内容:

  5. 可选:选择校准器、缩减器和其他参数。

  6. 这些指标显示在 Metrics Explorer 窗口中。

    指标示例。

定义 Cloud Monitoring 提醒

您可以为 BigQuery Data Transfer Service 指标定义 Monitoring 提醒

  1. 在 Cloud Console 中,转到 Monitoring 页面。

    转到 Monitoring

    首次访问 Google Cloud 项目的任何 Monitoring 功能时,该项目会与工作区相关联。如果您从未使用过 Monitoring,则系统会自动创建一个工作区。否则,系统会弹出一个对话框。从对话框中,选择创建工作区或者将项目添加到现有工作区。

  2. 在导航窗格中,选择提醒 > 创建政策

    如需详细了解提醒政策以及其背后的概念,请参阅提醒政策的类型

  3. 点击添加条件,然后选择条件类型。

  4. 选择指标和过滤条件。对于指标,资源类型为 BigQuery DTS 配置

  5. 点击 Save Condition

  6. 输入政策名称,然后点击保存政策

如需详细了解提醒政策和概念,请参阅提醒简介

定义 Cloud Monitoring 自定义信息中心

您可以针对 BigQuery Data Transfer Service 指标创建自定义信息中心:

  1. 转到 Google Cloud Console 中的 Monitoring

    首次访问 Google Cloud 项目的任何 Monitoring 功能时,该项目会与一个工作区相关联。如果您从未使用过 Monitoring,则系统会自动创建一个工作区。否则,系统会显示一个对话框,要求您选择创建工作区或者将项目添加到现有工作区。

  2. 在导航窗格中,选择信息中心 > 创建信息中心

  3. 点击添加图表

  4. 给图表添加一个标题。

  5. 选择指标和过滤条件。对于指标,资源类型为 BigQuery DTS 配置

  6. 点击保存

如需详细了解如何使用 Cloud Console 管理信息中心,请参阅通过 Cloud Console 管理信息中心

指标报告频率和保留

BigQuery Data Transfer Service 运行的指标以 1 分钟为间隔批量导出到 Monitoring 中。Monitoring 数据会保留 6 周。

信息中心会按 1h(1 小时)、6H(6 小时)、1D(1 天)、1W(1 周)和 6W(6 周)的默认间隔提供数据分析。您可以在 1M(1 分钟)到 6W(6 周)之间的任意时间间隔手动请求分析。

转移作业配置的 Monitoring 指标

BigQuery Data Transfer Service 配置的以下指标会导出到 Monitoring:

指标 说明
运行延迟时间分布 每个转移作业配置的每次转移作业运行的执行时间(以秒为单位)分布。
有效运行次数 针对每个转移作业配置,正在运行或待运行的转移作业运行次数。
已完成的运行次数 针对每个转移作业配置,某个时间段内已完成的转移作业运行次数。

过滤指标的维度

系统会对每个 BigQuery Data Transfer Service 配置汇总指标。您可以按照以下维度过滤汇总的指标:

属性 说明
TRANSFER_STATE 表示转移作业运行的当前转移作业状态。此维度可以具有以下值之一:
  • unspecified
  • pending
  • running
  • succeeded
  • failed
  • cancelled
ERROR_CODE 表示转移作业运行的最终错误代码。此维度可以具有以下值之一:
  • OK
  • CANCELLED
  • UNKNOWN
  • INVALID_ARGUMENT
  • DEADLINE_EXCEEDED
  • NOT_FOUND
  • ALREADY_EXISTS
  • PERMISSION_DENIED
  • UNAUTHENTICATED
  • RESOURCE_EXHAUSTED
  • FAILED_PRECONDITION
  • ABORTED
  • OUT_OF_RANGE
  • UNIMPLEMENTED
  • INTERNAL
  • UNAVAILABLE
  • DATA_LOSS
RUN_CAUSE 表示触发转移作业运行的方式。此维度可以具有以下值之一:
  • USER_REQUESTED
  • AUTO_SCHEDULE

后续步骤