Cloud Monitoring

Cloud Monitoring 可帮助您了解云应用的性能、正常运行时间以及总体运行状况。Google Cloud Observability 会从 Dataproc Metastore 服务收集和提取指标、事件和元数据,以使用信息中心和图表生成数据分析。

访问 Monitoring 中的服务指标

Dataproc Metastore 服务会自动启用 Dataproc Metastore 服务资源指标。使用 Monitoring 查看这些指标。

您可以通过 Google Cloud 控制台或使用 Monitoring API 访问 Monitoring。

控制台

  1. 在 Google Cloud 控制台中,转到 Cloud Monitoring > Metrics Explorer 页面:

    转到 Metrics Explorer 页面

  2. 从“查找资源类型和指标”下拉列表中,选择资源 Dataproc Metastore Service

  3. 再次点击该输入框,然后从下拉列表中选择一个指标。将鼠标悬停在指标名称上可显示指标的相关信息。

您可以选择过滤条件、按指标标签分组、执行聚合,以及选择图表查看选项。

REST

您可以使用 Monitoring timeSeries.list API 来捕获和列出由 filter 表达式定义的指标。使用 API 页面上的试用此 API 模板发送 API 请求并显示响应。

Monitoring 中的 Dataproc Metastore 服务指标

来自 Dataproc Metastore 的指标。这些指标的发布阶段:Beta 版 GA

此表中的“指标类型”字符串必须以 metastore.googleapis.com/ 为前缀。表中的条目已省略该前缀。 查询标签时,请使用 metric.labels. 前缀;例如 metric.labels.LABEL="VALUE"

指标类型发布阶段
显示名
种类、类型、单位
受监控的资源
说明
标签
federation/server/request_count Beta 版
联合服务请求数
DELTAINT64{request}
metastore.googleapis.com/Federation
发送到联合 Dataproc Metastore 服务的请求数。
method_name:请求方法名称。
status:请求的结束状态,可以是 [success, client_error, server_error] 之一。
version:服务的 Hive Metastore 版本。
service/grpc/finished_requests_count Beta 版
gRPC 请求完成次数
DELTAINT641
metastore.googleapis.com/Service
GRPC Dataproc Metastore 服务完成的请求数。
tier:服务的服务层级或实例大小,例如 ENTERPRISE。
version:服务的 Hive Metastore 版本。
status:请求的状态,例如“BAD_REQUEST”。
method_name:请求方法名称。
service/grpc/received_bytes_count Beta 版
gRPC 接收的字节数
DELTAINT64By
metastore.googleapis.com/Service
Dataproc Metastore 服务接收的字节数。
tier:服务的服务层级或实例大小。
version:服务的 Hive Metastore 版本。
service/grpc/request_latencies Beta 版
gRPC 请求延迟时间
DELTADISTRIBUTIONms
metastore.googleapis.com/Service
Dataproc Metastore 服务的 gRPC 请求延迟分布。
tier:服务的服务层级或实例大小。
version:服务的 Hive Metastore 版本。
status:请求的状态,例如“BAD_REQUEST”。
method_name:请求方法名称。
service/grpc/sent_bytes_count Beta 版
gRPC 发送的字节数
DELTAINT64By
metastore.googleapis.com/Service
Dataproc Metastore 服务发送的字节数。
tier:服务的服务层级或实例大小。
version:服务的 Hive Metastore 版本。
service/grpc/started_requests_count Beta 版
gRPC 启动请求计数
DELTAINT641
metastore.googleapis.com/Service
GRPC Dataproc Metastore 服务接收和启动的请求数。
tier:服务的服务层级或实例大小。
version:服务的 Hive Metastore 版本。
method_name:请求方法名称。
service/health GA
服务运行状况
GAUGEINT641
metastore.googleapis.com/Service
Dataproc Metastore 服务的运行状况。
tier:服务的服务层级或实例大小,例如 ENTERPRISE。
version:服务的 Hive Metastore 版本。
release_tag: Dataproc Metastore 版本标记,由服务后端填充,可能会在服务生命周期内发生变化。
service/multi_region/health GA
多区域服务运行状况
GAUGEINT641
metastore.googleapis.com/Service
多区域 Dataproc Metastore 服务的运行状况。
version:服务的 Hive Metastore 版本。
release_tag: Dataproc Metastore 版本标记,由服务后端填充,可能会在服务生命周期内发生变化。
service_region:托管 Dataproc Metastore 服务的组成区域。
scaling_factor:服务的扩缩系数,可以是 [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0] 之一。
service/multi_region/request_count GA
多区域服务请求数
DELTAINT64{request}
metastore.googleapis.com/Service
发送到多区域 Dataproc Metastore 服务的请求数。
method_name:请求方法名称。
version:服务的 Hive Metastore 版本。
service_region:托管 Dataproc Metastore 服务的组成区域。
scaling_factor:服务的扩缩系数,可以是 [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0] 之一。
service/multi_region/request_latencies GA
多区域服务请求延迟时间
DELTADISTRIBUTIONms
metastore.googleapis.com/Service
发送到多区域 Dataproc Metastore 服务的请求的延迟时间。
method_name:请求方法名称。
version:服务的 Hive Metastore 版本。
service_region:托管 Dataproc Metastore 服务的组成区域。
scaling_factor:服务的扩缩系数,可以是 [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0] 之一。
service/query_metadata/request_count Beta 版
管理界面请求数
DELTAINT64{request}
metastore.googleapis.com/Service
管理界面请求数。
database_type:数据库的类型,为 [SQL、Spanner] 之一。
code:gRPC 状态代码。
service/query_metadata/request_latencies Beta 版
管理控制台请求延迟
DELTADISTRIBUTIONms
metastore.googleapis.com/Service
管理员接口请求的端到端请求延迟。
database_type:数据库的类型,为 [SQL、Spanner] 之一。
code:gRPC 状态代码。
service/request_count GA
请求数
DELTAINT64{request}
metastore.googleapis.com/Service
发送到 Dataproc Metastore 服务的请求数。
method_name:请求方法名称。
version:服务的 Hive Metastore 版本。
service/scheduled_backups/backup_count Beta 版
计划备份计数
DELTAINT641
metastore.googleapis.com/Service
当前为服务存储的计划备份数量。
state:备份的状态,可以是 [SUCCEEDED, FAILED, IN_PROGRESS] 之一。
database_type:数据库的类型,为 [SQL、Spanner] 之一。
version:服务的 Hive Metastore 版本。
service/scheduled_backups/last_backup_duration Beta 版
计划备份 - 上次备份时长
GAUGEINT64s
metastore.googleapis.com/Service
上次成功执行计划备份的时长(以秒为单位)。每 60 秒采样一次。采样后,数据在最长 120 秒的时间内不会显示。
state:备份的状态,可以是 [SUCCEEDED, FAILED, IN_PROGRESS] 之一。
database_type:数据库的类型,为 [SQL、Spanner] 之一。
version:服务的 Hive Metastore 版本。
service/scheduled_backups/last_backup_size Beta 版
计划备份请求 - 上次备份大小
GAUGEINT64By
metastore.googleapis.com/Service
上次成功执行的计划备份的大小(以字节为单位)。每 60 秒采样一次。采样后,数据在最长 120 秒的时间内不会显示。
state:备份的状态,可以是 [SUCCEEDED, FAILED, IN_PROGRESS] 之一。
database_type:数据库的类型,为 [SQL、Spanner] 之一。
version:服务的 Hive Metastore 版本。

世界协调时间 (UTC) 2024-04-11 19:12:46 生成的表。

构建自定义 Monitoring 信息中心

您可以构建自定义 Monitoring 信息中心,用于显示选定的 Dataproc Metastore 服务指标的图表。

  1. 从 Monitoring 信息中心概览页面中选择 + 创建信息中心

  2. 提供信息中心的名称。

  3. 在右上角菜单中,点击添加图表以打开“添加图表”窗口。

  4. 选择 Dataproc Metastore Service 作为资源类型。

  5. 选择一个或多个指标以及指标和图表属性,然后点击保存以保存相应图表。

  6. 根据需要将其他图表添加到您的信息中心。

  7. 要保存信息中心,请点击保存。其标题会显示在 Monitoring 信息中心概览页面中。

您可以在信息中心显示页面中查看、更新和删除信息中心图表。

使用 Monitoring 提醒

您可以创建 Monitoring 提醒,以便在 Dataproc Metastore 服务或作业指标超过指定阈值时收到通知。

创建提醒

  1. 在 Google Cloud 控制台中,打开 Monitoring Alerting

  2. 如需打开 Create new alert policy 表单,请点击 + CREATE POLICY

  3. 通过添加提醒条件、政策触发条件、通知渠道和文档来定义提醒。

  4. 选择添加条件以打开提醒条件表单并选择“指标”标签页。

  5. 填写各个字段以定义提醒条件,然后点击添加

  6. 添加提醒条件后,请设置通知渠道、政策触发条件、文档以及提醒政策名称,完成提醒政策创建。

查看提醒

每次指标阈值条件触发提醒时,Monitoring 都会创建一个突发事件和相应的事件。您可以在 Google Cloud 控制台的 Monitoring Alerting 页面中查看突发事件。如果您在提醒政策中定义了通知机制(例如电子邮件或短信通知),Monitoring 还会发送突发事件通知。

后续步骤