云监控

Cloud Monitoring 可帮助您了解云应用的性能、正常运行时间以及总体运行状况。Google Cloud Observability 会收集并提取有关 Dataproc Metastore 服务的指标、事件和元数据，以便使用信息中心和图表生成数据分析。

访问 Monitoring 中的服务指标

Dataproc Metastore 服务会自动启用 Dataproc Metastore 服务资源指标。使用 Monitoring 查看这些指标。

您可以从以下位置访问 Monitoring： Google Cloud 控制台 或使用 Monitoring API 启用。

控制台

  1. 在 Google Cloud 控制台中，前往 Cloud Monitoring >Metrics Explorer 页面：

    转到 Metrics Explorer 页面

  2. 从“查找资源类型和指标”下拉列表中，选择资源 Dataproc Metastore Service。

  3. 再次点击该输入框，然后从下拉列表中选择一个指标。将鼠标悬停在指标名称上可显示指标的相关信息。

您可以选择过滤条件、按指标标签分组、执行聚合，以及选择图表查看选项。

REST

您可以使用 Monitoring timeSeries.list API 来捕获和列出由 filter 表达式定义的指标。使用 API 页面上的试用此 API 模板发送 API 请求并显示响应。

Monitoring 中的 Dataproc Metastore 服务指标

来自 Dataproc Metastore 的指标。这些指标的发布阶段：Beta 版 正式版

此表中的“指标类型”字符串必须以 metastore.googleapis.com/ 为前缀。表中的条目已省略该前缀。 查询标签时，请使用 metric.labels. 前缀；例如 metric.labels.LABEL="VALUE"。

指标类型发布阶段（资源层次结构级别）
显示名称
种类、类型、单位
受监控的资源		 说明
标签
federation/health Beta 版  （项目）
联合服务运行状况
GAUGE, INT64, 1
metastore.googleapis.com/Federation 		联邦 Dataproc Metastore 服务的运行状况。
version: 服务的 Hive Metastore 版本。
federation/server/request_count Beta 版  （项目）
联合服务请求数
DELTA, INT64, {request}
metastore.googleapis.com/Federation 		发送到联合 Dataproc Metastore 服务的请求数量。
method_name: 请求方法名称。
status: 请求的结束状态，为 [success、client_error、server_error] 之一。
version: 服务的 Hive Metastore 版本。
service/grpc/finished_requests_count Beta 版 （项目）
gRPC 完成请求数
DELTA、INT64、1
metastore.googleapis.com/Service 		GRPC Dataproc Metastore 服务完成的请求数。
tier: 服务的服务层级或实例大小，例如 ENTERPRISE。
version: 服务的 Hive Metastore 版本。
status: 请求的状态，例如“BAD_REQUEST”。
method_name: 请求方法名称。
service/grpc/received_bytes_count Beta 版 （项目）
gRPC 接收的字节数
DELTA, INT64, By
metastore.googleapis.com/Service 		Dataproc Metastore 服务接收的字节数。
tier: 服务的服务层级或实例大小。
version: 服务的 Hive Metastore 版本。
service/grpc/request_latencies Beta 版 （项目）
gRPC 请求延迟时间
DELTA、DISTRIBUTION、ms
metastore.googleapis.com/Service 		Dataproc Metastore 服务的 gRPC 请求延迟时间分布。
tier: 服务的服务层级或实例大小。
version: 服务的 Hive Metastore 版本。
status: 请求的状态，例如“BAD_REQUEST”。
method_name: 请求方法名称。
service/grpc/sent_bytes_count Beta 版  (project)
已发送的 gRPC 字节
DELTA, INT64, By
metastore.googleapis.com/Service 		Dataproc Metastore 服务发送的字节数。
tier: 服务的服务层级或实例大小。
version: 服务的 Hive Metastore 版本。
service/grpc/started_requests_count Beta 版 （项目）
gRPC 启动的请求数
DELTA, INT64, 1
metastore.googleapis.com/Service 		GRPC Dataproc Metastore 服务接收和启动的请求数。
tier： 服务的服务层级或实例大小。
version: 服务的 Hive Metastore 版本。
method_name: 请求方法名称。
service/grpc_client/finished_requests_count Beta 版 （项目）
gRPC 客户端请求已完成计数
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		在客户端上完成的 RPC 总数，无论成功与否。
status：请求的状态，例如“BAD_REQUEST”。
method_name：请求方法名称。
service/grpc_client/received_bytes_count Beta 版 （项目）
gRPC 接收的客户端字节数
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		gRPC 客户端接收的字节数。
service/grpc_client/request_latencies Beta 版 （项目）
gRPC 客户端请求延迟
CUMULATIVE, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Dataproc Metastore 服务的 gRPC 请求延迟时间分布。
status：请求的状态，例如“BAD_REQUEST”。
method_name：请求方法名称。
service/grpc_client/sent_bytes_count Beta 版 （项目）
gRPC 发送的客户端字节数
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		gRPC 客户端发送的字节数。
service/grpc_client/started_requests_count Beta 版 （项目）
gRPC 客户端请求启动次数计数
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		gRPC 客户端启动的请求数。
method_name: 请求方法名称。
service/health GA （项目）
服务健康状况
GAUGE, INT64, 1
metastore.googleapis.com/Service 		Dataproc Metastore 服务的运行状况。
tier: 服务的服务层级或实例大小，例如 ENTERPRISE。
version: 服务的 Hive Metastore 版本。
release_tag: Dataproc Metastore 版本标记，由服务后端填充，可能会在服务生命周期内发生变化。
service/metadata/bytes_used Beta 版 （项目）
存储在 Dataproc Metastore 服务中的元数据的大小。
GAUGE, INT64, By
metastore.googleapis.com/Service 		服务的后端数据库中存储的数据量。
version: 服务的 Hive Metastore 版本。
database_type: 数据库的类型，为 [SQL、Spanner] 之一。
service/migration/replication_lag Beta 版  (project)
复制流水线处理延迟时间（秒）。
GAUGE, DOUBLE, s
metastore.googleapis.com/Service 		当前将数据复制到 Dataproc Metastore 所用的时间上限（以秒为单位）。
migration_id: 迁移 ID。
service/migration/write_throughput Beta 版 （项目）
目标数据库写入吞吐量。
GAUGE, DOUBLE, By/s
metastore.googleapis.com/Service 		在复制阶段将数据复制到的 Dataproc Metastore 数据库的当前写入吞吐量。
migration_id: 迁移 ID。
service/multi_region/health GA （项目）
多区域服务健康状况
GAUGE, INT64, 1
metastore.googleapis.com/Service 		多区域 Dataproc Metastore 服务的健康状况。
version: 服务的 Hive Metastore 版本。
release_tag： Dataproc Metastore 版本标记，由服务后端填充，可能会在服务生命周期内发生变化。
service_region: 托管 Dataproc Metastore 服务所在的组成区域。
scaling_factor: 服务的缩放比例，为 [0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1.0、2.0、3.0、4.0、5.0、6.0] 之一。
service/multi_region/request_count GA （项目）
多区域服务请求数
DELTA, INT64, {request}
metastore.googleapis.com/Service 		发送到多区域 Dataproc Metastore 服务的请求数。
method_name: 请求方法名称。
version: 服务的 Hive Metastore 版本。
service_region: 托管 Dataproc Metastore 服务所在的组成区域。
scaling_factor: 服务的缩放比例，为 [0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1.0、2.0、3.0、4.0、5.0、6.0] 之一。
service/multi_region/request_latencies GA  (project)
多区域服务请求延迟时间
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		发送到多区域 Dataproc Metastore 服务的请求的延迟时间。
method_name: 请求方法名称。
version：服务的 Hive Metastore 版本。
service_region: 托管 Dataproc Metastore 服务所在的组成区域。
scaling_factor: 服务的缩放比例，为 [0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1.0、2.0、3.0、4.0、5.0、6.0] 之一。
service/query_metadata/request_count Beta 版 （项目）
管理界面请求数
DELTA, INT64, {request}
metastore.googleapis.com/Service 		管理界面请求的数量。
database_type: 数据库的类型，为 [SQL、Spanner] 之一。
code: gRPC 状态代码。
service/query_metadata/request_latencies Beta 版 （项目）
管理界面请求延迟
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		管理界面请求的端到端请求延迟时间。
database_type: 数据库的类型，为 [SQL、Spanner] 之一。
code: gRPC 状态代码。
service/request_count GA （项目）
请求数
DELTA、INT64、{request}
metastore.googleapis.com/Service 		发送到 Dataproc Metastore 服务的请求数量。
method_name: 请求方法名称。
version: 服务的 Hive Metastore 版本。
service/scheduled_backups/backup_count Beta 版 （项目）
计划备份计数
DELTA、INT64、1
metastore.googleapis.com/Service 		当前为服务存储的计划备份的数量。
state：备份状态，为 [SUCCEEDED、FAILED、IN_PROGRESS] 之一。
database_type: 数据库的类型，为 [SQL、Spanner] 之一。
version: 服务的 Hive Metastore 版本。
service/scheduled_backups/last_backup_duration Beta 版 （项目）
计划备份 - 上次备份时长
GAUGE, INT64, s
metastore.googleapis.com/Service 		上次成功安排备份的时长（以秒为单位）。每 60 秒采样一次。采样后，数据在最长 120 秒的时间内不会显示。
state: 备份的状态，[SUCCEEDED、FAILED、IN_PROGRESS] 之一。
database_type: 数据库的类型，为 [SQL、Spanner] 之一。
version：服务的 Hive Metastore 版本。
service/scheduled_backups/last_backup_size Beta 版  (project)
Scheduled Backups Request - Last Backup Size
GAUGE, INT64, By
metastore.googleapis.com/Service 		上次成功安排备份的大小（以字节为单位）。每 60 秒采样一次。采样后，数据在最长 120 秒的时间内不会显示。
state: 备份的状态，[SUCCEEDED、FAILED、IN_PROGRESS] 之一。
database_type: 数据库的类型，为 [SQL、Spanner] 之一。
version：服务的 Hive Metastore 版本。

世界协调时间 (UTC) 2024-09-12 02:25:45 生成的表。

构建自定义 Monitoring 信息中心

您可以构建自定义 Monitoring 信息中心，用于显示选定的 Dataproc Metastore 服务指标的图表。

  1. 从 Monitoring 信息中心概览页面中选择 + 创建信息中心。

  2. 提供信息中心的名称。

  3. 在右上角菜单中，点击添加图表以打开“添加图表”窗口。

  4. 选择 Dataproc Metastore Service 作为资源类型。

  5. 选择一个或多个指标以及指标和图表属性，然后点击保存以保存相应图表。

  6. 根据需要将其他图表添加到您的信息中心。

  7. 要保存信息中心，请点击保存。其标题会显示在 Monitoring 信息中心概览页面中。

您可以在信息中心显示页面中查看、更新和删除信息中心图表。

使用 Monitoring 提醒

您可以创建 Monitoring 提醒，以便在 Dataproc Metastore 服务或作业指标超过指定阈值时收到通知。

创建提醒

  1. 在 Google Cloud 控制台中，打开 Monitoring Alerting。

  2. 要打开 Create new alerts policy 表单，请点击 + CREATE POLICY

  3. 通过添加提醒条件、政策触发条件、通知渠道和文档来定义提醒。

  4. 选择添加条件以打开提醒条件表单并选择“指标”标签页。

  5. 填写各个字段以定义提醒条件，然后点击添加。

  6. 添加提醒条件后，请设置通知渠道、政策触发条件、文档以及提醒政策名称，完成提醒政策创建。

查看提醒

每次指标阈值条件触发提醒时，Monitoring 都会创建一个突发事件和相应的事件。您可以在以下位置查看突发事件： Monitoring 提醒 页面。如果您在提醒政策中定义了通知机制（例如电子邮件或短信通知），Monitoring 还会发送突发事件通知。

后续步骤