监控 Dataplex 指标

Cloud Monitoring 可帮助您了解云应用的性能、正常运行时间以及总体运行状况。Google Cloud Observability 会从 Dataplex 服务收集和提取指标、事件和元数据,以通过信息中心和图表生成数据分析。

访问 Monitoring 中的服务指标

系统会自动为 Dataplex 服务启用 Dataplex 服务资源指标。使用 Monitoring 查看这些指标。

您可以通过 Google Cloud 控制台或使用 Monitoring API 访问 Monitoring。

控制台

  1. 在 Google Cloud 控制台中,转到 Cloud Monitoring > Metrics Explorer 页面:

    转到 Metrics Explorer 页面

  2. 从“查找资源类型和指标”下拉列表中,选择一个 Cloud Dataplex 资源。

  3. 再次点击该输入框,然后从下拉列表中选择一个指标。将鼠标悬停在指标名称上可显示指标的相关信息。

您可以选择过滤条件、按指标标签分组、执行聚合,以及选择图表查看选项。

REST

您可以使用 Monitoring timeSeries.list API 来捕获和列出由 filter 表达式定义的指标。使用 API 页面上的试用此 API 模板发送 API 请求并显示响应。

Monitoring 中的 Dataplex 服务指标

Dataplex 服务指标有助于监控服务健康状况。

范围 指标名称 受监控的资源 指标说明
数据湖 requires_action dataplex.googleapis.com/Lake 数据湖是否有未解决的管理员操作。如果数据湖可操作,则为 1;否则为 0
可用区 requires_action dataplex.googleapis.com/Zone 数据区域是否有未解决的管理员操作。如果数据区域可操作,则为 1;否则为 0
素材资源 requires_action dataplex.googleapis.com/Asset 资产是否有未解决的管理员操作。如果素材资源具有可操作性,则为 1;否则为 0
素材资源 活跃 dataplex.googleapis.com/Asset 用于指明素材资源是否有效。如果素材资源处于非错误状态,则为 1;否则为 0
素材资源 data_items dataplex.googleapis.com/Asset 在一项资产中发现的当前数据项(Cloud Storage 存储桶中的对象以及 BigQuery 数据集中的行数)。
素材资源 data_size dataplex.googleapis.com/Asset 资源中数据的总大小(以字节为单位报告)。
素材资源 文件集 dataplex.googleapis.com/asset 在资产中发现的当前文件集数。
素材资源 表格 dataplex.googleapis.com/Asset 在资产中发现的当前表数。

构建自定义 Monitoring 信息中心

您可以构建一个自定义 Monitoring 信息中心来显示所选 Dataplex 服务指标的图表。

  1. 从 Monitoring Dashboards Overview 页面中选择 + CREATE DASHBOARD。为信息中心提供一个名称,然后点击右上方菜单中的 Add Chart 以打开 Add Chart 窗口。选择 Cloud Dataplex 资源作为资源类型。选择一个或多个指标以及指标和图表属性。然后保存该图表。

  2. 您可以将其他图表添加到信息中心。保存信息中心后,其标题会显示在 Monitoring Dashboards Overview 页面中。您可以在信息中心显示页面中查看、更新和删除信息中心图表。

使用 Monitoring 提醒

您可以创建 Monitoring 提醒,以便在 Dataplex 服务或作业指标超过指定阈值时收到通知。

创建提醒

  1. 在 Google Cloud 控制台中,打开 Monitoring Alerting。点击 + CREATE POLICY 以打开 Create new alerting policy 表单。通过添加提醒条件、政策触发条件、通知渠道和文档来定义提醒。

  2. 选择 ADD CONDITION 以打开提醒条件表单并选择 Metric 标签页。填写各个字段以定义提醒条件,然后点击 ADD

  3. 添加提醒条件后,请完善提醒政策,只需设置通知渠道、政策触发条件、文档以及提醒政策名称。

查看提醒

每次指标阈值条件触发提醒时,Monitoring 都会创建一个突发事件和相应的事件。您可以在 Google Cloud 控制台的 Monitoring Alerting 页面中查看突发事件。如果您在提醒政策中定义了通知机制(例如电子邮件或短信通知),Monitoring 还会发送突发事件通知。

后续步骤