监控 Cloud Data Fusion 系统、实例和流水线运行状况

本指南介绍了如何监控 Cloud Data Fusion 实例和流水线。您可以在 Cloud Data Fusion 监控信息中心内查看关键指标。如需进行其他汇总或过滤，您可以在 Cloud Monitoring 中查看相应指标。

准备工作

在开始监控 Cloud Data Fusion 实例和流水线之前，请查看价格并授予所需角色。

价格

Cloud Monitoring 使用量会产生费用。如需了解详情，请参阅 Google Cloud Observability 价格。

所需的角色

如需获得查看指标所需的权限，请让您的管理员为您授予项目的 Monitoring Viewer (roles/monitoring.viewer) IAM 角色。如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

在 Cloud Data Fusion 中监控

使用监控信息中心，直接在 Cloud Data Fusion 中查看和过滤实例和流水线的指标：

  1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 页面。

  2. 点击实例，然后点击实例名称以进入实例详情页面。

    转到实例

  3. 点击监控标签。系统会显示一个信息中心，其中包含实例及其流水线的图表。

    信息中心会显示以下视图：

    • 概览：监控 Cloud Data Fusion 系统指标。
    • 实例：监控项目中的所有 Cloud Data Fusion 实例。
    • 流水线：提供有关流水线运行和效果的信息。

    如需详细了解任何视图中的指标，请将鼠标悬停在相应微件上，然后依次点击更多 > 在 Metrics Explorer 中查看。

监控信息中心内的 widget

以下部分介绍了概览、实例和流水线视图中提供的 widget。

概览视图微件

下表介绍了概览视图中的 widget：

微件 说明
Appfabric 服务健康状况 Appfabric 的服务可用性
指标服务健康状况 指标的服务可用性
Wrangler 服务健康状况 Wrangler 的服务可用性
数据集执行程序健康状况 数据集的服务可用性
流水线 Studio 健康状况 Pipeline Studio 的服务可用性
运行时服务健康状况 运行时服务可用性
日志存储器服务健康状况 日志存储器服务的可用性
元数据服务健康状况 元数据的服务可用性

流水线视图 widget

下表介绍了流水线视图中的 widget：

微件 说明
成功的流水线运行 成功运行的流水线的累计数量。
失败的流水线运行 失败的流水线运行的累计次数。
终止的流水线运行 已终止的流水线运行的累计数量。
遭拒的流水线运行 遭拒的流水线运行作业的累计数量。
成功的流水线运行时间 成功流水线运行完成所用的时间。
流水线启动延迟时间 流水线运行作业达到“正在运行”状态所花费的时间。
Dataproc 预配延迟时间 预配 Dataproc 集群所用的时间。
Dataproc API 请求数 向 Dataproc 发出的 API 请求的累计次数。
成功的预览运行时间 成功预览运行完成所用的时间。
预览运行 预览运行次数。
流水线已读取字节数 流水线读取的累计字节数。
流水线已写入字节数 流水线写入的累计字节数。
流水线已 shuffle 字节数 流水线中 shuffle 的累计字节数。
插件处理输入记录 进入插件的记录的累计数量。
插件处理输出记录 退出插件的记录的累计数量。

实例视图 widget

下表介绍了实例视图中的 widget：

微件 说明
正在运行的并发流水线 并发运行的流水线数量。
已启动的并发流水线 处于配置或启动状态的流水线数量。
收到的 API 请求 收到的 API 请求的累计数量。
API 响应数量 已发送的 API 响应的累计数量。
授权检查次数 授权检查的累计次数。
授权检查时间 授权检查的延迟时间。
已部署的流水线数量 已部署的流水线数量。
草稿流水线数量 草稿流水线的数量。
命名空间数量 命名空间数量。

在 Cloud Monitoring 中查看指标以进行高级分析

如需了解其他过滤和聚合选项，请在 Cloud Monitoring 中查看指标：

  1. 在 Google Cloud 控制台中，前往 Cloud Monitoring Metrics Explorer 页面。

    转到 Metrics Explorer

  2. 选择 Cloud Data Fusion 受监控的资源。

  3. 选择一个指标。

  4. 选择过滤条件和汇总。

后续步骤