将 Cloud Monitoring 与适用于 Apache Flink 的 BigQuery 引擎搭配使用

Cloud Monitoring 提供了强大的日志记录和诊断功能。适用于 Apache Flink 的 BigQuery Engine 与 Monitoring 集成后,您可以通过 Monitoring 信息中心访问适用于 Apache Flink 的 BigQuery Engine 部署和作业指标。您还可以使用 Monitoring 提醒功能来接收各种情况的通知,例如作业失败。

准备工作

使用 Metrics Explorer

使用 Monitoring 探索适用于 Apache Flink 的 BigQuery 引擎指标。 请按照本部分中的步骤操作,并观察为您的每个适用于 Apache Flink 的 BigQuery 引擎部署和作业提供的标准指标。如需详细了解如何使用 Metrics Explorer,请参阅使用 Metrics Explorer 创建图表

  1. 在 Google Cloud 控制台中,选择 Monitoring

    转到“监控”

  2. 在导航窗格中,选择 Metrics Explorer

  3. 选择指标菜单中,在过滤条件中输入 Flink

  4. 从显示的列表中,选择要观察的某个部署或作业的指标。

运行适用于 Apache Flink 的 BigQuery 引擎作业时,您可能还需要监控来源和接收器的指标。例如,您可能希望监控 BigQuery Storage API 指标。如需了解详情,请参阅创建信息中心、图表和提醒,以及适用于 Apache Flink 的 BigQuery Engine 的指标的完整列表。

创建提醒政策和信息中心

借助 Monitoring,您可以访问与适用于 Apache Flink 的 BigQuery 引擎相关的指标。创建信息中心以绘制指标的时间序列,并创建提醒政策以便在指标达到指定值时通知您。

创建资源组

为了更轻松地设置提醒和构建信息中心,请创建包含多个适用于 Apache Flink 的 BigQuery 引擎作业的资源组。

  1. 在 Google Cloud 控制台中,选择 Monitoring

    转到“监控”

  2. 在导航窗格中,选择群组

  3. 点击创建群组

  4. 输入群组名称。

  5. 添加过滤条件以定义此群组包含的适用于 Apache Flink 的 BigQuery 引擎资源。 例如,您可以使用作业的名称前缀作为其中一个过滤条件。

  6. 创建群组后,您就可以看到与该群组中资源相关的基本指标。

如需了解详情,请参阅配置资源组

为适用于 Apache Flink 的 BigQuery 引擎指标创建提醒政策

通过 Monitoring,您可以创建提醒并在指标超过指定阈值时收到通知。例如,当部署的 CPU 使用率超过特定阈值时,您可以收到通知。

  1. 在 Google Cloud 控制台中,选择 Monitoring

    转到“监控”

  2. 在导航窗格中,选择提醒

  3. 点击创建政策

  4. 对于选择指标,请在过滤条件中输入 Flink,然后选择适用于 Apache Flink 的 BigQuery 引擎指标。点击应用

  5. 配置提醒触发器页面上,定义提醒发出条件和通知渠道。完成后,点击创建政策。 如需详细了解如何创建提醒,请参阅提醒概览

    每次触发提醒时,都会创建一个突发事件和相应的事件。如果您在提醒中指定了通知机制(例如电子邮件或短信),您将会收到通知。

构建自定义监控信息中心

您可以使用与适用于 Apache Flink 的 BigQuery 引擎最相关的图表构建 Monitoring 信息中心。如需将图表添加到信息中心,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,选择 Monitoring

    转到“监控”

  2. 在导航窗格中,选择信息中心

  3. 点击创建信息中心

  4. 点击添加微件

  5. 添加微件窗口中,对于数据,选择指标

  6. 选择指标菜单中,对于指标,输入 Flink

  7. 选择指标类别和指标,然后点击应用

您可以根据需要向信息中心添加任意数量的图表。如需了解详情,请参阅查看和自定义 Google Cloud 信息中心

存储和保留

操作日志存储在 _Default 日志存储桶中。 Logging API 服务名称为 managedflink.googleapis.com。如需详细了解 Cloud Logging 中使用的 Google Cloud 受监控的资源类型和服务,请参阅受监控的资源和服务

如需详细了解 Logging 将保留日志条目多长时间,请参阅“配额和限制:日志保留期限”中的保留期限信息。

如需了解如何查看运维日志,请参阅 适用于 Apache Flink 的 BigQuery 引擎日志记录

后续步骤

如需了解详情,请考虑探索以下资源: