Cloud Monitoring 提供了强大的日志记录和诊断功能。适用于 Apache Flink 的 BigQuery Engine 与 Monitoring 集成后,您可以通过 Monitoring 信息中心访问适用于 Apache Flink 的 BigQuery Engine 部署和作业指标。您还可以使用 Monitoring 提醒功能来接收各种情况的通知,例如作业失败。
准备工作
如需在 Metrics Explorer 中查看日志,受管理的 Flink 默认 Workload Identity 必须具有 IAM
roles/monitoring.metricWriter
角色。
使用 Metrics Explorer
使用 Monitoring 探索适用于 Apache Flink 的 BigQuery 引擎指标。 请按照本部分中的步骤操作,并观察为您的每个适用于 Apache Flink 的 BigQuery 引擎部署和作业提供的标准指标。如需详细了解如何使用 Metrics Explorer,请参阅使用 Metrics Explorer 创建图表。
在 Google Cloud 控制台中,选择 Monitoring:
在导航窗格中,选择 Metrics Explorer。
在选择指标菜单中,在过滤条件中输入
Flink
。从显示的列表中,选择要观察的某个部署或作业的指标。
运行适用于 Apache Flink 的 BigQuery 引擎作业时,您可能还需要监控来源和接收器的指标。例如,您可能希望监控 BigQuery Storage API 指标。如需了解详情,请参阅创建信息中心、图表和提醒,以及适用于 Apache Flink 的 BigQuery Engine 的指标的完整列表。
创建提醒政策和信息中心
借助 Monitoring,您可以访问与适用于 Apache Flink 的 BigQuery 引擎相关的指标。创建信息中心以绘制指标的时间序列,并创建提醒政策以便在指标达到指定值时通知您。
创建资源组
为了更轻松地设置提醒和构建信息中心,请创建包含多个适用于 Apache Flink 的 BigQuery 引擎作业的资源组。
在 Google Cloud 控制台中,选择 Monitoring:
在导航窗格中,选择群组。
点击创建群组。
输入群组名称。
添加过滤条件以定义此群组包含的适用于 Apache Flink 的 BigQuery 引擎资源。 例如,您可以使用作业的名称前缀作为其中一个过滤条件。
创建群组后,您就可以看到与该群组中资源相关的基本指标。
如需了解详情,请参阅配置资源组。
为适用于 Apache Flink 的 BigQuery 引擎指标创建提醒政策
通过 Monitoring,您可以创建提醒并在指标超过指定阈值时收到通知。例如,当部署的 CPU 使用率超过特定阈值时,您可以收到通知。
在 Google Cloud 控制台中,选择 Monitoring:
在导航窗格中,选择提醒。
点击创建政策。
对于选择指标,请在过滤条件中输入
Flink
,然后选择适用于 Apache Flink 的 BigQuery 引擎指标。点击应用。在配置提醒触发器页面上,定义提醒发出条件和通知渠道。完成后,点击创建政策。 如需详细了解如何创建提醒,请参阅提醒概览。
每次触发提醒时,都会创建一个突发事件和相应的事件。如果您在提醒中指定了通知机制(例如电子邮件或短信),您将会收到通知。
构建自定义监控信息中心
您可以使用与适用于 Apache Flink 的 BigQuery 引擎最相关的图表构建 Monitoring 信息中心。如需将图表添加到信息中心,请按以下步骤操作:
在 Google Cloud 控制台中,选择 Monitoring:
在导航窗格中,选择信息中心。
点击创建信息中心。
点击添加微件。
在添加微件窗口中,对于数据,选择指标。
在选择指标菜单中,对于指标,输入
Flink
。选择指标类别和指标,然后点击应用。
您可以根据需要向信息中心添加任意数量的图表。如需了解详情,请参阅查看和自定义 Google Cloud 信息中心。
存储和保留
操作日志存储在 _Default
日志存储桶中。
Logging API 服务名称为 managedflink.googleapis.com
。如需详细了解 Cloud Logging 中使用的 Google Cloud 受监控的资源类型和服务,请参阅受监控的资源和服务。
如需详细了解 Logging 将保留日志条目多长时间,请参阅“配额和限制:日志保留期限”中的保留期限信息。
如需了解如何查看运维日志,请参阅 适用于 Apache Flink 的 BigQuery 引擎日志记录。
后续步骤
如需了解详情,请考虑探索以下资源: