Cloud Monitoring 概览

本文档简要介绍了 Cloud Monitoring 提供的服务。这些服务可帮助您了解您的应用和其他 Google Cloud 服务的行为、运行状况和性能。Cloud Monitoring 会自动收集和存储大多数 Google Cloud 服务的性能信息。您可以使用 Google Cloud Managed Service for Prometheus 收集 Prometheus 指标。如果您在 Compute Engine 虚拟机 (VM) 上安装 Ops Agent,则可以从应用和第三方应用收集指标和日志。

Cloud Monitoring 提供的提醒、测试和可视化服务可帮助您解答诸如以下的重要问题:

  • 我的服务的负载情况如何?
  • 我的网站响应是否正确?
  • 我的服务是否表现良好?

Cloud Monitoring 为其大多数服务提供 Google Cloud 控制台和 API 支持。一些服务还支持 Google Cloud CLI 或 Terraform。借助 Cloud Monitoring API 参考文档页面(例如 alertPolicies.list 页面),您可以直接在参考页面中进行 API 调用实验。

Cloud Monitoring 服务

Cloud Monitoring 提供多种服务,您可以使用这些服务来了解应用以及您使用的其他 Google Cloud 服务的运行状况和性能。

提醒和通知

如需在性能指标的值符合您定义的条件时收到通知,请创建提醒政策。提醒政策包含将接收通知的人员或群组列表。Monitoring 支持常见的通知渠道,包括电子邮件、Cloud Mobile App 以及 PagerDuty 或 Slack 等服务。例如,您可以创建提醒政策,以便在虚拟机的 CPU 利用率超过 80% 时收到通知。

每个通知都包含失败相关信息,并包含指向突发事件的链接。突发事件是一种持久性记录,用于存储可用于排查故障的信息。通常,记录会列出突发事件的状态、日志链接、所记录指标数据的图表、标签和时长。

提醒服务集成了许多 Google Cloud 服务。存在这些集成时,您可能会看到列出建议的提醒的面板,也可能会在图表上看到可让您创建提醒政策的按钮。在这两种情况下,提醒政策都是预先配置的,您只需指定要通知的人员或群组的列表。

您可以使用 Google Cloud 控制台、Cloud Monitoring API、Google Cloud CLI 或 Terraform 创建和管理提醒政策。

主动监控和验证

如需测试服务、应用、网页和 API 的可用性、一致性和性能,请创建合成监控工具。例如,您可以通过拨测来探测 HTTP、HTTPS 和 TCP 端点的响应速度,然后在端点无法响应时收到通知。您还可以创建损坏链接检查工具来抓取网页,然后在检测到损坏的链接时通知您。

您可以使用 Google Cloud 控制台、Cloud Monitoring API、Google Cloud CLI 或 Terraform 创建和管理合成监控工具。

直观呈现数据

如需直观呈现数据以查看趋势、识别离群值和查看有关数据的其他详细信息,您可以使用信息中心图表服务:

  • 当您将资源添加到 Google Cloud 项目时,信息中心服务会自动创建一个 Google Cloud 管理的信息中心。例如,当您创建 Compute Engine 实例、提醒政策或合成监控工具时,系统会创建一个信息中心。您可以使用这些信息中心查看性能和配置信息(例如磁盘使用情况或 IP 地址),以及查看事件

    如需控制您查看的数据以及该数据的显示格式,请创建自定义信息中心。例如,您可以导入 Grafana 信息中心通过模板安装信息中心。自定义信息中心可以显示图表、表格、日志和错误组、提醒政策和突发事件以及文本。您还可以与组织中的用户或群组共享自定义信息中心,并将这些信息中心配置为显示事件

    您可以使用 Google Cloud 控制台API 创建和管理信息中心。

  • 借助图表服务 Metrics Explorer,您可以快速直观呈现和探索时间序列数据。通过图表设置,您可以将当前数据与之前的数据进行比较,显示离群值和百分位,以及显示多个指标。您还可以将图表保存到自定义信息中心。

数据收集和存储

Cloud Monitoring 会收集并存储以下类型的指标数据:

  • Ops Agent 收集的有关系统资源以及在 Compute Engine 实例上运行的应用的系统和应用指标。您可以将 Ops Agent 配置为从第三方插件(例如 Apache 或 Nginx Web 服务器,或者 MongoDB 或 PostgreSQL 数据库)收集指标。
  • 基于日志的指标,用于记录有关写入 Cloud Logging 的日志的数字信息。Google 定义的基于日志的指标包括服务检测到的错误计数以及 Google Cloud 项目收到的日志条目总数。您还可以定义基于日志的指标。

查询语言

创建提醒政策或图表时,您必须提供描述要监控或绘制图表的数据的查询:

  • Google Cloud 控制台:您可以通过从菜单中进行选择来构建查询,也可以编写查询。您可以使用 Prometheus 查询语言 (PromQL) Monitoring 查询语言 (MQL) 的查询编辑器。查询编辑器提供语法检查和建议。您还可以编写 Monitoring 过滤条件表达式。

  • Cloud Monitoring API:该 API 支持 Prometheus 查询语言 (PromQL)、MQL 查询和 Monitoring 过滤表达式。

监控大型系统

本部分介绍如何以集合的形式管理资源,以及如何监控存储在多个 Google Cloud 项目中的指标。

以集合的形式管理资源

如需以集合(而不是逐个)的形式管理资源,请创建资源组。资源组是满足您提供的某些条件的动态资源集合。当您添加和移除资源时(例如,通过将 Compute Engine 虚拟机实例添加到 Google Cloud 项目中),组中的成员资格会自动更改。以下是资源组的示例:

  • 名称以字符串 prod- 开头的 Compute Engine 实例。
  • 带有 test-cluster 标记的资源。
  • 区域 A 或区域 B 中的 Amazon EC2 实例。

定义资源组后,您可以将组当作单个资源进行监控。例如,您可以配置正常运行时间检查来监控资源组。对于图表和提醒政策,您还可以根据群组名称进行过滤。

如需了解详情,请参阅配置资源组

监控多个 Google Cloud 项目的指标

如需通过一个界面查看和监控多个 Google Cloud 项目和 AWS 账号的时序数据,请配置多项目指标范围

默认情况下,Google Cloud 控制台中的 Cloud Monitoring 页面仅提供对范围项目中存储的时序的访问权限。限定范围的项目就是您使用 Google Cloud 控制台项目选择器选择的项目。限定范围的项目会存储您配置的提醒合成监控工具信息中心监控组

范围界定项目还托管一个指标范围。指标范围定义了其指标对于范围界定项目可见的项目和账号。您可以配置指标范围,以包含来自其他 Google Cloud 项目和来自 AWS 账号的时间序列数据。如需了解如何修改指标范围,请参阅为多个项目配置指标范围

Cloud Monitoring 数据模型

本部分介绍 Cloud Monitoring 数据模型:

  • 指标类型用于描述测量的内容。指标类型的例子包括虚拟机的 CPU 利用率和所用磁盘的百分比。

  • 时序是一种数据结构,包含指标的带时间戳的测量结果以及关于这些测量结果的来源和含义的信息。

以下是有关时序所含内容的一些详细信息:

  • points 数组包含带有时间戳的测量结果。

    以下是包含两个值的 points 数组的示例:

      "points": [
        {
          "interval": {
            "startTime": "2020-07-27T20:20:21.597143Z",
            "endTime": "2020-07-27T20:20:21.597143Z"
          },
          "value": {
            "doubleValue": 0.473005
          }
        },
        {
          "interval": {
            "startTime": "2020-07-27T20:19:21.597239Z",
            "endTime": "2020-07-27T20:19:21.597239Z"
          },
          "value": {
            "doubleValue": 0.473025
          }
        },
      ],
    

    如需了解值的含义,您需要参考时序中包含的其他数据以及这些数据的定义。

  • resource 字段描述了受监控的硬件或软件组件。在 Cloud Monitoring 中,硬件或软件组件称为受监控的资源。受监控资源的示例包括 Compute Engine 实例和 App Engine 应用。如需查看受监控的资源列表,请参阅受监控的资源列表

    以下是 resource 字段的示例:

      "resource": {
        "type": "gce_instance",
        "labels": {
          "instance_id": "2708613220420473591",
          "zone": "us-east1-b",
          "project_id": "sampleproject"
        }
      }
    
    • type 字段将受监控资源列为 gce_instance,这表示这些测量是在 Compute Engine 虚拟机实例上进行的。

    • labels 字段包含键值对,用于提供受监控资源的其他信息。对于 gce_instance 类型,这些标签标识了受监控的虚拟机实例。

  • metric 字段描述了要测量的内容。

    以下是 metric 字段的示例:

      "metric": {
        "labels": {
          "instance_name": "test"
        },
        "type": "compute.googleapis.com/instance/cpu/utilization"
      },
    
    • 对于 Google 服务,type 字段指定服务和受监控的内容。在此示例中,Compute Engine 服务测量的是 CPU 利用率。 当 type 字段以 customexternal 开头时,表示该指标可以是自定义指标,也可以是第三方定义的指标。

    • labels 字段包含键值对,用于提供有关测量的其他信息。这些标签被定义为 MetricDescriptor(即用于定义测量数据属性的资料结构)的一部分。指标 compute.googleapis.com/instance/cpu/utilizationMetricDescriptor 包含标签 instance_name

  • metricKind 字段描述了时序中相邻测量之间的关系:

    • GAUGE 指标用于存储在给定时间测量的事物值,例如每小时温度记录。

    • CUMULATIVE 指标会存储给定时刻(例如车辆中的里程表)测量的事物累计值。

    • DELTA 指标会存储指定时间段内所测量事物值的变化,例如,显示股票收益或损失的股票摘要。

  • valueType 字段描述测量的数据类型:INT64DOUBLEBOOLSTRINGDISTRIBUTION

Cloud Monitoring 会针对资源和指标标签值的每个组合写入一个时序。您可以使用这些标签对时序进行分组和过滤。例如,如果 Google Cloud 项目包含多个 Compute Engine 虚拟机实例,则每个虚拟机实例的 CPU 利用率都是唯一的时序。您可以通过以下几种方法显示这些数据:

  • 您可以显示每个虚拟机实例的 CPU 利用率。
  • 您可以通过针对 instance_id 标签的单个值过滤时序来显示特定虚拟机实例的 CPU 利用率。
  • 您可以按 machine_type 标签对虚拟机实例进行分组,然后显示平均 CPU 利用率。以下屏幕截图显示了采用此配置的图表:

    平均 CPU 利用率(按机器类型分组)。

价格

一般来说,Cloud Monitoring 系统指标是免费的,来自外部系统、代理或应用的指标不是。计费指标按注入的字节数或样本数计费。

如需详细了解 Cloud Monitoring 价格,请参阅以下文档:

后续步骤

  • 如需了解如何配置 Google Cloud 项目以查看多个 Google Cloud 项目和 AWS 帐号的指标,请参阅指标范围概览