监控日志

本文档介绍了如何使用 Cloud Monitoring 观察日志中的趋势，并在出现描述的条件时通知您。要向 Cloud Monitoring 提供日志中的数据，Logging 会为您提供以下内容：

• 您可以按以下方式使用基于日志的指标：
  • 创建提醒政策以通知您一段时间的变化。
  • 创建随时间显示变化的图表。
• 基于日志的提醒政策，可在日志中出现特定事件时通知您。

如果要在一段时间内监控日志，请使用以基于日志的指标为基础的图表或提醒政策。

如果您希望以近乎实时的速度在日志中出现一条消息时通知您，请使用基于日志的提醒政策。

本文档的其余部分介绍了如何在基于日志的指标和基于日志的提醒政策之间选择，讨论了两者之间的差异，并提供了有关授权、费用和限制的信息。

基于日志的指标

如果要在一段时间内监控日志中的周期性事件，请使用基于日志的指标。基于日志的指标通过日志生成数值数据。如果要执行以下任一操作，则可使用基于日志的指标：

• 计算日志中消息的出现次数（例如警告或错误），并在出现次数超过阈值时接收通知。
• 观察数据中的趋势（例如日志中的延迟值），并在这些值以不可接受的方式更改时接收通知。
• 创建图表以显示从日志中提取的数字数据。

由于基于日志的指标通过日志生成数字数据，因此您可以在提醒政策中使用这些指标，并在图表中显示这些指标。如需了解如何为基于日志的指标创建提醒政策和图表，请参阅为基于日志的指标配置通知。

Cloud Monitoring 提供一组预定义的基于日志的指标，您可以定义自己的指标。如需查看系统定义的基于日志的指标的列表，请点击以下 按钮：

系统定义的基于日志的指标

此表中的“指标类型”字符串必须以 logging.googleapis.com/ 为前缀。表中的条目已省略该前缀。 查询标签时，请使用 metric.labels. 前缀；例如 metric.labels.LABEL="VALUE"。

指标类型^发布阶段 显示名
种类、类型、单位 受监控的资源	说明 标签
billing/bytes_ingested ^GA 流式传输到日志存储分区的字节数
DELTA、INT64、By global	流式传输到日志存储分区以供编入索引、查询和分析的字节数；最多包含 30 天的存储。每 60 秒采样一次。采样后，数据在最长 300 秒的时间内不会显示。 resource_type：日志条目的受监控资源类型。
billing/bytes_stored ^Beta 版 日志记录保留
GAUGE、INT64、By global	默认 30 天后保留的日志量。每 60 秒采样一次。采样后，数据在最长 300 秒的时间内不会显示。 data_type： 此字段表示此处报告的日志量针对默认 30 天过后的保留期收费。所有报告的保留期限的 data_type 均设置为“CHARGED”。 log_bucket_location： 日志存储桶所在的位置。 log_bucket_id：日志存储桶的 ID。
billing/log_bucket_bytes_ingested ^Beta 版 流式传输到日志存储分区的字节数
DELTA、INT64、By global	流式传输到日志存储分区以供编入索引、查询和分析的字节数；最多包含 30 天的存储。每 60 秒采样一次。采样后，数据在最长 300 秒的时间内不会显示。 log_source：日志的来源资源容器。 resource_type：流式传输到日志存储分区的日志的受监控资源类型。 log_bucket_location：日志存储桶所在的位置。 log_bucket_id：日志存储桶的 ID。
billing/log_bucket_monthly_bytes_ingested ^Beta 版 每月流式传输到日志存储分区的字节数
GAUGE、INT64、By global	本月至今，流式传输到日志存储分区以用于编入索引、查询和分析的字节数；包含最多 30 天的存储。每 1800 秒采样一次。采样后，数据在最长 6000 秒的时间内不会显示。 log_source：日志的来源资源容器。 resource_type：流式传输到日志存储分区的日志的受监控资源类型。 log_bucket_location：日志存储桶所在的位置。 log_bucket_id：日志存储桶的 ID。
billing/monthly_bytes_ingested ^GA 每月流式传输到日志存储分区的字节数
GAUGE、INT64、By global	月初至今流入日志存储分区以进行索引、查询和分析的字节数；最多包含 30 天的存储。每 1800 秒采样一次。采样后，数据在最长 6000 秒的时间内不会显示。 resource_type：日志条目的受监控资源类型。
byte_count ^GA 日志字节数
DELTA、INT64、By	流式传输到日志存储分区的日志条目的字节数。不计入排除的日志。每 60 秒采样一次。 log：日志的名称。 severity：日志条目的严重性。
dropped_log_entry_count ^已弃用 基于日志的指标错误（已弃用）
DELTA、INT64、1	请改用“logging.googleapis.com/logs_based_metrics_error_count”。每 60 秒采样一次。 log：日志的名称。
exports/byte_count ^GA 导出的日志字节数
DELTA、INT64、By logging_sink	导出的日志条目中的字节数。每 60 秒采样一次。采样后，数据在最长 420 秒的时间内不会显示。
exports/error_count ^GA 导出日志条目失败
DELTA、INT64、1 logging_sink	导出失败的日志条目数。每 60 秒采样一次。采样后，数据在最长 420 秒的时间内不会显示。
exports/log_entry_count ^GA 导出的日志条目
DELTA、INT64、1 logging_sink	导出的日志条目数量。每 60 秒采样一次。采样后，数据在最长 420 秒的时间内不会显示。
log_entry_count ^GA 日志条目
DELTA、INT64、1	流式传输到日志存储分区的日志条目数。默认情况下，日志条目会存储 30 天。不计入排除的日志。每 60 秒采样一次。 log：日志的名称。 severity：日志条目的严重性。
logs_based_metrics_error_count ^GA 基于日志的指标错误
DELTA、INT64、1	流式传输到日志存储分区但未计入系统或用户定义的基于日志的指标的日志条目数。如果日志条目的时间戳比实际接收时间早 24 小时以上或晚 10 分钟，则会发生这种情况。每 60 秒采样一次。 log：日志的名称。
metric_label_cardinality ^Beta 版 基于日志的指标的有效基数（按标签计数）
GAUGE、INT64、1 metric	基于日志的指标的每个指标标签的基数估计值。会在大约 25 小时内计算估计值。每 60 秒采样一次。采样后，数据在最长 270 秒的时间内不会显示。 label：指标标签的名称。
metric_label_throttled ^Beta 版 基于日志的指标指标受限状态
GAUGE、BOOL、 metric	指示是否由于超出基数限制而丢弃基于日志的指标的指标标签。每 60 秒采样一次。采样后，数据在最长 270 秒的时间内不会显示。 label：指标标签的名称。
metric_throttled ^GA 基于日志的指标受限状态
GAUGE、BOOL、 metric	指示是否由于超出活跃时序（基数）限制而丢弃基于日志的指标的标签和积分。每 60 秒采样一次。采样后，数据在最长 270 秒的时间内不会显示。
time_series_count ^Beta 版 基于日志的指标活跃时序（基数）计数
GAUGE、INT64、1 metric	基于日志的指标的活跃时序（基数）估计值。系统仅会统计指标标签，并会在大约 25 小时内计算估计值。每 60 秒采样一次。采样后，数据在最长 270 秒的时间内不会显示。

世界协调时间 (UTC) 2024-06-21 18:55:13 生成的表。

用户定义的基于日志的指标

您可以创建基于日志的指标，以从日志中提取数字数据。用户定义的基于日志的指标可通过包含的日志和排除的日志计算值。

默认情况下，基于日志的用户定义的指标会从 Google Cloud 项目中日志路由器收到的所有日志中收集数据，但您也可以定义基于日志的指标，以从路由到特定日志存储桶的日志中收集数据。

• 如需了解如何定义和使用项目级基于日志的指标，请参阅使用基于日志的指标。
• 如需了解如何定义和使用基于日志的存储桶级指标，请参阅日志存储桶上基于日志的指标。

如果您定义自己的基于日志的指标，可能会产生费用。如需详细了解与指标提取相关的费用，请参阅付费指标。

基于日志的提醒

如果您希望在日志中出现特定消息时收到通知，请使用基于日志的提醒政策。基于日志的提醒政策有助于捕获日志中的安全相关事件，例如：

• 如果您希望事件出现在审核日志中时收到通知；例如，自然人用户访问服务账号的安全密钥。
• 您的应用将部署消息写入日志，并且您希望在记录部署更改时收到通知。

基于日志的提醒政策适用于预期罕见且重要的事件。您不想要了解趋势或模式，而是想知道发生了什么情况。

如需了解如何创建基于日志的提醒政策，请参阅使用基于日志的提醒政策。

您可以配置基于指标的提醒政策，以模拟基于日志的提醒政策。为此，请定义一个基于日志的指标，并在基于指标的提醒政策中使用该指标（阈值为 1）。 借助基于日志的提醒政策，您无需创建基于日志的指标和配置基于指标的提醒政策，即可实现上述行为。

提醒选项比较

本部分比较基于日志的指标构建的提醒政策与基于日志的提醒政策。

摘要表

下表总结了提醒方法，并提供了本文档中其他信息的链接：

基于日志的指标中的突发事件	基于日志的提醒政策	更多信息
基于源自日志条目的指标	基于单个日志条目中的字符串	基于日志的指标和 基于日志的提醒
用于通知您一段时间内的趋势	用于在日志中显示特定消息时通知您	基于日志的指标和 基于日志的提醒
计算依据： 包含的日志（系统定义的基于日志的指标） 包含的日志和排除的日志（用户定义的基于日志的指标）	仅匹配包含的日志	可用日志
处理范围限定项目的指标范围内的所有项目的指标	仅对范围项目中的日志执行操作	跨多个项目的提醒
当指标的值在指定时间段内满足条件时触发	每当特定日志条目与过滤条件匹配时触发	突发事件和通知
在 Monitoring 中创建和管理	在 Logging 中创建； 在 Monitoring 中管理	创建和管理提醒政策
在 Monitoring 中查看	在 Monitoring 中查看	查看提醒政策
可以使用 Monitoring 支持的任何通知渠道	可以使用 Monitoring 支持的任何通知渠道	通知渠道

可用日志

用户定义的基于日志的指标是根据 Google Cloud 项目的 Logging API 收到的所有日志计算得出的，不考虑适用于 Google Cloud 项目的任何包含过滤条件或排除项过滤条件。如果您根据用户定义的基于日志的指标创建提醒政策，则该政策会监控所有日志中的数据。

系统定义的基于日志的指标仅根据已存储在 Google Cloud 项目的日志存储分区中的日志计算得出。如果日志已被明确排除，则不会包含在这些指标中。如果您根据系统定义的基于日志的指标创建提醒政策，则该政策仅监控包含的日志中的数据。

基于日志的提醒政策仅对包含的日志起作用。您不能使用基于日志的提醒政策来通知您排除的日志中的消息。

基于日志的指标和基于日志的提醒政策都在 Google Cloud 项目范围内运行，而不是在单个存储分区中运行。

跨多个项目的提醒

您可以通过配置指标范围来监控多个项目的指标。指标范围列出了其监控的所有项目和账号。范围限定的项目托管指标范围。范围界定项目会存储您为指标范围创建的提醒政策和其他配置。指标范围的范围项目是由 Google Cloud 控制台项目选择器选择的项目。

基于基于日志的指标的提醒政策（如基于其他指标的提醒政策）适用于范围划定项目的指标范围内的所有项目。

基于日志的提醒政策不应用于指标范围；项目中的日志不属于指标范围。基于日志的提醒政策仅评估源自当前项目的日志或路由到当前项目的日志。

如需详细了解指标范围（包括多项目指标范围）以及范围限定的项目，请参阅以下内容：

• 指标范围
• 查看多个项目的指标

突发事件和通知

当满足提醒政策的条件时，Monitoring 会创建一个突发事件并将通知发送到提醒政策的通知渠道。如需查看突发事件的详细信息，请点击通知消息中的查看突发事件，或直接导航到 Monitoring 中的突发事件页面。

如提醒行为中所述，基于基于日志的指标的提醒政策会创建类似 Monitoring 中所有其他指标式提醒政策的突发事件和通知。如需详细了解如何管理基于指标的提醒政策的突发事件，请参阅基于指标的提醒政策的突发事件。

基于日志的提醒政策不是基于指标的提醒政策。 当日志条目满足基于日志的提醒政策的条件时，Monitoring 会按如下方式创建突发事件和通知：

• Cloud Logging 首次将与您的提醒查询匹配的日志条目写入日志存储桶时，会创建一个突发事件并发送通知。如果随后写入另一个匹配的日志条目，则仅当上一个突发事件已关闭时，才会创建新的突发事件。但是，已关闭的突发事件最多可能需要三分钟才能被完全清除。如果在关闭突发事件后的三分钟内收到匹配日志条目，系统可能会重新打开该突发事件，而不是创建新突发事件。

• 每个基于日志的提醒每天最多只能发送 20 条通知。如果您达到此限制，则通知中将包含一条消息，提示您已达到此上限。

• 创建基于日志的提醒政策时，您可以指定通知的最短间隔时间。例如，您可以选择 10 分钟作为通知的间隔时间。如果基于日志的提醒政策的条件在该时间段内两次满足，则您只会收到一条通知。

  对于每个基于日志的提醒，通知的最大频率为每 5 分钟 1 条通知。

• 除非您配置较短的时段或手动关闭突发事件，否则突发事件将在 7 天后自动关闭。

如需详细了解如何管理这些突发事件，请参阅管理基于日志的提醒政策的突发事件。

创建和管理提醒政策

您可以根据 Cloud Monitoring 中基于日志的指标创建、修改和删除提醒政策，像任何其他基于指标的提醒政策一样。如需了解详情，请参阅管理政策。

您可以使用 Logs Explorer 或 Cloud Monitoring API 创建基于日志的提醒政策。您可以在 Monitoring 中修改和删除基于日志的提醒政策。 如需了解详情，请参阅管理基于日志的提醒政策。

查看提醒政策

Monitoring 中的 Policies 页面列出了 Google Cloud 项目中的所有提醒政策。此列表包括使用基于日志的指标和基于日志的提醒政策的政策。

1. 在 Google Cloud 控制台中，转到 提醒页面：

   进入提醒

   如果您使用搜索栏查找此页面，请选择子标题为监控的结果。

2. 选择查看所有政策。

基于日志的提醒政策会显示在列表中，类型列的值为 Logs。基于指标（包括基于日志的指标）的提醒政策会显示在列表中，类型列的值为 Metrics。以下屏幕截图显示了政策列表的摘录：

通知渠道

您可以将来自基于指标和日志的提醒政策的通知发送到 Monitoring 支持的任何通知渠道。您必须先配置这些渠道，然后才能将其用于提醒政策。

如需了解详情，请参阅管理通知渠道。

授权要求

使用基于日志的指标或基于日志的提醒政策需要 Cloud Logging 和 Cloud Monitoring 的授权。

• 如需了解用户定义的基于日志的指标，请参阅基于日志的指标的权限。

• 如需了解基于日志的提醒政策，请参阅基于日志的提醒政策的权限。

费用和限制

如果您定义了自己的基于日志的指标，则需遵守以下要求：

• 用户定义的基于日志的指标的数量和结构存在限制。如需详细了解这些限制，请参阅基于日志的指标限制。
• 您可能需要为用户定义的基于日志的指标付费。如需详细了解与指标提取相关的费用，请参阅待付款指标。

使用基于基于日志的指标的提醒政策无需付费。

以下 Monitoring 限制相关提醒政策的应用：

类别	价值	政策类型^1
每个指标范围的提醒政策（指标和日志的总和）^2	500	指标、日志
每项提醒政策的条件数量	6	指标
指标缺失条件评估的 最长时间段^3	1 天	指标
指标阈值条件评估的 最长时间段^3	23 小时 30 分钟	指标
在指标阈值条件下， 所用过滤条件的最大长度	2,048 个 Unicode 字符	指标
由预测条件监控的 时序数量上限	64	指标
最短预测期	1 小时（3,600 秒）	指标
预测窗口期上限	2.5 天（216,000 秒）	指标
每项提醒政策的通知渠道数量	16	指标、日志
通知率上限	每个基于日志的提醒每 5 分钟 1 条通知	日志
通知数上限	每个基于日志的提醒每天 20 条通知	日志
每项提醒政策同时打开的突发事件数量上限	1,000	指标
无新数据突发事件的 自动关闭期	7 天	指标
非手动关闭的突发事件最长持续时间	7 天	日志
已关闭的突发事件的保留期限	13 个月	不适用
未结突发事件的保留期限	无限期	不适用
每个指标范围的通知渠道	4000	不适用
每次延后的提醒政策数量上限	16	指标、日志
保留延后	13 个月	不适用

¹指标：基于指标数据的提醒政策；日志：基于日志消息的提醒政策（基于日志的提醒）
²Apigee 和 Apigee Hybrid 与 Cloud Monitoring 深度集成。所有 Apigee 订阅层级（标准版、企业版和企业加强版）的提醒限制与 Cloud Monitoring 相同，即每个指标范围 500 个。
³条件评估的最长时间段是校准时间段和时长窗口值的总和。例如，如果将校准时间段设置为 15 小时，并将时长窗口设置为 15 小时，则需要 30 小时的数据来评估条件。