监控日志

本文档介绍了如何使用 Cloud Monitoring 观察日志中的趋势，并在出现描述的条件时通知您。要向 Cloud Monitoring 提供日志中的数据，Logging 会为您提供以下内容：

• 您可以按以下方式使用基于日志的指标：
  • 创建提醒政策以通知您一段时间的变化。
  • 创建随时间显示变化的图表。
• 基于日志的提醒，可在日志中出现特定事件时通知您。

如果要在一段时间内监控日志，请使用以基于日志的指标为基础的图表或提醒政策。

如果您希望系统近乎实时地通知您的日志中出现了一条消息，请使用基于日志的提醒。

本文档的其余部分介绍了如何在基于日志的指标与基于日志的指标之间选择，讨论了它们之间的区别，并提供了授权、费用和限制的相关信息。

基于日志的指标

如果要在一段时间内监控日志中的周期性事件，请使用基于日志的指标。基于日志的指标通过日志生成数值数据。如果要执行以下任一操作，则可使用基于日志的指标：

• 计算日志中消息的出现次数（例如警告或错误），并在出现次数超过阈值时接收通知。
• 观察数据中的趋势（例如日志中的延迟值），并在这些值以不可接受的方式更改时接收通知。
• 创建图表以显示从日志中提取的数字数据。

由于基于日志的指标通过日志生成数字数据，因此您可以在提醒政策中使用这些指标，并在图表中显示这些指标。如需了解如何为基于日志的指标创建提醒政策和图表，请参阅创建图表和提醒。

Cloud Monitoring 提供一组预定义的基于日志的指标，您可以定义自己的指标。如需查看系统定义的基于日志的指标的列表，请点击以下 按钮：

系统定义的基于日志的指标

此表中的“指标类型”字符串必须以 logging.googleapis.com/ 为前缀。表中的条目已省略该前缀。 查询标签时，请使用 metric.labels. 前缀；例如 metric.labels.LABEL="VALUE"。

指标类型^发布阶段 显示名
种类、类型、单位 受监控的资源	说明 标签
billing/bytes_ingested ^GA 流式传输到日志存储分区的字节数
DELTA、INT64、By global	流式传输到日志存储分区以编入索引、查询和分析的字节数；最长 30 天的存储量。每 60 秒采样一次。采样后，数据在最长 300 秒的时间内不会显示。 resource_type：日志条目的受监控资源类型。
billing/bytes_stored ^Beta 版 Logging 保留
GAUGE、INT64、By global	保留时间超出默认 30 天的日志量。每 60 秒采样一次。采样后，数据在最长 300 秒的时间内不会显示。 data_type： 此字段表示此处报告的日志量会针对超过默认 30 天的保留期付费。所有报告保留期限的 data_type 均设置为“CHARGED”。 log_bucket_location： 日志存储桶所在的位置。 log_bucket_id：日志存储桶的 ID。
billing/log_bucket_bytes_ingested ^Beta 版 流式传输到日志存储分区的字节数
DELTA、INT64、By global	流式传输到日志存储分区以编入索引、查询和分析的字节数；最长 30 天的存储量。每 60 秒采样一次。采样后，数据在最长 300 秒的时间内不会显示。 log_source：日志的来源资源容器。 resource_type：流式传输到日志存储分区的日志的受监控资源类型。 log_bucket_location：日志存储桶所在的位置。 log_bucket_id：日志存储桶的 ID。
billing/log_bucket_monthly_bytes_ingested ^Beta 版 每月流式传输到日志存储分区的字节数
GAUGE、INT64、By global	月初至今，流式传输到日志存储分区以用于编入索引、查询和分析的字节数；最长包含 30 天的存储量。每 1800 秒采样一次。采样后，数据在最长 6000 秒的时间内不会显示。 log_source：日志的来源资源容器。 resource_type：流式传输到日志存储分区的日志的受监控资源类型。 log_bucket_location：日志存储桶所在的位置。 log_bucket_id：日志存储桶的 ID。
billing/monthly_bytes_ingested ^GA 每月流式传输到日志存储分区的字节数
GAUGE、INT64、By global	月初至今流式传输到日志存储分区以编入索引、查询和分析的字节数；最长存储 30 天。每 1800 秒采样一次。采样后，数据在最长 6000 秒的时间内不会显示。 resource_type：日志条目的受监控资源类型。
byte_count ^GA 日志字节数
DELTA、INT64、By	流式传输到日志存储分区的日志条目中的字节数。不计入排除的日志。每 60 秒采样一次。 log：日志的名称。 severity: 日志条目的严重程度。
dropped_log_entry_count ^已弃用 基于日志的指标错误（已弃用）
DELTA、INT64、1	请改用“logging.googleapis.com/logs_based_metrics_error_count”。每 60 秒采样一次。 log：日志的名称。
exports/byte_count ^GA 导出的日志字节数
DELTA、INT64、By logging_sink	导出的日志条目中的字节数。每 60 秒采样一次。采样后，数据在最长 420 秒的时间内不会显示。
exports/error_count ^GA 导出日志条目失败
DELTA、INT64、1 logging_sink	导出失败的日志条目数。每 60 秒采样一次。采样后，数据在最长 420 秒的时间内不会显示。
exports/log_entry_count ^GA 导出的日志条目
DELTA、INT64、1 logging_sink	导出的日志条目数量。每 60 秒采样一次。采样后，数据在最长 420 秒的时间内不会显示。
log_entry_count ^GA 日志条目
DELTA、INT64、1	流式传输到日志存储分区的日志条目数。默认情况下，日志条目会存储 30 天。不计入排除的日志。每 60 秒采样一次。 log：日志的名称。 severity: 日志条目的严重程度。
logs_based_metrics_error_count ^GA 基于日志的指标错误
DELTA、INT64、1	流式传输到日志存储分区中未计入系统或用户定义的基于日志的指标的日志条目数。如果日志条目的时间戳比实际接收时间早 24 小时以上或晚 10 分钟，则会发生这种情况。每 60 秒采样一次。 log：日志的名称。
metric_label_cardinality ^Beta 版 基于日志的指标的有效基数（按标签计数）
GAUGE、INT64、1 指标	基于日志的指标的每个指标标签的基数估计值。会在大约 25 小时内计算估计值。每 60 秒采样一次。采样后，数据在最长 270 秒的时间内不会显示。 label：指标标签的名称。
metric_label_throttled ^Beta 版 基于日志的指标指标受限状态
GAUGE、BOOL、 指标	指示是否由于超出基数限制而丢弃基于日志的指标的指标标签。每 60 秒采样一次。采样后，数据在最长 270 秒的时间内不会显示。 label：指标标签的名称。
metric_throttled ^GA 基于日志的指标受限状态
GAUGE、BOOL、 指标	指示是否由于超出活跃时序（基数）限制而丢弃基于日志的指标的标签和积分。每 60 秒采样一次。采样后，数据在最长 270 秒的时间内不会显示。
time_series_count ^Beta 版 基于日志的指标活跃时序（基数）计数
GAUGE、INT64、1 指标	基于日志的指标的活跃时序（基数）估计值。系统仅会统计指标标签，并会在大约 25 小时内计算估计值。每 60 秒采样一次。采样后，数据在最长 270 秒的时间内不会显示。

世界协调时间 (UTC) 2024-04-11 19:12:46 生成的表。

用户定义的基于日志的指标

您可以创建基于日志的指标，以从日志中提取数字数据。用户定义的基于日志的指标可通过包含的日志和排除的日志计算值。

默认情况下，用户定义的基于日志的指标会从 Google Cloud 项目中的日志路由器收到的所有日志收集数据，但您可以定义基于日志的指标，从路由到特定日志存储桶的日志中收集数据。

• 如需了解如何定义和使用基于日志的项目级指标，请参阅使用基于日志的指标。
• 如需了解如何定义和使用基于日志的存储桶级指标，请参阅日志存储桶上基于日志的指标。

如果您定义自己的基于日志的指标，可能会产生费用。如需详细了解与指标提取相关的费用，请参阅收费指标。

基于日志的提醒

如果您希望在日志中出现特定消息时收到通知，请使用基于日志的提醒。基于日志的提醒非常适合于在日志中捕获安全相关事件，如下所示：

• 如果您希望事件出现在审核日志中时收到通知；例如，自然人用户访问服务账号的安全密钥。
• 您的应用将部署消息写入日志，并且您希望在记录部署更改时收到通知。

基于日志的提醒非常适合您认为极少见和重要的事件。您不想要了解趋势或模式，而是想知道发生了什么情况。

如需了解如何创建基于日志的提醒，请参阅使用基于日志的提醒。

您可以通过定义基于日志的指标并在阈值为 1 的提醒政策中使用该指标来模拟基于日志的提醒。基于日志的提醒为您提供了这种行为，而无需创建基于日志的指标指标并配置基于指标的提醒政策。

提醒选项比较

本部分对根据基于日志的指标构建的提醒政策与根据基于日志的提醒构建的提醒政策进行比较。

摘要表

下表总结了提醒方法，并提供了本文档中其他信息的链接：

基于日志的指标的提醒	基于日志的提醒	更多信息
基于源自日志条目的指标	基于单个日志条目中的字符串	基于日志的指标和 基于日志的提醒
用于通知您一段时间内的趋势	用于在日志中显示特定消息时通知您	基于日志的指标和 基于日志的提醒
计算依据： 包含的日志（系统定义的基于日志的指标） 包含的日志和排除的日志（用户定义的基于日志的指标）	仅匹配包含的日志	可用日志
处理范围限定项目的指标范围内的所有项目的指标	仅处理范围限定的项目中的日志	跨多个项目的提醒
当指标的值在指定时间段内满足条件时触发	每当特定日志条目与过滤条件匹配时触发	突发事件和通知
在 Monitoring 中创建和管理	在 Logging 中创建； 在 Monitoring 中管理	创建和管理提醒政策
在 Monitoring 中查看	在 Monitoring 中查看	查看提醒政策
可以使用 Monitoring 支持的任何通知渠道	可以使用 Monitoring 支持的任何通知渠道	通知渠道

可用日志

用户定义的基于日志的指标根据 Logging API 针对 Google Cloud 项目收到的所有日志计算得出，不考虑可能适用于 Google Cloud 项目的任何包含过滤条件或排除项过滤条件。如果您根据用户定义的基于日志的指标创建提醒政策，则该政策会监控所有日志中的数据。

系统定义的基于日志的指标仅根据存储在 Google Cloud 项目的日志存储分区中的日志计算。如果日志已被明确排除，则不会包含在这些指标中。如果您根据系统定义的基于日志的指标创建提醒政策，则该政策仅监控包含的日志中的数据。

基于日志的指标提醒仅对包含的日志执行操作；您无法使用基于日志的提醒来通知您排除日志中的消息。

基于日志的指标和基于日志的提醒都在 Google Cloud 项目范围（而不是单个存储分区）上运行。

跨多个项目的提醒

您可以通过配置指标范围来监控多个项目的指标。指标范围列出了其监控的所有项目和账号。范围限定的项目托管指标范围。范围界定项目会存储您为指标范围创建的提醒政策和其他配置。指标范围的范围项目是由 Google Cloud 控制台项目选择器选择的项目。

基于基于日志的指标的提醒政策（如基于其他指标的提醒政策）适用于范围划定项目的指标范围内的所有项目。

基于日志的指标提醒不适用于指标范围；项目中的日志不属于指标范围。基于日志的提醒仅会评估源自当前项目的日志或路由到当前项目的日志。

如需详细了解指标范围（包括多项目指标范围）以及范围限定的项目，请参阅以下内容：

• 指标范围
• 查看多个项目的指标

突发事件和通知

触发提醒政策时，它会在 Monitoring 中打开突发事件，并向您选择的任何渠道发送通知。如需查看突发事件的详细信息，请点击通知消息中的查看突发事件，或直接导航到 Monitoring 中的突发事件页面。

如提醒行为中所述，基于基于日志的指标的提醒政策会创建类似 Monitoring 中所有其他指标式提醒政策的突发事件和通知。如需详细了解如何管理基于指标的提醒政策的突发事件，请参阅基于指标的提醒的突发事件。

基于日志的提醒不是基于指标的提醒。基于日志的指标提醒按如下方式创建突发事件和通知：

• Cloud Logging 首次将与您的提醒查询匹配的日志条目写入日志存储桶时，系统会创建一个突发事件，并发送通知。如果随后写入了另一个匹配的日志条目，则只有在上一个突发事件已关闭时，系统才会创建新突发事件。但是，已关闭的突发事件最多可能需要三分钟才能被完全清除。如果在关闭突发事件后的三分钟内收到匹配日志条目，系统可能会重新打开该突发事件，而不是创建新突发事件。

• 每个基于日志的提醒每天最多只能发送 20 条通知。如果您达到此限制，则通知中将包含一条消息，提示您已达到此上限。

• 创建基于日志的指标提醒时，您可以指定通知之间的最短时间间隔，以减少重复通知。例如，如果您选择 10 分钟作为通知间隔时间，并且系统会在这段时间内触发两次基于日志的提醒，则您只会收到一条通知。

  对于每个基于日志的提醒，通知频率上限是每 5 分钟 1 条通知。

• 除非您配置较短的时段或手动关闭突发事件，否则突发事件将在 7 天后自动关闭。

如需详细了解如何管理这些突发事件，请参阅管理基于日志的提醒的突发事件。

创建和管理提醒政策

您可以根据 Cloud Monitoring 中基于日志的指标创建、修改和删除提醒政策，像任何其他基于指标的提醒政策一样。如需了解详情，请参阅管理政策。

您可以使用日志浏览器或 Cloud Monitoring API 创建基于日志的提醒。您可以在 Monitoring 中修改和删除基于日志的提醒。如需了解详情，请参阅管理基于日志的提醒。

查看提醒政策

Monitoring 中的政策页面列出了 Google Cloud 项目中的所有提醒政策。此列表包括使用基于日志的指标和基于日志的提醒的政策。

1. 在 Google Cloud 控制台的导航面板中，选择 Monitoring，然后选择  提醒：

   进入提醒

2. 选择查看所有政策。

基于日志的提醒会显示列表中，类型列中为 Logs 值。基于指标（包括基于日志的指标）的提醒会显示在列表中，类型列中为 Metrics 值。以下屏幕截图显示了政策列表的摘录：

通知渠道

您可以将基于指标和基于日志的提醒通知发送到 Monitoring 支持的任何通知渠道。您必须先配置这些渠道，然后才能在提醒政策中使用它们。

如需了解详情，请参阅管理通知渠道。

授权要求

使用基于日志的指标或基于日志的提醒需要获得对 Cloud Logging 和 Cloud Monitoring 的授权。

• 如需了解用户定义的基于日志的指标，请参阅基于日志的指标的权限。

• 如需了解基于日志的提醒，请参阅基于日志的提醒的权限。

费用和限制

如果您定义了自己的基于日志的指标，则需遵守以下要求：

• 用户定义的基于日志的指标的数量和结构存在限制。如需详细了解这些限制，请参阅基于日志的指标限制。
• 您可能需要为用户定义的基于日志的指标付费。如需详细了解与指标提取相关的费用，请参阅待付款指标。

使用基于基于日志的指标的提醒政策无需付费。

以下 Monitoring 限制相关提醒政策的应用：

类别	值	政策类型^1
每个指标范围的提醒政策（指标和日志的总和）^2	500	指标、日志
每项提醒政策的条件数量	6	指标
指标缺失条件评估的 最长时间段^3	1 天	指标
指标阈值条件评估的 最长时间段^3	23 小时 30 分钟	指标
在指标阈值条件下使用的 过滤器的最大长度	2048 个 Unicode 字符	指标
一个预测条件 监控的时序数量上限	64	指标
最短预测期	1 小时（3,600 秒）	指标
预测时间范围上限	2.5 天（216,000 秒）	指标
每项提醒政策的通知渠道数量	16	指标、日志
通知率上限	每个基于日志的提醒每 5 分钟 1 条通知	日志
通知数上限	每个基于日志的提醒每天 20 条通知	日志
每项提醒政策同时打开的突发事件数量上限	1,000	指标
无新数据突发事件的 自动关闭期	7 天	指标
非手动关闭的突发事件最长持续时间	7 天	日志
已关闭的突发事件的保留期限	13 个月	不适用
未结突发事件的保留期限	无限期	不适用
每个指标范围的通知渠道	4000	不适用
每次延后的提醒政策数量上限	16	指标、日志
延后的保留时间	13 个月	不适用

¹指标：基于指标数据的提醒政策；日志：基于日志消息的提醒政策（基于日志的提醒）
²Apigee 和 Apigee Hybrid 与 Cloud Monitoring 深度集成。所有 Apigee 订阅层级（标准版、企业版和企业加强版）的提醒限制与 Cloud Monitoring 相同，即每个指标范围 500 个。
³条件评估的最长时间段是校准时间段和时长窗口值的总和。例如，如果将校准时间段设置为 15 小时，并将时长窗口设置为 15 小时，则需要 30 小时的数据来评估条件。