日志排除

本页面介绍了如何使用 Cloud Console 和 Logging API 从提取中排除日志。

使用 Cloud Logging,您可以通过在将日志路由到日志存储分区的日志接收器上添加排除项过滤条件,从日志存储分区中排除日志。使用日志记录查询语言,您可以编写一个过滤条件,用于定义要从日志存储分区中排除哪些日志。

日志存储页面会跟踪项目中的日志量。日志路由器为您提供了相关工具,用于停用所有日志提取操作或排除(舍弃)您不感兴趣的日志条目,以便最大限度降低超出每月配额的日志费用。如需详细了解系统如何处理排除的日志条目,请转到本页面中的排除的工作原理

如需详细了解 Cloud Logging 费用,请参阅价格。请注意,如果您在发送 Virtual Private Cloud 流日志后又从 Cloud Logging 中排除这些日志,则需支付 VPC 流日志生成费用

跟踪日志使用情况

如需跟踪项目的日志量,请转到 Cloud Logging 控制台中的日志存储页面:

转到“日志存储”

页面顶部显示了项目接收的日志的汇总统计信息:

日志存储空间用量汇总统计信息

系统会报告以下统计信息:

  • 本月提取的日志量:您的项目自本月第一天以来接收的日志量。

  • 上月提取的日志量:您的项目在上个日历月接收的日志量。

  • 预计提取日志量:根据当前使用情况,预计您的项目将在本月结束时接收的日志量。

日志量不包含某些审核日志:所有管理员活动审核日志和所有系统事件审核日志。这些日志是免费的,不能排除或停用。

排除的工作原理

下图展示了系统如何在 Cloud Logging 中处理排除的日志条目:

演示 Cloud Logging 如何路由日志条目的图。

以下情况适用于 Logging 中已排除的日志条目:

  • 排除的日志条目不计入提供给项目的 Logging 配额。如需了解详情,请参阅 Logging 价格

  • 日志浏览器中不显示排除的日志条目;它们不适用于 Error Reporting 或 Cloud Debugger。

  • 您可以使用包含接收器目标位置的日志接收器将日志条目导出到 Cloud Logging 以外。这些相同日志也可以从提取中排除。如需了解详情,请参阅日志导出

  • 无法停用的审核日志也无法排除;但这些类型的审核日志是免费的。

通过创建排除项过滤条件,您可以控制要排除(舍弃)哪些日志条目。例如,您可以从单个虚拟机实例(而不是从所有虚拟机实例)中排除日志条目。

排除项限制

在一个项目中,最多可以有 50 个排除项过滤条件。

排除项时间

Logging API 接收日志后,会排除这些日志。因此,排除日志不会减少 entries.write API 调用的数量。

创建排除项过滤器

您可以为新日志接收器或现有接收器创建排除项过滤条件。

为新接收器创建排除项过滤条件

要使用日志路由器为新日志接收器创建排除项过滤条件,请执行以下操作:

  1. 按照创建接收器过程进行操作。

  2. 选择要从接收器中过滤掉的日志(可选)步骤中,您可以创建排除项过滤条件以排除日志。

  3. 点击添加排除对象

  4. 排除项过滤条件名称字段中输入名称。

  5. 输入排除项过滤条件

    提供一个介于 0100 之间的整数。与排除项过滤条件匹配的传入日志将根据该值进行采样。

    值为 0 会对与过滤条件匹配的日志进行 0% 的采样;因此,0 相当于停用排除项过滤条件。值为 100 会对所有日志进行 100% 的采样;因此,与排除项过滤条件匹配的所有日志都会从目标位置中排除。值为 50 会对与排除项过滤条件匹配的日志进行 50% 的采样;因此,将会排除与排除项匹配的日志的 50%,然后将剩余的 50% 路由到目标位置。

    您最多可以为每个接收器创建 50 个排除项过滤条件。

  6. 构建排除项过滤条件部分,输入与要排除的日志条目匹配的过滤条件表达式。

  7. 点击添加排除项,根据需要添加其他过滤条件。

  8. 完成后,点击创建接收器

为现有接收器创建排除项过滤条件

要使用日志路由器为现有日志接收器创建排除项过滤条件,请执行以下操作:

  1. 从“日志记录”菜单中选择日志路由器

    转到“日志路由器”

  2. 对于要添加排除项过滤条件的接收器,请点击更多

  3. 点击修改接收器

  4. 选择要从接收器中过滤掉的日志(可选)部分,创建排除项过滤条件以排除日志。

  5. 点击添加排除对象

  6. 排除项过滤条件名称字段中输入名称。

  7. 输入排除项过滤条件

    提供一个介于 0100 之间的整数。与排除项过滤条件匹配的传入日志将根据该值进行采样。

    值为 0 会对与过滤条件匹配的日志进行 0% 的采样;因此,0 相当于停用排除项过滤条件。值为 100 会对所有日志进行 100% 的采样;因此,与排除项过滤条件匹配的所有日志都会从目标位置中排除。值为 50 会对与排除项过滤条件匹配的日志进行 50% 的采样;因此,将会排除与排除项匹配的日志的 50%,然后将剩余的 50% 路由到目标位置。

    您最多可以为每个接收器创建 50 个排除项过滤条件。

  8. 构建排除项过滤条件部分,输入与要排除的日志条目匹配的过滤条件表达式。

  9. 点击添加排除项,根据需要添加其他过滤条件。

  10. 完成后,点击更新接收器

在创建过滤条件时,您可能会遇到以下某种情况:

  • 如果您修改了 _Default 接收器的过滤条件,则可能需要恢复默认过滤条件。为此,请在构建包含项过滤条件字段中输入以下内容:

    NOT LOG_ID("cloudaudit.googleapis.com/activity") AND NOT \
    LOG_ID("externalaudit.googleapis.com/activity") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("externalaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/access_transparency") AND NOT \
    LOG_ID("externalaudit.googleapis.com/access_transparency")
    
  • 您可能希望将所有日志路由到目标位置,而不排除任何日志。为此,请将构建包含项过滤条件字段留空。

  • 您可能需要排除所有日志,直至到达目标位置。为此,请停用该目标位置的接收器

查看排除项过滤器

要查看当前的排除项过滤条件,请执行以下操作:

  1. 从“日志记录”菜单中选择日志路由器

    转到“日志路由器”

  2. 对于要查看排除项过滤条件的接收器,请点击更多

  3. 选择查看接收器详情

  4. 面板随即显示接收器的详细信息,包括排除项过滤条件。

    “接收器详情”面板的图片

    在此示例中,系统会显示 _Default 存储分区的详细信息,并且日志记录功能已停用,由 google-ui-logs-ingestion-off 过滤条件指示。

修改排除项

您可以修改现有的排除项过滤条件,以排除更多或更少的日志条目。

  1. 从“日志记录”菜单中选择日志路由器

    转到“日志路由器”

  2. 对于要查看排除项过滤条件的接收器,请点击更多

  3. 点击修改接收器

  4. 构建排除项过滤条件部分中,修改过滤条件表达式以匹配要排除的日志条目。

  5. 点击添加排除项,根据需要添加其他过滤条件。

  6. 完成后,点击更新接收器

移除排除项

要修改、停用或删除排除项过滤条件,请按照修改排除项指南删除特定接收器的排除项。

API 中的排除项

如需在 Logging API 中创建排除项过滤条件,请使用 projects.exclusions.create 方法。

该 API 还提供了查看、删除和更新排除项过滤条件的方法。

此外,该 API 中还有一些排除方法,适用于由组织、结算帐号和文件夹接收的日志。这些排除项只能在 Logging API 中创建;它们在 Cloud Logging 控制台中不受支持。

如需了解可能在排除项中有用的日志查询的示例,请参阅查询示例

API 中的采样排除项

如需排除少于 100% 的匹配日志条目,请在日志查询中使用 sample 函数

导出排除的日志

您可以先将日志条目导出至 Cloud Storage、BigQuery 或 Pub/Sub,然后再将其排除,这样就不会永久丢失您排除的日志条目。

要启动排除项并导出排除的日志,请执行以下操作:

  1. 创建一个与要排除和导出的日志条目匹配的查询。

    提示:编写查询,使其与默认启用的任何审核日志都不匹配。匹配这些审核日志条目不会影响排除项,但会导致导出更多日志条目。

  2. 使用日志查询创建一个导出接收器,然后开始导出匹配的日志条目。

  3. 使用日志查询创建一个排除项过滤条件,然后开始排除匹配的日志条目。

要停止排除项并导出排除的日志,请先停用排除项过滤器,然后再停止导出接收器。

如需详细了解如何导出日志,请参阅导出日志

导出价格

导出的日志不会产生 Cloud Logging 费用,但可能会产生目标位置费用。如需了解详情,请查看相应产品的价格页面:

另请注意,如果您在发送 Virtual Private Cloud 流日志后又从 Cloud Logging 中排除这些日志,则除了目标位置费用外,还需支付 VPC 流日志生成费用