路由和存储概览

本页面介绍了 Cloud Logging 如何处理日志条目,以及 Logging 路由和存储的关键组件。

概括来讲,了解 Cloud Logging 如何路由和存储日志条目:

演示 Cloud Logging 如何路由日志条目的图。

使用日志路由器注入和路由日志

以下部分介绍了 Logging 如何提取日志,以及如何使用接收器通过日志路由器进行路由。

日志路由器

在调用 entries.write 期间,日志条目会发送到 logName 字段中指定的 Google Cloud 资源

Cloud Logging 通过可在其中传递日志路由器的 Cloud Logging API 接收日志条目。日志路由器中的接收器会根据现有包含项过滤条件排除项过滤条件检查每个日志条目,以确定日志条目应发送到哪些目标位置(包括 Cloud Logging 存储桶)。您可以使用接收器组合将日志路由到多个目标位置。

为了可靠地路由日志,日志路由器还会临时存储日志(上图中未显示),以便在任何日志接收器上发生临时中断时提供缓冲。请注意,日志路由器的临时存储不同于 Logging 存储桶提供的长期存储。

接收器

接收器控制 Cloud Logging 路由日志的方式。使用接收器,您可以将部分或全部日志路由到受支持的目标位置。您可能希望控制日志路由方式的一些原因如下所示:

  • 存储不太可能读取但必须出于合规性目的而保留的日志。
  • 以对您有用的格式将日志整理到存储桶中。
  • 针对日志使用大数据分析工具。
  • 将日志流式传输到其他应用、其他存储区或第三方。

接收器属于给定的 Google Cloud 资源:Cloud 项目、结算帐号、文件夹和组织。资源收到日志条目后,它会根据该资源中包含的接收器,以及根据属于资源层次结构下的任何祖先接收器(如果已启用)来路由日志条目。日志条目会发送到与每个匹配接收器关联的目标位置。

Cloud Logging 会为每个 Cloud 项目、结算帐号、文件夹和组织提供两个预定义接收器:_Required_Default。在资源中生成的所有日志都会通过这两个接收器自动处理,然后存储在相应命名的 _Required_Default 存储桶中。

接收器彼此独立运行。无论预定义的接收器如何处理日志条目,您都可以创建自己的接收器,将部分或全部日志路由到各种受支持的目标位置或不由 Cloud Logging 存储。

每个接收器的路由行为通过为接收器配置包含项过滤条件排除项过滤条件进行控制。根据接收器的配置,Cloud Logging 接收的每个日志条目都属于以下一个或多个类别:

  • 存储在 Cloud Logging 中且不路由到其他位置。

  • 存储在 Cloud Logging 中且路由到受支持的目标位置。

  • 未存储在 Cloud Logging 中,但路由到受支持的目标位置。

  • 既未存储在 Cloud Logging 中,也未路由到其他位置。

您通常在 Cloud 项目级层创建接收器,但如果要组合和路由 Google Cloud 组织或文件夹包含的资源中的日志,则可以创建汇总接收器

您无法路由在创建接收器之前 Logging 收到的日志条目,因为在日志通过 Logging API 传递时会进行路由,并且新的路由规则仅适用于在创建这些规则后写入的日志。如果您需要追溯路由日志条目,请参阅复制日志

包含项过滤条件

对于任何新接收器,如果您未指定过滤条件,则所有日志都会匹配并路由到接收器的目标位置。您可以通过设置包含项过滤条件来配置接收器,以选择特定日志。您还可以设置一个或多个排除过滤条件,以从接收器的目标位置排除日志。

配置接收器时,您可以使用 Logging 查询语言来创建包含项过滤条件。接收器还可以包含多个排除项过滤条件

Logging 收到的每个日志条目都会根据以下过滤规则进行路由:

  • 接收器的排除项过滤条件会覆盖其定义的任何包含项过滤条件。如果日志与接收器中的任何排除项过滤条件匹配,则无论包含项过滤条件如何定义,日志都与接收器不匹配。日志条目不会路由到接收器的目标位置。

  • 如果接收器不包含包含项过滤条件,则会出现以下情况:

    • 如果日志条目与任何排除项过滤条件匹配,则不会路由到接收器的目标位置。
    • 如果日志条目与任何排除项过滤条件不匹配,则会路由到接收器的目标位置。空包含项过滤条件会选择所有日志。
  • 如果接收器包含包含项过滤条件,则会出现以下情况:

    • 如果日志条目与包含项过滤条件匹配,则会路由到接收器的目标位置。
    • 如果日志条目与包含项过滤条件不匹配,则不会路由到接收器的目标位置。

排除过滤器的数量

创建接收器时,您可以设置多个排除项过滤条件,以免将匹配的日志条目从路由到接收器的目标位置或由 Cloud Logging 提取。您可以使用 Logging 查询语言创建排除项过滤条件。

Logging API 接收日志后,会排除这些日志。因此,排除日志不会减少 entries.write API 调用的数量。

日志浏览器或 Cloud Debugger 中不提供排除的日志条目。

未路由到至少一个日志存储桶的日志条目(通过排除项过滤条件显式排除,或者由于它们与任何具有 Logging 存储目标位置的接收器不匹配)也会从 Error Reporting 中排除。

用户定义的基于日志的指标是根据包含和排除的日志中的日志条目计算的。如需了解详情,请参阅监控日志

支持的目标

您可以使用日志路由器将某些日志路由到任何 Cloud 项目中的受支持目标。Logging 支持以下接收器目标位置:

  • Cloud Storage:存储在 Cloud Storage 存储桶中的 JSON 文件;提供经济实惠的长期存储空间。
  • BigQuery:在 BigQuery 数据集中创建的表;提供大数据分析功能。
  • Pub/Sub:传送至 Pub/Sub 主题的 JSON 格式的消息;支持将 Splunk 等第三方服务与 Logging 集成。
  • Cloud Logging:保存在日志存储桶中的日志条目;提供具有可自定义保留期限的 Cloud Logging 存储空间。

如需详细了解如何将日志路由到支持的目标,请参阅配置接收器

存储、查看和管理日志

以下部分详细介绍了日志在 Cloud Logging 中的存储方式,以及如何查看和管理日志。

日志存储桶

Cloud Logging 使用日志存储桶作为 Google Cloud 项目、结算帐号、文件夹和组织中的容器,用于存储和整理日志数据。您存储在 Cloud Logging 中的日志会编入索引、进行优化并传送,以便您可以实时分析日志。Cloud Logging 存储桶是与名称类似的 Cloud Storage 存储桶不同的存储实体。

对于每个 Cloud 项目、结算帐号、文件夹和组织,Logging 都会自动创建两个日志存储桶:_Required_Default。Logging 会自动创建名为 _Required_Default 的接收器,在默认配置中,这些接收器会将日志路由到相应命名的存储桶。

您可以停用路由到 _Default 日志存储桶的日志。您无法更改 _Required 存储桶的路由规则。

此外,您还可以为任何 Cloud 项目创建用户定义的存储桶

您可以创建接收器,以将所有或一部分日志路由到任何日志存储桶。这种灵活性让您可以选择存储您的日志的 Cloud 项目,以及与其一起存储哪些其他日志。

如需了解详情,请参阅配置日志存储分区

_Required 日志存储分区

Cloud Logging 会自动将以下类型的日志路由到 _Required 存储分区:

Cloud Logging 会将日志在此存储分区中保留 400 天;您无法更改此保留期限。

您无法修改或删除 _Required 存储分区。您无法停用将接收器路由到 _Required 存储分区的 _Required 接收器。

提取价格和存储价格都不适用于存储在 _Required 日志存储分区中的日志数据。

_Default 日志存储分区

_Required 存储分区提取的任何日志条目都由 _Default 接收器路由到 _Default 存储分区,除非您停用或修改 _Default 接收器。如需了解如何修改接收器,请参阅管理接收器

您无法删除 _Default 存储分区。

保留在 _Default 存储分区中的日志会保留 30 天,除非您为该存储分区配置自定义保留期限

Cloud Logging 价格适用于保存在 _Default 存储分区中的日志数据。

用户定义的日志存储分区

您还可以在任何 Cloud 项目中创建用户定义的日志存储分区。通过将接收器应用于用户定义的日志存储桶,您可以将日志的任何子集路由到任何日志存储桶,这样一来,您便可以选择将日志存储在哪个 Cloud 项目中以及与其一起存储哪些其他日志。

例如,对于 Project-A 中生成的任何日志,您都可以配置接收器,以将该日志路由到 Project-A 或 Project-B 中用户定义的存储分区。

无论日志类型如何,Cloud Logging 价格都适用于保留在此存储分区中的日志数据。

您可以为存储分区配置自定义保留期限

如需了解如何管理用户定义的日志存储桶(包括删除或更新这些存储桶),请参阅配置和管理日志存储桶

地区化

日志存储桶属于区域性资源。对日志进行存储、编入索引和搜索的基础架构位于特定的地理位置。Google 管理着该基础架构,以便您的应用在该区域内的各可用区之间以冗余方式提供。

如需详细了解日志数据位置,请参阅 Cloud Logging 的数据区域性

创建日志存储分区时,您可以选择将日志存储在以下任何区域中:

区域
亚洲 asia-east1
asia-east2
asia-northeast1
asia-northeast2
asia-northeast3
asia-south1
asia-south2
asia-southeast1
asia-southeast2
澳大利亚 australia-southeast1
australia-southeast2
欧洲 europe-central2
europe-north1
europe-west1
europe-west2
europe-west3
europe-west4
europe-west6
北美洲 northamerica-northeast1
northamerica-northeast2
us-central1
us-east1
us-east4
us-west1
us-west2
us-west3
us-west4
南美洲 southamerica-east1

除了这些区域之外,您还可以选择将位置设置为 global,这样您就无需指定日志的实际存储位置。

组织政策

您可以创建组织政策,以确保您的组织满足法规遵从和监管需求。使用组织政策,您可以指定您的组织可在哪些区域创建新的日志存储桶。您还可以限制您的组织不在指定区域创建新的日志存储桶。

Cloud Logging 不会对您现有的日志存储分区强制执行新创建的组织政策;它只会对新日志存储分区强制执行该政策。

如需了解如何创建基于位置的组织政策,请参阅限制资源位置

保留

Cloud Logging 根据适用于保留日志的日志存储分区类型的保留规则保留日志。

您可以配置 Cloud Logging,将日志保留期限设为 1 到 3650 天之间的任意值。自定义保留规则适用于存储分区中的所有日志,无论日志类型如何或日志是否从其他位置复制过。

如需了解如何为日志存储桶设置保留规则,请参阅配置自定义保留期限

日志视图

借助日志视图,您可以控制有权访问您的日志存储分区中的日志的人员。

Cloud Logging 会自动为每个存储分区创建 _AllLogs 视图,该视图显示所有日志。Cloud Logging 还会为名为 _Default_Default 创建视图,其中显示了除数据访问审核日志之外的所有日志。

由于日志存储桶可以包含来自多个 Cloud 项目的日志,因此您可能需要控制不同用户可以查看哪些 Cloud 项目的日志。您可以创建自定义日志视图,可让您对这些存储桶进行更精细的访问权限控制。

如需了解详情,请参阅管理日志视图

在 Google Cloud 生态系统中使用日志

以下部分介绍如何在更广泛的 Google Cloud 中使用日志。

基于日志的指标

基于日志的指标指的是基于日志条目内容的 Cloud Monitoring 指标。如果 Cloud Logging 收到与某个 Cloud 项目指标的过滤条件匹配的 Cloud 项目的日志条目,则该日志条目会反映在指标数据中。

接收器排除项过滤条件不会应用于基于日志的指标。即使您不让 Cloud Logging API 提取日志,并且这些日志未存储在任何日志存储分区中,您也可以查看基于日志的指标中计入的这些日志。

基于日志的指标适用于 Cloud 项目级层。这些指标由日志路由器计算,且仅适用于接收所提取和排除的日志的 Cloud 项目中的这些日志。

如需了解详情,请参阅基于日志的指标概览

查找受支持的目标位置的日志

如需了解路由日志条目的格式以及日志在目标位置的整理方式,请参阅查看接收器目标位置的日志

常见使用场景

如需处理路由和存储日志的常见使用场景,请参阅以下文档和教程:

合规性需求

如需了解有关使用路由进行数据治理的最佳做法,请参阅以下文档:

访问权限控制

如需了解如何使用 Identity and Access Management (IAM) 角色和权限来控制对 Cloud Logging 数据的访问权限,请参阅访问权限控制指南

价格

如需了解注入和存储价格,请参阅 Cloud Logging 价格信息

Cloud Logging 不会对路由日志收费,但可能会产生目标位置费用。如需了解详情,请查看相应服务的价格详情:

另请注意,如果您在发送 Virtual Private Cloud 流日志后又从 Cloud Logging 中排除这些日志,则除了目标位置费用外,还需支付 VPC 流日志生成费用

后续步骤

为帮助您路由和存储 Cloud Logging 数据,请参阅以下文档: