参加 2021 年 DevOps 现状问卷调查,塑造软件运维的未来,让我们了解您的想法。

路由和存储概览

本页面介绍了 Cloud Logging 如何处理日志条目,并介绍了 Logging 路由和存储的关键组件。

概括来讲,了解 Cloud Logging 如何路由和存储日志条目:

演示 Cloud Logging 如何路由日志条目的图。

日志路由器

Cloud Logging 通过 Cloud Logging API 接收日志条目,然后经由日志路由器传送。日志路由器中的接收器会根据现有包含和排除过滤条件检查每个日志条目,这些条件确定日志条目是应发送到存储目标位置、包含在 Cloud Logging 存储分区中,还是完全不被 Cloud Logging 提取。您可以使用接收器将日志路由到多个目标位置。

为了可靠地路由日志,日志路由器还会临时存储日志,以便在任何接收器上发生临时中断时提供缓冲。请注意,日志路由器的临时存储不同于 Logging 存储分区提供的长期存储。

日志接收器

接收器将日志条目路由到存储目标,还可用于将日志条目写入 Cloud Logging。日志接收器结合了过滤条件表达式和目标。

Cloud Logging 会为每个 Google Cloud 项目提供两个预定义日志接收器:_Required_Default。在 Google Cloud 项目中生成的所有日志都通过这两个日志接收器自动处理,然后存储在 _Required_Default 这两个相应的日志存储分区中。

日志接收器彼此独立运作。无论预定义的日志接收器如何处理日志条目,您都可以创建自己的日志接收器,将部分或全部日志路由到各种受支持的目标位置或完全不由 Cloud Logging 存储。

根据日志接收器的配置,Cloud Logging 接收的每个日志条目都属于以下一个或多个类别:

  • 存储在 Cloud Logging 中而不路由到其他位置
  • 存储在 Cloud Logging 中并路由到支持的目标
  • 未存储在 Cloud Logging 中,但路由到支持的目标
  • 既未存储在 Cloud Logging 中,也不会存储在其他位置
    • 以下日志会被完全排除

您可以在 Google Cloud 项目级层创建接收器。如需在组织或文件夹级层设置接收器,请使用汇总接收器

如需了解详情,请参阅日志导出概览

排除过滤器的数量

每个接收器都允许您输入一个或多个排除项过滤条件,以便排除匹配的日志条目,使其路由到接收器的目标。

如需详细了解如何使用排除项过滤条件,请参阅日志排除项

支持的目标

您可以使用日志路由器将某些日志路由到任何 Cloud 项目中的受支持目标。Logging 支持以下接收器目标:

  • Cloud Storage:存储在 Cloud Storage 存储分区中的 JSON 格式文件。
  • BigQuery:在 BigQuery 数据集中创建的表。
  • Pub/Sub:传递给 Pub/Sub 主题的 JSON 格式消息。支持将 Splunk 等第三方服务与 Logging 集成。
  • Cloud Logging:保存在日志存储分区中的日志条目。

如需详细了解如何将日志路由到支持的目标,请参阅配置接收器

日志存储分区

Cloud Logging 使用日志存储分区作为 Google Cloud 项目中的容器来存储和整理您的日志数据。您存储在 Cloud Logging 中的日志会编入索引、进行优化并传送,以便您可以实时分析日志。这些存储实体与名称类似的 Cloud Storage 存储分区不同。

您可以创建接收器,以将所有或一部分日志路由到任何日志存储分区。这种灵活性让您可以选择存储您的日志的 Cloud 项目,以及与其一起存储哪些其他日志。

Cloud Logging 为每个 Cloud 项目提供 _Required_Default 日志存储分区。在默认配置中,Cloud 项目中生成的所有日志都存储在 _Required_Default 这两个日志存储分区中,这两个存储分区位于生成日志的 Cloud 项目中。您还可以创建自定义日志存储分区。

如需了解详情,请参阅管理日志存储分区

日志视图

借助日志视图,您可以控制有权访问您的日志存储分区中的日志的人员。

Cloud Logging 会自动为每个存储分区创建 _AllLogs 视图,该视图显示所有日志。Cloud Logging 还会为名为 _Default_Default 创建视图,其中显示了除数据访问审核日志之外的所有日志。

由于日志存储分区可以包含来自多个 Cloud 项目的日志,因此您可能需要控制不同用户可以查看哪些 Cloud 项目的日志。您可以创建自定义日志视图,从而对这些存储分区进行更精细的访问权限控制。

如需了解详情,请参阅管理日志视图

基于日志的指标

基于日志的指标指的是基于日志条目内容的 Cloud Monitoring 指标。如果 Cloud Logging 收到与某个 Cloud 项目指标的过滤条件匹配的 Cloud 项目的日志条目,则该日志条目会反映在指标数据中。

接收器排除项过滤条件不会应用于基于日志的指标。即使您不让 Cloud Logging API 提取日志,并且这些日志未存储在任何日志存储分区中,您也可以查看基于日志的指标中计入的这些日志。

如需了解详情,请参阅基于日志的指标概览

后续步骤