配置和管理接收器

本文档介绍如何创建和管理接收器,以将日志条目路由到支持的目标位置。

概览

接收器控制 Cloud Logging 路由日志的方式。通过接收器,您可以将部分或全部日志路由到支持的目标位置

接收器属于给定的 Google Cloud 资源:Cloud 项目、结算帐号、文件夹和组织。当资源收到日志条目时,它会根据该资源中包含的接收器来路由日志条目。日志条目会被发送到与每个匹配接收器关联的目标位置。

您还可以创建汇总接收器,以指定接收器组合和路由组织或文件夹中包含的 Google Cloud 资源的日志条目。如需查看说明,请参阅配置汇总接收器

要创建和管理接收器,您可以使用 Cloud Console、Cloud Logging API 和 gcloud 命令行工具。与其他方法相比,使用 Cloud Console 具有以下优势:

  • 在一个位置查看和管理所有接收器。
  • 在创建接收器之前,预览接收器的过滤条件所匹配的日志条目。
  • 为接收器创建接收器目标位置并为其授权。

支持的目标

您可以将日志路由到以下目标位置:

  • Cloud Storage:存储在 Cloud Storage 存储桶中的 JSON 文件。
  • Pub/Sub:传递给 Pub/Sub 主题的 JSON 消息。支持将 Splunk 等第三方服务与 Logging 集成。
  • BigQuery:在 BigQuery 数据集中创建的表。
  • 另一个 Cloud Logging 存储桶:保存在 Cloud Logging 日志存储桶中的日志条目。

准备工作

请注意,本指南介绍如何在 Cloud 项目级层创建和管理接收器,但您可以为结算帐号、文件夹和组织创建接收器(非汇总)。开始之前,请确保满足以下条件:

  • 您有一个 Google Cloud 项目,且您可以在日志浏览器中查看其中包含的日志。

  • 对于您要从中路由日志的源 Cloud 项目,您拥有以下 IAM 角色之一。

    • Owner (roles/owner)
    • Logging Admin (roles/logging.admin)
    • Logs Configuration Writer (roles/logging.configWriter)

    这些角色中包含的权限可让您创建、删除或修改接收器。如需了解如何设置 IAM 角色,请参阅 Logging 访问权限控制指南

  • 您在受支持的目标位置中拥有资源,或者能够创建资源。

    必须先通过 gcloud 命令行工具、Cloud Console 或 Google Cloud API 创建路由目标位置,然后再创建接收器。您可以在任何组织中的任何 Cloud 项目中创建目标位置,但需要确保接收器中的服务帐号具有向目标位置写入数据的权限

创建接收器

以下是在 Cloud 项目中创建接收器的说明。您可以指定结算帐号、文件夹或组织,而不是 Cloud 项目。

每个 Cloud 项目最多可以创建 200 个接收器。

要创建接收器,请执行以下操作:

控制台

  1. 在 Cloud Console 中,转到 Logging > 日志路由器页面。

    转到日志路由器

  2. 选择现有的 Cloud 项目。

  3. 选择创建接收器

  4. 接收器详情面板中,输入以下详细信息:

    • 接收器名称:提供接收器的标识符。请注意,创建接收器后,您无法重命名接收器,但可以将其删除并创建新的接收器。

    • 接收器说明(可选):描述接收器的用途或使用场景。

  5. 接收器目标位置面板中,选择接收器服务和目标位置:

    • 选择接收器服务:选择您想要路由日志的目标服务。

    根据您选择的服务,您可从以下目标位置中进行选择:

    • Cloud Logging 存储桶:选择或创建 Logging 存储桶
    • BigQuery 表:选择或创建用于接收路由日志的特定数据集。您还可以选择使用分区表
    • Cloud Storage 存储桶:选择或创建用于接收路由日志的特定 Cloud Storage 存储桶。
    • Pub/Sub 主题:选择或创建用于接收路由日志的特定主题。
    • Splunk:为您的 Splunk 服务选择 Pub/Sub 主题。
    • 其他 Cloud 项目:按以下格式手动添加 Logging、BigQuery、Cloud Storage 或 Pub/Sub 服务和目标位置信息:

      SERVICE.googleapis.com/projects/PROJECT_ID/SINK_DESTINATION/DESTINATION_ID
      

      例如,如果接收器目标位置是 BigQuery 数据集,则接收器目标位置将如下所示:

      bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID
      

      请注意,如果您在 Cloud 项目之间路由日志,则仍然需要适当的目标位置权限。

  6. 选择要包含在接收器中的日志面板中,执行以下操作:

    1. 选择仅包含此资源注入的日志,这将创建一个非汇总接收器。

    2. 构建包含项过滤条件字段中,输入与要包含的日志条目匹配的过滤条件表达式。如果您不设置过滤条件,来自所选资源的所有日志都会路由到目标位置。

      例如,您可能希望构建一个过滤条件,将所有数据访问日志都路由到单个 Logging 存储桶。此过滤条件大致如下所示:

      LOG_ID("cloudaudit.googleapis.com/data_access") OR LOG_ID("externalaudit.googleapis.com/data_access")
      

      请注意,过滤条件的长度不能超过 20000 个字符。

    3. 要验证您输入的过滤条件是否正确,请选择预览日志。此操作会在新的标签页中打开日志浏览器且其中预填充了过滤条件。

  7. (可选)在选择要从接收器中排除的日志面板中,执行以下操作:

    1. 排除项过滤条件名称字段中输入名称。

    2. 构建排除项过滤条件部分,输入与要排除的日志条目匹配的过滤条件表达式。您还可以使用 sample 函数选择要排除的日志条目。

    您最多可以为每个接收器创建 50 个排除过滤器。请注意,过滤条件的长度不能超过 20000 个字符。

  8. 选择创建接收器

API

  1. 如需在 Cloud 项目中创建日志记录接收器,请使用 Logging API 中的 projects.sinks.create。在 LogSink 对象中,在方法请求正文中提供适当的必需值:

    • name:接收器的标识符。请注意,创建接收器后,您无法重命名接收器,但可以删除它并创建新的接收器。
    • destination:您希望将日志路由到的服务和目标位置。例如,如果您的接收器目标位置是 BigQuery 数据集,则 destination 如下所示:

      bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID
      
  2. LogSink 对象中,提供适当的可选信息:

    • filter:设置 filter 属性,使其与要包含在接收器中的日志条目匹配。如果您不设置过滤条件,则来自 Cloud 项目的所有日志都会路由到目标位置。请注意,过滤条件的长度不能超过 20000 个字符。
    • exclusions:设置此属性以匹配要从接收器中排除的日志条目。您还可以使用 sample 函数选择要排除的日志条目。您最多可以为每个接收器创建 50 个排除过滤器。
    • description:设置此属性,以描述接收器的用途或用例。
  3. 调用 projects.sinks.create 以创建接收器。

  4. 从 API 响应返回的 writer_identity 字段中检索服务帐号名称。

  5. 授权该服务帐号向接收器目标位置写入内容。

    如果您无权对接收器目标位置进行更改,请将该服务帐号名称发送给可以代您执行更改的人员。

    如需详细了解如何为资源授予服务帐号权限,请参阅设置目标位置权限部分。

如需详细了解如何使用 Logging API 创建接收器,请参阅 LogSink 参考。

gcloud

如需创建接收器,请运行以下 gcloud logging sinks create 命令。

为命令中的变量提供适当的值,如下所示:

  • SINK_NAME:接收器的标识符。请注意,创建接收器后,您无法重命名接收器,但可以删除它并创建新的接收器。
  • SINK_DESTINATION:您希望将日志路由到的服务和目标位置。例如,如果您的接收器目标位置是 BigQuery 数据集,则 SINK_DESTINATION 如下所示:

    bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID
    
  • OPTIONAL_FLAGS 包括以下标志:

    • --log-filter:使用此标志可设置与要包含在接收器中的日志条目匹配的过滤条件。如果您不设置过滤条件,则来自 Cloud 项目的所有日志都会路由到目标位置。
    • --exclusion:使用此标志可设置要从接收器中排除的日志条目的排除过滤器。您还可以使用 sample 函数选择要排除的日志条目。此标志可以重复;您最多可以为每个接收器创建 50 个排除过滤器。
    • --description:使用此标志来描述接收器的用途或用例。
gcloud logging sinks create SINK_NAME
SINK_DESTINATION OPTIONAL_FLAGS

例如,如需创建 Logging 存储桶的接收器,您的命令可能如下所示:

gcloud logging sinks create my-sink logging.googleapis.com/projects/myproject123/locations/global/buckets/my-bucket \
  --log-filter='logName="projects/myproject123/logs/matched"' --description="My first sink"

如需详细了解如何使用 gcloud 命令行工具创建接收器,包括更多标志和示例,请查看 gcloud logging sinks 参考。

如需了解如何查看接收器目标位置中的日志,请参阅查找路由的日志

创建接收器后,您可以使用 logging.googleapis.com/exports/ 指标来查看收到的日志条目的数量和容量。

如果您收到错误通知,请参阅路由和接收器问题排查

在不同 Cloud 项目中的日志存储桶之间路由日志

您可以将日志路由到不同于创建接收器的 Cloud 项目中的目标位置。

为此,您必须执行以下任一操作:

  • 向接收器的服务帐号授予对目标位置进行写入的 roles/logging.bucketWriter 角色;如需了解相关说明,请参阅目标位置权限

  • 对于您要从中发送日志的源 Cloud 项目,拥有以下 IAM 权限之一。

    • Owner (roles/owner)
    • Logging Admin (roles/logging.admin)
    • Logs Configuration Writer (roles/logging.configWriter)

    如果您要在目标 Cloud 项目中创建新的 Logging 存储桶,则必须具有其中一种权限。

管理接收器

创建接收器后,您可以针对它们执行以下操作:

  • 查看接收器详情
  • 更新接收器
  • 停用接收器
  • 删除接收器

以下是在 Cloud 项目中管理接收器的说明。您可以指定结算帐号、文件夹或组织,而不是 Cloud 项目:

控制台

您可以在日志路由器页面查看和管理您的接收器:

转到日志路由器

通过从 Cloud Console 中的任意位置使用资源选择器,确保您已选择包含接收器的 Cloud 项目:

已从下拉菜单中选择了一个项目。

如需查看汇总接收器,请选择包含接收器的组织、文件夹或结算帐号。

日志路由器页面包含接收器表摘要。表中每一行都包含接收器属性的相关信息:

  • 已启用:指示是启用还是停用接收器的状态。
  • 类型:接收器的目标服务,例如 Cloud Logging bucket
  • 名称:接收器的标识符,在创建接收器时提供,例如 _Default
  • 说明:接收器的说明,在创建接收器时提供。
  • 目标位置:要将路由的日志条目发送到的目标位置的全名。
  • 已创建:创建接收器的日期和时间。
  • 已更新:上次修改接收器的日期和时间。

表中每一行都有一个菜单 ,并提供以下选项:

  • 查看接收器详情:显示接收器的名称、说明、服务、目标位置、包含过滤器和排除过滤器。选择修改后,系统会打开修改接收器面板。
  • 修改接收器:打开修改接收器面板,您可在其中更改接收器的参数。
  • 停用接收器:允许您停用接收器并停止将日志路由到接收器的目标位置。如需详细了解如何停用接收器,请参阅停止日志提取
  • 启用接收器:允许您启用已停用的接收器,并重新开始将日志路由到接收器的目标位置。
  • 删除接收器:允许您删除接收器,并停止将日志路由到接收器的目标位置。无法删除 _Default_Required 接收器,但可以停用 _Default 接收器以停止将日志路由到 _Default Logging 存储分区。

点击任意列名称可按升序或降序对数据进行排序。

API

  • 如需查看 Cloud 项目的接收器,请调用 projects.sinks.list

  • 如需查看接收器的详细信息,请调用 projects.sinks.get

  • 如需更新接收器,请调用 projects.sink.update

    您可以更新接收器的目标位置、过滤条件和说明。您还可以停用或重新启用接收器。

  • 如需停用接收器,请调用 projects.sink.update 并将 disabled 属性设置为 true

    如需重新启用接收器,请调用 projects.sink.update 并将 disabled 属性设置为 false

  • 要删除接收器,请调用 projects.sinks.delete

    请注意,如果删除接收器,则不再从中路由日志条目。

    如需详细了解使用 Logging API 管理接收器的任一方法,请参阅 LogSink 参考。

gcloud

  • 如需查看您的 Cloud 项目的接收器列表,请使用 gcloud logging sinks list 命令,它对应于 Logging API 方法 projects.sinks.list

    gcloud logging sinks list
    

    如需查看汇总接收器列表,请使用适当的标志指定包含接收器的资源。例如,如果您在组织级层创建接收器,请使用 --organization=ORGANIZATION_ID 标志列出组织的接收器。

  • 如需描述接收器,请使用 gcloud logging sinks describe 命令,它对应于 Logging API 方法 projects.sinks.get

    gcloud logging sinks describe SINK_NAME
    
  • 如需更新接收器,请使用 gcloud logging sinks update 命令,它对应于 API 方法 projects.sink.update

    您可更新接收器以更改目标位置、过滤条件和说明,或者停用或重新启用接收器:

    gcloud logging sinks update SINK_NAME  NEW_DESTINATION  --log-filter=NEW_FILTER

    如果这些部分未更改,请省略 NEW_DESTINATION--log-filter

    例如,要将名为 my-project-sink 的接收器的目标位置更新为名为 my-second-gcs-bucket 的新 Cloud Storage 存储桶目标位置,您的命令如下所示:

    gcloud logging sinks update  my-project-sink  storage.googleapis.com/my-second-gcs-bucket
    
  • 如需停用接收器,请使用与 API 方法 projects.sink.update 相对应的 gcloud logging sinks update 命令,并添加 --disabled 标志:

    gcloud logging sinks update _Default  --disabled
    

    如需重新启用接收器,请使用 gcloud logging sinks update 命令、移除 --disabled 标志并添加 --no-disabled 标志:

    gcloud logging sinks update _Default  --no-disabled
    
  • 如需删除接收器,请使用 gcloud logging sinks delete 命令,它对应于 API 方法 projects.sinks.delete

    gcloud logging sinks delete SINK_NAME
    

    请注意,如果删除接收器,则不再从中路由日志条目。

    如需详细了解如何使用 gcloud 命令行工具管理接收器,请查看 gcloud logging sinks 参考文档。

停止日志提取

对于每个 Cloud 项目,Logging 都会自动创建两个日志存储桶_Required_Default。Logging 会自动创建两个日志接收器 _Required_Default,用于将日志路由到相应命名的存储分区。

您无法停用 _Required 接收器,提取价格和存储价格也不适用于 _Required 日志存储桶中存储的日志数据。您可停用 _Default 接收器来停止将日志提取到 _Default 存储分区。此外,您还可以停用任何用户定义的接收器。

当您停用 Cloud 项目中向 _Default 存储分区发送日志的所有接收器,从而停止 _Default 存储分区的日志提取后,您的 Cloud 项目不会就 _Default 存储分区产生新的 Cloud Logging 提取费用。当 _Default 存储分区中之前提取的所有日志都已达到存储分区的保留期限时,_Default 存储分区为空。

如需停用将日志路由到 _Default 存储桶的 Cloud 项目接收器,请完成以下步骤:

控制台

  1. 转到日志路由器:

    转到日志路由器

  2. 如需查找将日志路由到 _Default 存储桶的所有接收器,请按目标位置过滤接收器,然后输入 _Default

    查找将日志路由到默认存储分区的所有接收器。

  3. 对于每个接收器,选择菜单 ,然后选择停用接收器

接收器现已停用,您的 Cloud 项目接收器不会再将日志路由到 _Default 存储桶。

如需重新启用已停用的接收器,并重新开始将日志路由到接收器的目标位置,请执行以下操作:

  1. 转到日志路由器页面:

    转到日志路由器

  2. 如需查找之前配置为将日志路由到 _Default 存储桶的所有已停用接收器,请按目标位置过滤接收器,然后输入 _Default

  3. 对于每个接收器,选择菜单 ,然后选择启用接收器

API

  1. 如需查看您的 Cloud 项目的接收器,请调用 Logging API 方法 projects.sinks.list

    确定路由到 _Default 存储桶的任何接收器。

  2. 例如,如需停用 _Default 接收器,请调用 projects.sink.update 并将 disabled 属性设置为 true

_Default 接收器现已停用,它不再将日志路由到 _Default 存储分区。

如需停用 Cloud 项目中路由到 _Default 存储桶的其他接收器,请重复上述步骤。

如需重新启用接收器,请调用 projects.sink.update 并将 disabled 属性设置为 false

gcloud

  1. 如需查看您的 Cloud 项目的接收器列表,请使用 gcloud logging sinks list 命令,它对应于 Logging API 方法 projects.sinks.list

    gcloud logging sinks list
    
  2. 确定路由到 _Default 存储桶的任何接收器。如需描述接收器(包括查看目标位置名称),请使用 gcloud logging sinks describe命令,它对应于 Logging API 方法 projects.sinks.get

    gcloud logging sinks describe SINK_NAME
    
  3. 例如,如需停用 _Default 接收器,请使用 gcloud logging sinks update 命令并添加 --disabled 标志:

    gcloud logging sinks update _Default  --disabled
    

_Default 接收器现已停用,它不再将日志路由到 _Default 存储分区。

如需停用 Cloud 项目中路由到 _Default 存储桶的其他接收器,请重复上述步骤。

如需重新启用接收器,请使用 gcloud logging sinks update 命令、移除 --disabled 标志并添加 --no-disabled 标志:

gcloud logging sinks update _Default  --no-disabled

设置目标位置权限

本部分介绍如何向 Logging 授予将日志写入接收器目标位置的 Identity and Access Management 权限。如需查看 Logging 角色和权限的完整列表,请参阅访问权限控制

当您创建接收器后,Logging 会为该接收器创建一个新的服务帐号(称为唯一写入者身份)。您的接收器目标位置必须允许此服务帐号写入日志条目。您无法直接管理此服务帐号,因为它由 Cloud Logging 拥有和管理。如果接收器被删除,则此服务帐号也会被删除。

如果您使用接收器在同一 Cloud 项目中的 Logging 存储桶之间路由日志,则不会创建新的服务帐号;接收器没有唯一写入者身份。如果您使用接收器在不同 Cloud 项目中的 Logging 存储桶之间路由日志,系统会创建一个新的服务帐号。

以下是为接收器设置 Cloud 项目级层权限以路由到其目标位置的说明。您可以指定结算帐号、文件夹或组织,而不是 Cloud 项目:

控制台

  1. 从新接收器获取接收器的写入者身份,也就是一个电子邮件地址。转到日志路由器页面,然后选择菜单 > 查看接收器详情。写入者身份会显示在接收器详情面板中。

  2. 如果您拥有对目标位置的 Owner 访问权限,则按以下方式将服务帐号添加到目标位置:

    • 对于 Cloud Storage 目标位置,将接收器的写入者身份添加到 Cloud Storage 存储桶,并为其指定 Storage Object Creator 角色。
    • 对于 BigQuery 目标位置,将接收器的写入者身份添加到数据集,并为其提供 BigQuery Data Editor 角色。
    • 对于 Pub/Sub(包括 Splunk),将接收器的写入者身份添加到您的主题,并为其指定 Pub/Sub Publisher 角色。
    • 对于不同 Cloud 项目中的 Logging 存储桶目标位置,将接收器的写入者身份添加到目标日志存储桶,并为其授予 roles/logging.bucketWriter 权限。

    如果您没有接收器目标位置的 Owner 访问权限,请将具有写入者身份的服务帐号名称发送给具有该访问能力的人员。然后,该人员应按照上一步骤中的说明将写入者身份添加到接收器目标位置。

API

  1. 调用 API 方法 projects.sinks.createprojects.sinks.update 来创建或修改接收器。

    uniqueWriterIdentity 设置为 true。更新接收器时,您可以将共享写入者更改为唯一写入者。如果现有接收器已使用唯一写入者,则更新后的接收器使用相同的写入者。

    这些方法会返回新的写入者身份,其中包含新的写入者身份。

  2. 如果您拥有对目标位置的 IAM Owner 访问权限,请按以下方式将服务帐号添加到目标位置:

    • 对于 Cloud Storage 目标位置,将接收器的写入者身份添加到 Cloud Storage 存储桶,并为其指定 Storage Object Creator 角色。
    • 对于 BigQuery 目标位置,将接收器的写入者身份添加到数据集,并为其提供 BigQuery Data Editor 角色。
    • 对于 Pub/Sub(包括 Splunk),将接收器的写入者身份添加到您的主题,并为其指定 Pub/Sub Publisher 角色。
    • 对于不同 Cloud 项目中的 Logging 存储桶目标位置,将接收器的写入者身份添加到目标日志存储桶,并为其授予 roles/logging.bucketWriter 权限。

    如果您没有接收器目标位置的 Owner 访问权限,请将具有写入者身份的服务帐号名称发送给具有该访问能力的人员。然后,该人员应按照上一步骤中的说明将写入者身份添加到接收器目标位置。

gcloud

  1. 从接收器中的 writerIdentity 字段获取服务帐号:

    gcloud logging sinks describe SINK_NAME
    

    服务帐号格式类似于以下内容:

    serviceAccount:p123456789012-12345@gcp-sa-logging.iam.gserviceaccount.com
    
  2. 如果您拥有对目标位置的 IAM Owner 访问权限,请按以下方式将服务帐号添加到目标位置:

    • 对于 Cloud Storage 目标位置,将接收器的写入者身份添加到 Cloud Storage 存储桶,并为其指定 Storage Object Creator 角色。
    • 对于 BigQuery 目标位置,将接收器的写入者身份添加到数据集,并为其提供 BigQuery Data Editor 角色。
    • 对于 Pub/Sub(包括 Splunk),将接收器的写入者身份添加到您的主题,并为其指定 Pub/Sub Publisher 角色。
    • 对于不同 Cloud 项目中的 Logging 存储桶目标位置,将接收器的写入者身份添加到目标日志存储桶,并为其授予 roles/logging.bucketWriter 权限。

    如果您没有接收器目标位置的 Owner 访问权限,请将具有写入者身份的服务帐号名称发送给具有该访问能力的人员。然后,该人员应按照上一步骤中的说明将写入者身份添加到接收器目标位置。

    例如,如果您要在不同 Cloud 项目中的 Logging 存储桶之间路由日志,应将 roles/logging.bucketWriter 添加到服务帐号,如下所示:

    1. 获取目标 Cloud 项目的 Identity and Access Management 政策,并将其写入 JSON 格式的本地文件:

      gcloud projects get-iam-policy DESTINATION_PROJECT_ID --format json > output.json
      
    2. 添加一个 IAM 条件,仅允许服务帐号写入您创建的 Cloud Logging 存储桶。例如:

      {
      "bindings": [
       {
         "members": [
           "user:username@gmail.com"
         ],
         "role": "roles/owner"
       },
       {
         "members": [
           "[SERVICE_ACCOUNT]"
         ],
         "role": "roles/logging.bucketWriter",
         "condition": {
             "title": "Bucket writer condition example",
             "description": "Grants logging.bucketWriter role to service account [SERVICE_ACCOUNT] used by log sink [SINK_NAME]",
             "expression":
               "resource.name.endsWith(\'locations/global/buckets/BUCKET_ID\')"
         }
       }
      ],
      "etag": "BwWd_6eERR4=",
      "version": 3
      }
    3. 更新 IAM 政策:

      gcloud projects set-iam-policy DESTINATION_PROJECT_ID output.json
      

代码示例

如需使用客户端库代码配置您所选语言的接收器,请参阅 Logging 客户端库:日志接收器

过滤条件示例

下面是一些在创建接收器时特别有用的过滤条件示例。

如需了解在构建包含过滤器和排除过滤器时可能有用的其他示例,请参阅查询示例

恢复 _Default 接收器过滤条件

如果您修改了 _Default 接收器的过滤条件,则可能需要恢复默认过滤条件。为此,请输入以下包含过滤器:

  NOT LOG_ID("cloudaudit.googleapis.com/activity") AND NOT \
  LOG_ID("externalaudit.googleapis.com/activity") AND NOT \
  LOG_ID("cloudaudit.googleapis.com/system_event") AND NOT \
  LOG_ID("externalaudit.googleapis.com/system_event") AND NOT \
  LOG_ID("cloudaudit.googleapis.com/access_transparency") AND NOT \
  LOG_ID("externalaudit.googleapis.com/access_transparency")

排除 Google Kubernetes Engine 容器和 pod 日志

如需排除 GKE 系统 namespaces 的 Google Kubernetes Engine 容器和 pod 日志,请使用以下过滤条件:

resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")

如需排除 GKE 系统 logNames 的 Google Kubernetes Engine 节点日志,请使用以下过滤条件:

resource.type = "k8s_node"
logName:( "logs/container-runtime" OR
"logs/docker" OR
"logs/kube-container-runtime-monitor" OR
"logs/kube-logrotate" OR
"logs/kube-node-configuration" OR
"logs/kube-node-installation" OR
"logs/kubelet" OR
"logs/kubelet-monitor" OR
"logs/node-journal" OR
"logs/node-problem-detector")

如需查看提取到 Cloud Logging 中的 Google Kubernetes Engine 节点pod容器日志量,请使用 Cloud Monitoring 中的 Metrics Explorer

排除支持性不需要的 Dataflow 日志

如需排除支持性不需要的 Dataflow 日志,请使用以下过滤条件:

resource.type="dataflow_step"
labels."dataflow.googleapis.com/log_type"!="system" AND labels."dataflow.googleapis.com/log_type"!="supportability"

如需查看提取到 Cloud Logging 中的 Dataflow 日志数据量,请使用 Cloud Monitoring 中的 Metrics Explorer

可支持性

虽然 Cloud Logging 为您提供了排除日志提取的功能,但您可能需要考虑保存有助于支持日志的日志。使用这些日志可帮助您快速排查并识别应用的问题。

例如,GKE 系统日志对于排查 GKE 应用和集群问题非常有用,因为它们是针对集群中发生的事件生成的。这些日志可帮助您确定是应用代码还是底层 GKE 集群导致了应用错误。GKE 系统日志还包括由 Kubernetes API 服务器组件生成的 Kubernetes 审核日志,其中包括使用 kubectl 命令和 Kubernetes 事件所做的更改。

对于 Dataflow,建议您至少提取系统日志 (labels."dataflow.googleapis.com/log_type"="system") 和支持日志 (labels."dataflow.googleapis.com/log_type"="supportability")。这些日志对于开发者观察其 Dataflow 流水线和进行问题排查至关重要,用户可能无法使用 Dataflow 作业详情页面查看作业日志。

后续步骤