Cloud Logging 概览

本文档简要介绍了 Cloud Logging,它是一个实时日志管理系统,支持存储、搜索、分析和监控。Cloud Logging 会自动从 Google Cloud 资源中收集日志数据。您的应用、本地资源以及其他云提供商的资源可以将日志数据发送到 Cloud Logging。您还可以配置提醒政策,以便在日志数据中报告某些类型的事件时,Cloud Monitoring 向您发出通知。出于法规或安全原因,您可以确定日志数据的存储位置。

从您的应用和第三方软件收集日志数据

您可以使用客户端库对您编写的应用进行插桩处理,以从这些应用收集日志数据。不过,您不一定总是需要对应用进行插桩处理。例如,对于某些配置,您可以使用 Ops Agent 将写入 stdoutstderr 的日志数据发送到您的 Google Cloud 项目。

您还可以安装 Ops Agent,然后将其配置为将来自第三方应用(例如 nginx)的日志数据写入您的 Google Cloud 项目,以从这些应用收集日志数据。

如需了解相关信息以便帮助您确定哪种方法最符合您的要求,请参阅“您应该使用哪个:Logging 代理还是客户端库?”

查询、查看和分析日志数据

如需查看和分析日志数据,请使用 Google Cloud 控制台的 Logs Explorer 或 Log Analytics 页面:

  • Logs Explorer:通过此界面,您可以查看各个日志条目,以及查找和查看相关日志条目。当日志条目属于错误组的一部分或是有跟踪记录数据可用时,该界面还会为日志条目添加注解。如果您想排查服务和应用方面的问题,我们建议您使用此界面。

  • Log Analytics:通过此界面,您可以使用 SQL 查询日志数据,以及发现该数据中的趋势和模式。例如,您可以计算一段时间内向特定网址发出的 HTTP 请求的平均延迟时间,并监控延迟时间是否出现任何波动。

如需了解详情,请参阅查询和查看日志数据

直观呈现和监控日志数据

您可以配置 Cloud Logging,以便在日志数据中发生特定种类的事件时收到通知。当日志条目中出现特定模式或是在日志数据中检测到某种趋势时,系统可能会发送这些通知。如果您想查看 Google Cloud 服务的错误率,则可以查看预先配置的 Cloud Logging 信息中心。

如需在日志条目中包含特定消息时(例如发生严重的安全相关事件时)收到通知,请创建基于日志的提醒政策。这些政策适用于重要但很少发生的事件,例如以下这些:

  • 事件出现在审核日志条目中。例如,用户访问服务账号的安全密钥。
  • 部署消息出现在日志条目中。

如需在日志数据中出现某种趋势时收到通知,请创建基于日志的指标,并使用提醒政策监控该指标。基于日志的指标可统计符合某种条件的日志条目数量,也可提取响应时间等信息并将这些信息整理到直方图中。如果要执行以下任一操作,则可使用基于日志的指标:

  • 监控日志数据中消息的出现次数,例如记录错误状态的日志条目数量。
  • 观察数据中的趋势(例如日志数据中的延迟时间值),并在这些值以不可接受的方式更改时收到通知。
  • 创建图表以显示从日志数据中提取的数值数据。

如需了解详情,请参阅监控日志数据

日志存储和保留

您无需配置日志数据的存储位置。默认情况下, Google Cloud 项目、结算账号、文件夹和组织资源会自动存储源自相应资源的日志数据。例如,如果您的 Google Cloud 项目包含 Compute Engine 实例,则系统会自动存储 Compute Engine 生成的日志数据。

您可以配置日志存储的多个方面,例如存储哪些日志数据、舍弃哪些日志数据以及将日志数据存储在何处。如需了解详情,请参阅存储日志条目

日志条目会存储指定的时长,然后被删除。如需了解详情,请参阅日志保留期限

日志路由

您可以将日志条目路由或转发到以下目标位置:

  • Google Cloud 项目

  • 日志存储桶

  • BigQuery 数据集
  • Cloud Storage 存储桶
  • Pub/Sub 主题,可提供对 Splunk 或 Datadog 等第三方集成的支持。

路由日志数据时,目标位置可以与日志数据的来源资源不同。例如,您可以将日志数据从一个项目路由到存储在其他项目中的日志存储桶。

如需了解详情,请参阅路由日志条目

日志数据类别

日志类别旨在帮助描述可用的日志信息;这些类别并非互斥:

  • 平台日志条目由 Google Cloud 服务写入。这些日志条目可以帮助您调试和排查问题,让您更好地了解自己所使用的 Google Cloud 服务。

  • 组件日志条目由在您系统上运行的 Google Cloud提供的软件组件生成。例如,GKE 提供了一些软件组件,用户可以在自己的虚拟机或数据中心中运行这些组件。这些日志条目通常用于提供用户支持。

  • 安全日志条目可以帮助您了解“哪些用户何时在何处执行过哪些操作”:

    • Cloud Audit Logs 提供的信息可助您了解您的Google Cloud 资源中的管理活动和访问行为。启用审核日志有助于安全、审核和合规性实体监控 Google Cloud 数据和系统,检查是否存在可能的漏洞或外部数据滥用。如需查看受支持的服务的列表,请参阅具有审核日志的Google Cloud 服务

访问权限控制

Identity and Access Management (IAM) 权限和角色可控制对日志存储桶的访问权限。您可以向主账号授予预定义角色,也可以创建自定义角色。如需详细了解所需权限,请参阅访问权限控制

价格

如需了解 Cloud Logging 的价格,请参阅 Google Cloud Observability 价格

后续步骤