管理数据访问审核日志费用

Bigtable 通常用于大型、大容量工作负载。因此,如果您不对日志量进行管理,Bigtable 会生成海量 DATA_READ 和 DATA_WRITE 日志,导致日志存储费用大大超出预期。如果您使用数据访问审核日志记录,则应执行相应步骤来管理日志量。

如果您遵循 Bigtable 身份验证的最佳做法,大多数数据访问审核日志活动由服务账号生成。应用使用服务账号来进行身份验证并对 Google Cloud 服务(如 Bigtable)进行 API 调用。如需减少日志量,管理服务账号日志是最重要的步骤。您可能还需要使用其他条件限制日志。

您可以通过以下方式为 Bigtable 启用数据访问审核日志记录:

启用审核日志记录后,请执行以下步骤来限制日志量。

确定服务账号

首先,确定不需要日志的服务账号。无用且不应记录的服务帐号列表取决于您的应用和业务需求。如需获取具有 Cloud Bigtable API (Data API) 权限的服务帐号列表,您可以搜索贵组织的 IAM 政策。您还可以在 Google Cloud 控制台的 IAM 权限 页面上的主账号标签页中查看这些权限。

设置日志限制

接下来,设置日志限制。您可以通过以下两种方法限制服务账号日志,从而管理 Bigtable 日志量。您可以使用审核配置豁免服务账号,也可以使用日志排除过滤条件排除服务账号日志。对于每种方法,您可以使用 Cloud Logging API 或 Google Cloud 控制台。

使用审核配置豁免服务账号

推荐的方法是使用审核配置来豁免服务账号,因为这样可以在一开始就防止生成特定日志。有关详细说明,请参阅以下内容:

使用排除项过滤条件排除服务账号

借助排除项过滤条件,您可以指定不提取到日志存储桶的日志。如果使用此方法,日志会在创建后被舍弃,因此它们仍会对处理数据的 Bigtable 服务组件造成处理负载。鉴于此负载,我们建议您改用审核配置。如需详细了解如何使用 Google Cloud 控制台和 API 设置过滤条件,请参阅创建接收器

估算数据访问审核日志费用

由于 Bigtable 通常用于大容量工作负载,因此它有可能生成大量日志。在为 Bigtable 启用数据访问审核日志记录之前,您应该估算并了解审核日志每月可能产生的 Cloud Audit Logs 提取和存储费用。

数据访问审核日志记录费用与您选择每月记录的 Bigtable 请求数量直接相关。下表显示了根据每秒平均请求数和存储日志的时间长度可以预计的 Cloud Audit Logs 费用的粗略估计值:假设您要记录所有数据请求。如需详细了解这些估算值的计算方式,请参阅计算费用

平均每秒请求数 日志保留时间 每月大概费用
1,000 30 $1197
1000 90 $1246
10,000 30 $12195
1 万 90 $12684
10 万 30 $122177
10 万 90 $124621

计算费用

先进行以下假设:

  • 平均一个月的秒数约为 2628000。
  • 平均审核大小约为 1 kb。
  • 您不需要为每月注入的前 50 GiB 审核日志付费,超过此限额后,您需要支付 $0.50/GiB。
  • 存储免费 30 天;之后,您需要为存储支付 $0.01/GiB。

本页面介绍的方法根据所有流量提供粗略估算值。在生产环境中,建议您限制服务账号日志记录

计算每月日志量

首先,估算您的流量平均一个月内生成的平均日志量。

  1. 收集您的应用在一个月内发送到 Bigtable 的平均每秒请求数
    • 如果您使用客户端指标,则可以使用这些指标来确定上个月的平均每秒查询次数 (QPS)。
    • 如果您希望在 Google Cloud 控制台中使用实例的 Monitoring 页面,请通过该页面确定上个月每秒读取请求数和写入请求数的平均值,然后将这两个值加在一起。
  2. 将每秒请求数乘以 2628000 得出平均每月请求数
  3. 将该数字除以 10e6 或 1000000。结果是您可能每月生成的月估算日志量(以 GB 为单位)
  4. 将每月日志量(以 GB 为单位)乘以 0.93,即可得出大致的每月日志量 (GiB)

计算注入费用

  1. 从您计算的 GiB 每月日志量中减去 50 GiB。前 50 GiB 免费。
  2. 将余数乘以 $0.50 即可得出每月注入估算费用。

计算存储费用

  1. 如果您打算让日志在 30 天后过期,则存储费用为 $0.00。
  2. 如果您将日志存储超过 30 天,则存储费用可通过将每月日志量乘以 $0.01 来估算。这些费用会在第一个月后开始产生。

详细示例

每秒 5000 个请求,日志保留 90 天

在本示例中,假设您的平均每秒请求数为 5000 个,并且计划将日志保留 90 天。按照本页面上的步骤,您可以计算以下估算值:

  • 将 5000 乘以 2628000 得出每月 13140000000 个请求。
  • 将 13140000000 除以 10e6 得出每月日志量约为 13140 GB。
  • 将该数字转换为 GiB,方法是将其乘以 .93 得出 12220。
  • 从每月日志量中减去 50 GiB 得出 12170 GiB。
  • 乘以 $0.50 得出注入费用为 $6085。
  • 日志存在的第一个月的存储费用为 $0。
  • 第二个月的日志存储费用为 12170 乘以 $0.01,即约为 $122。
  • 在第二个月之后的每个月,每月存储费用是该数字的两倍,即 $244。
  • 第二个月之后,数据访问审核日志记录估算费用约为每月 $6329。

用等式形式表示,如下所示:(((((5000 rps * 2628000 sec)/1000000) * .93) - 50 GiB) * $0.50) + $122 = $6207。

在本示例中,每月数据访问日志记录费用约为 $6329/月

后续步骤