管理数据访问审核日志费用

Bigtable 通常用于大型、大容量工作负载。因此，如果您不对日志量进行管理，Bigtable 会生成海量 DATA_READ 和 DATA_WRITE 日志，导致日志存储费用大大超出预期。如果您使用数据访问审核日志记录，则应执行相应步骤来管理日志量。

如果您遵循 Bigtable 身份验证的最佳做法，大多数数据访问审核日志活动由服务账号生成。应用使用服务账号来进行身份验证并对 Google Cloud 服务（如 Bigtable）进行 API 调用。如需减少日志量，管理服务账号日志是最重要的步骤。您可能还需要使用其他条件限制日志。

您可以通过以下方式为 Bigtable 启用数据访问审核日志记录：

启用审核日志记录后，请执行以下步骤来限制日志量。

确定服务账号

首先，确定不需要日志的服务账号。 无用且不应记录的服务账号，取决于您的 来获取使用服务账号的服务账号列表 Cloud Bigtable API (Data API) 权限，您可以搜索 IAM 政策。您还可以在 Google Cloud 控制台的 IAM 权限 页面上的主账号标签页中查看这些权限。

设置日志限制

接下来，设置日志限制。您可以通过以下两种方法限制服务账号日志，从而管理 Bigtable 日志量。您可以使用审核配置豁免服务账号，也可以使用日志排除过滤条件排除服务账号日志。对于每种方法，您可以使用 Cloud Logging API 或 Google Cloud 控制台。

使用审核配置豁免服务账号

推荐的方法是使用审核配置来豁免服务账号，因为这样可以在一开始就防止生成特定日志。有关详细说明，请参阅以下内容：

使用排除项过滤条件排除服务账号

借助排除项过滤条件，您可以指定不提取到日志存储桶的日志。如果使用此方法，日志会在创建后被舍弃，因此它们仍会对处理数据的 Bigtable 服务组件造成处理负载。鉴于此负载，我们建议您改用审核配置。如需详细了解如何使用 Google Cloud 控制台和 API 设置过滤条件，请参阅创建接收器。

估算数据访问审核日志费用

由于 Bigtable 通常用于大型、高容量工作负载，因此可能会生成大量日志。在您之前 为 Bigtable 启用数据访问审核日志记录，您应估算并 了解 Cloud Audit Logs 提取和存储费用 审核日志记录每月产生的费用。

数据访问审核日志记录费用与您选择每月记录的 Bigtable 请求数量直接相关。下表显示了根据每秒平均请求数和存储日志的时间长度可以预计的 Cloud Audit Logs 费用的粗略估计值：假设您要记录所有数据请求。如需详细了解这些估算值的计算方式，请参阅计算费用。

平均每秒请求数 日志保留时间 每月大概费用
1000 30 $1197
1000 90 $1246
1 万 30 $12195
1 万 90 $12684
10 万 30 $122177
10 万 90 $124621

计算费用

先进行以下假设：

  • 平均一个月的秒数约为 2628000。
  • 平均审核大小约为 1 kb。
  • 您不需要为每月注入的前 50 GiB 审核日志付费，超过此限额后，您需要支付 $0.50/GiB。
  • 存储免费 30 天；之后，您需要为存储支付 $0.01/GiB。

本页面介绍的方法根据所有流量提供粗略估算值。在生产环境中，建议您限制服务账号日志记录。

计算每月日志量

首先，估算您的流量平均一个月内生成的平均日志量。

  1. 收集您的应用在一个月内发送到 Bigtable 的平均每秒请求数。
    • 如果您使用客户端指标，则可以使用这些指标来确定上个月的平均每秒查询次数 (QPS)。
    • 如果您希望在 Google Cloud 控制台中使用实例的 Monitoring 页面，请通过该页面确定上个月每秒读取请求数和写入请求数的平均值，然后将这两个值加在一起。
  2. 将每秒请求数乘以 2628000 得出平均每月请求数。
  3. 将该数字除以 10e6 或 1000000。结果是您可能每月生成的月估算日志量（以 GB 为单位）。
  4. 将每月日志量（以 GB 为单位）乘以 0.93，即可得出大致的每月日志量 (GiB)。

计算注入费用

  1. 从您计算的 GiB 每月日志量中减去 50 GiB。前 50 GiB 免费。
  2. 将余数乘以 $0.50 即可得出每月注入估算费用。

计算存储费用

  1. 如果您打算让日志在 30 天后过期，则存储费用为 $0.00。
  2. 如果您将日志存储超过 30 天，则存储费用可通过将每月日志量乘以 $0.01 来估算。这些费用会在第一个月后开始产生。

详细示例

每秒 5000 个请求，日志保留 90 天

在本示例中，假设您的平均每秒请求数为 5000 个，并且计划将日志保留 90 天。按照本页面上的步骤，您可以计算以下估算值：

  • 将 5000 乘以 2628000 得出每月 13140000000 个请求。
  • 将 13140000000 除以 10e6 得出每月日志量约为 13140 GB。
  • 将该数字转换为 GiB，方法是将其乘以 .93 得出 12220。
  • 从每月日志量中减去 50 GiB 得出 12170 GiB。
  • 乘以 $0.50 得出注入费用为 $6085。
  • 日志存在的第一个月的存储费用为 $0。
  • 第二个月的日志存储费用为 12170 乘以 $0.01，即约为 $122。
  • 在第二个月之后的每个月，每月存储费用是该数字的两倍，即 $244。
  • 第二个月之后，数据访问审核日志记录估算费用约为每月 $6329。

用等式形式表示，如下所示：(((((5000 rps * 2628000 sec)/1000000) * .93) - 50 GiB) * $0.50) + $122 = $6207。

在本示例中，每月数据访问日志记录费用约为 $6329/月。

后续步骤