将 Cloud Billing 数据导出到 BigQuery

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

借助“将 Cloud Billing 数据导出到 BigQuery”这一功能,您可以将详细的 Google Cloud 每日结算数据(如用量、费用估算和价格数据)自动导出到您指定的 BigQuery 数据集内。然后,您可以从 BigQuery 访问 Cloud Billing 数据以进行详细分析,或者使用 Google 数据洞察等工具直观呈现您的数据。您也可以使用这种导出方法将数据导出到 JSON 文件。

时间很重要。我们建议您在创建 Cloud Billing 帐号的同时启用将 Cloud Billing 数据导出到 BigQuery 的功能,这样您就可以访问更全面的 Google Cloud 结算数据集,从而满足您的分析需求。

请查看可能会影响将结算数据导出到 BigQuery 的限制

后续步骤

无论您是经营着规模达数十亿美元的大型企业,还是只有小笔家庭预算,有效管理和报告费用是财务管理的重要环节。为了围绕 Google Cloud 费用和使用情况制定以数据为依据的决策,首先要收集可作为决策依据的数据。

请参阅本部分的指南,了解以下任务:

设置将 Cloud Billing 数据导出到 BigQuery 的功能

要开始收集 Cloud Billing 数据,您必须启用将 Cloud Billing 数据导出到 BigQuery 的功能

设置指南提供了最佳做法建议和详细说明以便您启用将 Cloud Billing 数据导出到 BigQuery 的功能。您可以导出以下类型的 Cloud Billing 数据:

  • 标准使用费数据 - 包含标准 Cloud Billing 帐号使用费信息,例如帐号 ID、帐单日期、服务、SKU、项目、标签、位置、费用、用量、赠金、调整项和货币。

    请使用标准用量导出来分析费用数据中的各种趋势。

  • 详细使用费数据 - 包含详细的 Cloud Billing 帐号使用费信息。包括标准使用费数据中的所有内容,外加资源级费用数据,例如产生服务用量的虚拟机或 SSD。

    使用详细用量导出可在资源级层分析费用,并识别可能会增加费用的特定资源。您可以在详细报告中查看有关 GKE 和 Compute Engine 资源的信息。

    如需查看 GKE 的相关信息,请在详细导出中启用费用分配

    如需了解进一步的建议和限制,请查看详细使用费数据的架构

  • 价格数据 - 包含 Cloud Billing 帐号价格信息,例如帐号 ID、服务、SKU、产品、地理位置元数据、价格单位、货币、汇总和层级。

使用 BigQuery 存储和查询 Cloud Billing 数据会产生些许费用。如需了解详情,请参阅使用费

请查看可能会影响将结算数据导出到 BigQuery 的限制

了解 Cloud Billing 数据表

启用将 Cloud Billing 数据导出到 BigQuery 的功能之后,系统将在 BigQuery 数据集中自动创建 Cloud Storage 数据表

如需了解所导出内容的数据架构,请参阅导出到 BigQuery 数据集中每个表的 Cloud Billing 数据内容的参考信息。

查找 Cloud Billing 数据的查询示例

如需了解如何使用 SQL 对您的 Cloud Billing 数据运行查询的提示和指导,请查看查询示例

在查询示例页面上,您可以找到各种 SQL 示例,包括以下示例:

使用费

使用 BigQuery 存储使用情况数据通常会产生些许费用。

  • 将数据加载到指定数据集是免费的,因为此操作会利用 BigQuery 的共享资源池批量加载数据。
  • 使用 BigQuery 导出和分析 Cloud Billing 数据时,相关费用将取决于您流式传输、存储和查询的数据量。

通常,查询“详细费用”导出操作的费用可能高于查询标准导出的费用。为了优化费用,我们建议使用“标准导出”来分析费用趋势,使用“详细导出”在资源级层跟踪费用,识别可能会提升费用的特定资源。

如需了解预计会产生哪些费用,请参阅估算存储和查询费用

BigQuery 价格摘要

下面总结了使用 BigQuery 导出和分析 Cloud Billing 数据时可能产生的 BigQuery 费用。如需了解详情,请查看 BigQuery 价格

SKU 价格 详细信息
活跃存储 $0.020/GB 每月前 10 GB 免费。
长期存储 $0.010/GB 每月前 10 GB 免费。
分析 $5.00/TB 按需价格 每月免费处理前 1 TB 数据。
如果客户的查询量较大,则可选择固定费用
流式插入 每 200 MB $0.010 按行收费,每行最小为 1 KB。
*此 SKU 没有免费用量

很多分区表操作都是免费的,包括将数据加载到分区、复制分区,以及从分区导出数据。这些操作虽然免费,仍要受 BigQuery 配额和限制的约束。如需了解所有免费操作,请参阅 BigQuery 价格页面上的免费操作

如需详细了解在 BigQuery 中优化费用的最佳实践,请参阅控制 BigQuery 费用

限制

将 Cloud Billing 数据导出到 BigQuery 时存在以下限制。

  • 包含标准使用费和价格数据的 BigQuery 数据集仅反映设置 Cloud Billing 导出之日开始产生的 Google Cloud 结算数据。也就是说,Google Cloud 结算数据不会追溯添加,因此您不会看到启用导出之前的 Cloud Billing 数据。 如需了解详情,请参阅数据可用性
  • 包含详细使用费数据的 BigQuery 数据集反映首次启用导出功能的上个月月初开始产生的 Google Cloud 结算数据(除非是重新启用)。也就是说,仅针对当月和上月追溯添加 Google Cloud 结算数据。如需了解详情,请参阅数据可用性
  • 导出详细使用费数据时,您必须导出到配置了多区域位置(例如美国 (US) 或欧盟 (EU))的数据集。如果您选择的数据集不是多区域位置,这会导致 Cloud Billing 无法将详细结算数据写入该数据集中的相应表。
  • 导出详细使用费数据时,详细导出会自动包含有关 Compute Engine 的资源级信息。如需在详细的数据导出中查看 Google Kubernetes Engine (GKE) 集群费用的明细,您还必须为 GKE 启用费用分配
  • 将结算数据导出到 BigQuery 时,系统不支持客户管理的加密密钥 (CMEK)。如果您为“结算数据”数据集启用了 CMEK,这会阻止 Cloud Billing 将结算数据写入该数据集中的相应表。您需要配置数据集以使用 Google 管理的密钥加密。