BigQuery 最佳做法:优化存储

本页介绍了优化 BigQuery 存储的最佳做法。

使用有效期设置移除不必要的表和分区

最佳做法:为数据集配置默认的表到期时间,为表配置到期时间,以及为分区表配置分区到期时间

通过为数据集内新创建的表设置默认的表有效期,您可以控制存储费用,还可以优化存储空间使用情况。如果您在创建数据集时设置该属性,则在有效期过后,系统会删除数据集内创建的所有已到期的表。如果您在创建数据集之后设置该属性,则在有效期过后,系统只会删除已到期的新表。

例如,如果您将默认的表有效期设置为 7 天,则系统会在 1 周后自动删除较早的数据。

如果您只需访问最新数据,则此选项会非常有用。此外,如果您只是测试数据而无需保留数据,则此选项也会非常有用。

如果您按日期划分表,则数据集的默认表有效期将应用于各个分区。您还可以使用 CLI 中的 time_partitioning_expiration 标记或 API 中的 expirationMs 配置设置控制分区有效期。例如,以下命令可让分区在 3 天后到期:

bq mk \
--time_partitioning_type=DAY \
--time_partitioning_expiration=259200 \
project_id:dataset.table

充分利用长期存储

最佳做法:将数据保存在 BigQuery 中。

您可以免费将数据加载到 BigQuery 中。您不必将较早的数据导出到其他存储选项(例如 Google Cloud Storage),而可以利用 BigQuery 的长期存储价格这一优惠。

如果您的某个表连续 90 天未曾修改,则该表的存储价格会自动下降 50%(降为每 GB 每月 $0.01)。这个费用与 Cloud Storage Nearline 的费用相同。

对于分区表,它的每一个分区都可以单独考虑是否采用长期存储价格。如果某个分区在过去 90 天内未进行修改,则该分区中的数据将被视为长期存储,可以按折扣价计费。

使用价格计算器估算存储费用

最佳做法:使用 Google Cloud Platform 价格计算器来估算存储费用。

要在 Google Cloud Platform 价格计算器中估算存储费用,请以 MB、GB、TB 或 PB 为单位输入存储字节数。BigQuery 每月免费提供 10 GB 的存储配额。

价格计算器

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
需要帮助?请访问我们的支持页面