BigQuery 最佳做法:优化存储

本页介绍了优化 BigQuery 存储的最佳做法。

使用有效期设置移除不必要的表和分区

最佳做法:为数据集配置默认的表过期时间,为表配置过期时间,以及为分区表配置分区过期时间

通过为数据集内新创建的表设置默认的表有效期,您可以控制存储费用,还可以优化存储空间使用情况。如果您在创建数据集时设置该属性,则在有效期过后,系统会删除数据集内创建的所有已到期的表。如果您在创建数据集之后设置该属性,则在有效期过后,系统只会删除已到期的新表。

例如,如果您将默认的表有效期设置为 7 天,则系统会在 1 周后自动删除较早的数据。

如果您只需访问最新数据,则此选项会非常有用。此外,如果您只是测试数据而无需保留数据,则此选项也会非常有用。

如果您按日期划分表,则数据集的默认表过期时间将应用于各个分区。您还可以使用 CLI 中的 time_partitioning_expiration 标志或 API 中的 expirationMs 配置设置来控制分区过期时间。例如,以下命令指定分区在 3 天后过期:

bq mk \
--time_partitioning_type=DAY \
--time_partitioning_expiration=259200 \
project_id:dataset.table

充分利用长期存储服务

最佳做法:将数据保存在 BigQuery 中。

在将 Cloud Storage 中的数据加载到 BigQuery 时,您不需要为加载操作支付费用,但需要支付在 Cloud Storage 中存储数据的费用。数据加载到 BigQuery 之后,就会按照 BigQuery 的存储价格计费。

您不必将较早的数据导出到其他存储选服务(例如 Cloud Storage),而是可以利用 BigQuery 的长期存储价格这一优惠。

如果您的某个表连续 90 天未曾修改,则该表的存储价格会自动下降 50%(降为每月每 GB $0.01)。这个费用与 Cloud Storage Nearline 的费用相同。

对于分区表,它的每一个分区都可以单独考虑是否采用长期存储价格。如果某个分区在过去 90 天内未进行修改,则该分区中的数据将被视为长期存储,可以按折扣价计费。

使用价格计算器估算存储费用

最佳做法:使用 Google Cloud Platform 价格计算器来估算存储费用。

要使用 Google Cloud 价格计算器估算存储费用,请输入存储的字节数(以 MB、GB、TB 或 PB 为单位)。BigQuery 每月免费提供 10 GB 的存储空间。

价格计算器

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
需要帮助?请访问我们的支持页面