工作负载管理简介
借助 BigQuery 工作负载管理,您可以分配和管理可用于数据分析和处理的计算资源,还可以指定这些资源的计费方式。
工作负载管理模型
BigQuery 提供了两种工作负载管理模式。使用按需结算时,您需要按查询或处理数据时处理的字节数付费。使用基于容量的结算时,您可以为工作负载分配处理容量,并可以选择根据需要自动伸缩容量。
您可以随时切换按需结算和基于容量的结算模式。您还可以结合使用这两种模型。
选择一个模型
选择工作负载管理模型时,请考虑以下事项:
按需 | 基于容量 | |
---|---|---|
使用模型 | 查询扫描或处理的数据 | 专用槽或自动扩缩槽 |
测量单位 | TiB | 槽小时 |
最小容量 | 每个项目最多 2,000 个槽 | 每个预留 50 个槽 |
最大容量 | 每个项目最多 2,000 个槽 | 可按预订进行配置,最多不超过区域配额 |
费用控制 | (可选)配置项目级或用户级配额(硬上限) | 为每个预订配置以槽数表示的预算 |
配置 | 无需任何配置 | 创建槽预留并将其分配给项目 |
版本支持 | 固定特征集 | 分为 3 个版本 |
容量折扣 | 仅限随用随付 | 可选的稳定状态工作负载槽承诺 |
可预测性 | 变量使用量和结算 | 通过基准和承诺实现可预测的结算 |
集中采购 | 按项目结算 | 集中分配和结算槽,而不是按项目分配和结算 |
灵活性 | 按需容量(每查询至少 10 MiB) | 基准槽或自动扩缩槽(最少 1 分钟) |
求职招聘
每当您加载、导出、查询或复制数据时,BigQuery 都会自动创建、安排和运行一个作业,以跟踪任务进度。
由于作业可能需要很长时间才能完成,它们会异步运行,其状态可以轮询。用时较短的操作(例如列出资源或获取元数据)不会作为作业进行管理。
如需详细了解作业,请参阅了解作业。
槽数
BigQuery 槽是 BigQuery 执行 SQL 查询或其他作业类型的虚拟计算单元。在执行查询期间,BigQuery 会自动确定查询使用的槽数。使用的槽数取决于要处理的数据量、查询的复杂性以及可用槽数。
如需详细了解槽及其使用方式,请参阅了解槽。
预留
在基于容量的价格模式中,槽在名为reservations预留的池中分配。使用预留,您可以按照适合组织的方式分配槽。例如,您可以为生产工作负载创建名为 prod
的预留,并为测试创建另一个名为 test
的预留,以使测试作业不会与生产工作负载争用容量。或者,您可以为组织的不同部门创建预留。
如需详细了解预留,请参阅使用预留管理工作负载。
BI Engine
BI Engine 是一项高速内存中分析服务,它可以智能地缓存最常使用的数据,从而加快 BigQuery 中的许多 SQL 查询的速度。BI Engine 可以加快来自任何来源(包括由数据可视化工具编写的查询)的 SQL 查询的速度,并且可以管理缓存表以进行持续优化。
BI Engine 预留以 GiB 为单位分配内存,并与槽预留分开管理。
如需详细了解 BI Engine,请参阅 BI Engine 简介。