本文档列出了适用于 Dataform 的quotas和quotas。如需详细了解配额,请参阅虚拟私有云配额。
配额用于限制您的 Google Cloud 项目可使用的共享 Google Cloud 资源(包括硬件、软件和网络组件)的数量。因此,有以下功能的系统具有配额:
- 监控 Google Cloud 产品和服务的使用情况或消耗情况。
- 出于某些原因限制这些资源的消耗量,包括确保公平性和减少使用量高峰。
- 维护可自动强制执行规定限制的配置。
- 提供请求或更改配额的方法。
在大多数情况下,当超过配额时,系统会立即阻止对相关 Google 资源的访问,并且您尝试执行的任务将失败。在大多数情况下,配额适用于每个 Google Cloud 项目,并由使用该 Google Cloud 项目的所有应用和 IP 地址共享。
Dataform 资源也存在限制。这些限制与配额系统无关。除非另有说明,否则无法更改限制。
配额补充
系统会全天定期补充每日配额,以反映这些配额在限制速率方面的意图。系统还会间歇性刷新,以避免在配额耗尽时造成长时间中断。通常情况下,系统可在几分钟内提供更多配额,而不是每天在全局范围内补充一次配额。
申请增加配额
如需增加或减少大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请更高配额。
配额用量上限
如需了解如何通过指定比默认配额更小的配额来限制特定资源的用量,请参阅用量上限。
所需权限
如需在 Google Cloud 控制台中查看和更新 Dataform 配额,您需要与任何 Google Cloud 配额相同的权限。如需了解详情,请参阅配额权限。
问题排查
如需了解如何排查与 Dataform 配额和限制相关的错误,请参阅问题排查。
Dataform 配额
Dataform 的 API 配额如下:
配额 | 限额 |
---|---|
每个区域中每个项目的请求总数 | 6000/minute/project/region |
每个项目在每个区域的编译请求数 | 120/minute/project/region |
每个项目的文件访问请求数,每个区域 | 120/minute/project/region |
每个项目在每个区域的软件包安装请求数 | 120/minute/project/region |
每个项目在每个区域的工作流调用请求数 | 60/minute/project/region |
每次执行的工作流操作数 | 5000 |
Dataform 所用服务的配额
Dataform 使用其他 Google Cloud 服务。这些服务有项目级配额,在使用 Dataform 时受此配额限制。
Dataform 使用的以下 Google Cloud 服务有自己的配额限制:
Dataform 编译资源限制
Dataform 对编译资源实施以下用量限制:
用量限制 | 价值 |
---|---|
每次代码库编译的操作数上限 | 5000 |
已编译图中每项操作的依赖项数量上限 | 50 |
已编译的操作图的序列化数据总大小上限 | 20 MB |
NPM 依赖项大小上限 | 200 MB |
此外,Dataform 还对编译期间的 CPU 和内存用量施加了限制。如果在编译代码时超出这些限制,编译将失败,并且 Dataform 会抛出编译错误。
如需估算代码库的编译资源使用量,请参阅估算代码库的编译资源使用量。
您的代码库可能会出于以下原因超过用量限额:
- 代码库代码中的无限循环 bug。
- 代码库代码中存在内存泄漏 bug。
- 代码库规模庞大,大约有 1000 个 SQL 工作流节点。
- 大量并发查询。
如需详细了解 Dataform 中的代码库大小,请参阅代码库大小概览。