配额和限制

本文档列出了适用于 Dataform 的quotasquotas

配额用于限制您的 Google Cloud 项目可使用的共享 Google Cloud 资源(包括硬件、软件和网络组件)的数量。因此,有以下功能的系统具有配额:

  • 监控 Google Cloud 产品和服务的使用情况或消耗情况。
  • 出于确保公平性和减少用量激增等原因,限制这些资源的消耗。
  • 维护可自动强制执行规定限制的配置。
  • 提供请求或更改配额的方法。

在大多数情况下,当超过配额时,系统会立即阻止对相关 Google 资源的访问,并且您尝试执行的任务将失败。在大多数情况下,配额适用于每个 Google Cloud 项目,并由使用该 Google Cloud 项目的所有应用和 IP 地址共享。

Dataform 资源也存在限制。这些限制与配额系统无关。除非另有说明,否则无法更改限制。

配额补充

系统会全天定期补充每日配额,以反映这些配额在限制速率方面的意图。系统还会间歇性刷新,以避免在配额用尽时出现长时间中断。通常几分钟内就会有更多配额可用,而不是每天在全局范围内补充一次配额。

申请增加配额

如需增加或减少大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请更高配额

配额用量上限

如需了解如何通过指定小于默认值的配额来限制特定资源的用量,请参阅用量上限

所需权限

如需在 Google Cloud 控制台中查看和更新 Dataform 配额,您需要与任何 Google Cloud 配额相同的权限。如需了解详情,请参阅配额权限

问题排查

如需了解如何排查与 Dataform 配额和限制相关的错误,请参阅问题排查

Dataform 配额

Dataform 具有以下 API 配额:

配额 限额
每个区域中每个项目的请求总数 6000/minute/project/region
每个区域中每个项目的编译请求数 120/minute/project/region
每个区域中每个项目的文件访问请求数 120/minute/project/region
每个区域中每个项目的软件包安装请求数 120/minute/project/region
每个项目在每个区域的工作流调用请求数 60/minute/project/region
每次执行的工作流操作数 5000

Dataform 所用服务的配额

Dataform 使用其他 Google Cloud 服务。这些服务具有项目级配额,会在您使用 Dataform 时应用。

Dataform 使用以下 Google Cloud 服务,这些服务有各自的配额限制:

Dataform 编译资源限制

Dataform 对编译资源实施以下用量限制:

用量限制
每次代码库编译的操作数上限 5000
已编译图中每项操作的依赖项数量上限 50
已编译的操作图的总序列化数据大小上限 20 MB
NPM 依赖项的大小上限 200 MB

此外,Dataform 会对编译期间的 CPU 和内存用量施加限制。如果在编译代码时超出这些限制,编译会失败,Dataform 会抛出编译错误。

如需估算代码库的编译资源用量,请参阅估算代码库的编译资源用量

您的代码库可能会超出用量限额,原因如下:

  • 代码库代码中的无限循环 bug。
  • 代码库代码中的内存泄漏 bug。
  • 代码库规模较大,约超过 1000 个 SQL 工作流节点。
  • 大量并发查询。

如需详细了解 Dataform 中的代码库大小,请参阅代码库大小概览