配额和限制

本文档列出了适用于您的 API 的配额限制, Dataform 一样。

Google Cloud 使用配额来帮助确保公平性并减少资源使用和可用性的激增。配额会限制 您的 Google Cloud 项目可以使用的 Google Cloud 资源。配额 适用于各种资源类型,包括硬件、软件和网络 组件。例如,配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载,从而保护 Google Cloud 用户社区配额还可帮助您管理自己的 Google Cloud 资源。

Cloud 配额系统执行以下操作:

  • 监控 Google Cloud 产品和服务的消耗情况
  • 限制这些资源的消耗量
  • 提供一种请求更改配额值的方法

在大多数情况下,当您尝试消耗的资源超出其配额允许的范围时,系统会阻止对资源的访问,并且您尝试执行的任务会失败。

配额通常应用于 Google Cloud 项目 。您在一个项目中使用某项资源不会影响 您在另一个项目中的可用配额在 Google Cloud 项目中 在所有应用和 IP 地址之间共享。

Dataform 资源也存在限制。这些限制与配额系统无关。除非另有说明,否则无法更改限制。

配额补充

系统会全天定期补充每日配额,以反映这些配额在限制速率方面的意图。间歇性刷新 也可以在配额用尽时避免长时间的中断。 通常几分钟内就会有更多配额可供使用 全球资源每天更新一次。

申请增加配额

如需增加或减少大多数配额,请使用 Google Cloud 控制台。 如需了解详情,请参阅 申请更高配额

配额用量上限

要了解如何通过指定 配额小于默认值,请参见 用量上限

所需权限

要在 您需要与任何 Google Cloud 控制台相同的权限 配额。如需了解详情,请参阅 配额权限

问题排查

了解如何排查与 Dataform 相关的错误 配额和限制,请参阅问题排查

Dataform 配额

Dataform 的 API 配额如下:

配额 限额
每个区域中每个项目的请求总数 6000/minute/project/region
每个项目在每个区域的编译请求数 120/minute/project/region
每个项目的文件访问请求数,每个区域 120/minute/project/region
每个项目在每个区域的软件包安装请求数 120/minute/project/region
每个项目在每个区域的工作流调用请求数 60/minute/project/region
每次执行的工作流操作数 5000

Dataform 所用服务的配额

Dataform 使用其他 Google Cloud 服务。这些服务 项目级配额,在使用 Dataform 时适用。

Dataform 使用以下 Google Cloud 服务 都有各自的配额限制:

Dataform 编译资源限制

Dataform 对编译资源实施以下用量限制:

用量限制
每次代码库编译的操作数上限 5000
已编译图中每项操作的依赖项数量上限 50
已编译的操作图的序列化数据总大小上限 20 MB
NPM 依赖项大小上限 200 MB
由 CMEK 加密的代码库的大小上限 512 MB

此外,Dataform 还对编译期间的 CPU 和内存用量施加了限制。 如果在编译代码时超出这些限制,编译将失败 Dataform 就会抛出编译错误

如需估算代码库的编译资源用量,请执行以下操作: 请参阅估算代码库的编译资源使用情况

您的代码库可能会出于以下原因超过用量限额:

  • 代码库代码中的无限循环 bug。
  • 代码库代码中存在内存泄漏 bug。
  • 代码库规模庞大,大约有 1000 个 SQL 工作流节点。
  • 大量并发查询。

如需详细了解 Dataform 中的代码库大小,请参阅 代码库大小概览