以下部分介绍了 Dataproc Metastore 的配额和限制。如需更改配额,请使用 Google Cloud 控制台申请更多配额。除非特别说明,否则通常无法提高限制。
配额和限制
Dataproc Metastore 服务
项 | 配额和限制 | Notes |
---|---|---|
每个区域的服务数 | 20 项服务 | 项目违反 Google Cloud 服务政策时,其区域服务配额将显著降低。 |
每个多区域的服务 | 5 项服务 | 项目违反 Google Cloud 服务政策时,其区域服务配额将显著降低。 |
Dataproc Metastore 服务的元数据存储空间
资源项 | 配额和限制 | Notes |
---|---|---|
每个 Developer 层级服务的元数据存储空间 |
10 GB | |
每个 Enterprise 层级服务的元数据存储空间 |
1 TB |
Dataproc Metastore 项目的每秒查询次数
项 | 配额和限制 | Notes |
---|---|---|
每个项目的每秒查询次数 (QPS) | 20 QPS | |
每个项目每个用户的每秒查询次数 (QPS) | 5 QPS | |
每个项目的每秒维护查询数 (QPS) | 20 QPS | 以下 Hive Metastore 请求会消耗此配额:createTable createDatabase deleteTable deleteDatabase |
Dataproc Metastore 的作业超时限制
项 | 配额和限制 | Notes |
---|---|---|
导出/备份/恢复的作业超时限制 | 1 小时 | |
导入的作业超时限制 | 3 小时 |
配额管理
出于多方面原因,Dataproc Metastore 对资源用量实施配额限制。例如,配额可保护 Google Cloud 用户群体,避免出现意外的用量激增。配额还可帮助正在通过免费层级探索 Google Cloud 的用户避免中断试用。
所有项目在开始时都具有相同的配额,您可以通过申请更多配额来进行更改。根据您使用产品的情况,一些配额可能会自动增加。
权限
如需查看配额或申请增加配额,Identity and Access Management (IAM) 主账号需要具备以下某个角色:
任务 | 所需角色 |
---|---|
检查项目的配额 | 项目 Owner 或 Editor 或 Quota Viewer |
修改配额,申请更多配额 | 项目 Owner 或 Editor、Quota Admin 或具有 serviceusage.quotas.update 权限的自定义角色 |
查看您的配额
控制台
在 Google Cloud 控制台中,转到配额页面。
如需搜索要更新的配额,请使用过滤表。 如果您不知道配额的名称,请使用此页面上的链接。
超出配额时引发的错误
如果在发出 gcloud
命令时超过了配额,gcloud
会显示一条 quota exceeded
错误消息,并返回退出代码 1
。
如果在发出 API 请求时超出了配额,Google Cloud 会返回以下 HTTP 状态代码:HTTP 413 Request Entity Too Large
。
申请更多配额
如需申请更多配额,请转到 Google Cloud 控制台的配额页面。 配额申请需要 24 到 48 小时才能完成处理。
控制台
在 Google Cloud 控制台中,转到配额页面。
在配额页面上,选择您要更改的配额。
点击位于页面顶部的
修改配额。填写您的姓名、电子邮件地址和电话号码,然后点击下一步。
填写您的配额申请,然后点击完成。
提交您的申请。
资源可用性
每个配额代表您可以创建的特定类型资源的数量上限,前提是该资源可用。必须要注意的是,配额无法保证资源可用。即使您有可用配额,如果新资源不可用,您也无法创建新资源。
例如,即使您在 us-central1
区域有足够的配额来创建区域级外部 IP 地址,但如果该区域没有外部 IP 地址可用,您也无法执行此操作。可用区级资源可用性也会影响您能否创建新资源。
某种资源在整个区域中都不可用的情况很少见;但是,一个可用区中的资源可能会时不时地被耗尽,但这通常不会影响该资源类型的服务等级协议 (SLA)。如需了解详情,请参阅资源的相关 SLA。
后续步骤
- 详细了解 Dataproc Metastore 资源。