本文档列出了适用于 Dataplex 的配额。
Google Cloud 使用配额来帮助确保公平性并减少资源使用和可用性的激增。配额用于限制您的 Google Cloud 项目可使用的Google Cloud 资源的数量。配额适用于一系列资源类型,包括硬件、软件和网络组件。例如,配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载,从而保护Google Cloud 用户社区。配额还可帮助您管理自己的 Google Cloud 资源。
Cloud 配额系统执行以下操作:
在大多数情况下,当您尝试消耗的资源超出其配额允许的范围时,系统会阻止对资源的访问,并且您尝试执行的任务会失败。
配额通常在 Google Cloud 项目级层应用。您在一个项目中使用资源不会影响您在另一个项目中的可用配额。在 Google Cloud 项目中,配额在所有应用和 IP 地址间共享。
Dataplex 资源也有系统限制。系统限制不能更改。
Dataplex 会对特定时间段内的 API 请求数量和项目中可创建的资源数量强制执行配额。配额可保护您免受用量意外激增和服务过载的影响。详细了解为何强制执行配额。
您使用 Dataplex 越多,对配额的需求就可能越大。如果配额太低,无法满足您的需求,或者您预计自己的用量即将增加,可以主动申请增加配额。
Dataplex API 请求的配额
Dataplex API 会针对不同级别的 Dataplex Catalog 资源管理和搜索请求强制执行配额,无论请求的来源如何。这包括直接来自 API 调用、客户端库、Google Cloud CLI 和 Google Cloud 控制台的请求。
以下配额适用于 Dataplex 请求:
配额 | 默认 |
---|---|
每个项目在每个区域每分钟对条目和方面发出的读取请求数 | 6000 |
每个项目在每个区域每分钟对条目和方面发出的写入请求数 | 1500 |
每位用户每分钟对每个项目的切面类型、条目类型和条目组的读取请求数 | 100 |
每个项目每分钟对切面类型、条目类型和条目组的读取请求数 | 200 |
每位用户每个项目每分钟对切面类型、条目类型和条目组的写入请求数 | 10 |
每个项目每分钟针对切面类型、条目类型和条目组的写入请求数 | 20 |
每位用户每个项目每分钟的搜索请求数 | 900 |
每个项目每分钟的搜索请求数 | 1200 |
每个组织每分钟的搜索请求数 | 2400 |
每个组织每天可发出的搜索请求数 | 345600 |
每个项目在每个区域每分钟对元数据作业的读取请求数 | 400 |
每个项目中每个用户在每个区域每分钟对元数据作业的读取请求数 | 200 |
每个项目在每个区域每分钟对元数据作业的写入请求数 | 20 |
每个用户每个项目每个区域每分钟的元数据作业写入请求数 | 10 |
对于下表中列出的每项 Dataplex 请求,系统都会在按项目和按项目-按用户级别强制执行配额。
配额 | 示例 |
---|---|
资源管理读取请求 | 获取数据湖、列出可用区 |
资源管理写入请求 | 创建数据湖、删除资产 |
获取元数据请求 | 获取实体、获取分区 |
列出元数据请求 | 列出实体、列出分区 |
对元数据的写入请求 | 更新实体、删除分区 |
对任务和作业资源的读取请求 | 获取任务、列出作业 |
对任务和作业资源的写入请求 | 创建任务、取消作业 |
设置 IAM 政策请求 | 设置 IAM 政策 |
Data Lineage API 请求的配额
Data Lineage API 对以下内容实施配额:
- 仅返回数据的读取请求
- 用于创建或更改数据的写入请求
- 创建开放式沿袭
以下配额适用于数据谱系请求:
配额 | 默认值 |
---|---|
每位用户每个项目每个区域每分钟的读取请求数 | 1000 |
每个用户每个项目每个区域每分钟的写入请求数 | 6000 |
每个用户在每个区域每个项目每分钟打开的谱系请求数 | 3000 |
资源配额
系统会按项目级别强制执行以下资源类型的资源配额:数据湖、可用区、资产、按需任务、周期性任务。您可以在 Google Cloud 控制台的配额页面上查看当前 Dataplex 配额的使用情况。
申请增加配额
在 Google Cloud 控制台中,转到配额页面。
选择要修改的配额。
依次点击 > 修改配额。
更多操作输入新的配额值和请求说明。
点击下一步。
输入详细联系信息。
点击提交请求。
如需调整大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请更高的配额值。
配额依赖项
您的 Dataplex 使用情况可能涉及其他 Google Cloud 产品。例如,数据发现需要调用 Cloud Storage 和/或 BigQuery API 才能与底层资源交互。这些产品具有项目级配额,其中包括适用于 Dataplex 用量的配额。
您可以使用 Dataplex 的其他产品的配额页面:
该列表并不详尽。
限制
以下限制适用于 Dataplex Catalog 和搜索功能:
限制 | 值 |
---|---|
条目和方面(包括架构方面)请求的大小 | 2 MB |
条目 ID 的长度 | 4000 个字符 |
条目中完全限定名称的长度 | 4000 个字符 |
条目中的条目来源显示名称的长度 | 500 个字符 |
条目中的条目来源说明的长度 | 2,000 个字符 |
条目中的条目来源资源的长度 | 4000 个字符 |
条目中的条目来源系统的长度 | 64 个字符 |
条目中的条目来源平台的长度 | 64 个字符 |
条目中的条目来源标签的长度 | 每个键和值均为 128 个字符 |
某个方面(架构方面除外)中的 JSON 内容的大小 | 120 KB |
条目的总大小 | 5 MB |
条目中的方面数量上限 | 10000 |
条目类型、方面类型和条目组的显示名称的长度 | 256 |
条目类型、切面类型和条目组的说明长度 | 1024 |
切面类型模板中字段名称的长度 | 63 |
条目类型中的必需切面类型数量上限 | 20 |
方面类型模板中的枚举值数量上限 | 1024 |
Dataplex 搜索结果中的项数上限 | 500 |