本文档列出了适用于 Dataplex Universal Catalog 的配额。
Google Cloud 使用配额来帮助确保公平性并减少资源使用和可用性的激增。配额用于限制您的 Google Cloud 项目可使用的Google Cloud 资源的数量。配额适用于一系列资源类型,包括硬件、软件和网络组件。例如,配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载,从而保护Google Cloud 用户社区。配额还可以帮助您管理自己的 Google Cloud 资源。
Cloud 配额系统执行以下操作:
在大多数情况下,当您尝试消耗的资源超出其配额允许的范围时,系统会阻止对资源的访问,并且您尝试执行的任务会失败。
配额通常在 Google Cloud 项目级层应用。您在一个项目中使用资源不会影响您在另一个项目中的可用配额。在 Google Cloud 项目中,配额在所有应用和 IP 地址间共享。
Dataplex Universal Catalog 资源也有系统限制。系统限制不能更改。
Dataplex Universal Catalog 会对特定时间段内的 API 请求数量以及可在项目中创建的资源数量实施配额。配额可保护您免受意外的用量激增和服务过载的影响。详细了解实施配额的原因。
您使用 Dataplex Universal Catalog 的频率越高,可能需要的配额就越多。如果配额太低,无法满足您的需求,或者您预计使用量即将增加,您可以主动申请增加配额。
Dataplex API 请求的配额
Dataplex API 会在不同级层实施 Dataplex Universal Catalog 资源管理和搜索请求的配额,无论这些请求源自何处。这包括直接通过 API 调用、客户端库、Google Cloud CLI 和 Google Cloud 控制台发出的请求。
以下配额适用于 Dataplex Universal Catalog 请求:
配额 | 默认值 |
---|---|
每个区域每个项目每分钟针对条目和切面进行的读取请求数 | 6000 |
每个区域每个项目每分钟针对条目和切面进行的写入请求数 | 1500 |
每位用户每个项目每分钟针对切面类型、条目类型和条目组进行的读取请求数 | 100 |
每个项目每分钟针对切面类型、条目类型和条目组进行的读取请求数 | 200 |
每位用户每个项目每分钟针对切面类型、条目类型和条目组进行的写入请求数 | 10 |
每个项目每分钟针对切面类型、条目类型和条目组进行的写入请求数 | 20 |
每位用户每个项目每分钟的搜索请求数 | 900 |
每个项目每分钟的搜索请求数 | 1200 |
每个组织每分钟的搜索请求数 | 2400 |
每个组织每天的搜索请求数 | 345600 |
每个区域每个项目每分钟针对元数据作业进行的读取请求数 | 400 |
每位用户每个区域每个项目每分钟针对元数据作业进行的读取请求数 | 200 |
每个区域每个项目每分钟针对元数据作业进行的写入请求数 | 20 |
每位用户每个区域每个项目每分钟针对元数据作业进行的写入请求数 | 10 |
每个组织每天由元数据导出作业导出的元数据量 | 10 GB |
每个组织每天由元数据导出作业导出的已扫描元数据量 此配额用于评估组织、项目或元数据导出作业范围内的条目组中存在的元数据总量。 |
100 GB |
对于下表中列出的每个 Dataplex Universal Catalog 请求,系统都会在每个项目级层和每个项目每位用户级层实施配额。
配额 | 示例 |
---|---|
针对资源管理的读取请求 | 获取数据湖、列出区域 |
针对资源管理的写入请求 | 创建数据湖、删除资产 |
针对元数据的获取请求 | 获取实体、获取分区 |
针对元数据的列出请求 | 列出实体、列出分区 |
针对元数据的写入请求 | 更新实体、删除分区 |
针对任务和作业资源的读取请求 | 获取任务、列出作业 |
针对任务和作业资源的写入请求 | 创建任务、取消作业 |
设置 IAM 政策请求 | 设置 IAM 政策 |
Data Lineage API 请求的配额
Data Lineage API 对以下各项实施配额:
- 仅返回数据的读取请求
- 编写用于创建或更改数据的写入请求
- 创建 Open Lineage
以下配额适用于数据沿袭请求:
配额 | 默认值 |
---|---|
每位用户每个区域每个项目每分钟的读取请求数 | 1000 |
每位用户每个区域每个项目每分钟的写入请求数 | 6000 |
每位用户每个区域每个项目每分钟的 Open Lineage 请求数 | 3000 |
资源的配额
以下资源类型的资源配额是在项目级层实施的:数据湖、区域、资产、按需任务、周期性任务。您可以在 Google Cloud 控制台的配额页面上查看 Dataplex Universal Catalog 配额的当前使用情况。
申请增加配额
在 Google Cloud 控制台中,进入配额页面。
选择要修改的配额。
点击 > 修改配额。
更多操作输入新的配额值和请求说明。
点击下一步。
输入详细联系信息。
点击提交请求。
如需调整大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请配额调整。
配额依赖项
您的 Dataplex Universal Catalog 用量可能涉及其他 Google Cloud 产品。例如,数据发现需要调用 Cloud Storage 和/或 BigQuery API 才能与底层资源进行交互。这些产品具有项目级配额,其中包括适用于 Dataplex Universal Catalog 用量的配额。
您可能会与 Dataplex Universal Catalog 一起使用的其他产品的配额页面:
该列表并不详尽。
限制
以下限制适用于 Dataplex Universal Catalog:
限制 | 值 |
---|---|
条目和切面(包括架构切面)的请求大小 | 2 MB |
条目 ID 的长度 | 4000 个字符 |
条目中完全限定名称的长度 | 4000 个字符 |
条目中条目来源显示名称的长度 | 500 个字符 |
条目中条目来源说明的长度 | 2,000 个字符 |
条目中条目来源资源的长度 | 4000 个字符 |
条目中条目来源系统的长度 | 64 个字符 |
条目中条目来源平台的长度 | 64 个字符 |
条目中条目来源标签的长度 | 每个键和值最多 128 个字符 |
切面(架构切面除外)中 JSON 内容的大小 | 120 KB |
条目的总大小 | 5 MB |
条目中的切面数量上限 | 10000 |
条目类型、切面类型和条目组的显示名称长度 | 256 |
条目类型、切面类型和条目组的说明长度 | 1024 |
切面类型模板中字段名称的长度 | 63 |
条目类型中必需切面类型的数量上限 | 20 |
切面类型模板中的枚举值数量上限 | 1024 |
Dataplex Universal Catalog 搜索结果中的项数上限 | 500 |