配额和限制

本文档列出了适用于 Dataplex 的quotas。

配额用于限制您的 Google Cloud 项目可使用的共享 Google Cloud 资源（包括硬件、软件和网络组件）的数量。因此，有以下功能的系统具有配额：

  • 监控 Google Cloud 产品和服务的使用情况或消耗情况。
  • 出于某些原因限制这些资源的消耗量，包括确保公平性和减少使用量高峰。
  • 维护可自动强制执行规定限制的配置。
  • 提供请求或更改配额的方法。

在大多数情况下，当超过配额时，系统会立即阻止对相关 Google 资源的访问，并且您尝试执行的任务将失败。在大多数情况下，配额适用于每个 Google Cloud 项目，并由使用该 Google Cloud 项目的所有应用和 IP 地址共享。

Dataplex 资源也存在限制。这些限制与配额系统无关。除非另有说明，否则无法更改限制。

Dataplex 对 特定时间段以及在同一天中可以创建的资源数量 项目。配额可保护您免受无法预料的用量激增和过载影响 服务。详细了解强制实施配额的原因。

您使用 Dataplex 的次数越多，您的配额需求可能会增加。 如果配额太低，无法满足您的需求，或者您预计 您可以主动申请增加配额。

请求的配额

Dataplex API 会对 Dataplex Catalog 资源实施配额 不同级别的管理和搜索请求 来源。这包括直接源自 API 调用的请求， 客户端库、Google Cloud CLI 和 Google Cloud 控制台。

以下配额适用于 Dataplex 请求：

配额 默认
每分钟每个区域中每个项目的条目和切面的读取请求数 6000
每分钟每个区域中每个项目的条目和切面写入请求数 1500
读取切面类型、条目类型和条目组的请求 每分钟每个用户每个项目 100
读取切面类型、条目类型和条目组的请求 每个项目每分钟 200
针对切面类型、条目类型和条目组的编写请求 每分钟每个用户每个项目 10
针对切面类型、条目类型和条目组的编写请求 每个项目每分钟 20
每个用户每个项目每分钟的搜索请求数 900
每个项目每分钟的搜索请求数 1200
每分钟每个组织的搜索请求数 2400
每个组织每小时的搜索请求数 14400

对于下表中列出的每个 Dataplex 请求， 配额是在每个项目和每位用户每个项目级别强制实施的。

配额 示例
针对资源管理的读取请求 获取数据湖，列出区域
用于资源管理的写入请求 创建数据湖、删除资产
针对元数据的 get 请求 获取实体，获取分区
列出元数据请求 列出实体、列出分区
写入元数据的请求 更新实体、删除分区
对任务和作业资源的读取请求 获取任务，列出作业
针对任务和作业资源的写入请求 创建任务、取消作业
设置 IAM 政策请求 设置 IAM 政策

资源配额

资源配额是在项目级强制执行的， 以下资源类型：数据湖、可用区、资产、按需任务、周期性任务。 您可以在 Google Cloud 控制台中的配额页面。

申请增加配额

  1. 在 Google Cloud 控制台中，转到配额页面。

    转到“配额”

    此页面显示配额列表。

  2. 选择要修改的配额，然后点击修改配额。

  3. 为您选择的配额输入新配额。

  4. 点击提交请求。

如需增加或减少大多数配额，请使用 Google Cloud 控制台。如需了解详情，请参阅申请更高的配额。

配额依赖项

您的 Dataplex 使用可能涉及其他 Google Cloud 产品。 例如，数据发现需要调用 Cloud Storage 和/或 与底层资源交互的 BigQuery API。 这些产品具有项目级配额，其中包括适用于 Dataplex 的使用。

可用于 Dataplex 的其他产品的配额页面：

该列表并不详尽。

限制

以下限制适用于 Dataplex Catalog 和搜索：

限额 值
条目和切面请求的大小 2 MB
条目 ID 的长度 4000 个字符
条目中完全限定名称的长度 4000 个字符
条目中条目来源显示名称的长度 500 个字符
条目中条目来源说明的长度 2000 个字符
条目中条目源资源的长度 4000 个字符
条目中条目源系统的长度 64 个字符
条目中条目来源平台的长度 64 个字符
条目中条目来源标签的长度 每个键和值 128 个字符
切面中 JSON 内容的大小 120KB
条目的总大小 5 MB
条目中的切面数量上限 10,000
条目类型、切面类型和条目组显示名称的长度 256
条目类型、切面类型和条目组的说明的长度 1024
条目类型中必需切面类型的数量上限 20
切面类型模板中枚举值的数量上限 1024
Dataplex 搜索结果中的项数上限 500