配额和限制

本文档列出了适用于 Dataplex 的配额。

Google Cloud 使用配额来帮助确保公平性并减少资源使用和可用性的激增。配额用于限制您的 Google Cloud 项目可使用的Google Cloud 资源的数量。配额适用于一系列资源类型,包括硬件、软件和网络组件。例如,配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载,从而保护Google Cloud 用户社区。配额还可帮助您管理自己的 Google Cloud 资源。

Cloud 配额系统执行以下操作:

在大多数情况下,当您尝试消耗的资源超出其配额允许的范围时,系统会阻止对资源的访问,并且您尝试执行的任务会失败。

配额通常在 Google Cloud 项目级层应用。您在一个项目中使用资源不会影响您在另一个项目中的可用配额。在 Google Cloud 项目中,配额在所有应用和 IP 地址间共享。

Dataplex 资源也有系统限制。系统限制不能更改。

Dataplex 会对特定时间段内的 API 请求数量和项目中可创建的资源数量强制执行配额。配额可保护您免受用量意外激增和服务过载的影响。详细了解为何强制执行配额

您使用 Dataplex 越多,对配额的需求就可能越大。如果配额太低,无法满足您的需求,或者您预计自己的用量即将增加,可以主动申请增加配额

Dataplex API 请求的配额

Dataplex API 会针对不同级别的 Dataplex Catalog 资源管理和搜索请求强制执行配额,无论请求的来源如何。这包括直接来自 API 调用、客户端库、Google Cloud CLI 和 Google Cloud 控制台的请求。

以下配额适用于 Dataplex 请求:

配额 默认
每个项目在每个区域每分钟对条目和方面发出的读取请求数 6000
每个项目在每个区域每分钟对条目和方面发出的写入请求数 1500
每位用户每分钟对每个项目的切面类型、条目类型和条目组的读取请求数 100
每个项目每分钟对切面类型、条目类型和条目组的读取请求数 200
每位用户每个项目每分钟对切面类型、条目类型和条目组的写入请求数 10
每个项目每分钟针对切面类型、条目类型和条目组的写入请求数 20
每位用户每个项目每分钟的搜索请求数 900
每个项目每分钟的搜索请求数 1200
每个组织每分钟的搜索请求数 2400
每个组织每天可发出的搜索请求数 345600
每个项目在每个区域每分钟对元数据作业的读取请求数 400
每个项目中每个用户在每个区域每分钟对元数据作业的读取请求数 200
每个项目在每个区域每分钟对元数据作业的写入请求数 20
每个用户每个项目每个区域每分钟的元数据作业写入请求数 10

对于下表中列出的每项 Dataplex 请求,系统都会在按项目和按项目-按用户级别强制执行配额。

配额 示例
资源管理读取请求 获取数据湖、列出可用区
资源管理写入请求 创建数据湖、删除资产
获取元数据请求 获取实体、获取分区
列出元数据请求 列出实体、列出分区
对元数据的写入请求 更新实体、删除分区
对任务和作业资源的读取请求 获取任务、列出作业
对任务和作业资源的写入请求 创建任务、取消作业
设置 IAM 政策请求 设置 IAM 政策

Data Lineage API 请求的配额

Data Lineage API 对以下内容实施配额:

  • 仅返回数据的读取请求
  • 用于创建或更改数据的写入请求
  • 创建开放式沿袭

以下配额适用于数据谱系请求:

配额 默认值
每位用户每个项目每个区域每分钟的读取请求数 1000
每个用户每个项目每个区域每分钟的写入请求数 6000
每个用户在每个区域每个项目每分钟打开的谱系请求数 3000

资源配额

系统会按项目级别强制执行以下资源类型的资源配额:数据湖、可用区、资产、按需任务、周期性任务。您可以在 Google Cloud 控制台的配额页面上查看当前 Dataplex 配额的使用情况。

申请增加配额

  1. 在 Google Cloud 控制台中,转到配额页面。

    转到“配额”

  2. 选择要修改的配额。

  3. 依次点击 更多操作 > 修改配额

  4. 输入新的配额值和请求说明。

  5. 点击下一步

  6. 输入详细联系信息。

  7. 点击提交请求

如需调整大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请更高的配额值

配额依赖项

您的 Dataplex 使用情况可能涉及其他 Google Cloud 产品。例如,数据发现需要调用 Cloud Storage 和/或 BigQuery API 才能与底层资源交互。这些产品具有项目级配额,其中包括适用于 Dataplex 用量的配额。

您可以使用 Dataplex 的其他产品的配额页面:

该列表并不详尽。

限制

以下限制适用于 Dataplex Catalog 和搜索功能:

限制
条目和方面(包括架构方面)请求的大小 2 MB
条目 ID 的长度 4000 个字符
条目中完全限定名称的长度 4000 个字符
条目中的条目来源显示名称的长度 500 个字符
条目中的条目来源说明的长度 2,000 个字符
条目中的条目来源资源的长度 4000 个字符
条目中的条目来源系统的长度 64 个字符
条目中的条目来源平台的长度 64 个字符
条目中的条目来源标签的长度 每个键和值均为 128 个字符
某个方面(架构方面除外)中的 JSON 内容的大小 120 KB
条目的总大小 5 MB
条目中的方面数量上限 10000
条目类型、方面类型和条目组的显示名称的长度 256
条目类型、切面类型和条目组的说明长度 1024
切面类型模板中字段名称的长度 63
条目类型中的必需切面类型数量上限 20
方面类型模板中的枚举值数量上限 1024
Dataplex 搜索结果中的项数上限 500