Cloud TPU 配额
本文档列出了适用于 Cloud TPU 的配额。如需了解 Cloud TPU 价格,请参阅 Cloud TPU 价格。
配额用于限制您的 Google Cloud 项目可使用的共享 Google Cloud 资源(包括硬件、软件和网络组件)的数量。因此,有以下功能的系统具有配额:
- 监控 Google Cloud 产品和服务的使用情况或消耗情况。
- 出于某些原因限制这些资源的消耗量,包括确保公平性和减少使用量高峰。
- 维护可自动强制执行规定限制的配置。
- 提供请求或更改配额的方法。
在大多数情况下,当超过配额时,系统会立即阻止对相关 Google 资源的访问,并且您尝试执行的任务将失败。在大多数情况下,配额适用于每个 Google Cloud 项目,并由使用该 Google Cloud 项目的所有应用和 IP 地址共享。
TPU 配额
每个 TPU 版本的配额各不相同。例如,TPU v2、TPU v3 等具有不同的配额。对于每个 TPU 版本,有不同类型的配额:预留、按需、抢占式 (Spot)。下表介绍了不同类型的配额。
配额类型 | 说明 | 默认值 | 如何申请 | 用于创建 TPU 的标志 |
---|---|---|---|---|
已预留 | 您保证可以访问的 Cloud TPU 资源的数量。 您必须签订预留协议才能访问预留资源。 预留资源可防止资源短缺,但容易中断。 | 0 | 如需申请预留配额,请与您的 Google Cloud 客户代表联系。 |
使用
--reserved 标志。
|
自助式课程 | 您有权访问的按需资源数量。按需资源不会被抢占,但按需配额不能保证有足够的 Cloud TPU 资源来满足您的请求。 |
v3-8 和 v2-8:16 个 TensorCore 所有其他核心:0 |
请参阅申请更多配额。 | 不需要任何标志,默认处于选中状态。 |
抢占式 | 您有权访问的抢占式 Cloud TPU 资源的数量。此配额适用于抢占式 TPU 和 TPU Spot 虚拟机。抢占式资源可能会被抢占,以便为优先级更高的作业腾出空间。抢占式配额不能保证有足够的可用 Cloud TPU 资源来满足您的请求。如需了解详情,请参阅抢占式 TPU 和管理 TPU Spot 虚拟机。 |
v3-8 和 v2-8:48 个 TensorCore 所有其他平台:0 |
请参阅申请更多配额。 |
|
TPU 配额的指定方式如下:每个项目在每个地区的 TPU 核心数,或每个项目在每个区域的 TPU 核心数。
TPU v5p 配额
您可以在任意核心组合中使用 TPU v5p 配额。例如,如果您有 32 个核心的配额,则可以使用此配额创建 4 个 TPU 切片,每个切片具有 8 个核心。
预留配额:
- 每个项目在每个区域的预留 TPU v5p 核心数
- 每个可用区中每个项目的预留 TPU v5p 核心数
抢占式配额:
- 每个项目在每个区域的抢占式 TPU v5p 核心数。
- 每个可用区中每个项目的抢占式 TPU v5p 核心数
按需配额:
- 每个项目在每个区域的 TPU v5p 核心数
- 每个可用区中每个项目的 TPU v5p 核心数
TPU v5e 配额
TPU v5e 可用于训练和服务。对于训练和服务,以及单主机(精简版核心)和多主机(精简版 Pod 核心)有单独的配额。
投放配额
预留的服务配额:
- 每个区域中每个项目使用的预留 TPU v5 Lite Pod 核心数
- 每个可用区中每个项目使用的预留 TPU v5 Lite Pod 核心数
抢占式服务配额:
- 在每个区域中每个项目使用的抢占式 TPU v5 Lite Pod 核心数
- 用于每个可用区每个项目的抢占式 TPU v5 Lite Pod 核心
按需传送配额:
- 在每个区域中每个项目使用的 TPU v5 精简版 Pod 核心数
- 每个可用区中每个项目使用的 TPU v5 Lite Pod 核心数
训练配额
预留的训练配额:
- 每个项目在每个区域的预留 TPU v5 Lite 核心数
- 每个可用区中每个项目的预留 TPU v5 Lite 核心数
- 每个项目在每个区域的预留 TPU v5 Lite Pod 核心数
- 每个可用区中每个项目的预留 TPU v5 Lite Pod 核心数
抢占式训练配额:
- 每个项目在每个区域的抢占式 TPU v5 Lite 核心数。
- 每个可用区中每个项目的抢占式 TPU v5 Lite 核心数
- 每个项目在每个区域的抢占式 TPU v5 Lite Pod 核心数。
- 每个可用区中每个项目的抢占式 TPU v5 Lite Pod 核心数
按需培训配额:
- 每个项目在每个区域的 TPU v5 Lite 核心数
- 每个可用区中每个项目的 TPU v5 Lite 核心数
- 每个项目在每个区域的 TPU v5 Lite Pod 核心数
- 每个可用区中每个项目的 TPU v5 Lite Pod 核心数
TPU v4 配额
您可以通过任意核心组合来使用 TPU v4 配额。例如,如果您有 32 个核心的配额,则可以使用此配额创建 4 个 TPU 切片,每个切片具有 8 个核心。
预留配额:
- 每个项目在每个区域的预留 TPU v4 Pod 核心数
- 每个可用区中每个项目的预留 TPU v4 Pod 核心数
抢占式配额:
- 每个项目在每个区域的抢占式 TPU v4 Pod 核心数。
- 每个可用区中每个项目的抢占式 TPU v4 Pod 核心数
按需配额:
- 每个项目在每个区域的 TPU v4 Pod 核心数。
- 每个可用区中每个项目的 TPU v4 Pod 核心数
TPU v3 配额
单主机 TPU(核心)和多主机 TPU (pod) 具有单独的 TPU v3 配额。您必须使用 v3 Pod 配额来创建具有 8 个以上核心的 TPU。
预留配额:
- 每个项目在每个区域的预留 TPU v3 核心数
- 每个可用区中每个项目的预留 TPU v3 核心数
- 每个项目在每个区域中预留的 TPU v3 Pod 核心数
- 每个可用区中每个项目的预留 TPU v3 Pod 核心数
抢占式配额:
- 每个项目在每个区域的抢占式 TPU v3 核心数。
- 每个可用区中每个项目的抢占式 TPU v3 核心数
- 每个项目在每个区域的抢占式 TPU v3 Pod 核心数。
- 每个可用区中每个项目的抢占式 TPU v3 Pod 核心数
按需配额:
- 每个项目在每个区域的 TPU v3 核心数。
- 每个可用区中每个项目的 TPU v3 核心数
- 每个项目在每个区域的 TPU v3 Pod 核心数。
- 每个可用区中每个项目的 TPU v3 Pod 核心数
TPU v2 配额
单主机 TPU(核心)和多主机 TPU (pod) 分别有单独的 TPU v2 配额。
预留配额:
- 每个项目在每个区域的预留 TPU v2 核心数
- 每个可用区中每个项目的预留 TPU v2 核心数
- 每个项目在每个区域的预留 TPU v2 Pod 核心数
- 每个可用区中每个项目的预留 TPU v2 Pod 核心数
抢占式配额:
- 每个项目在每个区域的抢占式 TPU v2 核心数。
- 每个可用区中每个项目的抢占式 TPU v2 核心数
- 每个项目在每个区域的抢占式 TPU v2 Pod 核心数。
- 每个可用区中每个项目的抢占式 TPU v2 Pod 核心数
按需配额:
- 每个项目在每个区域的 TPU v2 核心数。
- 每个可用区中每个项目的 TPU v2 核心数
- 每个项目在每个区域的 TPU v2 Pod 核心数。
- 每个可用区中每个项目的 TPU v2 Pod 核心数
如需详细了解 TPU 芯片和 TensorCore,请参阅 TPU 系统架构。
查看和申请更多配额
您可以在 Google Cloud 控制台的“配额”页面上查看为 Google Cloud 项目分配的配额。如果您需要额外的 Cloud TPU 配额,可以在“配额”页面中申请。如需了解详情,请参阅申请提高配额上限。