Cloud TPU 配额

本文档列出了适用于 Cloud TPU 的配额。如需了解 Cloud TPU 价格,请参阅 Cloud TPU 价格

配额用于限制您的 Google Cloud 项目可使用的共享 Google Cloud 资源(包括硬件、软件和网络组件)的数量。因此,有以下功能的系统具有配额:

  • 监控 Google Cloud 产品和服务的使用情况或消耗情况。
  • 出于某些原因限制这些资源的消耗量,包括确保公平性和减少使用量高峰。
  • 维护可自动强制执行规定限制的配置。
  • 提供请求或更改配额的方法。

在大多数情况下,当超过配额时,系统会立即阻止对相关 Google 资源的访问,并且您尝试执行的任务将失败。在大多数情况下,配额适用于每个 Google Cloud 项目,并由使用该 Google Cloud 项目的所有应用和 IP 地址共享。

TPU 配额

每个 TPU 版本的配额各不相同。例如,TPU v2、TPU v3 等具有不同的配额。对于每个 TPU 版本,有不同类型的配额:预留、按需、抢占式 (Spot)。下表介绍了不同类型的配额。

配额类型 说明 默认值 如何申请 用于创建 TPU 的标志
已预留 您保证可以访问的 Cloud TPU 资源的数量。 您必须签订预留协议才能访问预留资源。 预留资源可防止资源短缺,但容易中断。 0 如需申请预留配额,请与您的 Google Cloud 客户代表联系。 使用 --reserved 标志。
自助式课程 您有权访问的按需资源数量。按需资源不会被抢占,但按需配额不能保证有足够的 Cloud TPU 资源来满足您的请求。 v3-8 和 v2-8:16 个 TensorCore
所有其他核心:0
请参阅申请更多配额 不需要任何标志,默认处于选中状态。
抢占式 您有权访问的抢占式 Cloud TPU 资源的数量。此配额适用于抢占式 TPU 和 TPU Spot 虚拟机。抢占式资源可能会被抢占,以便为优先级更高的作业腾出空间。抢占式配额不能保证有足够的可用 Cloud TPU 资源来满足您的请求。如需了解详情,请参阅抢占式 TPU管理 TPU Spot 虚拟机 v3-8 和 v2-8:48 个 TensorCore
所有其他平台:0
请参阅申请更多配额

TPU 配额的指定方式如下:每个项目在每个地区的 TPU 核心数,或每个项目在每个区域的 TPU 核心数。

TPU v5p 配额

您可以在任意核心组合中使用 TPU v5p 配额。例如,如果您有 32 个核心的配额,则可以使用此配额创建 4 个 TPU 切片,每个切片具有 8 个核心。

预留配额:

  • 每个项目在每个区域的预留 TPU v5p 核心数
  • 每个可用区中每个项目的预留 TPU v5p 核心数

抢占式配额:

  • 每个项目在每个区域的抢占式 TPU v5p 核心数。
  • 每个可用区中每个项目的抢占式 TPU v5p 核心数

按需配额:

  • 每个项目在每个区域的 TPU v5p 核心数
  • 每个可用区中每个项目的 TPU v5p 核心数

TPU v5e 配额

TPU v5e 可用于训练和服务。对于训练和服务,以及单主机(精简版核心)和多主机(精简版 Pod 核心)有单独的配额。

投放配额

预留的服务配额:

  • 每个区域中每个项目使用的预留 TPU v5 Lite Pod 核心数
  • 每个可用区中每个项目使用的预留 TPU v5 Lite Pod 核心数

抢占式服务配额:

  • 在每个区域中每个项目使用的抢占式 TPU v5 Lite Pod 核心数
  • 用于每个可用区每个项目的抢占式 TPU v5 Lite Pod 核心

按需传送配额:

  • 在每个区域中每个项目使用的 TPU v5 精简版 Pod 核心数
  • 每个可用区中每个项目使用的 TPU v5 Lite Pod 核心数

训练配额

预留的训练配额:

  • 每个项目在每个区域的预留 TPU v5 Lite 核心数
  • 每个可用区中每个项目的预留 TPU v5 Lite 核心数
  • 每个项目在每个区域的预留 TPU v5 Lite Pod 核心数
  • 每个可用区中每个项目的预留 TPU v5 Lite Pod 核心数

抢占式训练配额:

  • 每个项目在每个区域的抢占式 TPU v5 Lite 核心数。
  • 每个可用区中每个项目的抢占式 TPU v5 Lite 核心数
  • 每个项目在每个区域的抢占式 TPU v5 Lite Pod 核心数。
  • 每个可用区中每个项目的抢占式 TPU v5 Lite Pod 核心数

按需培训配额:

  • 每个项目在每个区域的 TPU v5 Lite 核心数
  • 每个可用区中每个项目的 TPU v5 Lite 核心数
  • 每个项目在每个区域的 TPU v5 Lite Pod 核心数
  • 每个可用区中每个项目的 TPU v5 Lite Pod 核心数

TPU v4 配额

您可以通过任意核心组合来使用 TPU v4 配额。例如,如果您有 32 个核心的配额,则可以使用此配额创建 4 个 TPU 切片,每个切片具有 8 个核心。

预留配额:

  • 每个项目在每个区域的预留 TPU v4 Pod 核心数
  • 每个可用区中每个项目的预留 TPU v4 Pod 核心数

抢占式配额:

  • 每个项目在每个区域的抢占式 TPU v4 Pod 核心数。
  • 每个可用区中每个项目的抢占式 TPU v4 Pod 核心数

按需配额:

  • 每个项目在每个区域的 TPU v4 Pod 核心数。
  • 每个可用区中每个项目的 TPU v4 Pod 核心数

TPU v3 配额

单主机 TPU(核心)和多主机 TPU (pod) 具有单独的 TPU v3 配额。您必须使用 v3 Pod 配额来创建具有 8 个以上核心的 TPU。

预留配额:

  • 每个项目在每个区域的预留 TPU v3 核心数
  • 每个可用区中每个项目的预留 TPU v3 核心数
  • 每个项目在每个区域中预留的 TPU v3 Pod 核心数
  • 每个可用区中每个项目的预留 TPU v3 Pod 核心数

抢占式配额:

  • 每个项目在每个区域的抢占式 TPU v3 核心数。
  • 每个可用区中每个项目的抢占式 TPU v3 核心数
  • 每个项目在每个区域的抢占式 TPU v3 Pod 核心数。
  • 每个可用区中每个项目的抢占式 TPU v3 Pod 核心数

按需配额:

  • 每个项目在每个区域的 TPU v3 核心数。
  • 每个可用区中每个项目的 TPU v3 核心数
  • 每个项目在每个区域的 TPU v3 Pod 核心数。
  • 每个可用区中每个项目的 TPU v3 Pod 核心数

TPU v2 配额

单主机 TPU(核心)和多主机 TPU (pod) 分别有单独的 TPU v2 配额。

预留配额:

  • 每个项目在每个区域的预留 TPU v2 核心数
  • 每个可用区中每个项目的预留 TPU v2 核心数
  • 每个项目在每个区域的预留 TPU v2 Pod 核心数
  • 每个可用区中每个项目的预留 TPU v2 Pod 核心数

抢占式配额:

  • 每个项目在每个区域的抢占式 TPU v2 核心数。
  • 每个可用区中每个项目的抢占式 TPU v2 核心数
  • 每个项目在每个区域的抢占式 TPU v2 Pod 核心数。
  • 每个可用区中每个项目的抢占式 TPU v2 Pod 核心数

按需配额:

  • 每个项目在每个区域的 TPU v2 核心数。
  • 每个可用区中每个项目的 TPU v2 核心数
  • 每个项目在每个区域的 TPU v2 Pod 核心数。
  • 每个可用区中每个项目的 TPU v2 Pod 核心数

如需详细了解 TPU 芯片和 TensorCore,请参阅 TPU 系统架构

查看和申请更多配额

您可以在 Google Cloud 控制台的“配额”页面上查看为 Google Cloud 项目分配的配额。如果您需要额外的 Cloud TPU 配额,可以在“配额”页面中申请。如需了解详情,请参阅申请提高配额上限