Cloud TPU 配额

本文档列出了适用于 Cloud TPU 的配额。如需了解 Cloud TPU 价格,请参阅 Cloud TPU 价格

Google Cloud 使用配额来帮助确保公平性并减少资源使用和可用性的激增。配额用于限制您的 Google Cloud 项目可使用的 Google Cloud 资源的数量。配额适用于一系列资源类型,包括硬件、软件和网络组件。例如,配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载,从而保护 Google Cloud 用户社区。配额还可帮助您管理自己的 Google Cloud 资源。

Cloud 配额系统执行以下操作:

  • 监控 Google Cloud 产品和服务的消耗情况
  • 限制这些资源的消耗量
  • 提供一种请求更改配额值的方法

在大多数情况下,当您尝试消耗的资源超出其配额允许的范围时,系统会阻止对资源的访问,并且您尝试执行的任务会失败。

配额通常在 Google Cloud 项目级层应用。您在一个项目中使用资源不会影响您在另一个项目中的可用配额。在 Google Cloud 项目中,配额在所有应用和 IP 地址间共享。

TPU 配额

每个版本的 TPU 都有不同的配额。例如,TPU v2、v3 等的配额不同。对于每个版本的 TPU 配额类型:按需和抢占式 (Spot 虚拟机)。下表 介绍了不同类型的配额

配额类型 说明 默认值 如何申请 用于创建 TPU 的标志
按需 您有权访问的点播资源数量。系统不会抢占按需资源,但按需配额并不能保证有足够的可用 Cloud TPU 资源来满足您的请求。 v3-8 和 v2-8:16 个 TensorCore
所有其他:0
请参阅申请更多配额 不需要任何标志,默认处于选中状态。
抢占式 您有权访问的抢占式 Cloud TPU 资源的数量。 此配额适用于抢占式 TPU 和 TPU Spot 虚拟机。 系统可能会抢占可抢占资源,以便为优先级更高的作业腾出空间。抢占式配额不保证有足够的可用配额 Cloud TPU 资源,满足您的需求。如需了解详情,请参阅抢占式 TPU管理 TPU Spot 虚拟机 v3-8 和 v2-8:48 个 TensorCore
所有其他:0
请参阅申请更多配额

TPU 配额以每个可用区中每个项目的 TPU 核心数或每个区域中每个项目的 TPU 核心数为单位指定。

TPU v5p 配额

您可以在任意核心组合中使用 TPU v5p 配额。例如,如果您有 32 个核心的配额,则可以使用此配额创建四个 TPU slice,每个 slice 包含 8 个核心。

抢占式配额:

  • 每个区域中每个项目的抢占式 TPU v5p 核心数
  • 每个可用区中每个项目的抢占式 TPU v5p 核心数

按需配额:

  • 每个区域中每个项目的 TPU v5p 核心数
  • 每个可用区中每个项目的 TPU v5p 核心数

TPU v5e 配额

TPU v5e 可用于训练和服务。训练和服务以及单主机(Lite 核心)和多主机(Lite pod 核心)分别有单独的配额。

投放配额

抢占式服务配额:

  • 每个区域中每个项目用于服务的抢占式 TPU v5 lite pod 核心数
  • 用于每个可用区每个项目的抢占式 TPU v5 Lite Pod 核心

按需投放配额:

  • 在每个区域中每个项目使用的 TPU v5 Lite Pod 核心数
  • 每个可用区中每个项目使用的 TPU v5 Lite Pod 核心数

训练配额

抢占式训练配额:

  • 每个项目在每个区域的抢占式 TPU v5 Lite 核心数。
  • 每个项目在每个区域中的抢占式 TPU v5 Lite 核心数
  • 每个项目在每个区域的抢占式 TPU v5 Lite Pod 核心数。
  • 每个可用区中每个项目的抢占式 TPU v5 Lite Pod 核心数

按需培训配额:

  • 每个项目在每个区域的 TPU v5 Lite 核心数
  • 每个可用区中每个项目的 TPU v5 Lite 核心数
  • 每个项目在每个区域的 TPU v5 Lite Pod 核心数
  • 每个区域中每个项目的 TPU v5 LitePod 核心数

TPU v4 配额

您可以通过任意核心组合来使用 TPU v4 配额。例如,如果您有 32 个核心的配额,则可以使用此配额创建四个 TPU slice,每个 slice 包含 8 个核心。

抢占式配额:

  • 每个项目在每个区域的抢占式 TPU v4 Pod 核心数。
  • 每个可用区中每个项目的抢占式 TPU v4 Pod 核心数

按需配额:

  • 每个项目在每个区域的 TPU v4 Pod 核心数。
  • 每个可用区中每个项目的 TPU v4 Pod 核心数

TPU v3 配额

单主机 TPU(核心)和多主机 TPU 具有单独的 TPU v3 配额 (广告连播)。您必须使用 v3 Pod 配额来创建具有 8 个以上核心的 TPU。

抢占式配额:

  • 每个项目在每个区域的抢占式 TPU v3 核心数。
  • 每个可用区中每个项目的抢占式 TPU v3 核心数
  • 每个区域中每个项目的抢占式 TPU v3 pod 核心数
  • 每个可用区中每个项目的抢占式 TPU v3 Pod 核心数

按需配额:

  • 每个项目在每个区域的 TPU v3 核心数。
  • 每个可用区中每个项目的 TPU v3 核心数
  • 每个区域中每个项目的 TPU v3 Pod 核心数
  • 每个可用区中每个项目的 TPU v3 Pod 核心数

TPU v2 配额

单主机 TPU(核心)和多主机 TPU 具有单独的 TPU v2 配额 (广告连播)。

抢占式配额:

  • 每个项目在每个区域的抢占式 TPU v2 核心数。
  • 每个可用区中每个项目的抢占式 TPU v2 核心数
  • 每个区域中每个项目的抢占式 TPU v2 pod 核心数
  • 每个可用区中每个项目的抢占式 TPU v2 pod 核心数

按需配额:

  • 每个项目在每个区域的 TPU v2 核心数。
  • 每个地区中每个项目的 TPU v2 核心数
  • 每个区域中每个项目的 TPU v2 pod 核心数
  • 每个可用区中每个项目的 TPU v2 Pod 核心数

如需详细了解 TPU 芯片和 TensorCore,请参阅 TPU 系统 架构

查看和申请更多配额

您可以在以下位置查看为 Google Cloud 项目分配的配额: “配额”页面中 Google Cloud 控制台。如果您 需要额外的 Cloud TPU 配额,您可以在“配额”部分申请 页面。如需了解详情,请参阅申请更高配额 限制