Cloud TPU 配额
本文档列出了适用于 Cloud TPU 的配额。如需了解 Cloud TPU 的价格,请参阅 Cloud TPU 价格。
Google Cloud 使用配额来帮助确保公平性并减少资源使用和可用性的激增。配额用于限制您的 Google Cloud 项目可使用的 Google Cloud 资源的数量。配额适用于一系列资源类型,包括硬件、软件和网络组件。例如,配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载,从而保护 Google Cloud 用户社区。配额还可帮助您管理自己的 Google Cloud 资源。
Cloud 配额系统执行以下操作:
- 监控 Google Cloud 产品和服务的消耗情况
- 限制这些资源的消耗量
- 提供请求更改配额值的方法
在大多数情况下,当您尝试消耗的资源超出其配额允许的范围时,系统会阻止对资源的访问,并且您尝试执行的任务会失败。
配额通常在 Google Cloud 项目级层应用。您在一个项目中使用资源不会影响您在另一个项目中的可用配额。在 Google Cloud 项目中,配额在所有应用和 IP 地址间共享。
TPU 配额
每种版本的 TPU 都有不同的配额。例如,TPU v2、v3 等的配额不同。对于每个版本的 TPU,都有不同的配额类型:按需和抢占式(Spot VM)。下表介绍了不同类型的配额。
配额类型 | 说明 | 默认值 | 如何申请 | 用于创建 TPU 的标志 |
---|---|---|---|---|
按需 | 您有权访问的点播资源数量。系统不会抢占按需资源,但按需配额并不能保证有足够的可用 Cloud TPU 资源来满足您的请求。 |
v3-8 和 v2-8:16 个 TensorCore 所有其他:0 |
请参阅申请更多配额。 | 无需标志,默认处于选中状态。 |
抢占式 | 您有权访问的抢占式 Cloud TPU 资源的数量。 此配额适用于抢占式 TPU 和 TPU Spot 虚拟机。 系统可能会抢占可抢占资源,以便为优先级更高的作业腾出空间。抢占式配额并不能保证有足够的可用 Cloud TPU 资源来满足您的请求。如需了解详情,请参阅抢占式 TPU 和管理 TPU Spot 虚拟机。 |
v3-8 和 v2-8:48 个 TensorCore 所有其他:0 |
请参阅申请更多配额。 |
|
TPU 配额以每个可用区中每个项目的 TPU 核心数或每个区域中每个项目的 TPU 核心数为单位指定。
TPU v5p 配额
您可以将 TPU v5p 配额用于任意核心组合。例如,如果您有 32 个核心的配额,则可以使用此配额创建四个 TPU slice,每个 slice 包含 8 个核心。
抢占式配额:
- 每个区域中每个项目的抢占式 TPU v5p 核心数
- 每个可用区中每个项目的抢占式 TPU v5p 核心数
按需配额:
- 每个区域中每个项目的 TPU v5p 核心数
- 每个可用区中每个项目的 TPU v5p 核心数
TPU v5e 配额
TPU v5e 可用于训练和服务。训练和服务以及单主机(Lite 核心)和多主机(Lite pod 核心)分别有单独的配额。
投放配额
抢占式广告投放配额:
- 每个区域中每个项目用于服务的抢占式 TPU v5 lite pod 核心数
- 每个区域中每个项目用于服务的抢占式 TPU v5 lite pod 核心数
按需广告投放配额:
- 每个区域内每个项目可用于服务的 TPU v5 lite pod 核心数
- 每个可用区中每个项目的 TPU v5 lite Pod 核心数(用于服务)
训练配额
可抢占式训练配额:
- 每个区域中每个项目的抢占式 TPU v5 Lite 核心数
- 每个地区中每个项目的抢占式 TPU v5 Lite 核心数
- 每个区域中每个项目的抢占式 TPU v5 Lite Pod 核心数
- 每个可用区中每个项目的抢占式 TPU v5 LitePod 核心数
自助式培训配额:
- 每个项目在每个区域的 TPU v5 Lite 核心数
- 每个项目在每个可用区中的 TPU v5 Lite 核心数
- 每个项目在每个区域可用的 TPU v5 Lite Pod 核心数
- 每个项目在每个可用区中的 TPU v5 LitePod 核心数
TPU v4 配额
您可以将 TPU v4 配额用于任意核心组合。例如,如果您有 32 个核心的配额,则可以使用此配额创建四个 TPU slice,每个 slice 包含 8 个核心。
抢占式配额:
- 每个区域中每个项目的抢占式 TPU v4 pod 核心数
- 每个可用区中每个项目的抢占式 TPU v4 pod 核心数
按需配额:
- 每个区域中每个项目的 TPU v4 Pod 核心数
- 每个可用区中每个项目的 TPU v4 pod 核心数
TPU v3 配额
单主机 TPU(核心)和多主机 TPU(Pod)有单独的 TPU v3 配额。您必须使用 v3 Pod 配额才能创建核心数超过 8 个的 TPU。
抢占式配额:
- 每个项目在每个区域的抢占式 TPU v3 核心数。
- 每个可用区中每个项目的抢占式 TPU v3 核心数
- 每个区域中每个项目的抢占式 TPU v3 pod 核心数
- 每个可用区中每个项目的抢占式 TPU v3 pod 核心数
按需配额:
- 每个项目在每个区域的 TPU v3 核心数。
- 每个区域中每个项目的 TPU v3 核心数
- 每个区域中每个项目的 TPU v3 Pod 核心数
- 每个可用区中每个项目的 TPU v3 Pod 核心数
TPU v2 配额
单主机 TPU(核心)和多主机 TPU(Pod)具有单独的 TPU v2 配额。
抢占式配额:
- 每个项目在每个区域的抢占式 TPU v2 核心数。
- 每个可用区中每个项目的抢占式 TPU v2 核心数
- 每个区域中每个项目的抢占式 TPU v2 pod 核心数
- 每个可用区中每个项目的抢占式 TPU v2 pod 核心数
按需配额:
- 每个项目在每个区域的 TPU v2 核心数。
- 每个地区中每个项目的 TPU v2 核心数
- 每个区域中每个项目的 TPU v2 pod 核心数
- 每个可用区中每个项目的 TPU v2 pod 核心数
如需详细了解 TPU 芯片和 TensorCore,请参阅 TPU 系统架构。
查看和申请更多配额
您可以在 Google Cloud 控制台的“配额”页面上查看为您的 Google Cloud 项目分配的配额。如果您需要更多 Cloud TPU 配额,可以通过“配额”页面申请增加配额。如需了解详情,请参阅申请更高配额限制。
如果 Google Cloud 服务增加资源和 API 的默认配额值,这些更改会逐步生效。这可能会导致在不同区域或资源中持续进行发布。在发布期间,Google Cloud 控制台或 Cloud Quotas API 中显示的配额值不会体现增加后的新配额值,直到发布完成为止。如需了解详情,请参阅查看正在进行的发布。