Cloud TPU 配额
本文档列出了适用于 Cloud TPU 的配额。如需了解 Cloud TPU 的价格,请参阅 Cloud TPU 价格。
Google Cloud 使用配额来帮助确保公平性并减少资源使用和可用性的激增。配额用于限制您的Google Cloud 项目可使用的 Google Cloud 资源的数量。配额适用于一系列资源类型,包括硬件、软件和网络组件。例如,配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载,从而保护Google Cloud 用户社区。配额还可帮助您管理自己的 Google Cloud 资源。
Cloud 配额系统执行以下操作:
- 监控您对 Google Cloud 产品和服务的消耗情况
- 限制这些资源的消耗量
- 提供请求更改配额值的方法
在大多数情况下,当您尝试消耗的资源超出其配额允许的范围时,系统会阻止对资源的访问,并且您尝试执行的任务会失败。
配额通常在 Google Cloud 项目级层应用。您在一个项目中使用资源不会影响您在另一个项目中的可用配额。在 Google Cloud 项目中,配额在所有应用和 IP 地址间共享。
TPU 配额
每种版本的 TPU 都有不同的配额。例如,TPU v2、v3 等的配额不同。对于每个版本的 TPU,都有不同的配额类型:按需和抢占式(竞价型虚拟机)。下表介绍了不同类型的配额。
配额类型 | 说明 | 默认值 | 申请方式 | 用于创建 TPU 的标志 |
---|---|---|---|---|
按需 | 您有权访问的点播资源数量。系统不会抢占按需资源,但按需配额并不能保证有足够的可用 Cloud TPU 资源来满足您的请求。 |
v3-8 和 v2-8:16 个 TensorCore 所有其他:0 |
请参阅申请更多配额。 | 无需标志,默认处于选中状态。 |
抢占式 | 您有权访问的抢占式 Cloud TPU 资源的数量。 此配额同时适用于抢占式 TPU 和 TPU Spot 虚拟机。 系统可能会抢占可抢占资源,以便为优先级更高的作业腾出空间。抢占式配额并不能保证有足够的可用 Cloud TPU 资源来满足您的请求。如需了解详情,请参阅抢占式 TPU 和管理 TPU Spot 虚拟机。 |
v3-8 和 v2-8:48 个 TensorCore 所有其他:0 |
请参阅申请更多配额。 |
|
TPU 配额以每个可用区中每个项目的 TPU 核心数或每个区域中每个项目的 TPU 核心数为单位指定。
TPU v5p 配额
您可以将 TPU v5p 配额用于任意核心组合。例如,如果您有 32 个核心的配额,则可以使用此配额创建四个 TPU slice,每个 slice 包含 8 个核心。
抢占式配额:
- 每个区域中每个项目的抢占式 TPU v5p 核心数
- 每个可用区中每个项目的抢占式 TPU v5p 核心数
按需配额:
- 每个区域中每个项目的 TPU v5p 核心数
- 每个可用区中每个项目的 TPU v5p 核心数
TPU v5e 配额
TPU v5e 可用于训练和服务。训练和服务以及单主机(Lite 核心)和多主机(Lite pod 核心)分别有单独的配额。
投放配额
抢占式广告投放配额:
- 每个区域中每个项目用于服务的抢占式 TPU v5 lite pod 核心数
- 每个区域中每个项目用于服务的抢占式 TPU v5 lite pod 核心数
按需投放配额:
- 每个区域内每个项目可用于服务的 TPU v5 lite pod 核心数
- 每个可用区中每个项目的 TPU v5 lite Pod 核心数(用于服务)
训练配额
可抢占式训练配额:
- 每个区域中每个项目的抢占式 TPU v5 Lite 核心数
- 每个地区中每个项目的抢占式 TPU v5 Lite 核心数
- 每个区域中每个项目的抢占式 TPU v5 Lite Pod 核心数
- 每个可用区中每个项目的抢占式 TPU v5 LitePod 核心数
自助式培训配额:
- 每个项目在每个区域的 TPU v5 Lite 核心数
- 每个项目在每个可用区中的 TPU v5 Lite 核心数
- 每个项目在每个区域可用的 TPU v5 Lite Pod 核心数
- 每个项目在每个可用区中的 TPU v5 LitePod 核心数
TPU v4 配额
您可以将 TPU v4 配额用于任意核心组合。例如,如果您有 32 个核心的配额,则可以使用此配额创建四个 TPU slice,每个 slice 包含 8 个核心。
抢占式配额:
- 每个区域中每个项目的抢占式 TPU v4 pod 核心数
- 每个可用区中每个项目的抢占式 TPU v4 pod 核心数
按需配额:
- 每个区域中每个项目的 TPU v4 Pod 核心数
- 每个可用区中每个项目的 TPU v4 pod 核心数
TPU v3 配额
单主机 TPU(核心)和多主机 TPU(Pod)有单独的 TPU v3 配额。您必须使用 v3 Pod 配额才能创建核心数超过 8 个的 TPU。
抢占式配额:
- 每个项目在每个区域的抢占式 TPU v3 核心数。
- 每个可用区中每个项目的抢占式 TPU v3 核心数
- 每个区域中每个项目的抢占式 TPU v3 pod 核心数
- 每个可用区中每个项目的抢占式 TPU v3 pod 核心数
按需配额:
- 每个项目在每个区域的 TPU v3 核心数。
- 每个区域中每个项目的 TPU v3 核心数
- 每个区域中每个项目的 TPU v3 Pod 核心数
- 每个可用区中每个项目的 TPU v3 Pod 核心数
TPU v2 配额
单主机 TPU(核心)和多主机 TPU(Pod)具有单独的 TPU v2 配额。
抢占式配额:
- 每个项目在每个区域的抢占式 TPU v2 核心数。
- 每个可用区中每个项目的抢占式 TPU v2 核心数
- 每个区域中每个项目的抢占式 TPU v2 pod 核心数
- 每个可用区中每个项目的抢占式 TPU v2 pod 核心数
按需配额:
- 每个项目在每个区域的 TPU v2 核心数。
- 每个项目在每个区域的 TPU v2 核心数
- 每个区域中每个项目的 TPU v2 pod 核心数
- 每个可用区中每个项目的 TPU v2 pod 核心数
如需详细了解 TPU 芯片和 TensorCore,请参阅 TPU 系统架构。
查看和申请更多配额
您可以在 Google Cloud 控制台中的“配额”页面上查看为您的项目分配的配额。 Google Cloud 如果您需要更多 Cloud TPU 配额,可以通过“配额”页面申请增加配额。如需了解详情,请参阅申请更高的配额限制。
如果 Google Cloud 服务增加资源和 API 的默认配额值,这些更改会逐步生效。这可能会导致在不同区域或资源中持续进行发布。在发布期间,Google Cloud 控制台或 Cloud Quotas API 中显示的配额值不会体现增加后的新配额值,直到发布完成为止。如需了解详情,请参阅查看正在进行的发布。