云张量处理单元 (TPU)
利用 Google Cloud TPU 加速 AI 开发
不确定 TPU 是否适合自己？ 了解何时在 Compute Engine 实例上使用 GPU 或 CPU 来运行机器学习工作负载。
概览
什么是张量处理单元 (TPU)？
Cloud TPU 有哪些优势？
Cloud TPU 能够针对各种 AI 工作负载（涵盖训练、微调和推理）进行经济高效的扩缩。Cloud TPU 提供了多种功能，可加速领先 AI 框架（包括 PyTorch、JAX 和 TensorFlow）上的工作负载。通过 Google Kubernetes Engine (GKE) 中的 Cloud TPU 集成，无缝编排大规模 AI 工作负载。利用动态工作负载调度程序同时安排所有需要的加速器，从而提高工作负载的可伸缩性。寻求最简单的 AI 模型开发方法的客户还可以在全托管式 AI 平台 Vertex AI 中利用 Cloud TPU。
何时使用 Cloud TPU？
Cloud TPU 与 GPU 有何不同？
GPU 是专门为处理计算机图形而设计的处理器。并行结构使其非常适合处理 AI 工作负载中常见的大数据块的算法。了解详情。
TPU 是 Google 专为神经网络设计的应用专用集成电路 (ASIC)。TPU 具有专用功能，例如矩阵乘法单元 (MXU) 和专有的互连拓扑，因此非常适合用于加快 AI 训练和推理速度。
Cloud TPU 版本
| Cloud TPU 版本 | 说明 | 可用情况 |
|---|---|---|
Cloud TPU v5p | 用于训练 AI 模型的强大 Cloud TPU | Cloud TPU v5p 现已在北美（美国东部区域）正式发布 |
Cloud TPU v5e | 效率、功能和可伸缩性最佳的 Cloud TPU | Cloud TPU v5e 现已在北美（美国中部/东部/南部/西部区域）、欧洲（西欧区域）和亚洲（东南亚区域）正式发布 |
有关 Cloud TPU 版本的更多信息
Cloud TPU v5p
用于训练 AI 模型的强大 Cloud TPU
Cloud TPU v5p 现已在北美（美国东部区域）正式发布
Cloud TPU v5e
效率、功能和可伸缩性最佳的 Cloud TPU
Cloud TPU v5e 现已在北美（美国中部/东部/南部/西部区域）、欧洲（西欧区域）和亚洲（东南亚区域）正式发布
有关 Cloud TPU 版本的更多信息
工作方式
深入了解 Google Cloud TPU 的神奇之处，包括执行各种操作的数据中心的罕见内部视图。客户使用 Cloud TPU 运行一些全球规模最大的 AI 工作负载，其强大能力远不止芯片。在本视频中，我们将介绍 TPU 系统的组件，包括数据中心网络、光学电路开关、水冷却系统、生物识别安全性验证等。
常见用途
运行大规模 AI 训练工作负载
强大、可伸缩且高效的 AI 训练
借助 Cloud TPU，最大限度地提高性能、效率并缩短价值实现时间。通过 Cloud TPU 多切片训练，扩展到数千个芯片。利用 ML Goodput Measurement 衡量和提高大规模机器学习训练的效率。通过 MaxText 和 MaxDiffusion（适用于大型模型训练的开源参考部署）快速上手。
其他资源
强大、可伸缩且高效的 AI 训练
借助 Cloud TPU，最大限度地提高性能、效率并缩短价值实现时间。通过 Cloud TPU 多切片训练，扩展到数千个芯片。利用 ML Goodput Measurement 衡量和提高大规模机器学习训练的效率。通过 MaxText 和 MaxDiffusion（适用于大型模型训练的开源参考部署）快速上手。
微调基础 AI 模型
使用 Pytorch/XLA 调整 LLM 以适应您的应用
利用可代表您的使用场景的训练数据，高效微调基础模型。Cloud TPU v5e 的每美元 LLM 微调性能比 Cloud TPU v4 高至 1.9 倍。
其他资源
使用 Pytorch/XLA 调整 LLM 以适应您的应用
利用可代表您的使用场景的训练数据，高效微调基础模型。Cloud TPU v5e 的每美元 LLM 微调性能比 Cloud TPU v4 高至 1.9 倍。
处理大规模 AI 推理工作负载
利用可扩缩的 AI 基础架构，实现最高的性价比
Cloud TPU v5e 可为各种 AI 工作负载（包括最新的 LLM 和生成式 AI 模型）实现高性能且经济高效的推理。与 Cloud TPU v4 相比，TPU v5e 可将性价比最多提高到 2.5 倍，并将速度最多提高到 1.7 倍。每个 TPU v5e 芯片每秒可提供高达 393 万亿次的 int8 运算，从而使复杂的模型进行快速预测。TPU v5e Pod 每秒可提供高达 10 亿亿次 int8 运算，即 100 petaOps 的计算能力。
其他资源
利用可扩缩的 AI 基础架构，实现最高的性价比
Cloud TPU v5e 可为各种 AI 工作负载（包括最新的 LLM 和生成式 AI 模型）实现高性能且经济高效的推理。与 Cloud TPU v4 相比，TPU v5e 可将性价比最多提高到 2.5 倍，并将速度最多提高到 1.7 倍。每个 TPU v5e 芯片每秒可提供高达 393 万亿次的 int8 运算，从而使复杂的模型进行快速预测。TPU v5e Pod 每秒可提供高达 10 亿亿次 int8 运算，即 100 petaOps 的计算能力。
Vertex AI 中的 Cloud TPU
带有 Cloud TPU 的 Vertex AI 训练和预测
对于希望以最简单的方式开发 AI 模型的客户，您可以使用 Vertex AI 部署 Cloud TPU v5e。Vertex AI 是一个端到端平台，用于在全代管式基础架构上构建 AI 模型，该基础架构专为低延迟服务和高性能训练而打造。
其他资源
带有 Cloud TPU 的 Vertex AI 训练和预测
对于希望以最简单的方式开发 AI 模型的客户，您可以使用 Vertex AI 部署 Cloud TPU v5e。Vertex AI 是一个端到端平台，用于在全代管式基础架构上构建 AI 模型，该基础架构专为低延迟服务和高性能训练而打造。
价格
| Cloud TPU 价格 | 所有 Cloud TPU 价格均按芯片小时数计算 | ||
|---|---|---|---|
| Cloud TPU 版本 | 评估价格（美元） | 1 年承诺（美元） | 3 年承诺（美元） |
Cloud TPU v5p | Starting at $4.2000 每芯片小时 | Starting at $2.9400 每芯片小时 | Starting at $1.8900 每芯片小时 |
Cloud TPU v5e | Starting at $1.2000 每芯片小时 | Starting at $0.8400 每芯片小时 | Starting at $0.5400 每芯片小时 |
Cloud TPU 价格因产品和区域而异。
Cloud TPU 价格
所有 Cloud TPU 价格均按芯片小时数计算
Cloud TPU v5p
Starting at
$4.2000
每芯片小时
Starting at
$2.9400
每芯片小时
Starting at
$1.8900
每芯片小时
Cloud TPU v5e
Starting at
$1.2000
每芯片小时
Starting at
$0.8400
每芯片小时
Starting at
$0.5400
每芯片小时
Cloud TPU 价格因产品和区域而异。
