张量处理单元 (TPU)

Trillium - 第 6 代

第六代 TPU，能效和峰值计算性能均有所提升，可用于训练和推理。与上一代 TPU v5e 相比，能效高出 67%，每个芯片的峰值计算性能提升 4.7 倍。

已全面推出。

TPU 版本

TPU 8t

TPU 8t 专为大规模预训练和嵌入密集型工作负载而构建，单个 Superpod 中包含 9,600 个芯片，能为前沿模型提供所需的高密度计算能力，每个 Pod 的计算性能几乎是上一代的 3 倍。

即将推出。

TPU 8i

TPU 8i 针对训练后和推理进行了优化，与上一代相比，其性价比提高了 80%，可助力大型 MoE 模型实现低延迟推理。

即将推出。

Ironwood - 第 7 代

第 7 代高能效 TPU，专为大规模训练、多步推理和模型推理而设计。每个 Pod 配备 9,216 个液冷芯片，提供 42.5 exaflop（艾级浮点）的算力，每芯片的性能是 Trillium 的 4 倍。

已全面推出。

Trillium - 第 6 代

第六代 TPU，能效和峰值计算性能均有所提升，可用于训练和推理。与上一代 TPU v5e 相比，能效高出 67%，每个芯片的峰值计算性能提升 4.7 倍。

已全面推出。

TPU 软件栈

TPU 软件堆栈旨在衔接高级机器学习代码与定制芯片，从而实现硬件原始效率的最大化。

JAX

在 TPU 上以接近原生硬件的速度编译复杂的数学运算。这个用于数值计算和自动微分的开源库使用显式设备网格，可以轻松地跨大规模分布式 TPU 集群进行扩缩。

TorchTPU 和 PyTorch

使用标准语法直接在 TPU 上运行 PyTorch 工作负载。TorchTPU 是一个适用于 TPU 的开源 PyTorch 后端。它让您可以使用现有的代码和工具在 Cloud TPU 上训练、微调模型并提供推理服务，而无需更改 PyTorch 语义或学习 TPU 专用 API。

OpenXLA

减少编译瓶颈，充分释放 TPU 硬件的高性能。这款开源机器学习编译器可自动融合算子、优化内存用量并消除框架开销，从而在 TPU 后端执行线性代数计算。

MaxText

大幅缩短超大型基础模型的训练时间。这种基于 JAX 的参考实现提供了一个高度可伸缩的开箱即用蓝图，可在 TPU 上进行 LLM 预训练期间实现硬件的峰值利用率。

Tunix

简化 TPU 基础设施上的 LLM 训练后和对齐流程。这个轻量级的开源 JAX 库提供可伸缩的工作流，用于监督式微调 (SFT) 和强化学习 (RL)，可高效地将原始模型转化为可用于生产用途的智能体。

查看适用于 PyTorch 的 GitHub 代码库

vLLM

最大化提升推理服务并发能力，并有效降低实时 TPU 推理的运维成本。这个高吞吐量的开源引擎利用 PagedAttention 等内存管理技术来减少空间浪费，并在 TPU 架构上提供高效的 LLM 推理服务。支持在 Cloud TPU 上对 JAX 和 PyTorch 模型进行推理。

查看适用于 JAX 的 GitHub 代码库

SGLang

适用于大语言模型的高性能推理服务框架，专为 Cloud TPU 深度优化后端执行效能。

TPU 软件栈

TPU 软件堆栈旨在衔接高级机器学习代码与定制芯片，从而实现硬件原始效率的最大化。

JAX

在 TPU 上以接近原生硬件的速度编译复杂的数学运算。这个用于数值计算和自动微分的开源库使用显式设备网格，可以轻松地跨大规模分布式 TPU 集群进行扩缩。

TorchTPU 和 PyTorch

使用标准语法直接在 TPU 上运行 PyTorch 工作负载。TorchTPU 是一个适用于 TPU 的开源 PyTorch 后端。它让您可以使用现有的代码和工具在 Cloud TPU 上训练、微调模型并提供推理服务，而无需更改 PyTorch 语义或学习 TPU 专用 API。

OpenXLA

减少编译瓶颈，充分释放 TPU 硬件的高性能。这款开源机器学习编译器可自动融合算子、优化内存用量并消除框架开销，从而在 TPU 后端执行线性代数计算。

MaxText

大幅缩短超大型基础模型的训练时间。这种基于 JAX 的参考实现提供了一个高度可伸缩的开箱即用蓝图，可在 TPU 上进行 LLM 预训练期间实现硬件的峰值利用率。

Tunix

简化 TPU 基础设施上的 LLM 训练后和对齐流程。这个轻量级的开源 JAX 库提供可伸缩的工作流，用于监督式微调 (SFT) 和强化学习 (RL)，可高效地将原始模型转化为可用于生产用途的智能体。

查看适用于 PyTorch 的 GitHub 代码库

vLLM

最大化提升推理服务并发能力，并有效降低实时 TPU 推理的运维成本。这个高吞吐量的开源引擎利用 PagedAttention 等内存管理技术来减少空间浪费，并在 TPU 架构上提供高效的 LLM 推理服务。支持在 Cloud TPU 上对 JAX 和 PyTorch 模型进行推理。

查看适用于 JAX 的 GitHub 代码库

SGLang

适用于大语言模型的高性能推理服务框架，专为 Cloud TPU 深度优化后端执行效能。