大语言模型
-
在 v6e 上进行 JetStream MaxText 推理
有关在 v6e 上设置和使用 JetStream 和 MaxText 进行推理的指南。
-
在 v6e 上进行 JetStream PyTorch 推理
有关在 v6e 上设置和使用 JetStream 和 PyTorch 进行推理的指南。
-
在 v6e 上进行 vLLM 推理
有关在 v6e 上设置和使用 vLLM 进行推理的指南。
-
通过 vLLM 使用 GKE 上的 TPU 部署 LLM
有关如何使用 vLLM 在 Google Kubernetes Engine (GKE) 上使用张量处理单元 (TPU) 部署大语言模型 (LLM) 的指南。