虽然各项服务提供特定功能，但 AI Hypercomputer 提供了一个集成系统，其中的硬件、软件与使用模式经过协同设计，可实现最佳运行效果。这种集成在性能、成本和上市时间方面带来了系统级的效率提升，而通过拼接不同的服务往往难以达到这一效果。它简化了复杂系统，并为 AI Infrastructure 提供全面的解决方案。

没错，AI Hypercomputer 在设计时充分考虑了灵活性。Cross-Cloud Interconnect 等技术可为本地数据中心与其他云平台提供高带宽连接，从而加速混合云与多云 AI 策略的实施。我们采用开放标准，并集成主流第三方软件，使您能够构建跨多个环境的解决方案，并按需更换服务。

安全性是 AI Hypercomputer 的核心组成部分。它受益于 Google Cloud 的多层安全模型。具体功能包括 Titan 安全微控制器（确保系统从可信状态启动）、RDMA 防火墙（在训练期间实现 TPU/GPU 之间的零信任网络连接），以及与 Model Armor 等 AI 安全解决方案的集成。这些功能还辅以诸如安全 AI 框架等稳健的基础设施安全政策与原则。

• 如果您不想管理虚拟机，建议您从 Google Kubernetes Engine (GKE) 入手
• 如果您需要使用多个调度器，或者无法使用 GKE，建议使用 Cluster Director
• 如果您希望完全掌控基础设施，唯一的实现方式是直接使用虚拟机，而 Google Compute Engine 是您的最佳选择

否。AI Hypercomputer 可用于任意规模的工作负载。即使是较小规模的工作负载，也能充分发挥集成系统的各项优势，例如高效性和部署简化。AI Hypercomputer 还可在客户业务扩展过程中提供支持，从小型概念验证和试验阶段到大规模生产部署，始终保持灵活应对。

是的，我们正在 GitHub 中构建一个 recipe 库。您还可以使用 Cluster Toolkit 获取预构建的集群蓝图。

AI 优化型硬件

存储

• 训练：Managed Lustre 非常适合对吞吐量和容量要求严苛的 AI 训练，支持 PB 级容量。GCS Fuse（可选搭配 Anywhere Cache）适用于容量较大、延迟要求较宽松的场景。两者均可与 GKE 和 Cluster Director 集成。
• 推理：GCS Fuse 搭配 Anywhere Cache 提供了简便的解决方案。如需更高的性能，请考虑使用 Hyperdisk ML。如果在同一可用区中使用 Managed Lustre 进行训练，也可将其用于推理。

网络

• 训练：可利用 VPC 中的 RDMA 网络，以及 Cloud Interconnect 和 Cross-Cloud Interconnect 等高带宽技术，实现快速数据传输。
• 推理：利用 GKE Inference Gateway 和增强型 Cloud Load Balancing 等方案，实现低延迟模型服务。Model Armor 可集成用于提升 AI 的安全性与防护能力。

计算：可使用 Google Cloud TPU (Trillium)、NVIDIA GPU (Blackwell) 和 CPU (Axion)。这样，您就可以根据具体工作负载的吞吐量、延迟或 TCO 需求进行优化。

领先的软件和开放框架

• 机器学习框架和库：PyTorch、JAX、TensorFlow、Keras、vLLM、JetStream、MaxText、LangChain、Hugging Face、NVIDIA（CUDA、NeMo、Triton）等多种开源和第三方选项。
• 编译器、运行时和工具：XLA（用于提升性能和互操作性）、Pathways on Cloud、Multislice Training、Cluster Toolkit（用于预构建集群蓝图）等多种开源和第三方选项。
• 编排：Google Kubernetes Engine (GKE)、Cluster Director（适用于 Slurm、非托管式 Kubernetes 和自带调度器）以及 Google Compute Engine (GCE)。

使用模式：

• 按需：随用随付。
• 承诺使用折扣 (CUD)：长期承诺可大幅节省费用（高达 70%）。
• Spot 虚拟机：非常适用于容错型批处理作业，最多可享 91% 折扣。
• 动态工作负载调度器 (DWS)：针对批处理和容错作业，最多可节省 50% 成本。