每種雲端服務的功能不同，相較之下，AI Hypercomputer 屬於整合式系統，軟硬體和使用模式都經過精心設計，能以最佳方式搭配運作，從系統層級有效提升效能、成本效益和上市速度，這點是無法透過拼湊不同服務來達成。這種整合式系統不僅能簡化作業，還提供全方位的 AI 基礎架構做法。

是，AI Hypercomputer 將彈性融入設計考量。您可以透過 Cross-Cloud Interconnect 等技術建立高頻寬連線，連至地端部署資料中心和其他雲端，落實混合雲和多雲端 AI 策略。我們採用開放標準，並整合熱門的第三方軟體，讓您能建構支援多個環境的解決方案，以及依需求調整服務。

安全性是 AI Hypercomputer 的核心面向。這個架構採用 Google Cloud 的多層式安全防護模型。具體功能包括 Titan 安全微控制器 (確保系統以可信任的狀態啟動)、RDMA 防火牆 (訓練時可於 TPU/GPU 之間建立零信任網路)，且與 Model Armor 等 AI 安全性解決方案整合。此外，我們還制定完善的基礎架構安全防護政策和原則做為輔助，例如安全 AI 架構。

• 如果您不想管理 VM，我們建議從 Google Kubernetes Engine (GKE) 開始
• 如果您需要多個排程器，或無法使用 GKE，我們建議使用 Cluster Director
• 如果您想全面控管基礎架構，唯一的方法是直接使用 VM；要採取這個方法，最合適的平台就是 Google Compute Engine

否。AI Hypercomputer 可用於任何規模的工作負載。即使是小型工作負載，也能充分利用這個整合式系統的所有優勢，例如提升效率及簡化部署作業。此外，AI Hypercomputer 還能支援客戶擴展業務，無論是小型概念驗證和實驗，或大規模正式環境部署作業，都不成問題。

是，我們正在 GitHub 規劃一系列做法。您也可以使用 Cluster Toolkit，取得預先建構的叢集藍圖。

AI 技術最佳化硬體

儲存空間

• 訓練：Managed Lustre 具備高處理量和 PB 規模容量，非常適合執行要求嚴苛的 AI 訓練。GCS Fuse (可選擇搭配 Anywhere Cache) 適合容量需求大，且延遲時間目標寬鬆的環境。兩者皆可與 GKE 和 Cluster Director 整合。
• 推論：如果想要簡易的解決方案，可使用 GCS Fuse 搭配 Anywhere Cache。如果想要更高效能，則建議使用 Hyperdisk ML。此外，您還可在單一可用區將 Managed Lustre 同時用於訓練和推論。

網路

• 訓練：虛擬私有雲的 RDMA 網路等技術，以及高頻寬的 Cloud Interconnect 和 Cross-Cloud Interconnect，都有助於迅速移轉資料。
• 推論：GKE Inference Gateway 和進階版 Cloud Load Balancing 等解決方案，能以低延遲提供服務。Model Armor 則可整合至 AI 系統，以確保安全。

運算：Google Cloud TPU (Trillium)、NVIDIA GPU (Blackwell)，以及 Google 開發的 CPU (Axion)，可根據特定工作的處理量、延遲時間或總持有成本要求，進行最佳化。

先進軟體和開放框架

• 機器學習框架和程式庫：PyTorch、JAX、TensorFlow、Keras、vLLM、JetStream、MaxText、LangChain、Hugging Face、NVIDIA (CUDA、NeMo、Triton)，以及其他開放原始碼和第三方選項。
• 編譯器、執行階段和工具：XLA (可提升效能和互通性)、Pathways on Cloud、Multislice Training、Cluster Toolkit (適用於預先建構的叢集藍圖)，以及其他開放原始碼和第三方選項。
• 自動化調度管理：Google Kubernetes Engine (GKE)、Cluster Director (適用於 Slurm、非代管 Kubernetes、自備排程器) 和 Google Compute Engine (GCE)。

使用模式：

• 依需求：即付即用。
• 承諾使用折扣 (CUD)：簽訂長期承諾使用合約可大幅節省費用 (最多 70%)。
• Spot VM：適合容錯批次工作，提供大幅折扣 (最多 91%)。
• Dynamic Workload Scheduler (DWS)：最多可省下 50% 的批次/容錯工作費用。