Apache Spark 是分散式資料處理的業界標準。其原生機器學習程式庫 MLlib 提供分散式演算法，可用於分類、迴歸、分群和協同過濾，讓您能在單一整合環境中，完成從資料擷取到模型部署的所有工作。

Spark ML 管道是一種高階 API，可協助您將多個機器學習工作流程整合為一個連貫的管道。您可以在結構化的宣告式工作流程中，串連各種資料轉換 (例如特徵擷取和縮放) 以及機器學習演算法 (例如模型訓練)。

使用管道可確保模型訓練和預測期間，資料預先處理步驟均以一致的順序執行，這對於防止資料外洩和確保結果可重現至關重要。Spark 機器學習管道的主要元件是轉換器和估計器。

擴充機器學習工作負載來套用硬體加速時，往往會遇到管理複雜 Spark GPU 依附元件的難題。佈建 VM 執行個體、安裝正確的 NVIDIA 驅動程式，以及確保 CUDA 和 cuDNN 版本與 PyTorch 或 TensorFlow 程式庫相符，都可能會導致開發人員的工作效率停滯數天。

Google Cloud 透過 Managed Service for Apache Spark 解決這個問題，提供預先封裝的機器學習執行階段。這些執行階段是以穩定的 Ubuntu 映像檔 (2.3 以上版本) 為基礎建構而成，並預先安裝及設定工作負載所需的 GPU 驅動程式 (CUDA、cuDNN、NCCL) 和業界標準機器學習框架 (PyTorch、XGBoost、權杖化工具和轉換器)。這個環境不需設定，團隊可以專心編寫程式碼，不必費心設定基礎架構。

瞭解 Spark MLlib 與 Google Cloud 資料工具的構成元素，是執行大規模分散式機器學習的關鍵。

Google Cloud 的 Managed Service for Apache Spark 簡化複雜的基礎架構，讓您在無伺服器環境或可自訂的代管叢集中，執行 Spark 機器學習管道，進行大規模模型訓練。

為了消除複雜的 Spark GPU 依附元件，這項服務採用預先封裝的機器學習執行階段，完整配備原生相容的 NVIDIA 驅動程式、CUDA 工具包和分散式架構，讓您無需設定即可部署硬體加速工作負載。

進一步瞭解如何運用 Spark 進行機器學習

瞭解如何使用 Transformer 擷取及擴充資料，以及使用 Estimator 訓練演算法。

• 建構 Spark 機器學習管道：如需在 Google Cloud 使用 Spark 的一般指引，請參閱 Managed Service for Apache Spark 說明文件。
• PySpark 中的管道 Estimator：查看 Managed Service for Apache Spark 說明文件中的 Python API 範例。這些範例包含使用 Spark MLlib 元件的模式。您也可以在將 GPU 附加至叢集說明文件等指南中，找到 Spark ML 範例。

• 大規模特徵擷取和向量組合：針對您選擇的 IDE 或 Antigravity 2.0，前往 Google Cloud Data Agent Kit 擴充功能的「訓練 AI 和機器學習模型」部分，探索相關範例。本指南說明如何使用 PySpark 進行分散式訓練，其中涉及大規模特徵準備。

啟動 GPU 加速的 Spark 叢集，不必管理基礎架構。Google Cloud 的機器學習執行階段已預先設定，可讓您略過複雜的 Spark GPU 依附元件。

• Managed Service for Apache Spark 機器學習執行階段總覽：進一步瞭解 Managed Service for Apache Spark 執行階段映像檔版本，其中詳細說明預先安裝的程式庫，包括 TensorFlow、PyTorch 和 XGBoost，以及 GPU 專用程式庫。

• 在 Google Cloud 執行分散式深度學習：如要從更廣泛的架構角度瞭解如何調度機器學習的資源，請參閱實作機器學習的最佳做法說明文件。這份文件提供開發自訂訓練模型的建議，包括在 Google Cloud 使用分散式訓練和加速器，並整合 Gemini Enterprise Agent Platform Model Registry。

• 前往 Managed Service on Apache Spark | https://console.cloud.google.com/dataproc
• 進一步瞭解 Managed Service for Apache Spark | https://cloud.google.com/products/managed-service-for-apache-spark
• 查看說明文件：https://docs.cloud.google.com/managed-spark/docs
• 參加快速入門導覽課程：https://docs.cloud.google.com/managed-spark/docs/quickstarts/create-cluster-console
• 試用程式碼實驗室：https://codelabs.developers.google.com/dataproc-spark-ml#0