AI 工作負載類型
AI 工作負載類型 | 在 AI 生命週期中的主要功能 | 必須著重運算 |
資料準備 | 將原始資料清理、轉換及格式化，使其可供模型使用。 | 大量 I/O (輸入/輸出) 和 CPU 負載高的處理工作，以進行資料操控。 |
模型訓練 | 使用準備好的資料教導 AI 模型，反覆調整參數以提高準確率。 | 極致運算能力 (GPU/TPU)、高記憶體和平行處理。 |
模型推論 | 部署訓練好的模型，根據新資料進行即時預測或生成輸出內容。 | 低延遲與高處理量，通常需要專屬邊緣或雲端硬體。 |
生成式 AI | 使用大型基礎模型生成新內容，例如文字、圖像或程式碼。 | 大規模推論和微調，需要高端 GPU/TPU。 |
電腦視覺 | 讓機器能解讀圖像和影片等視覺資料，並根據資料採取行動。 | 高資料處理量和專門的深度學習加速。 |
自然語言處理 (NLP) | 處理及理解人類語言，用於翻譯和摘要等工作。 | 結合 GPU 加速訓練和低延遲服務，打造即時應用程式。 |
AI 工作負載類型
在 AI 生命週期中的主要功能
必須著重運算
資料準備
將原始資料清理、轉換及格式化，使其可供模型使用。
大量 I/O (輸入/輸出) 和 CPU 負載高的處理工作，以進行資料操控。
模型訓練
使用準備好的資料教導 AI 模型，反覆調整參數以提高準確率。
極致運算能力 (GPU/TPU)、高記憶體和平行處理。
模型推論
部署訓練好的模型，根據新資料進行即時預測或生成輸出內容。
低延遲與高處理量，通常需要專屬邊緣或雲端硬體。
生成式 AI
使用大型基礎模型生成新內容，例如文字、圖像或程式碼。
大規模推論和微調，需要高端 GPU/TPU。
電腦視覺
讓機器能解讀圖像和影片等視覺資料，並根據資料採取行動。
高資料處理量和專門的深度學習加速。
自然語言處理 (NLP)
處理及理解人類語言，用於翻譯和摘要等工作。
結合 GPU 加速訓練和低延遲服務，打造即時應用程式。
AI 工作負載常見問題
AI 工作負載與傳統工作負載有何不同？
AI 工作負載的主要特徵是資料密集型，需要處理大量非結構化資料集，以及運算密集型，需要使用 GPU 等專用平行處理硬體進行訓練。傳統工作負載 (例如關聯式資料庫或簡單的網路伺服器) 較著重於一致的交易處理量，通常會針對標準 CPU 架構進行最佳化。
如何選擇訓練和推論工作負載？
當您需要建立新模型時，如果選擇訓練工作負載，或透過提供新資料大幅改善現有模型，可能需要高成本和高運算能力。
當模型準備就緒並部署至正式環境後，您會使用推論工作負載，讓模型進行即時或批次預測，這類工作負載的優先考量是低延遲和高處理量，且每筆交易的成本較低。
擴充機器學習工作負載時，您面臨的最大挑戰是什麼？
AI 工作負載自動化與自動化調度管理的新興趨勢有哪些？
新興趨勢包括使用支援 GPU 的無伺服器平台來簡化基礎架構管理、採用多雲端自動化調度管理來彈性運用資源，以及運用基礎模型，減少從頭訓練的需求，更著重於微調和有效率地提供服務。
AI 工作負載的常見用途
AI 工作負載是數位轉型的核心，可為幾乎所有產業提供影響深遠的實際應用，將資料轉化為實質價值。
個人化的客戶體驗
AI 工作負載可為零售、電子商務和媒體公司支援推薦引擎。舉例來說，串流公司使用複雜的機器學習模型，以數十億筆觀看習慣資料訓練，提供高度個人化的內容建議。
製造業的預測性維護作業
製造商在重要設備上部署感應器，產生大量的時間序列資料。AI 工作負載可持續分析這項資料，提前數天或數週預測機械故障，以便安排維護作業。
詐欺偵測與財務風險分析
金融機構使用機器學習工作負載，即時分析數百萬筆交易。這些模型能找出有詐欺行為跡象的模式，有些系統甚至能以高準確率和低偽陽率，偵測未經授權的交易。
醫療照護影像與診斷
電腦視覺工作負載可用於分析 X 光片、CT 掃描和 MRI 等醫學圖像。這些 AI 模型能標出潛在異常狀況，例如早期腫瘤，而且通常速度快又一致，可協助臨床醫師更快做出更準確的診斷。
生成式 AI 與內容製作
以生成式 AI 模型為基礎的工作負載正在改變創意和技術領域。這類工作負載可用於自動生成行銷文案、合成逼真的廣告圖片、建立虛擬會議摘要，甚至能透過建議及完成程式碼區塊，來協助開發人員。
在 Google Cloud 導入 AI 工作負載
Google Cloud 提供強大的整合式生態系統，採用支援 Google 自家 AI 發展的基礎架構，是託管、資源調度、自動化調度管理及治理 AI 和機器學習工作負載的理想平台。
運用 Vertex AI 簡化模型開發作業
Vertex AI 是整合式機器學習平台，匯集所有雲端服務，方便您建構、部署及擴充機器學習模型。這個平台可為整個 MLOps 生命週期提供單一環境，讓資料科學家和工程師專注於模型開發，不必費心整合工具。
運用 Cloud TPU 和 GPU 加快運算速度
Google Cloud 提供多種運算選項，包括 Cloud TPU 和 Cloud GPU。Cloud TPU (Tensor Processing Unit) 專為提供大規模 AI 模型而打造。Cloud GPU 採用 NVIDIA 圖形處理器 (GPU)，可為各種 AI 和 HPC 工作負載提供彈性的高效能運算。
使用 Vertex AI Pipelines 自動執行工作流程
Vertex AI Pipelines 可讓您使用 Kubeflow 等開放原始碼工具，自動化、管理及監控整個機器學習工作流程。這對於建立可靠且可重複的資料準備、訓練和部署程序至關重要。
透過 IAM 保護及管理工作負載
Google Cloud 的 Identity and Access Management (IAM) 提供精細的控管機制，可管理哪些人能存取及管理 AI 資源、資料和模型。確保只有授權人員和服務能與機密 AI 工作負載互動，協助您符合嚴格的法規和安全標準。
使用 GKE 執行混合型工作負載
Google Kubernetes Engine (GKE) 是全代管、可擴充的 Kubernetes 服務，對於執行容器化 AI 工作負載至關重要。您可以彈性運用硬體加速器，自動化調度管理複雜叢集，並跨公有雲和地端部署系統順暢擴充 AI 環境。
AI 工作負載的優點
部署 AI 工作負載可帶來顯著的業務和技術優勢，主要體現在效率、卓越的擴充能力，以及快速推動資料導向創新的能力。讓組織從被動應對轉為主動出擊，擬定更聰明的策略。
擴充性與加速效能
擴充性與加速效能
AI 工作負載 (尤其是雲端工作負載) 可依需求擴充資源，例如新增數百個 GPU，處理龐大的資料集和複雜模型，不必投入大量前期資本支出。
營運成本最佳化
營運成本最佳化
雲端式 AI 平台可讓您只為實際使用的運算資源付費，有助於最佳化成本，不必維護專用的地端部署硬體叢集，避免閒置。
標準化且精簡的部署管道
標準化且精簡的部署管道
AI 工作負載平台使用 MLOps (機器學習運作) 工具，自動化並標準化端對端生命週期，從資料準備到模型部署和監控，都能輕鬆完成。
整合安全防護與管理機制
整合安全防護與管理機制
雲端平台提供內建安全防護功能，例如身分與存取權管理 (IAM) 和網路安全，可直接整合至 AI 環境。這有助於簡化符合法規遵循和治理規定的程序。
支援混合雲和多雲端環境
支援混合雲和多雲端環境
AI 解決方案專為彈性執行而設計。此解決方案可以運用容器和自動化調度管理工具，在不同公有雲供應商的環境中，以一致的方式管理及執行工作負載。
使用 Vertex AI 部署模型推論工作負載的步驟
部署訓練完成的機器學習模型以進行推論，是將 AI 工作負載投入正式環境的關鍵步驟。Vertex AI 提供代管服務來處理基礎架構，簡化了這個程序。
將訓練好的模型上傳至 Model Registry
- 第一步是將訓練好的模型構件上傳至 Vertex AI Model Registry。這個中央存放區會安全地儲存模型和進行版本管理，方便您隨時部署。
建立代管端點
- 接著，您要為模型建立端點，也就是專用的即時 HTTP 伺服器。這個端點是應用程式呼叫以取得預測結果的網址。您可定義要使用的運算資源類型，例如 N1 CPU 機器或特定類型的 GPU，以獲得加速效能。
將模型部署至端點
- 建立端點後，請將特定版本的模型部署至該端點。這個步驟需要指定包含模型和預測伺服器程式碼的容器映像檔 (通常是 Vertex AI 提供的預先建構映像檔)。您也會設定流量分配，在全面推出新模型版本前，先以一小部分的實際流量進行測試。
收發線上預測結果
- 部署完成後，模型即可用於線上預測。您的應用程式會透過 HTTP 要求，將輸入資料 (酬載) 傳送至端點的網址，而代管服務會處理推論工作負載，並近乎即時地傳回預測或結果。
監控及管理端點
- 最後一步是持續監控。您使用 Vertex AI 的整合式工具，追蹤端點的健康狀態 (延遲時間、錯誤率、資源使用率) 和模型本身的效能 (偏移、偏差和預測品質)，確保推論工作負載長期保持可靠和準確。
額外資源
- GKE 上的 AI/機器學習工作負載簡介：Google Kubernetes Engine 提供代管平台，可部署及擴充容器化 AI 和機器學習工作負載，並支援使用 GPU 和 TPU 等硬體加速器進行大規模訓練和推論。
- 針對 AI 和機器學習工作負載設計儲存空間：這份指南可協助您為 AI 和機器學習工作流程設計儲存空間策略，並根據特定的延遲時間、處理量和容量需求，推薦 Cloud Storage 和 Managed Lustre 等服務。
