Vertex AI 中的 Tabular Workflows

表格工作流程是一組整合式全代管可擴充 pipeline，適用於表格資料的端對端機器學習。這項服務採用 Google 技術開發模型，並提供自訂選項，可滿足您的需求。

優點

  • 全代管：您不必擔心更新、依附元件和衝突。
  • 輕鬆擴充：隨著工作負載或資料集增加，您不需要重新設計基礎架構。
  • 效能最佳化：系統會根據工作流程需求自動設定合適的硬體。
  • 深度整合：與 Vertex AI MLOps 套件中的產品 (例如 Vertex AI Pipelines 和 Vertex AI Experiments) 相容，讓您在短時間內執行多項實驗。

技術總覽

每個工作流程都是 Vertex AI Pipelines 的代管執行個體。

Vertex AI Pipelines 是一項無伺服器服務，可執行 Kubeflow 管道。您可以使用管道自動執行及監控機器學習和資料準備工作。管道中的每個步驟都會執行管道工作流程的一部分。舉例來說，管道可以包含分割資料、轉換資料類型及訓練模型的步驟。由於步驟是管道元件的例項，因此步驟具有輸入內容、輸出內容和容器映像檔。步驟輸入內容可以從管道的輸入內容設定，也可以取決於這個管道中其他步驟的輸出內容。這些依附元件會將管道的工作流程定義為有向非循環圖。

表格工作流程的有向非循環圖

開始使用

在大多數情況下，您會使用 Google Cloud Pipeline Components SDK 定義及執行管道。以下範例程式碼說明瞭這個程序。請注意，實際程式碼的實作方式可能有所不同。

  // Define the pipeline and the parameters
  template_path, parameter_values = tabular_utils.get_default_pipeline_and_parameters(
     …
      optimization_objective=optimization_objective,
      data_source=data_source,
      target_column_name=target_column_name
     …)

  // Run the pipeline
  job = pipeline_jobs.PipelineJob(..., template_path=template_path, parameter_values=parameter_values)
  job.run(...)

如需範例 Colab 和筆記本，請洽詢業務代表或填寫申請表。

版本管理與維護

表格工作流程具有有效的版本控管系統，可持續更新及改善，不會對應用程式造成重大變更。

每個工作流程都會發布及更新，並納入 Google Cloud Pipeline Components SDK。任何工作流程的更新和修改都會以新版本發布。您隨時可以透過舊版 SDK，存取每個工作流程的舊版。如果 SDK 版本已固定，工作流程版本也會固定。

可用的工作流程

Vertex AI 提供下列 Tabular Workflows：

名稱 類型 適用情況
特徵轉換引擎 特徵工程 公開預先發布版
端對端 AutoML 分類與迴歸 正式發布版
TabNet 分類與迴歸 公開預先發布版
廣度和深度 分類與迴歸 公開預先發布版
預測 預測 公開預先發布版

如需更多資訊和範例筆記本，請洽詢業務代表或填寫要求表單。

特徵轉換引擎

特徵轉換引擎會執行特徵選取和特徵轉換。 如果啟用特徵選取功能，特徵轉換引擎會建立一組經過排序的重要特徵。如果啟用特徵轉換，特徵轉換引擎會處理特徵，確保模型訓練和模型服務的輸入內容一致。特徵轉換引擎可單獨使用，也可搭配任何表格訓練工作流程使用。支援 TensorFlow 和非 TensorFlow 架構。

詳情請參閱「特徵工程」。

表格工作流程，適用於分類和迴歸

端對端 AutoML 的表格工作流程

端對端 AutoML 的表格工作流程是完整的 AutoML 管道，適用於分類和迴歸工作。這項 API 與 AutoML API 類似，但可讓您選擇要控制及自動執行的項目。您不必控管整個管道，而是控管管道中的每個步驟。這些管道控制項包括：

  • 資料分割
  • 特徵工程
  • 架構搜尋
  • 模型訓練
  • 模型組合
  • 模型蒸餾

優點

  • 支援大小達數 TB 且最多有 1,000 欄的大型資料集。
  • 您可以限制架構類型搜尋空間或略過架構搜尋，提升穩定性並縮短訓練時間。
  • 手動選取用於訓練和架構搜尋的硬體，提升訓練速度。
  • 您可以透過蒸餾或變更模型組合大小，縮減模型大小並改善延遲時間。
  • 您可以在功能強大的管道圖表介面中檢查每個 AutoML 元件，查看轉換後的資料表、評估的模型架構，以及更多詳細資料。
  • 每個 AutoML 元件都具備更高的彈性和透明度，例如可自訂參數和硬體、查看程序狀態和記錄等。

輸入/輸出

  • 以 BigQuery 資料表或 Cloud Storage 中的 CSV 檔案做為輸入。
  • 產生 Vertex AI 模型做為輸出內容。
  • 中繼輸出內容包括資料集統計資料和資料集分割。

詳情請參閱「端對端 AutoML 的表格式工作流程」。

TabNet 適用的 Tabular Workflow

TabNet 適用的 Tabular Workflow 是一項 pipeline，可用於訓練分類或迴歸模型。TabNet 會運用順序注意力，選擇每個決策步驟要以哪些特徵進行推論。這有助於解讀結果，並提高學習效率，因為學習容量會用於最顯著的特徵。

優點

  • 根據資料集大小、推論類型和訓練預算，自動選取適當的超參數搜尋空間。
  • 與 Vertex AI 整合。訓練好的模型是 Vertex AI 模型。您可以立即執行批次推論，或部署模型以進行線上推論。
  • 提供模型固有的可解釋性。您可以深入瞭解 TabNet 用來做出決策的特徵。
  • 支援 GPU 訓練。

輸入/輸出

以 BigQuery 資料表或 Cloud Storage 中的 CSV 檔案做為輸入內容，並提供 Vertex AI 模型做為輸出內容。

詳情請參閱 TabNet 的表格工作流程。

廣度和深度學習適用的 Tabular Workflow

廣度和深度學習適用的 Tabular Workflow 是一種 pipeline，可用於訓練分類或迴歸模型。廣度和深度會一同訓練廣度線性模型和深層類神經網路，兼具記憶和一般化的能力。在某些線上實驗中，結果顯示與僅限廣泛和僅限深入模型相比，Wide & Deep 可大幅增加 Google 商店應用程式的獲客數。

優點

  • 與 Vertex AI 整合。訓練好的模型是 Vertex AI 模型。您可以立即執行批次推論，或部署模型以進行線上推論。

輸入/輸出

以 BigQuery 資料表或 Cloud Storage 中的 CSV 檔案做為輸入內容，並提供 Vertex AI 模型做為輸出內容。

詳情請參閱廣度和深度學習適用的 Tabular Workflow。

表格預測工作流程

表格預測工作流程

表格預測工作流程是預測工作的完整管道。這項 API 與 AutoML API 類似，但可讓您選擇要控制及自動執行的項目。您不必控管整個管道，而是控管管道中的每個步驟。這些管道控制項包括：

  • 資料分割
  • 特徵工程
  • 架構搜尋
  • 模型訓練
  • 模型組合

優點

  • 支援大型資料集，大小上限為 1 TB，最多可有 200 個資料欄。
  • 您可以限制架構類型的搜尋空間或略過架構搜尋，提升穩定性並縮短訓練時間。
  • 可手動選取用於訓練和架構搜尋的硬體，提升訓練速度。
  • 您可以變更集合大小，縮減模型大小並縮短延遲時間。
  • 您可以在功能強大的管道圖介面中檢查每個元件，查看轉換後的資料表、評估的模型架構和許多其他詳細資料。
  • 每個元件都能獲得更大的彈性和透明度，例如自訂參數、硬體、查看程序狀態、記錄等。

輸入/輸出

  • 以 BigQuery 資料表或 Cloud Storage 中的 CSV 檔案做為輸入。
  • 產生 Vertex AI 模型做為輸出內容。
  • 中繼輸出內容包括資料集統計資料和資料集分割。

詳情請參閱「預測的表格工作流程」。

後續步驟