工作流程總覽

本文可協助您瞭解 Dataform 工作流程的架構和執行方式。

您可以使用 Dataform 開發、測試及版本管控工作流程，並在 BigQuery 中執行這些工作流程，轉換資料以供分析。您可以使用 Dataform Core，透過 SQLX 檔案和 JavaScript 檔案 (選用) 開發工作流程，也可以使用 JavaScript 開發工作流程。

工作流程可包含下列物件：

資料來源聲明
BigQuery 資料來源的宣告，可讓您在 Dataform 資料表定義和 SQL 作業中參照這些資料來源。
Tables
您在 Dataform 中根據已宣告的資料來源或工作流程中的其他資料表建立的資料表。Dataform 支援下列資料表類型：資料表、遞增資料表、檢視區塊和具體化檢視區塊。
斷言
可用來驗證資料表資料的資料品質測試查詢。Dataform 每次更新工作流程時都會執行斷言，並在斷言失敗時發出快訊。
自訂 SQL 作業
Dataform 在 BigQuery 中執行的 SQL 陳述式，不會經過修改。
包含
包含變數和函式定義的 JavaScript 檔案，可在工作流程中重複使用。

工作流程的視覺化呈現

您可以查看以有向非循環圖 (DAG) 形式呈現的工作流程。DAG 會顯示工作區中定義的工作流程的所有物件，以及這些物件之間的關係。您可以在 DAG 中放大及縮小畫面，並使用拖曳導覽功能。如果工作流程中出現編譯錯誤，Dataform 會顯示錯誤訊息，而不是 DAG。

如要查看工作流程的 DAG，請在工作區中點選「已編譯的圖表」。

執行工作流程

在開發工作區中，您可以手動觸發執行整個工作流程、選取的動作或選取的標記。

您可以使用 Dataform 版本設定和工作流程設定排定執行作業。首先，請建立發布設定，以便建立存放區的編譯結果。接著，建立工作流程設定、選取發布設定、選取要執行的工作流程動作，以及設定執行時間表。

您也可以使用 Cloud Composer，或使用 Workflows 和 Cloud Scheduler 排定執行時間。

執行期間，Dataform 會在 BigQuery 中執行 SQL 查詢，並遵循工作流程中的物件依附元件順序。執行完畢後，您就可以在 BigQuery 中，將定義的資料表和檢視畫面用於所有分析用途。

執行作業設定選項

如要執行特定工作流程動作群組，可以將 Dataform 執行標記新增至所選檔案。然後，您可以在手動觸發執行時，只執行具有所選標記的檔案。

根據預設，Dataform 會使用 dataform.json 檔案中定義的執行設定來執行工作流程。您可以使用編譯覆寫項目覆寫這些執行設定。

使用工作區編譯覆寫設定，您可以將工作區變成獨立的執行環境。也就是說，當您在工作區中手動觸發執行作業時，Dataform 會在 BigQuery 的獨立位置執行輸出內容。

如要建立及執行單一編譯結果，並使用編譯覆寫，可以透過 Dataform API 傳送要求。

透過發布設定，您可以為整個存放區設定編譯覆寫，以及使用套用的設定建立編譯結果的頻率。

如要進一步瞭解如何在 Dataform 中設定編譯和程式碼生命週期，請參閱「Dataform 程式碼生命週期簡介」。

後續步驟