本文說明如何在 Dataform 中執行下列操作:
事前準備
前往 Google Cloud 控制台的「Dataform」頁面。
選取或建立存放區。
選取或建立開發工作區。
選用:如要在發布設定中覆寫預設 Google Cloud 專案,請授予 Dataform 服務帳戶存取權,以便存取您打算使用的專案。
必要的角色
如要取得完成本文工作所需的權限,請要求管理員為您授予存放區的 Dataform 管理員 (roles/dataform.admin
) 身分與存取權管理角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。
啟用嚴格的「以服務帳戶身分執行」模式後,如要更新 Dataform 存放區版本設定的版本,您必須對使用該版本設定的工作流程設定中的每個服務帳戶,都具備 iam.serviceAccounts.actAs
權限。「服務帳戶使用者」(roles/iam.serviceAccountUser
) 角色具有此權限。
Dataform 工作流程生命週期簡介
本節說明 Dataform 的工作流程生命週期,以及如何在 Dataform 中設定編譯和執行作業。
Dataform 工作流程生命週期包含下列階段:
- 開發
- 您可以在 Dataform 工作區開發工作流程。
- 編譯
Dataform 會即時將工作區中的工作流程程式碼編譯為 SQL,並建立工作區的編譯結果,您可以在 BigQuery 中執行該結果。Dataform 會使用您在工作流程設定檔中定義的設定,建立編譯結果。
Dataform 編譯作業是密封的,可確保編譯一致性,也就是說,相同的程式碼每次都會編譯成相同的 SQL 編譯結果。Dataform 會在無法存取網際網路的沙箱環境中編譯程式碼。編譯期間無法執行其他動作,例如呼叫外部 API。
- 執行
在工作流程呼叫中,Dataform 會在 BigQuery 中執行工作區編譯結果。
如要根據需求調整 Dataform 工作流程生命週期,您可以設定編譯結果,影響 Dataform 執行工作流程的位置和方式。接著,您可以手動觸發或排定執行時間,決定 Dataform 何時執行整個工作流程或選取的元素。
設定 Dataform 編譯的方式
根據預設,Dataform 會使用工作流程設定檔中的設定建立編譯結果。您可以透過編譯覆寫功能覆寫預設設定,建立自訂編譯結果。然後手動觸發自訂編譯結果的執行作業,或排定執行作業。
Dataform 提供下列選項,可設定編譯結果:
- 工作區編譯覆寫設定
- 您可以設定編譯覆寫設定,套用至存放區中的所有工作區。您可以使用工作區編譯覆寫功能建立獨立的開發環境。
- 版本設定
- 您可以建立版本設定,設定範本來建立 Dataform 存放區的編譯結果。接著,您可以建立工作流程設定,排定所選發布版本設定中建立的編譯結果執行時程。
- Dataform API 編譯覆寫
- 您可以在終端機中傳遞 Dataform API 要求,藉此建立及執行具有編譯覆寫的單一編譯結果。
建立工作區編譯覆寫設定
您可以透過工作區編譯覆寫設定,為 Dataform 存放區中的所有工作區建立編譯覆寫設定。每個存放區只能建立一個工作區編譯覆寫設定。
如果您在存放區中手動觸發工作區的執行作業,且該存放區設有工作區編譯覆寫,Dataform 會將這些覆寫套用至工作區的編譯結果。
您可以設定下列工作區編譯覆寫設定:
- Dataform 執行工作區內容的專案Google Cloud
- 資料表前置字串
- 結構定義後置字串
您可以使用工作區編譯覆寫功能,透過動態編譯覆寫功能,在 BigQuery 中隔離工作區編譯結果,藉此建立獨立的開發環境。動態資料表前置字串和結構定義後置字串編譯覆寫包含 ${workspaceName}
變數。在工作區中觸發執行作業時,Dataform 會將 ${workspaceName}
變數替換為目前工作區的名稱,建立工作區專屬的編譯覆寫。
請注意,您無法排定使用工作區編譯覆寫設定建立的編譯結果執行時間。
建立發布版本設定
透過發布設定,您可以設定範本,為建立存放區的編譯結果。
在版本設定中,您可以設定工作流程設定、編譯變數的編譯覆寫,以及建立整個存放區編譯結果的頻率。
在版本設定中,您可以設定下列編譯覆寫:
- Google Cloud 專案
- 資料表前置字串
- 結構定義後置字串
- 編譯變數的值
您可以在 Dataform 存放區中建立多個發布設定,開發生命週期的每個階段各一個,藉此建立獨立的存放區編譯結果。
接著,您可以建立工作流程設定,安排所選版本設定中建立的編譯結果執行作業。
您也可以手動在選取的發布設定中觸發編譯結果的執行作業。
使用 Dataform API 編譯覆寫設定單一編譯結果
在終端機中傳遞 Dataform API 要求,即可為單一編譯結果設定編譯覆寫。
在
compilationResults.create
要求中,您可以建立 Dataform 工作區或指定 Git 提交的單一編譯結果。
在 compilationResults.create
要求的 CodeCompilationConfig
物件中,您可以設定編譯要求適用的編譯覆寫。
您可以設定下列 Dataform API 編譯覆寫:
- Google Cloud 專案
- 資料表前置字串
- 結構定義後置字串
- 編譯變數的值
請注意,Dataform API 編譯覆寫值適用於單一編譯結果和單一執行作業。您無法使用這些函式排定 Dataform 執行作業。
您可以在要求中執行編譯結果 workflowInvocations.create
。
設定 Dataform 執行作業的方式
Dataform 提供下列執行設定選項:
- 在工作區中手動執行
- 您可以在任何排程之外,手動觸發 Dataform 工作區中的工作流程立即執行。您可以執行工作流程中的選定動作。
- 工作流程設定
- 您可以排定所選發布設定中建立的編譯結果執行作業。您可以選取要執行的工作流程動作,並設定執行頻率和時區。
在工作區中觸發即時執行作業
在 Dataform 工作區中,您可以手動觸發工作區中的工作流程,立即執行,不受任何排程限制。
您可以在工作區中手動執行工作流程的下列元素:
如果存放區包含工作區編譯覆寫設定,您可以查看 Dataform 將套用至工作區編譯結果的編譯覆寫設定。
建立工作流程設定
您可以透過工作流程設定,排定所選版本設定的編譯結果執行時程。您可以在 Dataform 存放區中建立多個工作流程設定。
在工作流程設定中,您可以設定下列執行設定:
- 已套用編譯發布版本設定。
- 選取要執行的工作流程動作。
- 執行作業的排程和時區。
您可以選取要執行的下列工作流程動作:
- 所有動作
- 所選動作
- 對所選標記執行的動作
接著,在排定的工作流程設定執行期間,Dataform 會將所選動作從套用的編譯結果部署至 BigQuery。
您可以使用 Dataform 發布設定和工作流程設定,在 Dataform 中設定編譯作業和排定執行時間,不必依賴其他服務。
生命週期資源到期
Dataform 會在特定時間範圍內儲存編譯結果和工作流程呼叫。
工作流程調用作業到期
工作流程調用會在 90 天後過期,或在您手動刪除後過期。
在工作流程設定中,您可以查看設定建立的最新工作流程調用清單。工作流程設定建立的工作流程叫用項目過期時,Dataform 會從最近的叫用項目清單中移除該項目。
編譯結果到期
編譯結果的到期時間取決於結果是在開發工作區、發布設定中建立,還是由工作流程叫用所建立。
在 Dataform 工作區中開發工作流程時,Dataform 會即時將程式碼編譯為編譯結果,以提供查詢驗證。以這種方式建立的編譯結果會在 24 小時後失效。
在版本設定中,最新的編譯結果會成為正式編譯結果。新的彙整結果會取代目前的即時彙整結果。Dataform 會保留即時編譯結果,直到新的編譯結果取代為止。取代的彙整結果最多會在 24 小時後失效。
Dataform 會從版本設定「詳細資料」頁面的過往編譯結果清單中,移除過期的編譯結果。
工作流程叫用建立的編譯結果,會在工作流程叫用生命週期內保留,最長可保留 24 小時,之後就會過期或刪除。
建立工作區編譯覆寫設定
以下各節說明如何建立工作區編譯覆寫,以隔離在 BigQuery 中從 Dataform 工作區建立的資料表和檢視區塊。您可以使用工作區編譯覆寫功能,建立獨立的 Dataform 開發環境。
在 Dataform 工作區中開發工作流程程式碼時,Dataform 會即時編譯工作區中的程式碼,建立工作區的編譯結果。Dataform 會使用工作流程設定檔中定義的設定,建立工作區編譯結果。接著,當您在工作區中觸發執行作業時,Dataform 會在 BigQuery 中執行工作區編譯結果。
如要覆寫存放區中所有工作區的工作流程設定預設設定,可以建立工作區編譯覆寫設定。
您可以透過工作區編譯覆寫設定,覆寫存放區中所有工作區的下列設定:
- 專案
- Dataform 執行工作區編譯結果的專案,在
workflow_settings.yaml
中設為defaultProject
,或在dataform.json
中設為defaultDatabase
。 Google Cloud - 資料表前置字串
- 新增至存放區中所有工作區內所有資料表名稱的自訂前置字串。
- 結構定義後置字串
- 附加至資料表結構定義的自訂後置字串。在
workflow_settings.yaml
中設為defaultDataset
,在dataform.json
中設為defaultSchema
,或在資料表的config
區塊中設為schema
參數。
如要建立獨立的開發環境,可以透過專屬的編譯覆寫設定隔離工作區。您可以使用 ${workspaceName}
變數,動態修改資料表前置字串和結構定義後置字串的編譯覆寫設定。
在工作區中手動觸發執行作業時,${workspaceName}
變數會將工作區名稱插入工作區編譯覆寫。
將 ${workspaceName}
設為資料表前置字串時,Dataform 會將工作區名稱新增至工作區中所有資料表的名稱。執行後,您可以在 BigQuery 中找出資料表所屬的工作區。
將 ${workspaceName}
設為結構定義後置字串時,Dataform 會將工作區名稱附加至 defaultSchema
,建立專為工作區設計的自訂結構定義。執行完畢後,您可以在 BigQuery 的專屬結構定義中,找到從特定工作區執行的所有資料表。
動態工作區編譯覆寫設定範例
以下範例顯示套用至存放區的動態工作區編譯覆寫設定,該存放區包含以開發人員命名的工作區,這些開發人員負責處理存放區:Sasha
和 Kai
。
在本範例中,工作區編譯覆寫的目標是為 Sasha 和 Kai 建立獨立的開發環境。
workflow_settings.yaml
中已設定下列預設設定:
defaultProject
:analytics
defaultDataset
:dataform
下列工作區編譯覆寫設定會為存放區中的每個工作區建立動態資料表前置字串和結構定義後置字串:
- Google Cloud 專案 ID:
analytics_dev
- 資料表前置字串:
${workspaceName}
- 結構定義後置字元:
${workspaceName}
Sasha 在 Sasha
工作區中手動觸發執行作業時,Dataform 會使用下列設定執行內容:
- Google Cloud 專案:
analytics_dev
- 結構定義:
dataform_sasha
- 資料表名稱:
sasha_name
,例如:sasha_orders
當 Kai 在 Kai
工作區中手動觸發執行作業時,Dataform 會使用下列設定執行內容:
- Google Cloud 專案:
analytics_dev
- 結構定義:
dataform_kai
- 資料表名稱:
kai_name
,例如:kai_orders
建立工作區編譯覆寫設定
如要建立 Dataform 工作區編譯覆寫,請按照下列步驟操作:
- 在存放區中前往「設定」。
- 按一下 [編輯]。
- 在「Workspace compilation overrides」(工作區編譯覆寫設定) 窗格的「Google Cloud Project ID」(Google Cloud 專案 ID) 欄位中,輸入專案 ID。
- 在「Table prefix」(資料表前置字串) 欄位中,輸入所有資料表名稱的前置字串。
- 選用:如要建立各個工作區專屬的動態資料表前置字串,請輸入
${workspaceName}
做為資料表前置字串。
- 選用:如要建立各個工作區專屬的動態資料表前置字串,請輸入
- 在「結構定義字尾」欄位中,輸入要附加至所建立資料表或檢視表結構定義的字尾。
- 選用:如要建立各個工作區專屬的動態結構定義字尾,請輸入
${workspaceName}
做為資料表字尾。
- 選用:如要建立各個工作區專屬的動態結構定義字尾,請輸入
- 按一下 [儲存]。
Dataform 會將工作區編譯覆寫設定套用到存放區中的所有工作區。
編輯工作區編譯覆寫設定
如要編輯 Dataform 工作區編譯覆寫設定,請按照下列步驟操作:
- 在存放區中前往「設定」。
- 按一下 [編輯]。
- 編輯工作區編譯覆寫設定,然後按一下「儲存」。
刪除工作區編譯覆寫設定
如要刪除 Dataform 工作區編譯覆寫,請按照下列步驟操作:
- 在存放區中前往「設定」。
- 按一下 [編輯]。
- 在「Workspace compilation overrides」(工作區編譯覆寫設定) 窗格中,按一下「Clear all」(全部清除),然後按一下「Save」(儲存)。
使用 Dataform API 設定編譯覆寫
本節說明如何使用 Dataform API,透過編譯覆寫建立及執行編譯結果。
關於 Dataform API 編譯覆寫
如要執行工作流程,Dataform 會將程式碼編譯為 SQL,藉此建立編譯結果。接著,在工作流程叫用期間,Dataform 會在 BigQuery 中執行編譯結果。
根據預設,Dataform 會使用工作流程設定檔中的設定建立編譯結果。如要隔離在開發生命週期不同階段執行的資料,可以使用編譯覆寫功能覆寫預設設定。
在終端機中傳遞 Dataform API 要求,即可建立及執行單一編譯結果,並覆寫編譯作業。您可以建立工作區或所選 Git 提交的編譯結果。
如要建立含有編譯覆寫的編譯結果,您需要提出 Dataform API compilationResults.create
要求。在要求中,您需要指定來源 (應為工作區或 Git commitish),供 Dataform 編譯為編譯結果。在 compilationResults.create
要求的 CodeCompilationConfig
物件中,您可以設定編譯覆寫。
然後,您可以在 Dataform API workflowInvocations.create
要求中執行建立的編譯結果。
您可以使用 Dataform API 設定下列編譯覆寫:
- Google Cloud 專案
- Dataform 在其中執行編譯結果的專案,在
workflow_settings.yaml
檔案中設為defaultProject
屬性,或在dataform.json
檔案中設為defaultDatabase
屬性。 - 資料表前置字串
- 新增至編譯結果中所有資料表名稱的自訂前置字串。
- 結構定義後置字串
- 附加至資料表結構定義的自訂後置字串,定義於
workflow_settings.yaml
檔案的defaultDataset
屬性、dataform.json
檔案的defaultSchema
屬性,或資料表config
區塊的schema
參數中。 - 編譯變數的值
- 編譯變數的值,用於編譯結果。您可以使用編譯變數,有條件地執行資料表。
除了只能用於單一編譯結果的 Dataform API 編譯覆寫設定,您也可以在 Google Cloud 控制台中設定工作區編譯覆寫設定。
如要瞭解在 Dataform 中設定編譯覆寫的其他方式,請參閱「Dataform 工作流程生命週期簡介」。
設定彙整結果來源
如要提出 Dataform API compilationResults.create
要求,您必須指定編譯結果的來源。
您可以在 compilationResults.create
要求中,將 Dataform 工作區或 Git 分支版本、Git 標記或 Git 修訂版本 SHA 設為來源。
將工作區設為編譯結果來源
在
compilationResults.create
要求中,填入workspace
屬性,並以以下格式提供所選 Dataform 工作區的路徑:{ "workspace": "projects/PROJECT_NAME/locations/LOCATION/repositories/REPOSITORY_NAME/workspaces/WORKSPACE_NAME" }
更改下列內容:
- PROJECT_NAME:您的 Google Cloud 專案名稱。
- LOCATION:Dataform 存放區的位置,在工作流程設定中設定。
- REPOSITORY_NAME:Dataform 存放區的名稱。
- WORKSPACE_NAME:Dataform 工作區的名稱。
下列程式碼範例顯示 compilationResults.create
要求中的 workspace
屬性已設為名為 "sales-test"
的工作區:
{
"workspace": "projects/analytics/locations/europe-west4/repositories/sales/workspaces/sales-test"
}
將 Git commitish 設為編譯結果來源
在
compilationResults.create
要求中,以所選 Git 分支版本、標記或修訂版本 SHA 填入gitCommitish
屬性,格式如下:{ "gitCommitish": "GIT_COMMITISH" }
將 GIT_COMMITISH 替換為所選的 Git 分支版本、Git 標記或 Git 修訂版本 SHA,做為編譯結果。
下列程式碼範例顯示 compilationResults.create
要求中的 gitCommitish
屬性已設為 "staging"
:
{
"gitCommitish": "staging"
}
覆寫預設專案
如要在與開發專案不同的專案中建立暫存或正式版資料表,可以在 Dataform API compilationResults.create
要求中,將不同的專案 ID 傳遞至 CodeCompilationConfig
物件。 Google Cloud
在 compilationResults.create
要求中傳遞個別預設專案 ID,會覆寫工作流程設定檔中設定的預設專案 ID,但不會覆寫個別表格中設定的專案 ID。
如要覆寫預設專案 ID,請在
CodeCompilationConfig
物件中,將defaultDatabase
屬性設為所選專案 ID,格式如下:{ "codeCompilationConfig": { "defaultDatabase": "PROJECT_NAME" } }
將 PROJECT_NAME 替換為要為編譯結果設定的專案 ID。
新增資料表前置字串
如要從編譯結果中快速找出資料表,請在 Dataform API compilationResults.create
要求的 CodeCompilationConfig
物件中傳遞資料表前置字元,為編譯結果中的所有資料表名稱加上前置字元。
如要新增資料表前置字串,請在
CodeCompilationConfig
物件中,將tablePrefix
屬性設為下列格式:{ "codeCompilationConfig": { "tablePrefix": "PREFIX", } }
將 PREFIX 替換為要附加的前置字串,例如
staging
。舉例來說,如果資料表名稱為
table_name
,Dataform 會建立名稱為staging_table_name
的資料表。
附加結構定義後置字串
如要區隔開發、測試和正式環境的資料,您可以透過 Dataform API compilationResults.create
要求中的 CodeCompilationConfig
物件傳遞架構後置字串,在編譯結果中將後置字串附加至架構。
如要附加結構定義後置字串,請在
CodeCompilationConfig
物件中,將schemaSuffix
屬性設為下列格式:{ "codeCompilationConfig": { "schemaSuffix": "SUFFIX", } }
將 SUFFIX 替換為要附加的尾碼,例如
_staging
。舉例來說,如果
workflow_settings.yaml
檔案中的defaultDataset
屬性設為dataform
,Dataform 會在dataform_staging
結構定義中建立資料表。
使用編譯變數有條件地執行所選檔案
如要在特定執行設定中只執行所選表格,您可以為執行設定建立編譯變數,然後在 Dataform API compilationResults.create
要求中的 CodeCompilationConfig
物件中傳遞其值。
如要使用 Dataform API,在特定執行設定中有條件地執行資料表,請按照下列步驟操作:
- 建立彙整變數並新增至所選表格。
在 Dataform API 編譯要求的
codeCompilationConfig
區塊中,以以下格式設定 YOUR_VARIABLE 和 VALUE 鍵/值組合:{ "codeCompilationConfig": { "vars": { "YOUR_VARIABLE": "VALUE" } } }
將 YOUR_VARIABLE 替換為變數名稱,例如
executionSetting
。將 VALUE 替換為這個編譯結果的變數值,該值符合所選資料表中的
when
條件。
下列程式碼範例顯示傳遞至 Dataform API 編譯要求的 executionSetting
變數:
{
"gitCommitish": "staging",
"codeCompilationConfig": {
"vars": {
"executionSetting": "staging"
}
}
}
使用編譯覆寫設定執行編譯結果
- 如要執行由
compilationResults.create
要求建立的編譯結果,請在workflowInvocations.create
要求中,傳遞compilationResults.create
要求傳回的編譯結果 ID。
下列程式碼範例顯示在 workflowInvocations.create
要求中傳遞的編譯結果 ID:
{
"compilationResult": "projects/my-project-name/locations/europe-west4/repositories/my-repository-name/compilationResults/7646b4ed-ac8e-447f-93cf-63c43249ff11"
}
建立版本設定
以下各節說明如何在 Dataform 中建立發布設定,以設定編譯設定範本,並依排程執行。您可以使用發布版本設定執行環境,例如測試和正式環境。
如要在 BigQuery 中執行工作流程,Dataform 會將 SQL 工作流程程式碼編譯為編譯結果。在 Dataform 工作區開發工作流程時,系統會自動執行這項程序。
你可以透過版本設定自訂編譯結果。您可以使用這些設定建立執行環境,例如測試環境。
版本設定
在版本設定中,您可以設定工作流程設定的編譯覆寫、設定編譯變數,以及設定建立編譯結果的頻率。
Dataform 版本設定包含下列編譯設定:
- 版本設定
- 版本 ID、編譯結果的 Git 修訂版本,以及建立編譯結果的頻率。頻率為選用設定。 如果設定,最低頻率為 1 小時。
- 編譯覆寫設定
- 覆寫在工作流程設定中定義的Google Cloud 專案、資料表前置字串、結構定義後置字串和編譯變數。
發布版本設定的運作方式
Dataform 會以指定頻率,或在您觸發編譯時,從發布設定建立編譯結果。頻率是選用設定,建立發布設定時不一定要設定頻率。如果設定,頻率下限為 1 小時。您可以在「版本設定詳細資料」頁面手動觸發編譯,也可以使用 Dataform API releaseConfigs
方法觸發編譯。
編譯期間,Dataform 會從存放區的指定 Git commitish 中提取程式碼。接著,Dataform 會使用套用的編譯覆寫 (如有) 編譯程式碼,並建立編譯結果。為發布設定建立的最新編譯結果,就是即時編譯結果。
您可以在工作流程設定中,排定版本設定的編譯結果執行時間。您也可以在排定時間以外執行所選發行內容設定。執行工作流程設定時,Dataform 會從所選版本設定執行即時編譯結果。
建立版本設定
如要建立 Dataform 版本設定,請按照下列步驟操作:
- 在存放區中,前往「發行內容和排程」。
- 在「發布版本設定」部分,按一下「建立」。
在「Create release configuration」(建立版本設定) 窗格中,設定版本設定。
在「Release ID」(發布版本 ID) 欄位中,輸入發布版本設定的專屬 ID。
ID 只能使用數字、英文字母、連字號和底線。
在「Git commitish」(Git 修訂版本) 欄位中,輸入發布版本的 Git 分支或 Git 修訂版本 SHA。
如果 Dataform 存放區未連線至遠端存放區,這個值一律為
main
。選用:在「頻率」欄位中,選取建立彙整結果的頻率。
如果設定了頻率,下限為 1 小時。
如要停用自動發布功能,請將「頻率」欄位留空。
選用:在「Compilation overrides」(編譯覆寫) 部分,設定編譯設定。
- 在「Google Cloud Project ID」欄位中,輸入要儲存編譯結果的Google Cloud 專案 ID。
- 在「結構定義後置字串」欄位中,輸入要附加至工作流程設定中設定結構定義的後置字串。
- 在「Table prefix」(資料表前置字串) 欄位中,輸入所有資料表名稱的前置字串。
選用:在「編譯變數」部分中,設定編譯變數。
- 按一下「新增變數」。
- 在「Key」欄位中輸入編譯變數。
- 在「Value」(值) 欄位中,輸入編譯變數的值。
- 如要新增其他編譯變數,請按一下「新增變數」。
點選「建立」。
如果覆寫預設專案,請確認 Dataform 服務帳戶有權存取發布設定中設定的專案。
舉例來說,下列版本設定會每小時從 main
分支建立 production
編譯結果,且不會覆寫任何編譯作業:
- 發行內容 ID:
production
- Git commitish:
main
- 頻率:每小時
- 沒有編譯覆寫設定
查看版本設定的詳細資料
您可以查看版本設定的下列詳細資料:
- 版本設定
- Git 修訂版本
- 最新編譯結果時間戳記
- Cron 排程
- 編譯覆寫設定
- 編譯變數
- 即時編譯結果
- 建立時間戳記
- Git 修訂版本
- 修訂版本 SHA
- 過去的編譯結果
如要查看版本設定的詳細資料,請按照下列步驟操作:
- 在存放區中,前往「發行內容和排程」。
- 選取發布版本設定。
- 在「版本設定詳細資料」頁面中,檢查版本設定的詳細資料。
「排定的編譯作業結果」表格會顯示版本設定自動建立的編譯結果。
「手動/API 編譯結果」表格會顯示手動建立的編譯結果,或透過呼叫存放區中最新的 1000 個編譯結果的 Dataform API 建立的編譯結果。
手動觸發編譯
如要從所選版本設定手動建立編譯結果,請按照下列步驟操作:
- 在存放區中,前往「發行內容和排程」。
- 選取發布版本設定。
- 在「Release configuration details」(版本設定詳細資料) 頁面中,按一下「New compilation」(新彙整)。
如果您使用使用者介面,新編譯的結果會自動發布至版本設定。如果您使用 API,必須從發布設定建立新的編譯結果,然後更新發布設定,將 releaseCompilationResult
欄位設為這個新值。
手動編譯結果會顯示在「發布設定詳細資料」頁面的「手動/API 編譯結果」表格中。
觸發執行版本設定
如要觸發將所選發布設定中的即時編譯結果匯出至 BigQuery,請按照下列步驟操作:
- 在存放區中,前往「發行內容和排程」。
- 在「發布版本設定」部分,按一下「開始執行」。
- 在「Execute manual workflow」(執行手動工作流程) 窗格的「Release configuration」(版本設定) 清單中,選取版本設定。
- 選取要執行的工作流程動作:
- 如要執行整個工作流程,請按一下「所有動作」。
- 如要在工作流程中執行所選動作,請按一下「Selection of actions」(選取動作),然後選取動作。
- 如要對所選標記執行動作,請按一下「選取標記」,然後選取標記。
- 選用:如要執行所選動作或代碼及其依附元件,請選取「Include dependencies」選項。
- 選用:如要執行所選動作或代碼及其依附元件,請選取「Include dependents」選項。
選用:如要從頭重建所有表格,請選取「以完整重新整理執行」選項。
如果沒有這個選項,Dataform 會更新遞增資料表,但不會從頭重建。
按一下「Start execution」(開始執行)。
編輯版本設定
如要編輯發布設定,請按照下列步驟操作:
- 在存放區中,前往「發行內容和排程」。
- 在要編輯的發布設定中,按一下 「More」(更多) 選單,然後點選「Edit」(編輯)。
- 在「Edit release configuration」(編輯版本設定) 窗格中,編輯版本設定,然後按一下「Save」(儲存)。
刪除發布版本設定
如要刪除發布設定,請按照下列步驟操作:
- 在存放區中,前往「發行內容和排程」。
- 在要刪除的發布設定中,按一下 「More」(更多) 選單,然後點選「Delete」(刪除)。
- 在「Delete release configuration」(刪除發布版本設定) 對話方塊中,按一下「Delete」(刪除)。
後續步驟
- 如要瞭解 Dataform 中工作流程生命週期的最佳做法,請參閱「工作流程生命週期的最佳做法」。
- 如要瞭解如何在工作區中手動觸發執行作業,請參閱「觸發執行作業」。
- 如要瞭解如何建立工作流程設定,請參閱「使用工作流程設定排定執行時間」。
- 如要進一步瞭解 Dataform API,請參閱 Dataform API。