安排實際工作環境的執行作業
本快速入門導覽課程會逐步引導您完成下列步驟,在 Dataform 中排定正式環境執行作業:
- 建立 Dataform 存放區。
- 將 BigQuery 存取權授予 Dataform。
-
建立
production
發布版本設定,並設定建立production
編譯結果的頻率。 -
建立
production
工作流程設定,選取production
發布設定,然後設定執行production
編譯結果的排程。
事前準備
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
Dataform 管理員 (
roles/dataform.admin
) 存放區 -
Dataform 編輯者 (
roles/dataform.editor
) 工作區和工作流程調用 前往 Google Cloud 控制台的「Dataform」頁面。
按一下
「建立存放區」。在「建立存放區」頁面中執行下列操作:
在「Repository ID」(存放區 ID) 欄位中輸入
quickstart-production
。在「Region」(區域) 清單中選取「
europe-west4
」。按一下「Create」(建立)。
按一下 [完成]。
- Dataform 需要讀取和寫入權限的專案,請授予「BigQuery 資料編輯者」角色。 通常包括代管 Dataform 存放區的專案。
- 在 Dataform 需要唯讀存取權的專案中,授予 BigQuery 資料檢視者角色。
- Dataform 存放區代管專案的 BigQuery 工作使用者。
前往 Google Cloud 控制台的「IAM」頁面。
按一下「新增」。
在「新增主體」欄位輸入 Dataform 服務帳戶 ID。
在「Select a role」(選取角色) 清單中,選取「BigQuery Job User」(BigQuery 工作使用者) 角色。
點選「新增其他角色」,然後在「請選擇角色」清單中,選取「BigQuery 資料編輯者」角色。
點選「新增其他角色」,然後在「請選擇角色」清單中,選取「BigQuery 資料檢視者」角色。
按一下 [儲存]。
前往 Google Cloud 控制台的「Dataform」頁面。
按一下「
quickstart-production
」。依序點選「Release configurations」(版本設定) 和「New release configuration」(新增版本設定)。
在「Create release configuration」(建立版本設定) 窗格中,進行下列設定:
在「Release ID」(發布版本 ID) 欄位中輸入
production
。保留「Git commitish」(Git 修訂版本) 欄位的預設值
main
。在「頻率」選單中,選取「自訂」。
在「Custom schedule」(自訂排程) 欄位中輸入
0 16 * * *
。在「Timezone」(時區) 選單中,選取 UTC+1 時區,例如「Greenwich Mean Time (GMT)」(格林威治標準時間 (GMT))。
每天下午 4 點 (UTC+1),Dataform 會編譯
quickstart-production
存放區,並套用此版本設定中設定的編譯設定,建立production
編譯結果。點選「建立」。
前往 Google Cloud 控制台的「Dataform」頁面。
按一下「
quickstart-production
」。依序按一下「Workflow configurations」(工作流程設定) 和「New workflow configuration」(新增工作流程設定)。
在「Create workflow configuration」(建立工作流程設定) 窗格的「Configuration ID」(設定 ID) 欄位中輸入
production
。在「Release configuration」(版本設定) 選單中,選取
production
。在「Frequency」(頻率) 欄位中輸入
0 17 * * *
。在「Timezone」(時區) 選單中,選取 UTC+1 時區,例如「Greenwich Mean Time (GMT)」(格林威治標準時間 (GMT))。
每天下午 5:00 (UTC+1),Dataform 會執行
quickstart-production
存放區的最新production
編譯結果。為確保 Dataform 在對應的版本設定中執行最新的編譯結果,請在建立編譯結果的時間和排定執行時間之間,至少間隔 1 小時。
按一下「All actions」(所有動作)。
Dataform 會在
production
編譯結果中執行所有工作流程動作。點選「建立」。
前往 Google Cloud 控制台的「Dataform」頁面。
按一下「
quickstart-production
」。按一下「Release configurations」(版本設定)。
按一下「
production
」。前往 Google Cloud 控制台的「Dataform」頁面。
按一下「
quickstart-production
」。按一下「Workflow configurations」(工作流程設定)。
前往 Google Cloud 控制台的「BigQuery」頁面。
在「Explorer」面板中展開專案,然後選取
dataform_production
。按一下
「Actions」(動作) 選單,然後選取「Delete」(刪除)。在「Delete dataset」(刪除資料集) 對話方塊中輸入「delete」,然後按一下「Delete」(刪除)。
前往 Google Cloud 控制台的「Dataform」頁面。
按一下「
quickstart-production
」。按一下「Release configurations」(版本設定)。
在
production
發布設定中,按一下 「More」(更多) 選單,然後點選「Delete」(刪除)。在「刪除發布版本設定」對話方塊中,按一下「刪除」。
前往 Google Cloud 控制台的「Dataform」頁面。
按一下「
quickstart-production
」。按一下「Workflow configurations」(工作流程設定)。
在
production
工作流程設定中,按一下 「More」(更多) 選單,然後按一下「Delete」(刪除)。在「刪除發布版本設定」對話方塊中,按一下「刪除」。
前往 Google Cloud 控制台的「Dataform」頁面。
在
quickstart-production
旁邊,按一下 「More」(更多) 選單,然後選取「Delete」(刪除)。在「Delete repository」(刪除存放區) 視窗中,輸入存放區名稱來確認刪除。
按一下「Delete」(刪除) 確認操作。
如要進一步瞭解 Dataform 中的程式碼生命週期,請參閱「Dataform 中的程式碼生命週期簡介」。
如要進一步瞭解 Dataform 工作流程生命週期的最佳做法,請參閱「工作流程生命週期的最佳做法」。
如要進一步瞭解 Dataform 中的發布設定,請參閱「建立發布設定」。
如要進一步瞭解 Dataform 中的工作流程設定,請參閱「使用工作流程設定排定執行時間」。
必要的角色
如要取得執行本教學課程所有工作所需的權限,請要求管理員授予下列 IAM 角色:
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。
建立 Dataform 存放區
為 Dataform 授予 BigQuery 存取權
如要在 BigQuery 中執行工作流程,Dataform 服務帳戶必須具備下列必要角色:
如要授予這些角色,請按照下列步驟操作:
建立版本設定
請按照下列步驟,建立 quickstart-production
存放區的正式環境編譯結果:
production
版本設定會在每天下午 4:00 (UTC+1) 建立整個 quickstart-production
存放區的編譯結果。
建立工作流程設定
如要安排執行 production
資料表,請按照下列步驟操作:
production
工作流程設定會執行 production
版本設定在每天下午 4:00 (UTC+1) 建立的所有最新的編譯結果。
查看過去的 production
編譯結果
如要查看過去排定的 production
編譯結果,請按照下列步驟操作:
查看過往的 production
工作流程執行作業
如要查看過去的 production
工作流程執行作業,請按照下列步驟操作:
清除所用資源
如要避免系統向您的 Google Cloud 帳戶收取本頁所用資源的費用,請按照下列步驟操作。
刪除在 BigQuery 中建立的資料集
如要避免系統依 BigQuery 資產收取費用,請按照下列步驟刪除名為 dataform_production
的資料集:
刪除 Dataform 版本設定
建立 Dataform 版本設定不會產生任何費用。不過,如果您想刪除 production
版本設定,請按照下列步驟操作:
刪除 Dataform 工作流程設定
如要避免系統依 BigQuery 資產收取費用,請按照下列步驟,刪除 Dataform production
工作流程設定:
刪除 Dataform 存放區
建立 Dataform 存放區不會產生任何費用。不過,如果您想刪除存放區和當中所有內容,可以按照下列步驟操作: