安排實際工作環境的執行作業

本快速入門導覽課程會逐步引導您完成下列步驟,在 Dataform 中排定正式環境執行作業:

事前準備

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

  8. 必要的角色

    如要取得執行本教學課程所有工作所需的權限,請要求管理員授予下列 IAM 角色:

    如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。

    您或許還可透過自訂角色或其他預先定義的角色取得必要權限。

    建立 Dataform 存放區

    1. 前往 Google Cloud 控制台的「Dataform」頁面。

      前往 Dataform

    2. 按一下 「建立存放區」

    3. 在「建立存放區」頁面中執行下列操作:

      1. 在「Repository ID」(存放區 ID) 欄位中輸入 quickstart-production

      2. 在「Region」(區域) 清單中選取「europe-west4」。

      3. 按一下「Create」(建立)

    4. 按一下 [完成]

    為 Dataform 授予 BigQuery 存取權

    如要在 BigQuery 中執行工作流程,Dataform 服務帳戶必須具備下列必要角色:

    • Dataform 需要讀取和寫入權限的專案,請授予「BigQuery 資料編輯者」角色。 通常包括代管 Dataform 存放區的專案。
    • 在 Dataform 需要唯讀存取權的專案中,授予 BigQuery 資料檢視者角色。
    • Dataform 存放區代管專案的 BigQuery 工作使用者

    如要授予這些角色,請按照下列步驟操作:

    1. 前往 Google Cloud 控制台的「IAM」頁面。

      前往「IAM」頁面

    2. 按一下「新增」

    3. 在「新增主體」欄位輸入 Dataform 服務帳戶 ID。

    4. 在「Select a role」(選取角色) 清單中,選取「BigQuery Job User」(BigQuery 工作使用者) 角色。

    5. 點選「新增其他角色」,然後在「請選擇角色」清單中,選取「BigQuery 資料編輯者」角色。

    6. 點選「新增其他角色」,然後在「請選擇角色」清單中,選取「BigQuery 資料檢視者」角色。

    7. 按一下 [儲存]

    建立版本設定

    請按照下列步驟,建立 quickstart-production 存放區的正式環境編譯結果:

    1. 前往 Google Cloud 控制台的「Dataform」頁面。

      前往 Dataform

    2. 按一下「quickstart-production」。

    3. 依序點選「Release configurations」(版本設定) 和「New release configuration」(新增版本設定)

    4. 在「Create release configuration」(建立版本設定) 窗格中,進行下列設定:

      1. 在「Release ID」(發布版本 ID) 欄位中輸入 production

      2. 保留「Git commitish」(Git 修訂版本) 欄位的預設值 main

      3. 在「頻率」選單中,選取「自訂」

      4. 在「Custom schedule」(自訂排程) 欄位中輸入 0 16 * * *

      5. 在「Timezone」(時區) 選單中,選取 UTC+1 時區,例如「Greenwich Mean Time (GMT)」(格林威治標準時間 (GMT))

      每天下午 4 點 (UTC+1),Dataform 會編譯 quickstart-production 存放區,並套用此版本設定中設定的編譯設定,建立 production 編譯結果。

    5. 點選「建立」

    production 版本設定會在每天下午 4:00 (UTC+1) 建立整個 quickstart-production 存放區的編譯結果。

    建立工作流程設定

    如要安排執行 production 資料表,請按照下列步驟操作:

    1. 前往 Google Cloud 控制台的「Dataform」頁面。

      前往 Dataform

    2. 按一下「quickstart-production」。

    3. 依序按一下「Workflow configurations」(工作流程設定) 和「New workflow configuration」(新增工作流程設定)

    4. 在「Create workflow configuration」(建立工作流程設定) 窗格的「Configuration ID」(設定 ID) 欄位中輸入 production

    5. 在「Release configuration」(版本設定) 選單中,選取 production

    6. 在「Frequency」(頻率) 欄位中輸入 0 17 * * *

    7. 在「Timezone」(時區) 選單中,選取 UTC+1 時區,例如「Greenwich Mean Time (GMT)」(格林威治標準時間 (GMT))

      每天下午 5:00 (UTC+1),Dataform 會執行 quickstart-production 存放區的最新production編譯結果。

      為確保 Dataform 在對應的版本設定中執行最新的編譯結果,請在建立編譯結果的時間和排定執行時間之間,至少間隔 1 小時。

    8. 按一下「All actions」(所有動作)

      Dataform 會在 production 編譯結果中執行所有工作流程動作。

    9. 點選「建立」

    production 工作流程設定會執行 production 版本設定在每天下午 4:00 (UTC+1) 建立的所有最新的編譯結果。

    查看過去的 production 編譯結果

    如要查看過去排定的 production 編譯結果,請按照下列步驟操作:

    1. 前往 Google Cloud 控制台的「Dataform」頁面。

      前往 Dataform

    2. 按一下「quickstart-production」。

    3. 按一下「Release configurations」(版本設定)

    4. 按一下「production」。

    查看過往的 production 工作流程執行作業

    如要查看過去的 production 工作流程執行作業,請按照下列步驟操作:

    1. 前往 Google Cloud 控制台的「Dataform」頁面。

      前往 Dataform

    2. 按一下「quickstart-production」。

    3. 按一下「Workflow configurations」(工作流程設定)

    清除所用資源

    如要避免系統向您的 Google Cloud 帳戶收取本頁所用資源的費用,請按照下列步驟操作。

    刪除在 BigQuery 中建立的資料集

    如要避免系統依 BigQuery 資產收取費用,請按照下列步驟刪除名為 dataform_production 的資料集:

    1. 前往 Google Cloud 控制台的「BigQuery」頁面。

      前往「BigQuery」

    2. 在「Explorer」面板中展開專案,然後選取 dataform_production

    3. 按一下 「Actions」(動作) 選單,然後選取「Delete」(刪除)。

    4. 在「Delete dataset」(刪除資料集) 對話方塊中輸入「delete」,然後按一下「Delete」(刪除)

    刪除 Dataform 版本設定

    建立 Dataform 版本設定不會產生任何費用。不過,如果您想刪除 production 版本設定,請按照下列步驟操作:

    1. 前往 Google Cloud 控制台的「Dataform」頁面。

      前往 Dataform

    2. 按一下「quickstart-production」。

    3. 按一下「Release configurations」(版本設定)

    4. production 發布設定中,按一下 「More」(更多) 選單,然後點選「Delete」(刪除)

    5. 在「刪除發布版本設定」對話方塊中,按一下「刪除」

    刪除 Dataform 工作流程設定

    如要避免系統依 BigQuery 資產收取費用,請按照下列步驟,刪除 Dataform production 工作流程設定:

    1. 前往 Google Cloud 控制台的「Dataform」頁面。

      前往 Dataform

    2. 按一下「quickstart-production」。

    3. 按一下「Workflow configurations」(工作流程設定)

    4. production 工作流程設定中,按一下 「More」(更多) 選單,然後按一下「Delete」(刪除)

    5. 在「刪除發布版本設定」對話方塊中,按一下「刪除」

    刪除 Dataform 存放區

    建立 Dataform 存放區不會產生任何費用。不過,如果您想刪除存放區和當中所有內容,可以按照下列步驟操作:

    1. 前往 Google Cloud 控制台的「Dataform」頁面。

      前往 Dataform

    2. quickstart-production 旁邊,按一下 「More」(更多) 選單,然後選取「Delete」(刪除)

    3. 在「Delete repository」(刪除存放區) 視窗中,輸入存放區名稱來確認刪除。

    4. 按一下「Delete」(刪除) 確認操作。

    後續步驟