排定資料準備作業

本文說明如何排定資料準備管道的執行時間,以及如何手動執行管道。

資料準備作業由 Dataform 支援。 系統會使用 Google 帳戶使用者憑證或您在設定排程或執行測試時選取的 Dataform 服務帳戶,執行各項資料準備排程。

系統不會自動儲存您對資料準備步驟所做的變更。您必須先儲存並部署變更,才能透過排程執行變更。排程一律會執行最新部署的資料準備作業版本,並排除您可能正在開發的任何未部署變更。

事前準備

開始之前,請先建立資料準備

必要的角色

如要使用服務帳戶授權資料準備作業,請在開發環境中手動執行資料準備作業排定資料準備作業,並將角色授予您打算用來執行資料準備作業的服務帳戶。詳情請參閱「授予 Dataform 服務帳戶存取權」。

開發資料準備作業

開發資料準備作業時,您可以手動執行步驟並檢查輸出內容,然後再將變更部署至實際工作環境。您可以在資料上測試目前開發的版本,而 BigQuery 會根據排程繼續執行最新部署的版本。執行作業前,請務必設定目的地,並修正所有驗證錯誤。

在開發環境中手動執行資料準備作業

如要測試資料準備步驟,並驗證目標表格中的結果,請從資料準備編輯器手動執行資料準備作業:

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中,展開專案和「Data preparations」(資料準備) 資料夾。按一下要執行的資料準備作業名稱。

  3. 在資料準備編輯器工具列中,依序點選「更多」>「設定『立即執行』體驗」

  4. 在「驗證」部分,使用 Google 帳戶使用者憑證或服務帳戶授權資料準備作業。

    • 如要使用 Google 帳戶使用者憑證 (預覽版),請選取「以我的使用者憑證執行」。這是預設選項。
    • 如要使用服務帳戶,請選取「以所選服務帳戶執行」,然後選取服務帳戶。如果服務帳戶需要其他權限,請按一下「全部授予」,將必要角色授予該帳戶。
  5. 按一下 [儲存]

  6. 修正顯示的驗證錯誤。

  7. 在資料準備編輯器工具列中,按一下「執行」

  8. 在「立即執行」對話方塊中,按一下「確認」,確認這項手動執行作業會將資料寫入目的地資料表,而您可能也會使用該資料表執行排程作業。

    如果驗證方法選取「使用我的使用者憑證執行」,您必須授權 Google 帳戶 (預覽)。

    接著,執行會執行步驟,並將輸出內容載入目的地。

  9. 選用步驟:執行完成後,您可以在「Executions」(執行) 窗格中查看執行詳細資料。

部署資料準備作業

如要為資料準備作業版本安排執行時間,請先部署該版本。時間表會執行最近部署的版本。

如要部署資料準備作業,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中,展開專案和「Data preparations」(資料準備) 資料夾。按一下所選資料準備作業的名稱。

    系統隨即開啟資料準備編輯器。

  3. 在資料準備編輯器工具列中,按一下「部署」

建立排程

如要建立排程,執行已部署的資料準備步驟,並將準備好的資料載入目的地資料表,請先排定資料準備作業的執行時間。如要排定執行時間,請設定目的地,並修正所有驗證錯誤。

如要建立資料準備時間表,請按照下列步驟操作:

「Explorer」窗格

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中,展開專案和「Data preparations」(資料準備) 資料夾。按一下要排程的資料準備作業名稱。

  3. 在資料準備編輯器工具列中,按一下「排定時間」

  4. 輸入排程名稱。

  5. 在「驗證」部分,使用 Google 帳戶使用者憑證或服務帳戶授權資料準備作業。

    • 如要使用 Google 帳戶使用者憑證 (預覽),請選取「以我的使用者憑證執行」
    • 如要使用服務帳戶,請選取「以所選服務帳戶執行」,然後選取服務帳戶。
  6. 排定頻率。

  7. 按一下「建立時間表」。如果驗證方法選取「使用我的使用者憑證執行」,您必須授權 Google 帳戶 (預覽)。

「排定時間」頁面

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 按一下「建立」,然後從選單中選取「資料準備時間表」

  3. 在「Schedule data preparation」(排定資料準備作業) 窗格的「Data preparation」(資料準備) 欄位中,選取要排定的資料準備作業。

  4. 在「排程名稱」欄位中,輸入排程名稱。

  5. 在「驗證」部分,使用 Google 帳戶使用者憑證或服務帳戶授權資料準備作業。

    • 如要使用 Google 帳戶使用者憑證 (預覽),請選取「以我的使用者憑證執行」
    • 如要使用服務帳戶,請選取「以所選服務帳戶執行」,然後選取服務帳戶。
  6. 在「排程頻率」部分執行下列操作:

    1. 在「Repeats」(重複頻率) 選單中,選取資料準備作業的執行頻率。
    2. 在「At time」(時間) 欄位中,輸入排定資料準備作業執行的時間。
    3. 在「時區」選單中,選取時間表的時區。
  7. 按一下「建立時間表」。如果驗證方法選取「使用我的使用者憑證執行」,您必須授權 Google 帳戶 (預覽)。

授權給您的 Google 帳戶

如要使用Google 帳戶使用者憑證驗證資源,您必須手動授予 BigQuery 管道權限,才能取得 Google 帳戶的存取權杖,並代表您存取來源資料。您可以使用 OAuth 對話方塊介面手動核准。

您只需要授予 BigQuery 管道一次權限。

如要撤銷授予的權限,請按照下列步驟操作:

  1. 前往 Google 帳戶頁面
  2. 按一下「BigQuery Pipelines」
  3. 按一下 [移除存取權]

如果新的 Google 帳戶擁有者從未建立時間表,更新憑證以變更資料準備時間表擁有者時,也需要手動核准。

手動執行排定的資料準備作業

在選取的排程中手動執行資料準備作業時,BigQuery 會獨立於排程執行一次資料準備作業。

如要手動執行排定的資料準備作業,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 按一下所選資料準備作業排程的名稱。

  3. 在「排程詳細資料」頁面中,按一下「執行」

查看時間表

您可以透過資料準備編輯器或「排程」頁面查看資料準備作業排程。

資料準備編輯器

如要查看資料準備作業的排程,請按照下列步驟操作:

  1. 在資料準備編輯器工具列中,依序點選「排程」「查看排程」
  2. 選用:如要查看排程記錄,請按一下「查看過去的執行作業」

「排定時間」頁面

如要查看專案中的所有資料準備排程,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 選用:如要查看所選排程的執行記錄和詳細資料,請按一下排程名稱。系統不會顯示手動執行的記錄。

編輯時間表

您可以在資料準備編輯器或「排程」頁面中編輯排程。

資料準備編輯器

如要編輯時間表,請按照下列步驟操作:

  1. 在資料準備編輯器工具列中,依序點選「排程」「查看排程」
  2. 在「排定資料準備作業」對話方塊中,按一下「編輯」,然後更新排程。
  3. 按一下「更新時間表」

「排定時間」頁面

如要編輯時間表,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 按一下所選資料準備作業排程的名稱。

  3. 在「排程詳細資料」頁面中,按一下「編輯」

  4. 按一下「查看時間表」

  5. 在「排定資料準備作業」對話方塊中,按一下「編輯」,然後更新排程。

  6. 按一下「更新時間表」

刪除時間表

如要永久刪除所選資料準備作業的排程,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 在包含時間表的資料列中,依序點選 more_vert「動作」> 刪除

後續步驟