建立開發工作區

本文將協助您完成下列事項:

開發工作區總覽

在 Dataform 中,您會在開發工作區與工作流程程式碼互動,這是存放區的可編輯副本。您可以在工作區建立、編輯或刪除存放區內容,不會影響在該存放區作業的其他使用者,然後將變更提交並推送至存放區。

您可以使用 Dataform 核心JavaScript 開發工作流程。Dataform 會即時將程式碼編譯為 SQL 查詢。

在開發工作區中,您可以執行下列工作:

開發工作區的元件

Dataform 開發工作區包含下列各節所述的索引標籤。

「程式碼」分頁

您可以在「程式碼」分頁中,使用開發環境探索檔案、開發查詢、控管變更版本,以及觸發 BigQuery 執行作業。這個分頁包含下列元件,可供您開發工作流程:

  • 「Files」窗格:顯示工作區的檔案結構,並自動儲存對檔案結構的編輯內容。選取的檔案會在開發窗格的分頁中開啟。在「Type to search」(輸入即可搜尋) 欄位中,你可以依路徑搜尋工作區中的檔案或目錄。
  • 「版本管控」窗格:顯示工作區的版本管控狀態和版本管控選項。
  • 「開發」窗格:以分頁顯示開啟的檔案。自動儲存編輯檔案的變更。
  • 「執行」按鈕:執行已編譯 SQL 查詢的預覽
  • 「格式」按鈕:設定 Dataform 核心或 JavaScript 程式碼的格式。
  • 編譯狀態:顯示工作區中程式碼的編譯狀態。
  • 「中繼資料」窗格:顯示編輯檔案的中繼資料。
  • 「已編譯的查詢」窗格:將編輯檔案中的查詢編譯為 SQL。如果查詢編譯失敗,窗格會顯示編譯錯誤。如果查詢編譯成功,窗格會顯示編譯的查詢,並透過針對 BigQuery 執行的模擬執行來驗證查詢。如果查詢驗證失敗,窗格會顯示驗證錯誤。如果查詢驗證成功,窗格會顯示執行 BigQuery 查詢時使用的位元組數。
  • 「開始執行」選單:顯示觸發工作區中整個工作流程或所選元素執行的選項。

已編譯圖形的分頁

在「已編譯的圖表」分頁中,您可以查看工作區中定義的已編譯工作流程,以互動式有向非循環圖 (DAG) 呈現。圖表會顯示工作流程中的所有動作,以及這些動作之間的關係。如果工作流程中有編譯錯誤,分頁會顯示錯誤訊息,而非圖表。

您可以在圖表中放大及縮小,並使用拖曳導覽。

您可以依下列屬性篩選圖表:

  • 名稱
  • 標記
  • 類型
    • 斷言
    • 宣告
    • 累加資料表
    • 具體化檢視表
    • 作業
    • 資料表
    • 不明
    • 查看

你可以一次選取多個篩選器。Dataform 會使用 OR 條件套用這些項目。

按一下圖表中的動作,即可在下列窗格中查看詳細資料:

  • 中繼資料窗格:顯示所選動作的完整名稱、類型、依附元件和依附項目。
  • 「查詢」窗格:顯示所選動作的已編譯 SQL 查詢。

「執行」分頁

這個分頁會顯示工作區中觸發的所有執行作業記錄。您也可以查看所選執行的動作和詳細資料。詳情請參閱「監控執行記錄」。

工作區中的版本控管

在工作區中,您可以透過以 Git 為基礎的版本管控系統與存放區互動。您在工作區中編輯檔案時,變更會先以未提交的本機變更形式儲存,您可以提交這些變更,然後推送至存放區,讓所有存放區使用者都能存取。

如果存放區已連線至遠端 Git 供應商,您可以將工作區中的變更推送至主要開發分支版本。將存放區連結至遠端 Git 供應商時,請選取主要分支。在未連結的 Dataform 存放區中,將變更推送至預設分支版本。

您也可以從 Dataform 存放區或遠端存放區提取任何變更,並與開發工作區中的本機變更合併。如要進一步瞭解 Dataform 中的版本管控,請參閱「控管程式碼版本」。

事前準備

如果尚未建立,請建立 Dataform 存放區

必要的角色

如要取得建立、初始化及刪除開發工作區所需的權限,請要求管理員授予您工作區的 Dataform 編輯者 (roles/dataform.editor) 身分與存取權管理角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。

您或許還可透過自訂角色或其他預先定義的角色取得必要權限。

建立 Dataform 開發工作區

首次在新的存放區中建立開發工作區時,Dataform 會提示您使用一組設定檔初始化開發工作區,這些設定檔是 Dataform 運作的必要條件。

初始化的開發工作區包含下列目錄和檔案:

  • definitions/:資產定義的目錄,位於 Dataform 核心或 JavaScript 中。

  • includes/:指令碼和變數的空白目錄,可在存放區中重複使用。

  • workflow_settings.yaml:預設的 Dataform 設定檔,內含要發布資產的 Google Cloud 專案 ID 和 BigQuery 結構定義。您可以覆寫預設設定,根據需求自訂設定,但開始使用 Dataform 時,不一定要自訂設定。

  • package.json:預設的 Dataform 依附元件設定檔,其中包含最新版本的 @dataform/core。您可以使用這個檔案匯入套件

  • definitions/sample.sqlx:協助您上手的範例 SQLX 檔案。

如要建立新的 Dataform 開發工作區,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Dataform」頁面。

    前往 Dataform

  2. 選取要建立新開發工作區的存放區。

  3. 在存放區頁面中,按一下「Create development workspace」(建立開發工作區)

  4. 在「建立開發工作區」視窗中執行下列操作:

    1. 在「Workspace ID」(工作區 ID) 欄位中,輸入開發工作區的專屬 ID。

      ID 只能使用數字、英文字母、連字號和底線。

    2. 點選「建立」

在 Dataform 存放區中初始化工作區

如要初始化 Dataform 開發工作區,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Dataform」頁面。

    前往 Dataform

  2. 選取要初始化空白工作區的存放區。

  3. 在「Development workspaces」(開發工作區) 分頁中,按一下要初始化的空白工作區名稱。

  4. 在開發工作區頁面中,按一下「Initialize workspace」(初始化工作區)

刪除 Dataform 工作區

建立 Dataform 開發工作區不會產生任何費用。不過,如要刪除開發工作區,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Dataform」頁面。

    前往 Dataform

  2. 選取包含要刪除工作區的存放區。

  3. 為避免刪除未提交的變更,請將變更提交並推送至 Git 存放區

  4. 在「Development workspaces」(開發工作區) 分頁中,選取要刪除的開發工作區,然後按一下「Delete selected workspaces」(刪除所選工作區)

    你可以一次刪除多個工作區。

  5. 按一下「Delete」(刪除) 確認操作。

後續步驟