本文將協助您完成下列事項:
開發工作區總覽
在 Dataform 中,您會在開發工作區與工作流程程式碼互動,這是存放區的可編輯副本。您可以在工作區建立、編輯或刪除存放區內容,不會影響在該存放區作業的其他使用者,然後將變更提交並推送至存放區。
您可以使用 Dataform 核心或 JavaScript 開發工作流程。Dataform 會即時將程式碼編譯為 SQL 查詢。
在開發工作區中,您可以執行下列工作:
- 調整 Dataform 設定。
- 建立所有支援類型的資料表。
- 文件表格。
- 分割資料表。
- 為資料表新增 BigQuery 標籤和政策標記。
- 覆寫表格設定。
- 設定其他動作。
- 為工作流程宣告資料來源。
- 在工作流程中新增自訂 SQL 作業和標記。
- 觸發執行工作流程或所選動作。
- 監控執行記錄檔。
開發工作區的元件
Dataform 開發工作區包含下列各節所述的索引標籤。
「程式碼」分頁
您可以在「程式碼」分頁中,使用開發環境探索檔案、開發查詢、控管變更版本,以及觸發 BigQuery 執行作業。這個分頁包含下列元件,可供您開發工作流程:
- 「Files」窗格:顯示工作區的檔案結構,並自動儲存對檔案結構的編輯內容。選取的檔案會在開發窗格的分頁中開啟。在「Type to search」(輸入即可搜尋) 欄位中,你可以依路徑搜尋工作區中的檔案或目錄。
- 「版本管控」窗格:顯示工作區的版本管控狀態和版本管控選項。
- 「開發」窗格:以分頁顯示開啟的檔案。自動儲存編輯檔案的變更。
- 「執行」按鈕:執行已編譯 SQL 查詢的預覽。
- 「格式」按鈕:設定 Dataform 核心或 JavaScript 程式碼的格式。
- 編譯狀態:顯示工作區中程式碼的編譯狀態。
- 「中繼資料」窗格:顯示編輯檔案的中繼資料。
- 「已編譯的查詢」窗格:將編輯檔案中的查詢編譯為 SQL。如果查詢編譯失敗,窗格會顯示編譯錯誤。如果查詢編譯成功,窗格會顯示編譯的查詢,並透過針對 BigQuery 執行的模擬執行來驗證查詢。如果查詢驗證失敗,窗格會顯示驗證錯誤。如果查詢驗證成功,窗格會顯示執行 BigQuery 查詢時使用的位元組數。
- 「開始執行」選單:顯示觸發工作區中整個工作流程或所選元素執行的選項。
已編譯圖形的分頁
在「已編譯的圖表」分頁中,您可以查看工作區中定義的已編譯工作流程,以互動式有向非循環圖 (DAG) 呈現。圖表會顯示工作流程中的所有動作,以及這些動作之間的關係。如果工作流程中有編譯錯誤,分頁會顯示錯誤訊息,而非圖表。
您可以在圖表中放大及縮小,並使用拖曳導覽。
您可以依下列屬性篩選圖表:
- 名稱
- 標記
- 類型
- 斷言
- 宣告
- 累加資料表
- 具體化檢視表
- 作業
- 資料表
- 不明
- 查看
你可以一次選取多個篩選器。Dataform 會使用 OR
條件套用這些項目。
按一下圖表中的動作,即可在下列窗格中查看詳細資料:
- 中繼資料窗格:顯示所選動作的完整名稱、類型、依附元件和依附項目。
- 「查詢」窗格:顯示所選動作的已編譯 SQL 查詢。
「執行」分頁
這個分頁會顯示工作區中觸發的所有執行作業記錄。您也可以查看所選執行的動作和詳細資料。詳情請參閱「監控執行記錄」。
工作區中的版本控管
在工作區中,您可以透過以 Git 為基礎的版本管控系統與存放區互動。您在工作區中編輯檔案時,變更會先以未提交的本機變更形式儲存,您可以提交這些變更,然後推送至存放區,讓所有存放區使用者都能存取。
如果存放區已連線至遠端 Git 供應商,您可以將工作區中的變更推送至主要開發分支版本。將存放區連結至遠端 Git 供應商時,請選取主要分支。在未連結的 Dataform 存放區中,將變更推送至預設分支版本。
您也可以從 Dataform 存放區或遠端存放區提取任何變更,並與開發工作區中的本機變更合併。如要進一步瞭解 Dataform 中的版本管控,請參閱「控管程式碼版本」。
事前準備
如果尚未建立,請建立 Dataform 存放區。
必要的角色
如要取得建立、初始化及刪除開發工作區所需的權限,請要求管理員授予您工作區的 Dataform 編輯者 (roles/dataform.editor
) 身分與存取權管理角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。
建立 Dataform 開發工作區
首次在新的存放區中建立開發工作區時,Dataform 會提示您使用一組設定檔初始化開發工作區,這些設定檔是 Dataform 運作的必要條件。
初始化的開發工作區包含下列目錄和檔案:
definitions/
:資產定義的目錄,位於 Dataform 核心或 JavaScript 中。includes/
:指令碼和變數的空白目錄,可在存放區中重複使用。workflow_settings.yaml
:預設的 Dataform 設定檔,內含要發布資產的 Google Cloud 專案 ID 和 BigQuery 結構定義。您可以覆寫預設設定,根據需求自訂設定,但開始使用 Dataform 時,不一定要自訂設定。package.json
:預設的 Dataform 依附元件設定檔,其中包含最新版本的@dataform/core
。您可以使用這個檔案匯入套件。definitions/sample.sqlx
:協助您上手的範例 SQLX 檔案。
如要建立新的 Dataform 開發工作區,請按照下列步驟操作:
前往 Google Cloud 控制台的「Dataform」頁面。
選取要建立新開發工作區的存放區。
在存放區頁面中,按一下「Create development workspace」(建立開發工作區)。
在「建立開發工作區」視窗中執行下列操作:
在「Workspace ID」(工作區 ID) 欄位中,輸入開發工作區的專屬 ID。
ID 只能使用數字、英文字母、連字號和底線。
點選「建立」。
在 Dataform 存放區中初始化工作區
如要初始化 Dataform 開發工作區,請按照下列步驟操作:
前往 Google Cloud 控制台的「Dataform」頁面。
選取要初始化空白工作區的存放區。
在「Development workspaces」(開發工作區) 分頁中,按一下要初始化的空白工作區名稱。
在開發工作區頁面中,按一下「Initialize workspace」(初始化工作區)。
刪除 Dataform 工作區
建立 Dataform 開發工作區不會產生任何費用。不過,如要刪除開發工作區,請按照下列步驟操作:
前往 Google Cloud 控制台的「Dataform」頁面。
選取包含要刪除工作區的存放區。
為避免刪除未提交的變更,請將變更提交並推送至 Git 存放區。
在「Development workspaces」(開發工作區) 分頁中,選取要刪除的開發工作區,然後按一下「Delete selected workspaces」(刪除所選工作區)。
你可以一次刪除多個工作區。
按一下「Delete」(刪除) 確認操作。