優點
簡化資料處理架構
在單一環境使用 SQL 在 BigQuery 開發及操作可擴充的 Data pipelines,包括在 BigQuery Studio 使用 Data pipelines 和資料準備功能。
使用軟體開發做法進行協作
有了 Dataform,資料團隊就能按照版本管控、環境、測試和說明文件等軟體工程最佳做法,輕鬆管理 SQL 程式碼和資料資產定義。
建構實際工作環境等級的 SQL 管道
Dataform 能降低建構 SQL 管道的複雜度,方便資料分析師使用 SQL 管理依附關係、設定資料品質測試,以及自動調度管理複雜的管道。
主要功能與特色
透過 Dataform 核心,資料工程師和資料分析師只須使用 SQL,就能在單一存放區集中建立資料表定義、設定依附關係、新增資料欄說明,以及設定資料品質斷言。
使用者能夠逐步採用並加入 Dataform 核心函式,無須修改現有的程式碼。
Dataform 核心是一項能在本機中使用的開放原始碼工具,讓使用者不必受限於單一架構,且可靈活地運用這項工具來滿足更進階的使用需求。
Dataform 會處理作業基礎架構,以便根據資料表間的依附關係更新資料表內容,同時也會採用最新版本的程式碼。您可以使用 Dataform 整合功能順暢追蹤與歷程和資料相關的資訊,只要手動觸發 SQL 工作流程,或透過 Managed Service for Apache Airflow、Workflows、BigQuery Studio 的 Data pipelines 或第三方服務排定執行時間即可。
說明文件