本文档将帮助您了解 Dataform 中的工作区概念及其功能。
在 Dataform 中,您可以在开发工作区中与 SQL 工作流代码进行交互。开发工作区是您自己的代码库可修改副本。在工作区中,您可以创建、修改或删除仓库中的内容,而不会影响同一仓库中其他人员的工作,然后将更改提交并推送到仓库。
您可以使用 Dataform 核心或 JavaScript 开发 SQL 工作流。 Dataform 会将您的代码实时编译为 SQL 查询。
在开发工作区中,您可以执行以下任务:
- 配置 Dataform 设置
- 创建所有受支持类型的表
- 文档表
- 分区表
- 向表添加 BigQuery 标签和政策标记
- 配置其他表格设置
- 为 SQL 工作流声明数据源
- 向 SQL 工作流添加自定义 SQL 操作和标记
- 触发 SQL 工作流或其选定操作的执行
- 监控执行日志
开发工作区的组成部分
Dataform 开发工作区包含以下标签页:
- 代码
- 包含一个开发环境,您可以在其中浏览文件、开发查询、对更改进行版本控制,以及触发对 BigQuery 的执行。
- 已编译的图表
- 以交互式有向无环图 (DAG) 的形式显示您在工作区中定义的已编译 SQL 工作流。如果 SQL 工作流中存在编译错误,该标签页会显示错误消息,而不是图表。
- 执行
- 显示工作区中触发的所有执行的日志。您还可以查看所选执行的操作及其详细信息。如需了解详情,请参阅监控执行日志。
“代码”标签页的组成部分
开发工作区的 Code 标签页包含以下组件,可供您开发 SQL 工作流:
- “文件”窗格
- 显示工作区的文件结构。自动将所做的修改保存到文件结构中。所选文件会在“开发”窗格中的标签页中打开。在输入要搜索的内容字段中,您可以按路径搜索工作区中的文件或目录。
- “版本控制”窗格
- 显示工作区的版本控制状态和版本控制选项。
- “开发”窗格
- 在标签页中显示打开的文件。自动保存对修改后的文件所做的更改。
- “Run”按钮
- 运行已编译 SQL 查询的预览。
- “格式”按钮
- 设置 Dataform 核心或 JavaScript 代码的格式。
- 编译状态
- 显示工作区中代码的编译状态。
- “元数据”窗格
- 显示当前正在修改的文件的元数据。
- “已编译的查询”窗格
- 将当前所编辑文件中的查询编译为 SQL。如果查询编译失败,则显示编译错误。如果查询编译成功,则显示已编译的查询,并通过对 BigQuery 进行模拟运行对其进行验证。如果查询验证失败,则显示验证错误。 如果查询验证成功,则显示执行对 BigQuery 的查询将使用多少字节。
- “开始执行”下拉菜单
- 显示用于触发工作区中整个工作流或其选定元素的执行的选项。
“已编译的图表”标签页的组成部分
“已编译的图表”标签页会显示已编译 SQL 工作流的互动式图表。该图显示了 SQL 工作流中的所有操作及其之间的关系。
您可以放大和缩小,并使用拖动操作浏览图表。
您可以按以下属性过滤图表:
- 名称
- 标记
- 类型
- 断言
- 声明
- 增量表
- 物化视图
- 操作
- 表
- 未知
- 查看
您可以一次选择多个过滤条件。
Dataform 会将其与 OR
条件一起应用。
您可以点击图表中的操作,在以下窗格中查看其详细信息:
- “元数据”窗格
- 显示所选操作的全名、类型、依赖项和依赖项。
- 查询窗格
- 显示所选操作的已编译 SQL 查询。
工作区中的版本控制
在工作区中,您可以通过基于 Git 的版本控制与代码库进行交互。您对工作区中的文件所做的修改最初是未提交的本地更改,您可以先提交这些更改,然后将其推送到代码库,以便所有代码库用户都可以使用。
如果您的代码库已连接到远程 Git 提供商,您可以将工作区中的更改推送到主要开发分支。您在将代码库连接到远程 Git 提供程序时选择主分支。在未关联的数据表单存储库中,您可以将更改推送到默认分支。
您还可以从 Dataform 代码库或远程代码库拉取任何更改,并将其与开发工作区的本地更改合并。如需详细了解 Dataform 中的版本控制,请参阅对代码进行版本控制。
后续步骤
- 如需了解如何创建和初始化工作区,请参阅创建工作区。
- 如需了解如何对 Dataform 代码进行版本控制,请参阅对代码进行版本控制。
- 如需了解如何运行预览来测试 SQL 查询,请参阅预览 SQL 查询。